الانتباه هو كل ما تحتاجه (Attention Is All You Need)Attention Is All You Need
الورقة التأسيسية التي قدمت معمارية المحول (Transformer) القائمة حصراً على آليات الانتباه الذاتي.
أوراق بحثية
مجموعة Papers
أوراق بحثية
منشورات محكمة وأعمال مؤتمرات ذات تأثير على الممارسة الهندسية.
Peer-reviewed and conference works that change engineering practice.
12إدخالًا في هذه المجموعة
109إجمالي المرجع
2مدعوم بأدلة داخلها
كل أوراق بحثية
ورقة انتباه كل ما تحتاجه: التأسيس لمعمارية المحولات TransformerAttention Is All You Need: The Transformer Architecture
الورقة العلمية التأسيسية التي أطلقت عصر نماذج الذكاء الاصطناعي التوليدي عبر آلية الانتباه الذاتي.
أوراق بحثية
التحسين المباشر للتفضيلات (DPO)Direct Preference Optimization: Your Language Model is Secretly a Reward Model
طريقة محاذاة رياضية أنيقة ألغت الحاجة إلى تدريب نموذج مكافأة منفصل (Reward Model) أو استخدام PPO المعقد.
أوراق بحثية
FlashAttention: خوارزمية الانتباه السريعة والموفرة للذاكرةFlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
خوارزمية ذكية راعت حدود سرعة نقل البيانات بين SRAM و HBM داخل بطاقات الرسومات، مما سرّع التدريب والاستدلال بـ 2-4 أضعاف.
أوراق بحثية
LoRA: الضبط منخفض الرتبة للنماذج اللغوية الضخمةLoRA: Low-Rank Adaptation of Large Language Models
ورقة بحثية ابتكرت تقنية تجميد أوزان النموذج الأساسي وحقن مصفوفات قابلة للتدريب منخفضة الرتبة مما قلص معلمات التدريب بـ 10,000 ضعف.
أوراق بحثية
ورقة Orca: معالجة الدفعات المستمرة (Continuous Batching)Orca: A Distributed Serving System for Transformer Models
الابتكار الذي جعل محركات الاستنتاج تعالج الطلبات على مستوى الرمز الفردي بدلاً من انتظار اكتمال التسلسل.
أوراق بحثية
ورقة ORPO: تحسين التفضيل الأحادي دون تدريب مرجعيORPO: Monolithic Preference Optimization without Reference Model
دمج الضبط الدقيق الخاضع للإشراف (SFT) مع محاذاة التفضيل في تدريب مرحلة واحدة موفر للذاكرة.
أوراق بحثية
QLoRA: الضبط الفعال للنماذج المكممة بدقة 4-بتQLoRA: Efficient Finetuning of Quantized LLMs
طريقة مبتكرة أتاحت تدريب نموذج 65B على بطاقة GPU استهلاكية واحدة بسعة 48GB عبر صيغة NF4 وتكميم مزدوج (Double Quantization).
أوراق بحثية
ReAct: مواءمة الاستدلال والعمل في النماذج اللغويةReAct: Synergizing Reasoning and Acting in Language Models
إطار عمل دمج بين توليد مسار التفكير (Thought) واتخاذ الإجراء (Action) وملاحظة النتيجة (Observation) لتوجيه الوكلاء الذاتيين.
أوراق بحثية
التوليد المعزز بالاسترجاع لمهام معالجة اللغة المعرفيةRetrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
الورقة التأسيسية لمنهجية RAG التي جمعت بين النماذج التوليدية وأنظمة استرجاع المعلومات غير المقيدة لتحديث المعرفة وتفادي الهلوسة.
أوراق بحثية
ورقة Toolformer: النماذج اللغوية التي تدرب نفسها على استخدام الأدواتToolformer: Language Models Can Teach Themselves to Use Tools
البحث التأسيسي الذي أثبت قدرة النماذج على استدعاء واجهات البرمجة والآلات الحاسبة ومعاجم اللغة ذاتياً.
أوراق بحثية
معيار ViDoRe لتقييم استرجاع الوثائق البصريةViDoRe: The Visual Document Retrieval Benchmark
مجموعة بيانات مرجعية تشمل مهام استرجاع في مجالات علمية وقانونية ومالية متعددة اللغات.
أوراق بحثية