DeepSeek R1 — نموذج التفكير والاستدلالDeepSeek R1 Reasoning Model
نموذج استدلال متقدم طور بتقنيات التعلم المعزز الصرف (RL) لإنتاج مسارات تفكير طويلة ومنظمة تفوق النماذج التجارية في التفكير المعقد.
أساسي23 مدخلًا مرتبطًا
تدريب وضبط النماذج
Model Training & Adaptation
تقنيات الضبط الدقيق PEFT/LoRA/QLoRA، التقطير المعرفي (Distillation)، هندسة البيانات، والمعايرة والمحاذاة.
SFT, PEFT, LoRA/QLoRA, distillation, data curation, alignment, and calibration.
نماذج
7 إدخالًا
Phi-4 (14B) من MicrosoftPhi-4 14B Reasoning Model
نموذج مضغوط ومتقدم يركز على الاستدلال الرياضي والمنطقي المعقد عبر تدريب مكثف على بيانات تركيبية عالية الجودة.
DeepSeek V3 (671B MoE)DeepSeek V3 (671B MoE)
نموذج خليط الخبراء (MoE) الثوري مع 37B من المعلمات النشطة لكل رمز، حقق كفاءة تدريب استثنائية وبنية Multi-head Latent Attention (MLA).
Gemma 2 27B من Google DeepMindGemma 2 27B Open Model
نموذج مبني بتقنية التقطير المعرفي (Knowledge Distillation) يقدم أداءً يضاهي نماذج تفوقه حجماً بمرتين على عتاد فردي.
جيس 30B (Jais)Jais 30B Arabic-English LLM
نموذج تأسيسي ثنائي اللغة تم تدريبه من الصفر على مجموعة بيانات ضخمة تجمع العربية والإنجليزية، مطور من قبل Inception وG42.
Llama 3.3 70B InstructLlama 3.3 70B Instruct
نموذج مفتوح الأوزان فائق الكفاءة من Meta، يقدم أداءً ينافس النماذج الضخمة (405B) في البرمجة والرياضيات واستيعاب السياق الطويل.
Qwen 2.5 72B InstructQwen 2.5 72B Instruct
نموذج رائد من Alibaba Cloud يتميز بدعم استثنائي لأكثر من 29 لغة بما فيها العربية، مع قدرات برمجية ورياضية متقدمة ونافذة سياق 128K.
أوراق بحثية
5 إدخالًا
التحسين المباشر للتفضيلات (DPO)Direct Preference Optimization: Your Language Model is Secretly a Reward Model
طريقة محاذاة رياضية أنيقة ألغت الحاجة إلى تدريب نموذج مكافأة منفصل (Reward Model) أو استخدام PPO المعقد.
LoRA: الضبط منخفض الرتبة للنماذج اللغوية الضخمةLoRA: Low-Rank Adaptation of Large Language Models
ورقة بحثية ابتكرت تقنية تجميد أوزان النموذج الأساسي وحقن مصفوفات قابلة للتدريب منخفضة الرتبة مما قلص معلمات التدريب بـ 10,000 ضعف.
ورقة ORPO: تحسين التفضيل الأحادي دون تدريب مرجعيORPO: Monolithic Preference Optimization without Reference Model
دمج الضبط الدقيق الخاضع للإشراف (SFT) مع محاذاة التفضيل في تدريب مرحلة واحدة موفر للذاكرة.
QLoRA: الضبط الفعال للنماذج المكممة بدقة 4-بتQLoRA: Efficient Finetuning of Quantized LLMs
طريقة مبتكرة أتاحت تدريب نموذج 65B على بطاقة GPU استهلاكية واحدة بسعة 48GB عبر صيغة NF4 وتكميم مزدوج (Double Quantization).
الانتباه هو كل ما تحتاجه (Attention Is All You Need)Attention Is All You Need
الورقة التأسيسية التي قدمت معمارية المحول (Transformer) القائمة حصراً على آليات الانتباه الذاتي.
أدوات
5 إدخالًا
أنوية FlashInfer لتسريع استنتاج وخدمة النماذج اللغويةFlashInfer High-Performance Serving Kernels
مكتبة تسريع مخصصة لعمليات Attention و KV-cache و Page Table Lookup على وحدات GPU.
مكتبة TRL لتدريب المحولات بالتعلم المعزز والمحاذاةHugging Face TRL: Transformer Reinforcement Learning
حزمة أدوات متكاملة لـ SFT و DPO و PPO و Reward Modeling متوافقة مع نظام بيئة Hugging Face.
أنوية Liger Kernel المسرعة لتدريب النماذج عبر TritonLiger Kernel: High-Efficiency Triton Kernels for LLM Training
خفض استهلاك ذاكرة الـ Backpropagation بنسبة 20% وتسريع التدريب لـ RoPE و SwiGLU و CrossEntropy.
مكتبة Torchtune الرسمية من PyTorch لضبط النماذجTorchtune Native PyTorch LLM Finetuning Suite
تصميم معياري قابل للقراءة والتعديل يدعم Llama و Qwen و Mistral بأكواد نظيفة بدون طبقات تجريد مفرطة.
Unsloth — تسريع التدريب والضبط الدقيق بـ 5 أضعافUnsloth 5x Faster LLM Fine-Tuning
مكتبة كيرنلز مكتوبة بلغة OpenAI Triton لتسريع تدريب Llama و Qwen و Mistral مع توفير 80% من استهلاك الذاكرة.
مجموعات بيانات
2 إدخالًا
مجموعة بيانات UltraFeedback المحاذية للغة العربيةCurated Arabic UltraFeedback Dataset for DPO Alignment
مجموعة بيانات زوجية (Chosen/Rejected) معربة ومحققة بشرياً لمطابقة القيم والأسلوب العربي الفصيح.
معيار الخوارزمي للاستدلال الرياضيAl-Khawarizmi Arabic Math Reasoning Benchmark
مجموعة بيانات موجهة لاختبار قدرات النماذج في حل المسائل الرياضية المعقدة المكتوبة باللغة العربية.
أدلة تطبيقية
1 إدخالًا
ممارسات تطهير بيانات التدريب ومنع تسرب أسئلة الاختبارData Decontamination Standards for LLM Pretraining & SFT
طرق فحص تشابه ن-جرام والتضمينات الدلالية لعزل بيانات المعايير القياسية عن نصوص التدريب.
مراجع عامة
3 إدخالًا
منهجيات تقطير المعرفة من النماذج العملاقة إلى النماذج المدمجةKnowledge Distillation for Compact Edge Models
نقل القدرات التحليلية من نماذج 70B إلى نماذج 7B عبر مطابقة التوزيع الاحتمالي للرموز.
جداول معدل التعلم الفعالة في الضبط الدقيق المستمرLearning Rate Schedulers (Cosine with Warmup) for SFT
تجنب النسيان الكارثي للنماذج الأساسية عند تدريبها على بيانات لغة جديدة.
تقنية FSDP في PyTorch للتدريب الموزعPyTorch Fully Sharded Data Parallel (FSDP) Architecture
حل مدمج وأصيل لتوزيع معاملات النموذج وحالات التدرج عبر عنقود الحوسبة بأقل زمن اتصال.