DeepSeek V3 (671B MoE)
DeepSeek V3 (671B MoE)
نموذج خليط الخبراء (MoE) الثوري مع 37B من المعلمات النشطة لكل رمز، حقق كفاءة تدريب استثنائية وبنية Multi-head Latent Attention (MLA).
Breakthrough 671B MoE model with 37B active parameters per token, leveraging Multi-head Latent Attention (MLA) and DeepSeekMoE.
المواصفات المسجّلة
| الجهة المطوِّرة | DeepSeek AI |
|---|---|
| المعمارية | Multi-head Latent Attention (MLA) + DeepSeekMoE |
| عدد المعاملات | 671B (37B active) |
| نافذة السياق | 131,072 رمزًا |
| الترخيص | DeepSeek License (Permissive with commercial use) |
| الأوزان | مفتوحة |
| دعم اللغة العربية | general |
| أحدث إصدار | V3 — 2024-12-27 |
| صيغ التكميم | FP8 |
نتائج المعايرات
غير قابلة للمقارنة إلا بشروطها| المعيار | المقياس | الدرجة | تاريخ التقييم | العتادة | التشغيل | السياق | المصدر |
|---|---|---|---|---|---|---|---|
| MMLU | 5-shot Accuracy | 0.885 | 28 ديسمبر 2024 | — | — | — | المصدر |
لا تُعدّ نتيجة قابلة للمقارنة إلا مع تسجيل إصدار النموذج والكمّيّة والإطار والسياق والعتادة والإعدادات وإصدار مجموعة البيانات. ما لا يظهر في الجدول أعلاه لم يُسجَّل في المصدر المُشيران إليه، ويجب ألا يُستخرج منه ترتيب بين النماذج.
Breakthrough 671B MoE model with 37B active parameters per token, leveraging Multi-head Latent Attention (MLA) and DeepSeekMoE.
الأدلة والمصادر
مدعوم بأدلةكل ادعاء أدناه مرفق بمصدر عام ومقتطف دليل محفوظ في السجل. المقتطف نص أصلي من المصدر ولا يُعدّ ادعاءً مستقلاً.
- تحقّق محرِّرحُرِّر 1 أكتوبر 2026
تضغط معمارية MLA مصفوفات المفاتيح والقيم (KV Cache) بنسبة تصل إلى 93% مقارنة بـ MHA التقليدية.
MLA compresses the KV cache into a low-dimensional latent vector, dramatically reducing memory bandwidth requirements.