ALLaM: نماذج لغوية كبيرة للعربية والإنجليزية
ALLaM: Large Language Models for Arabic and English
سلسلة نماذج من SDAIA تُظهر أن اكتساب لغة ثانية عبر توسيع المفردات والتدريب المسبق المختلط ينجح دون نسيان الإنجليزية، مع تميّز عربي في MMLU وACVA.
SDAIA model series showing second-language acquisition via vocabulary expansion and mixed pretraining without English forgetting; state-of-the-art on Arabic MMLU, ACVA, and Arabic Exams.
المواصفات المسجّلة
| المؤلفون | M Saiful Bari، Yazeed Alnumay، Norah A. Alzahrani، Nouf M. Alotaibi، Hisham A. Alyahya، Sultan Alrashed |
|---|---|
| سنة النشر | 2024 |
| القناة | ICLR 2025 |
| عدد الاستشهادات | 4 |
| DOI | 10.48550/arXiv.2407.15390 |
| arXiv | 2407.15390 |
| OpenAlex | W4406072927 |
يقدّم برهانًا معماريًا على أن اكتساب العربية "كلغة ثانية" ممكن دون التضحية بالإنجليزية — نقيض نهج إعادة التدريب الكامل.
توسيع المفردات + مزيج مسبق عربي/إنجليزي + بيانات موازية لمحة المعرفة + مواءمة تفضيلية واسعة (245K عينة بعد الترشيح).
سلسلة ALLaM تبيّن أن اكتساب لغة ثانية عبر توسيع المفردات والتدريب المسبق المختلط عربي/إنجليزي يوجّه النموذج نحو العربية دون كارثة نسيان الإنجليزية، مع تميّز في MMLU العربي وACVA والامتحانات العربية.
We present ALLaM: Arabic Large Language Model, a series of large language models to support the ecosystem of Arabic Language Technologies (ALT). ALLaM is carefully trained considering the values of language alignment and knowledge transfer at scale. Our autoregressive decoder-only architecture models demonstrate how second-language acquisition via vocabulary expansion and pretraining on a mixture of Arabic and English text can steer a model towards a new language (Arabic) without any catastrophic forgetting in the original language (English). Furthermore, we highlight the effectiveness of using parallel/translated data to aid the process of knowledge alignment between languages. Finally, we show that extensive alignment with human preferences can significantly enhance the performance of a language model compared to models of a larger scale with lower quality alignment. ALLaM achieves state-of-the-art performance in various Arabic benchmarks, including MMLU Arabic, ACVA, and Arabic Exams. Our aligned models improve both in Arabic and English from their base aligned models.
الأدلة والمصادر
له مصادر رسميةلا ادعاءات منشورة على هذا المدخل. ما يلي روابط رسمية منشورة ضمن البذرة العامة للاطّلاع المباشر.