Jais وJais-chat: نماذج عربية التركيز الأساسية والمهيّأة بالتعليمات
Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models
نموذج عربي مفتوح بـ13 مليار بارامتر يتفوق على كل النماذج العربية المفتوحة وقت صدوره، بمعمار GPT-3 ومزيج نصوص عربية وإنجليزية وشيفرة.
Open 13B Arabic-centric LLMs (foundation + instruction-tuned) that led open Arabic models at release, on a GPT-3 decoder trained on Arabic, English, and code.
المواصفات المسجّلة
| المؤلفون | Neha Sengupta، Sunil Kumar Sahu، Bokang Jia، Satheesh Katipomu، Haonan Li، Fajri Koto |
|---|---|
| سنة النشر | 2023 |
| عدد الاستشهادات | 22 |
| DOI | 10.48550/arXiv.2308.16149 |
| arXiv | 2308.16149 |
| OpenAlex | W4386365131 |
أول نموذج عربي-مركزي مفتوح يتفوق على كل المفتوحة المتاحة في العربية وقت صدوره — أسّس خط بحث عربي كامل مع وصف صريح لمواءمة السلامة.
تدريب أساسي 13B على مزيج عربي/إنجليزي/شيفرة + إصدار نسخة مهيّأة بالتعليمات (3.6 مليون زوج عربي و6 ملايين إنجليزي) مع تمويه سلامة.
نقدم Jais وJais-chat: نموذجان عربيا التركيز مفتوحان بمعمار GPT-3 decoder-only ومدرَّبان على مزيج عربي/إنجليزي/شيفرة، بـ13 مليار بارامتر يتفوقان عربيًا على كل النماذج المفتوحة وقت الصدور مع تنافسية إنجليزية.
We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model -- the foundation Jais model, and an instruction-tuned Jais-chat variant -- with the aim of promoting research on Arabic LLMs.
الأدلة والمصادر
له مصادر رسميةلا ادعاءات منشورة على هذا المدخل. ما يلي روابط رسمية منشورة ضمن البذرة العامة للاطّلاع المباشر.