Gemma 2 27B من Google DeepMindGemma 2 27B Open Model
نموذج مبني بتقنية التقطير المعرفي (Knowledge Distillation) يقدم أداءً يضاهي نماذج تفوقه حجماً بمرتين على عتاد فردي.
أساسي20 مدخلًا مرتبطًا
مختبر النماذج المحلية
Local LLM Lab
تشغيل النماذج مفتوحة الأوزان، GGUF، التكميم، استهلاك VRAM/RAM، وبيئات العمل المستقلة محلياً.
Open-weight inference, GGUF, quantization, local runtimes, memory profiling, and edge benchmarking.
نماذج
6 إدخالًا
Llama 3.3 70B InstructLlama 3.3 70B Instruct
نموذج مفتوح الأوزان فائق الكفاءة من Meta، يقدم أداءً ينافس النماذج الضخمة (405B) في البرمجة والرياضيات واستيعاب السياق الطويل.
BGE-M3 نموذج التضمين الهجينBGE-M3 Multilingual Hybrid Embedding
نموذج تضمين رائد متعدد اللغات يدعم استرجاع الكثيف (Dense)، المتناثر (Sparse/BM25)، ومتعدد المتجهات (ColBERT Multi-Vector) حتى 8192 رمزاً.
GOT-OCR2.0 — النظرية العامة للتعرف الضوئيGOT-OCR2.0 General OCR Theory
نموذج رؤية ولغة VLM مضغوط (580M) مخصص لقراءة كافة أنواع النصوص والرموز والجداول الرياضية والموسيقية وتنسيقات المستندات المعقدة.
Phi-4 (14B) من MicrosoftPhi-4 14B Reasoning Model
نموذج مضغوط ومتقدم يركز على الاستدلال الرياضي والمنطقي المعقد عبر تدريب مكثف على بيانات تركيبية عالية الجودة.
Qwen 2.5 72B InstructQwen 2.5 72B Instruct
نموذج رائد من Alibaba Cloud يتميز بدعم استثنائي لأكثر من 29 لغة بما فيها العربية، مع قدرات برمجية ورياضية متقدمة ونافذة سياق 128K.
أوراق بحثية
2 إدخالًا
LoRA: الضبط منخفض الرتبة للنماذج اللغوية الضخمةLoRA: Low-Rank Adaptation of Large Language Models
ورقة بحثية ابتكرت تقنية تجميد أوزان النموذج الأساسي وحقن مصفوفات قابلة للتدريب منخفضة الرتبة مما قلص معلمات التدريب بـ 10,000 ضعف.
QLoRA: الضبط الفعال للنماذج المكممة بدقة 4-بتQLoRA: Efficient Finetuning of Quantized LLMs
طريقة مبتكرة أتاحت تدريب نموذج 65B على بطاقة GPU استهلاكية واحدة بسعة 48GB عبر صيغة NF4 وتكميم مزدوج (Double Quantization).
أدوات
6 إدخالًا
محرك ExLlamaV2 لاستنتاج صيغة EXL2 عالي السرعةExLlamaV2 Ultrafast Inference for Modern GPUs
أسرع مكتبة لتشغيل نماذج Llama المكممة بأوزان مخصصة (EXL2) على بطاقات إنفيديا الحديثة.
محرك KTransformers لتشغيل النماذج الضخمة بالذاكرة الهجينةKTransformers CPU/GPU Hybrid Memory Offloading
تشغيل نماذج الخبراء الكبيرة (MoE) مثل DeepSeek 236B على بطاقات المستهلكين بالتعاون مع المعالج.
llama.cpp — محرك الاستدلال المحلي الفائقllama.cpp Local Inference Engine
مكتبة C/C++ عالية الكفاءة لتشغيل نماذج LLM على المعالجات العادية وبطاقات GPU مع تكميم GGUF وبصمة ذاكرة منخفضة جداً.
بيئة LM Studio لتجربة واختبار النماذج المحليةLM Studio Desktop Local Inference Environment
تطبيق مكتبي متكامل لإدارة تنزيل ملفات GGUF وتعديل إعدادات التوليد وتشغيل خادم محلي متوافق.
Ollama — حزمة تشغيل النماذج المحلية بنقرة واحدةOllama Easy Local LLM Runner
منظومة سهلة لتنزيل وإدارة وتشغيل النماذج اللغوية على أجهزة المطورين مع واجهة برمجية متوافقة مع OpenAI.
Unsloth — تسريع التدريب والضبط الدقيق بـ 5 أضعافUnsloth 5x Faster LLM Fine-Tuning
مكتبة كيرنلز مكتوبة بلغة OpenAI Triton لتسريع تدريب Llama و Qwen و Mistral مع توفير 80% من استهلاك الذاكرة.
معايرات وتقييم
1 إدخالًا
أداء النماذج الضخمة على الذاكرة الموحدة في Apple SiliconLLM Throughput on Apple Silicon M-Series Unified Memory
قياس سرعة توليد الرموز لنماذج 70B على أجهزة Mac Studio 128GB و 192GB باستخدام llama.cpp و MLX.
أدلة تطبيقية
1 إدخالًا
تكميم مخزن KV-Cache بنظام FP8 لمضاعفة سعة السياق المتزامنFP8 KV-Cache Quantization Guidelines in vLLM
كيف ترفع عدد المستخدمين المتزامنين على نفس بطاقة GPU دون الإضرار بجودة إجابات النموذج.
مشاريع
2 إدخالًا
مختبر الحوسبة المحلية (Local Rig)Local LLM Rig Architecture
بنية تحتية هندسية لاختبار وضبط النماذج محلياً على عتاد منخفض التكلفة مع تسجيل دقيق للبصمة الاستهلاكية للطاقة والذاكرة.
مشروع مدارك (Madarek Document AI)Madarek Document AI Project
مبادرة هندسية لبناء محركات استخلاص نصوص الوثائق العربية المعقدة والجداول والفهارس بنماذج بصرية محلية.
مراجع عامة
2 إدخالًا
مواصفات محطة عمل RTX 4090 لهندسة الذكاء الاصطناعيHardware Architecture: RTX 4090 Local AI Workstation
التوصيات المثالية للمعالج ولوحة الأم ومسارات PCIe ومزود الطاقة لتشغيل نماذج 14B و 32B باستمرار.
التفكيك التخميني (Speculative Decoding) ومضاعفة سرعة التوليدSpeculative Decoding Implementation for Local Serving
استخدام نموذج مسودّة صغير (Draft Model) مثل 0.5B لاقتراح الرموز واعتمادها بالنموذج الأكبر.