llama.cpp — محرك الاستدلال المحلي الفائق
llama.cpp Local Inference Engine
مكتبة C/C++ عالية الكفاءة لتشغيل نماذج LLM على المعالجات العادية وبطاقات GPU مع تكميم GGUF وبصمة ذاكرة منخفضة جداً.
Bare-metal C/C++ tensor library powering local LLM inference across Apple Silicon, AVX CPUs, and CUDA GPUs with GGUF format.
المواصفات المسجّلة
| الفئة | Local LLM Inference |
|---|---|
| اللغة الأساسية | C++ |
| الترخيص | MIT |
| نجوم المستودع | 76,000 |
| أحدث إصدار | b4520 — 2025-02-15 |
Bare-metal C/C++ tensor library powering local LLM inference across Apple Silicon, AVX CPUs, and CUDA GPUs with GGUF format.
الأدلة والمصادر
مدعوم بأدلةكل ادعاء أدناه مرفق بمصدر عام ومقتطف دليل محفوظ في السجل. المقتطف نص أصلي من المصدر ولا يُعدّ ادعاءً مستقلاً.
- تحقّق محرِّرحُرِّر 1 أكتوبر 2026
يوفر llama.cpp دعماً شاملاً لتكميم K-quants (مثل Q4_K_M) مما يتيح تشغيل نماذج 70B على أجهزة بذاكرة 48GB.
K-quants provide significant perplexity improvements at identical bitrates compared to legacy quantizations.