vLLM — خادم الاستدلال عالي الإنتاجية
vLLM High-Throughput Serving Engine
محرك استدلال للمؤسسات يعتمد على خوارزمية PagedAttention لإدارة ذاكرة الـ KV Cache بكفاءة تقارب 100% بدون هدر.
High-throughput LLM serving system utilizing PagedAttention virtual memory paging to maximize GPU utilization.
المواصفات المسجّلة
| الفئة | Production Model Serving |
|---|---|
| اللغة الأساسية | Python / CUDA |
| الترخيص | Apache-2.0 |
| نجوم المستودع | 38,000 |
| أحدث إصدار | v0.7.2 — 2025-02-10 |
High-throughput LLM serving system utilizing PagedAttention virtual memory paging to maximize GPU utilization.
الأدلة والمصادر
مدعوم بأدلةكل ادعاء أدناه مرفق بمصدر عام ومقتطف دليل محفوظ في السجل. المقتطف نص أصلي من المصدر ولا يُعدّ ادعاءً مستقلاً.
- تحقّق محرِّرحُرِّر 1 أكتوبر 2026
يرفع vLLM سعة معالجة الطلبات المتزامنة بما يصل إلى 24 ضعفاً مقارنة بنظم الاستدلال التقليدية.
PagedAttention achieves near-zero waste in KV cache memory and serves multiple concurrent requests with continuous batching.