تكميم مخزن KV-Cache بنظام FP8 لمضاعفة سعة السياق المتزامن
FP8 KV-Cache Quantization Guidelines in vLLM
كيف ترفع عدد المستخدمين المتزامنين على نفس بطاقة GPU دون الإضرار بجودة إجابات النموذج.
الأدلة والمصادر
مدخل فهرسي موجزمدخل فهرسي موجز للملاحة بين المواضيع. لا يحمل ادعاءً ولا دليلاً — لا تُنسب إليه حصيلة أدلة، ولا يُقتبَس منه كمرجع. يحفل السجل العام بـ4 ادعاء لم تُنشر نصوصها بعد.