زيادة أداء الاستدلال حتى 15 ضعفًا على NVIDIA Blackwell باستخدام DFlash للتخمين التقريري
تقدم NVIDIA تقنية DFlash للتخمين التقريري لتعزيز أداء الاستدلال حتى 15 ضعفًا على معالجات Blackwell، مما يحسن تدفقات عمل الذكاء الاصطناعي منخفضة الكمون عبر تحسين توليد رموز النماذج اللغوية التوليدية autoregressive.
مع انتقال أنظمة الذكاء الاصطناعي من التفاعلات ذات الجولة الواحدة إلى تدفقات عمل متعددة الوكلاء ومنسقة، يصبح الاستدلال منخفض الكمون أكثر أهمية. تولد النماذج اللغوية الكبيرة autoregressive الرموز بشكل متسلسل، مما قد يحد من استغلال GPU ويقيد معدل الإنتاج في سيناريوهات الخدمة الحساسة للكمون. يساعد التخمين التقريري في تخفيف هذا الاختناق من خلال استخدام نموذج خفيف الوزن لصياغة الرموز المستقبلية، مما يسمح بتحسين كفاءة GPU وتسريع الاستدلال. تقنية DFlash للتخمين التقريري من NVIDIA، المصممة لمعمارية GPU القادمة Blackwell، يمكنها تعزيز أداء الاستدلال حتى 15 ضعفًا. تعالج هذه الابتكارات الحاجة المتزايدة إلى أجهزة ذكاء اصطناعي فعالة تدعم تدفقات العمل المعقدة متعددة الوكلاء مع كمون منخفض.