تعزيز معدل تدريب نماذج Mixture-of-experts باستخدام نوى الدمج المتقدمة
تمكّن نماذج Mixture-of-experts (MoE) من زيادة سعة نماذج الذكاء الاصطناعي عبر تفعيل مجموعة فرعية فقط من المعاملات لكل رمز. تستكشف NVIDIA نوى دمج متقدمة لتحسين معدل تدريب MoE في أنظمة الذكاء الاصطناعي واسعة النطاق.