كيفية تحسين نماذج المحولات للتدريب بدقة منخفضة

تُشكّل بنى المحولات العمود الفقري للعديد من نماذج اللغة الكبيرة والذكاء الاصطناعي التوليدي الحديثة. مع زيادة حجم هذه النماذج، تزداد ساعات تشغيل التدريب على وحدات معالجة الرسومات ووقت التكرار الهندسي. لذلك، فإن تسريع نماذج المحولات لا يعد مجرد تحسين في الأداء، بل يؤثر بشكل مباشر على سرعة تجارب الفرق وحجم النموذج الذي يمكنهم تحمّل تدريبه.