ProgrammingHardware
جعل عمليات بناء محركات NVIDIA TensorRT طويلة الأمد قابلة للمراقبة والإلغاء في Python و C++
تقدم NVIDIA طرقًا لمراقبة وإلغاء عمليات بناء محركات TensorRT طويلة الأمد في Python و C++، لمعالجة المشكلات المتعلقة بالنماذج الكبيرة وبطاقات GPU الجديدة التي تسبب أوقات بناء طويلة.
قد تستغرق عملية بناء محرك TensorRT من ثوانٍ إلى عدة دقائق. النماذج الكبيرة ذات النوعية القوية، والبحث العميق عن التكتيكات، وذاكرة التخزين المؤقت الباردة على بطاقة GPU جديدة تمامًا قد تترك المطورين أو المستخدمين النهائيين أو وكلاء الذكاء الاصطناعي أمام شاشة طرفية مجمدة دون معرفة ما إذا كان يجب الانتظار أو إعادة المحاولة أو إيقاف العملية. معظم تكاملات NVIDIA TensorRT لا تقدم أي تقارير أثناء البناء ولا توفر وسيلة للإلغاء المبكر.