CloudHardwareProduct Release
NVIDIA Dynamo Snapshot يتيح بدء تشغيل سريع للاستدلال على Kubernetes
قدمت NVIDIA تقنية Dynamo Snapshot لمعالجة تأخير بدء التشغيل البارد في أحمال استدلال GPU على Kubernetes، مما يتيح بدء تشغيل أسرع وتحسين قابلية التوسع أثناء ارتفاع حركة المرور.
في بيئات الإنتاج الخاصة بالاستدلال، يتغير الطلب بمرور الوقت، مما يتطلب توسيع نسخ الاستدلال بشكل مرن. ومع ذلك، فإن بدء تشغيل أحمال الاستدلال على Kubernetes باردًا قد يستغرق عدة دقائق. خلال هذه الفترة، يتم تخصيص وحدات GPU ولكنها تظل خاملة، ولا يتم توليد أي نتائج أو خدمة أي طلبات. هذا التأخير يزيد من خطر انتهاك اتفاقيات مستوى الخدمة (SLA) أثناء فترات ارتفاع حركة المرور. تعالج NVIDIA هذه المشكلة من خلال Dynamo Snapshot الذي يمكّن من بدء تشغيل أسرع لأحمال الاستدلال على Kubernetes، مما يحسن من قابلية التوسع واستخدام وحدات GPU في بيئات إنتاج الذكاء الاصطناعي.