أداء كتابة نقاط تفتيش الذكاء الاصطناعي للأهداف الكبيرة باستخدام RAID الموزع
ستعمل شركة Vast Data على تعزيز أداء الكتابة في وحدات التخزين الخاصة بها بنسبة 50% في ترقية نظام التشغيل في أبريل، تليها زيادة بنسبة 100% متوقعة في وقت لاحق من عام 2024 في ترقية أخرى لنظام التشغيل. وتهدف كلتا التحركتين إلى إقامة عمليات التفتيش في المنطقة أعباء عمل الذكاء الاصطناعي (AI)..
يأتي مؤشر خريطة الطريق هذا بعد أن أعلنت شركة Vast مؤخرًا أنها ستدعم Nvidia Bluefield-3 وحدات معالجة البيانات (وحدات DPU) لإنشاء بنية الذكاء الاصطناعي. ومن السهل أيضًا أن تبرم صفقة مع شركة Super Micro، التي غالبًا ما تُستخدم خوادمها لبناء مجموعات حوسبة تعمل بالذكاء الاصطناعي (GPU) مزودة بوحدة معالجة الرسومات.
يعتمد عرض Vast الأساسي على فلاش QLC ضخم ورخيص نسبيًا ويمكن الوصول إليه بسرعة مع ذاكرة تخزين مؤقت سريعة لتسهيل القراءة والكتابة. إنه عبارة عن تخزين ملفات، وهو مناسب في الغالب للبيانات غير المنظمة أو شبه المنظمة، ويتصوره Vast على أنه مجموعات كبيرة من وحدات تخزين مراكز البيانات، وهو بديل للسحابة.
في العام الماضي، قامت شركة Vast – وهي شريك HPE لتخزين الملفات – أعلنت منصة البيانات الضخمة يهدف إلى تزويد العملاء بشبكة موزعة من الذكاء الاصطناعي والتخزين الذي يركز على التعلم الآلي.
حتى الآن، كان نظام تشغيل التخزين Vast متحيزًا بشكل كبير نحو أداء القراءة. ومع ذلك، فإن هذا ليس بالأمر غير المعتاد، حيث أن معظم أعباء العمل تستهدف عمليات القراءة الرئيسية بدلاً من الكتابة.
وقال جون ماو، الرئيس العالمي لتطوير الأعمال، إن شركة Vast ركزت بالتالي على هذا الجانب من معادلة المدخلات والمخرجات في مجال البحث والتطوير. وقال: “بالنسبة لجميع عملائنا تقريبًا، كل ما يحتاجون إليه هو القراءة وليس الكتابة”. “لذا، قمنا بدفع المظروف للقراءة.”
حتى الآن، تم التعامل مع عمليات الكتابة بطريقة بسيطة غارة 1 النسخ المتطابق. بمجرد وصول البيانات إلى وحدة التخزين، يتم عكسها على الوسائط المكررة. قال ماو: “لقد كان فوزًا سهلاً لشيء لا يحتاجه الكثير من الناس”.
سيشهد إصدار الإصدار 5.1 من نظام التشغيل Vast OS في أبريل تحسنًا بنسبة 50% في أداء الكتابة، مع 100% في وقت لاحق من العام مع إصدار الإصدار 5.2.
أول هذه – يطلق عليها اسم المجلس الاعلى للقضاة قال ماو إن RAID – يأتي من التغيير الذي يجعل عمليات الكتابة موزعة عبر وسائط متعددة، مع بيانات RAIDed (في تكوين 6 + 2) بمجرد وصولها إلى المخزن المؤقت للكتابة. وقال ماو: “لتعزيز الأداء هنا، قمنا بالترقية إلى RAID الموزع”. “لذا، بدلاً من أن تنتقل الكتابة بأكملها إلى هدف تخزين واحد، يتم الآن تقسيمها بينهما محركات QLC متعددة بالتوازي، مما يؤدي إلى تقليل الوقت المستغرق في الكتابة.
في وقت لاحق من العام، سيكتشف الإصدار 5.2 مزيدًا من التدفقات المستدامة لنشاط الكتابة – مثل عمليات الكتابة في نقاط التفتيش – وسيقوم تلقائيًا بإلغاء تحميل تلك الكتابات إلى فلاش QLC، في مجموعة من الوظائف المعروفة باسم Spillover. “الحالة الوحيدة التي سيكون فيها ذلك مفيدًا جدًا هي [write operations in] قال: “نقاط التفتيش في أعباء عمل الذكاء الاصطناعي”. “يمكن أن يكون لديك، على سبيل المثال، مجموعات من عشرات الآلاف من وحدات معالجة الرسومات. يمكن أن تصبح معقدة للغاية. أنت لا تريد تشغيل العديد من وحدات معالجة الرسومات وحدث خطأ ما.
تعمل نقاط التفتيش في الذكاء الاصطناعي على حفظ حالات النموذج بشكل دوري أثناء تدريب الذكاء الاصطناعي. فهو يسمح بإرجاع النموذج إلى الحالة السابقة في حالة حدوث انقطاع أثناء المعالجة.
أعلنت شركة Vast مؤخرًا أنها ستدعم وحدات DPU Nvidia Bluefield-3 في خطوة ستضع نفسها كمخزن لأحمال عمل الذكاء الاصطناعي واسعة النطاق.
Bluefield-3 عبارة عن بطاقة واجهة شبكة ذكية مزودة بمعالجات ARM ذات 16 نواة تتيح للعملاء تفريغ خدمات الأمان والشبكات والبيانات. عادة على الخوادم المجهزة بوحدة معالجة الرسومات.
أعلنت شركة Vast أيضًا عن شراكة مع Super Micro حيث يتم نقل برنامج Vast Data إلى خوادم السلع. قال ماو: “إننا نتحدث عن أنظمة x86 التي تعمل على بناء مساحة تخزينية للبيتزا بايت.” “بقراءة ما بين السطور، تبيع Super Micro الكثير من الخوادم المجهزة بوحدة معالجة الرسومات Nvidia والتي ستضم Bloomfield، لذا فهي مناسبة تمامًا لـ Vast.”