يعد الذكاء الاصطناعي (AI) والتعلم الآلي (ML) بتغيير كبير في الأتمتة الأساسية لتكنولوجيا المعلومات، مع تطبيقات تتراوح من روبوتات الدردشة البسيطة إلى مستويات لا يمكن تصورها تقريبًا من التعقيد وإنشاء المحتوى والتحكم.
يشكل التخزين جزءًا أساسيًا من الذكاء الاصطناعي، لتوفير البيانات للتدريب وتخزين الكميات الضخمة المحتملة من البيانات التي تم إنشاؤها، أو أثناء الاستدلال عند تطبيق نتائج الذكاء الاصطناعي على أعباء العمل في العالم الحقيقي.
في هذه المقالة، سنلقي نظرة على الخصائص الرئيسية لأحمال عمل الذكاء الاصطناعي، وملف تعريف الإدخال/الإخراج (I/O) الخاص بالتخزين، وأنواع تخزين مناسب للذكاء الاصطناعيومدى ملاءمة التخزين السحابي وتخزين الكائنات للذكاء الاصطناعي، واستراتيجية موردي التخزين ومنتجات الذكاء الاصطناعي.
ما هي السمات الرئيسية لأحمال عمل الذكاء الاصطناعي؟
يعتمد الذكاء الاصطناعي والتعلم الآلي على تدريب خوارزمية لاكتشاف الأنماط في البيانات والحصول على نظرة ثاقبة للبيانات وفي كثير من الأحيان تحفيز الاستجابات بناءً على تلك النتائج. يمكن أن تكون هذه توصيات بسيطة جدًا استنادًا إلى بيانات المبيعات، مثل نوع التوصية “الأشخاص الذين اشتروا هذا المنتج اشتروا أيضًا”. أو يمكن أن تكون نوع المحتوى المعقد الذي نراه منه نماذج اللغات الكبيرة (LLMs) في الذكاء الاصطناعي التوليدي (GenAI) تم تدريبه على مجموعات بيانات واسعة ومتعددة للسماح له بإنشاء نصوص وصور ومقاطع فيديو مقنعة.
هناك ثلاث مراحل رئيسية وأنواع نشر لأحمال عمل الذكاء الاصطناعي:
- التدريب، حيث يتم التعرف على الخوارزمية من مجموعة بيانات نموذج الذكاء الاصطناعي، بدرجات متفاوتة من الإشراف البشري؛
- الاستدلال، الذي يتم خلاله تشغيل الأنماط المحددة في مرحلة التدريب، إما في عمليات نشر الذكاء الاصطناعي المستقلة و/أو؛
- نشر الذكاء الاصطناعي في تطبيق أو مجموعة من التطبيقات.
يمكن أن يختلف مكان وكيفية تدريب وتشغيل أحمال عمل الذكاء الاصطناعي والتعلم الآلي بشكل كبير. من ناحية، يمكن أن يشبهوا تدريبًا دفعة واحدة أو تدريبًا لمرة واحدة وعمليات استدلال متشابهة الحوسبة عالية الأداء (HPC) معالجة مجموعات بيانات محددة في بيئات العلوم والبحث. من ناحية أخرى، يمكن تطبيق الذكاء الاصطناعي، بمجرد تدريبه، على أعباء عمل التطبيقات المستمرة، مثل أنواع عمليات المبيعات والتسويق الموضحة أعلاه.
يمكن أن تختلف أنواع البيانات في مجموعات البيانات التدريبية والتشغيلية من عدد كبير جدًا من الملفات الصغيرة، على سبيل المثال، قراءات أجهزة الاستشعار في إنترنت الأشياء (IoT) أعباء العمل، إلى كائنات كبيرة جدًا مثل ملفات الصور والأفلام أو مجموعات منفصلة من البيانات العلمية. يعتمد حجم الملف عند الاستيعاب أيضًا على أطر عمل الذكاء الاصطناعي المستخدمة (انظر أدناه).
يمكن أن تشكل مجموعات البيانات أيضًا جزءًا من تخزين البيانات الأولية أو الثانوية، مثل سجلات المبيعات أو البيانات المحفوظة في النسخ الاحتياطية، والتي يُنظر إليها بشكل متزايد على أنها مصدر قيم لمعلومات الشركة.
ما هي خصائص الإدخال/الإخراج لأحمال عمل الذكاء الاصطناعي؟
عادةً ما يتطلب التدريب والاستدلال في أعباء عمل الذكاء الاصطناعي معالجة متوازية على نطاق واسع، وذلك باستخدام وحدات معالجة الرسومات (GPUs) أو الأجهزة المماثلة التي تقوم بتفريغ المعالجة منها وحدات المعالجة المركزية (CPUs).
يجب أن يكون أداء المعالجة استثنائيًا للتعامل مع تدريب الذكاء الاصطناعي والاستدلال في إطار زمني معقول ومع أكبر عدد ممكن من التكرارات لتحقيق أقصى قدر من الجودة.
من المحتمل أيضًا أن تحتاج البنية التحتية إلى أن تكون قادرة على التوسع على نطاق واسع للتعامل مع مجموعات بيانات التدريب الكبيرة جدًا ومخرجات التدريب والاستدلال. كما يتطلب أيضًا سرعة الإدخال/الإخراج بين التخزين والمعالجة، ومن المحتمل أيضًا أن تكون قادرًا على إدارة إمكانية نقل البيانات بين المواقع لتمكين المعالجة الأكثر كفاءة.
ومن المرجح أن تكون البيانات غير منظمة وبأحجام كبيرة، بدلاً من أن تكون منظمة وموجودة في قواعد البيانات.
ما نوع مساحة التخزين التي تحتاجها أعباء عمل الذكاء الاصطناعي؟
كما رأينا، فإن المعالجة المتوازية الضخمة باستخدام وحدات معالجة الرسومات هي جوهر البنية التحتية للذكاء الاصطناعي. لذا، باختصار، تتمثل مهمة التخزين في توفير وحدات معالجة الرسومات هذه في أسرع وقت ممكن لضمان استخدام عناصر الأجهزة المكلفة للغاية هذه على النحو الأمثل.
في أغلب الأحيان، هذا يعني تخزين فلاش لزمن الوصول المنخفض في الإدخال/الإخراج. ستختلف السعة المطلوبة وفقًا لحجم أعباء العمل والنطاق المحتمل لنتائج معالجة الذكاء الاصطناعي، ولكن من المحتمل أن تصل إلى مئات التيرابايت، وحتى البيتابايت.
الإنتاجية الكافية هي أيضا عامل تقوم أطر الذكاء الاصطناعي المختلفة بتخزين البيانات بشكل مختلف، مثل بين باي تورش (عدد كبير من الملفات الصغيرة) و TensorFlow (العكس). لذلك، لا يتعلق الأمر فقط بنقل البيانات إلى وحدات معالجة الرسومات بسرعة، ولكن أيضًا بالحجم المناسب وبإمكانات الإدخال/الإخراج المناسبة.
في الآونة الأخيرة، قام موردو وحدات التخزين بدفع التخزين المعتمد على الفلاش – غالبًا باستخدام فلاش QLC عالي الكثافة – كتخزين محتمل للأغراض العامة، بما في ذلك مجموعات البيانات التي تعتبر حتى الآن “ثانوية”، مثل البيانات الاحتياطية، لأن العملاء قد يرغبون الآن في الوصول إليها بسرعة أعلى باستخدام الذكاء الاصطناعي.
سيتراوح التخزين لمشاريع الذكاء الاصطناعي من ما يوفر أداءً عاليًا جدًا أثناء التدريب والاستدلال إلى أشكال مختلفة من الاحتفاظ على المدى الطويل لأنه لن يكون من الواضح دائمًا في بداية مشروع الذكاء الاصطناعي ما هي البيانات التي ستكون مفيدة.
هل التخزين السحابي جيد لأحمال عمل الذكاء الاصطناعي؟
سحابة التخزين يمكن أن يكون اعتبارًا قابلاً للتطبيق لبيانات عبء عمل الذكاء الاصطناعي. توفر ميزة الاحتفاظ بالبيانات في السحابة عنصر قابلية النقل، مع إمكانية “نقل” البيانات بالقرب من موقع معالجتها.
تبدأ العديد من مشاريع الذكاء الاصطناعي في السحابة لأنه يمكنك استخدام وحدات معالجة الرسومات في الوقت الذي تحتاجه. السحابة ليست رخيصة، ولكن لنشر الأجهزة داخل الشركة، يجب أن تلتزم بمشروع إنتاج قبل تبريره.
يقدم جميع موفري الخدمات السحابية الرئيسيين خدمات الذكاء الاصطناعي التي تتراوح من النماذج المدربة مسبقًا، وواجهات برمجة التطبيقات (APIs) إلى النماذج، وحوسبة الذكاء الاصطناعي/تعلم الآلة مع نشر GPU القابل للتطوير (Nvidia وNvidia الخاصة بها) والبنية التحتية للتخزين القابلة للتطوير إلى عدة بيتابايت.
هل تخزين الكائنات جيد لأحمال عمل الذكاء الاصطناعي؟
يعد تخزين الكائنات مفيدًا للبيانات غير المنظمة، وهو قادر على التوسع على نطاق واسع، وغالبًا ما يوجد في السحابة، ويمكنه التعامل مع أي نوع بيانات تقريبًا ككائن. وهذا يجعلها مناسبة تمامًا لأحمال عمل البيانات الكبيرة وغير المنظمة المحتملة في تطبيقات الذكاء الاصطناعي والتعلم الآلي.
وجود البيانات الوصفية الغنية إضافة أخرى لتخزين الكائنات. يمكن البحث فيه وقراءته للمساعدة في العثور على البيانات الصحيحة وتنظيمها لنماذج تدريب الذكاء الاصطناعي. يمكن الاحتفاظ بالبيانات في أي مكان تقريبًا، بما في ذلك السحابة من خلال الاتصال عبر بروتوكول S3.
لكن البيانات التعريفية، على الرغم من فوائدها، يمكنها أيضًا أن تطغى على وحدات التحكم في التخزين وتؤثر على الأداء. وإذا كانت السحابة موقعًا للتخزين السحابي، فيجب أخذ تكاليف السحابة في الاعتبار عند الوصول إلى البيانات ونقلها.
ماذا يقدم موردو التخزين للذكاء الاصطناعي؟
توفر Nvidia بنيات مرجعية ومكدسات الأجهزة التي تتضمن الخوادم ووحدات معالجة الرسومات والشبكات. هذه هي البنية المرجعية لـ DGX BasePOD ومكدس البنية التحتية الجاهزة لـ DGX SuperPOD، والتي يمكن تحديدها لقطاعات الصناعة.
ركز موردو وحدات التخزين أيضًا على عنق الزجاجة للإدخال/الإخراج بحيث يمكن تسليم البيانات بكفاءة إلى أعداد كبيرة من وحدات معالجة الرسومات (المكلفة للغاية).
تراوحت هذه الجهود بين التكامل مع البنية التحتية لـ Nvidia – اللاعب الرئيسي في تقنية خادم GPU وAI – عبر الخدمات الصغيرة مثل NeMo للتدريب وNIM للاستدلال على التحقق من صحة منتج التخزين باستخدام البنية التحتية للذكاء الاصطناعي، ومجموعات البنية التحتية للتخزين الكاملة التي تستهدف الذكاء الاصطناعي.
ركزت مبادرات الموردين أيضًا على تطوير الجيل المعزز للاسترجاع (RAG) خطوط الأنابيب وهندسة الأجهزة لدعمها. يتحقق RAG من صحة نتائج التدريب على الذكاء الاصطناعي بالرجوع إلى معلومات خارجية موثوقة، وذلك جزئيًا لمعالجة ما يسمى بالهلوسة.
من هم موردو وحدات التخزين الذين يقدمون منتجات تم التحقق من صحتها لـ Nvidia DGX؟
لدى العديد من موردي وحدات التخزين منتجات تم التحقق من صحتها من خلال عروض DGX، بما في ذلك ما يلي.
توفر DataDirect Networks (DDN) أجهزة تخزين A³I AI400X2 بالكامل من نوع NVMe مع SuperPOD. يوفر كل جهاز ما يصل إلى 90 جيجا بايت في الثانية من الإنتاجية وثلاثة ملايين IOPS.
إن مصنع الذكاء الاصطناعي من Dell عبارة عن مجموعة أجهزة متكاملة تشمل أجهزة الكمبيوتر المكتبية والكمبيوتر المحمول والخادم PowerEdge XE9680 ووحدة تخزين PowerScale F710 والبرامج والخدمات، ويتم التحقق من صحتها من خلال البنية التحتية للذكاء الاصطناعي من Nvidia. وهي متاحة عبر نظام Apex كخدمة من Dell.
تمتلك شركة IBM خدمة Spectrum Storage للذكاء الاصطناعي مع Nvidia DGX. إنه حل متقارب ولكن قابل للتطوير بشكل منفصل للحوسبة والتخزين والشبكات وتم التحقق من صحته لـ Nvidia BasePOD وSuperPod.
أعلن موفر النسخ الاحتياطي Cohesity في حدث Nvidia’s GTC 2024 أنه سيدمج خدمات Nvidia NIM الصغيرة وNvidia AI Enterprise في منصة بيانات Gaia multicloud الخاصة بها، والتي تسمح باستخدام بيانات النسخ الاحتياطي والأرشيف لتشكيل مصدر لبيانات التدريب.
Hammerspace حاصل على شهادة GPUDirect من Nvidia. تقوم شركة Hammerspace بتسويق نظام Hyperscale NAS الخاص بها كنظام ملفات عالمي مصمم لأحمال عمل AI/ML والمعالجة المعتمدة على وحدة معالجة الرسومات.
تمتلك شركة Hitachi Vantara جهاز Hitachi iQ، الذي يوفر أنظمة ذكاء اصطناعي خاصة بالصناعة تستخدم وحدات معالجة الرسوميات Nvidia DGX وHGX مع مساحة تخزين الشركة.
تمتلك HPE أنظمة حوسبة فائقة GenAI وأنظمة مؤسسية مع مكونات Nvidia، وبنية مرجعية RAG، وتخطط لبناء خدمات NIM الصغيرة. في مارس 2024، قامت HPE بترقية صفيفات تخزين Alletra MP الخاصة بها لتوصيل ضعف عدد الخوادم وأربعة أضعاف السعة في نفس مساحة الرفوف مع اتصال بسرعة 100 جيجابت في الثانية بين العقد في المجموعة.
لدى NetApp عمليات تكامل للمنتج مع BasePOD وSuperPOD. في GTC 2024، أعلنت NetApp عن تكامل خدمة NeMo Retriever الصغيرة من Nvidia، وهي عبارة عن برنامج RAG، مع التخزين السحابي المختلط لعملاء OnTap.
يحتوي Pure Storage على AIRI، وهي بنية تحتية للذكاء الاصطناعي تعتمد على الفلاش ومعتمدة مع خوادم DGX وNvidia OVX وتستخدم تخزين Pure’s FlashBlade//S. في GTC 2024، أعلنت Pure أنها أنشأت خط أنابيب RAG يستخدم الخدمات الدقيقة المستندة إلى Nvidia NeMo مع وحدات معالجة الرسومات Nvidia وتخزينها، بالإضافة إلى RAGs لقطاعات صناعية محددة.
أطلقت شركة Vast Data منصة Vast Data الخاصة بها في عام 2023، والتي تجمع بين الأنظمة الفرعية للتخزين السريع وذاكرة التخزين المؤقت QLC مع إمكانات تشبه قاعدة البيانات على مستوى الإدخال / الإخراج للتخزين الأصلي، وشهادة DGX.
في مارس 2024، أعلنت شركة Weka، صانع NAS السحابي الهجين، عن جهاز معتمد للعمل مع البنية التحتية لمركز بيانات DGX SuperPod AI من Nvidia.
