المهندسون المعماريون المكلفين بتصميم أنظمة التخزين للذكاء الاصطناعي (AI) تحتاج إلى موازنة السعة والأداء والتكلفة.
تستهلك أنظمة الذكاء الاصطناعى ، وخاصة تلك التي تعتمد على نماذج اللغة الكبيرة (LLMS) ، كميات هائلة من البيانات. في الواقع ، غالبًا ما تعمل نماذج LLMs أو نماذج الذكاء الاصطناعي (GENAI) بشكل أفضل ، كلما زاد عدد البيانات التي لديهم. مرحلة التدريب من الذكاء الاصطناعى على وجه الخصوص هي بيانات جائعة للغاية.
ومع ذلك ، تحتاج مرحلة الاستدلال من الذكاء الاصطناعي ، إلى أداء عالي لتجنب أنظمة الذكاء الاصطناعى التي تشعر بأنها غير مستجيبة أو تفشل في العمل على الإطلاق. انهم بحاجة إلى الإنتاجية والكمون المنخفض.
لذا ، فإن السؤال الرئيسي هو ، إلى أي مدى يمكننا استخدامه مزيج من التخزين المحلي والسحابة؟ يؤدي التخزين المحلي إلى زيادة الأداء وأمن أكبر. يوفر التخزين السحابي القدرة على توسيع نطاق التكاليف ، وربما ، وربما تكامل أفضل مع نماذج الذكاء الاصطناعي المستندة إلى مجموعة النظراء ومصادر البيانات السحابية.
في هذه المقالة ، ننظر إلى إيجابيات وسلبيات كل منها قم بتحسينها للتخزين من أجل الذكاء الاصطناعي.
تخزين الذكاء الاصطناعي: على السحابة؟
تتطلع المؤسسات عادةً إلى التخزين المحلي للحصول على أفضل سرعة وأداء وأمان-وأعباء العمل منظمة العفو الدولية ليست استثناء. يمكن أن يكون التخزين المحلي أسهل أيضًا في ضبط احتياجات نماذج الذكاء الاصطناعي ، ومن المحتمل أن يعاني من اختناقات الشبكة.
ثم هناك مزايا الحفاظ على نماذج الذكاء الاصطناعي بالقرب من بيانات المصدر. بالنسبة لتطبيقات المؤسسات ، غالبًا ما تكون هذه قاعدة بيانات علائقية تعمل على تخزين الكتلة.
نتيجة لذلك ، يحتاج مصممو الأنظمة إلى النظر في تأثير الذكاء الاصطناعي على أداء نظام السجل. لن ترغب الشركة في إبطاء الحزم الرئيسية مثل ERP أو CRM لأنها أيضًا تغذي البيانات في نظام الذكاء الاصطناعي. هناك أيضًا أسباب قوية للأمن والخصوصية والامتثال للحفاظ على سجلات البيانات الأساسية في الموقع بدلاً من نقلها إلى السحابة.
ومع ذلك ، فإن التخزين السحابي يوفر أيضًا مزايا لمشاريع الذكاء الاصطناعي. من السهل توسيع نطاق التخزين السحابي ، والعملاء يدفعون فقط مقابل ما يستخدمونه. بالنسبة لبعض حالات استخدام الذكاء الاصطناعي ، ستكون بيانات المصدر موجودة بالفعل في السحابة ، في بحيرة بيانات أو تطبيق SaaS المستند إلى مجموعة النظراء ، على سبيل المثال.
يعتمد التخزين السحابي إلى حد كبير حول تخزين الكائنات ، وهو مناسب تمامًا للبيانات غير المهيكلة التي تشكل الجزء الأكبر من المعلومات التي تستهلكها نماذج لغة كبيرة.
في الوقت نفسه ، فإن نمو أنظمة التخزين التي يمكنها تشغيل تخزين الكائنات المحلية يسهل على المؤسسات أن يكون لها طبقة تخزين واحدة-حتى مساحة اسم عالمية واحدة-لتقديم البنية التحتية السحابية والأساسية ، بما في ذلك الذكاء الاصطناعي. هذا مهم بشكل خاص للشركات التي تتوقع نقل أعباء العمل بين البنية التحتية المحلية والمناسبة ، أو تشغيل أنظمة “هجينة”.
تخزين الذكاء الاصطناعي ، وخيارات السحابة
غالبًا ما يكون التخزين السحابي هو الخيار الأول للمؤسسات التي ترغب في تشغيل أدلة AI للمفهمين (POCS). إنه يزيل الحاجة إلى استثمار رأس المال مقدمًا ويمكن نسخه في نهاية المشروع.
في حالات أخرى ، صممت الشركات أنظمة الذكاء الاصطناعى “انفجار” من مركز البيانات إلى السحابة. هذا يستخدم الموارد السحابية العامة للحساب والتخزين لتغطية القمم في الطلب. يعد الانفجار أكثر فعالية بالنسبة لمشاريع الذكاء الاصطناعى مع أعباء عمل قصيرة نسبيًا ، مثل تلك التي تعمل في دورة أعمال موسمية.
لكن وصول الذكاء الاصطناعي التوليدي القائم على نماذج اللغة الكبيرة قد أدى إلى توازن أكثر نحو تخزين السحابة ببساطة بسبب أحجام البيانات المعنية.
في الوقت نفسه ، يقدم مقدمو الخدمات السحابية الآن خيارات تخزين بيانات مخصصة على نطاق أوسع تركز على أعباء عمل الذكاء الاصطناعي. ويشمل ذلك توفير تخزين مصمم خصيصًا لمراحل مختلفة من عبء عمل الذكاء الاصطناعى ، وهي: إعداد ، تدريب ، خدمة وأرشيف.
كما قال مهندسو Google: “كل مرحلة في ML [machine learning] دورة الحياة لها متطلبات تخزين مختلفة. على سبيل المثال ، عند تحميل مجموعة بيانات التدريب ، قد تعطي الأولوية لسعة التخزين للتدريب والإنتاجية العالية لمجموعات البيانات الكبيرة. وبالمثل ، فإن مراحل التدريب والضبط والخدمة والأرشفة لها متطلبات مختلفة “
على الرغم من أن هذا مكتوب لمنصة Google Cloud ، إلا أن نفس المبادئ تنطبق على Microsoft Azure و Amazon Web Services. يوفر كل من فرط الأرقام الثلاثة ، بالإضافة إلى البائعين مثل IBM و Oracle ، التخزين المستند إلى مجموعة النظراء مناسبة لمتطلبات التخزين بالجملة من الذكاء الاصطناعى. بالنسبة للجزء الأكبر ، من المحتمل أن يتم الاحتفاظ بالبيانات غير المهيكلة التي يستخدمها الذكاء الاصطناعي ، بما في ذلك مواد المصدر وبيانات التدريب ، في تخزين الكائنات.
هذا يمكن أن يكون AWS S3 أو Azure Blob Storage أو Google Cloud Storage. بالإضافة إلى ذلك ، تتوفر أيضًا منصات برامج الطرف الثالث ، مثل NetApp’s ONTAP من فرطات الفصح ، ويمكنها تحسين قابلية نقل البيانات بين العمليات السحابية والعمليات المحلية.
بالنسبة لعمليات الإنتاج ، أو مرحلة الاستدلال ، لعمليات الذكاء الاصطناعي ، غالبًا ما تكون الخيارات أكثر تعقيدًا. يمكن للمهندسين المعماريين تحديد تخزين NVME و SSD مع مستويات أداء مختلفة للأجزاء الحرجة من سير عمل الذكاء الاصطناعى. يبقى تخزين “قرص الغزل” الأقدم معروضًا للمهام مثل استيعاب البيانات الأولية والإعداد ، أو لأرشفة مخرجات نظام الذكاء الاصطناعي.
هذا النوع من التخزين هو أيضًا محايد للتطبيق: يمكن لمهندسي تكنولوجيا المعلومات تحديد معلمات الأداء الخاصة بهم وميزانية الذكاء الاصطناعى قدر الإمكان لأي عبء عمل آخر. ولكن تم تصميم جيل جديد من التخزين السحابي من الألف إلى الياء لمنظمة العفو الدولية.
التخزين السحابي المتقدم لمنظمة العفو الدولية
دفعت المتطلبات المحددة لوكالة الذكاء الاصطناعى بائعي التخزين إلى تصميم بنية تحتية مخصصة لتجنب الاختناقات في سير عمل الذكاء الاصطناعى ، والتي يوجد بعضها في الأنظمة الداخلية ولكن أيضًا في السحابة. المفتاح بينهما هما النهجان: التوازي والوصول المباشر من ذاكرة GPU.
التوازي يسمح أنظمة التخزين بالتعامل معها ما يصفه مورد التخزين Cloudian كـ “تطلب البيانات المتزامنة مميزة لأعباء العمل من الذكاء الاصطناعي و ML”. وهذا يجعل التدريب النموذجي والاستدلال أسرع. وبهذه الطريقة ، يتم تمكين أنظمة تخزين الذكاء الاصطناعى لمعالجة تدفقات البيانات المتعددة بالتوازي.
مثال هنا هو Google’s Parallelstore ، الذي أطلقت العام الماضي لتوفير خدمة تخزين الملفات المتوازية المدارة تهدف إلى الإدخال/الإخراج المكثف لتطبيقات الذكاء الاصطناعي.
وفي الوقت نفسه ، فإن وصول GPU إلى الذاكرة ، يشرع في إزالة الاختناقات بين ذاكرة التخزين المؤقت و GPU – وحدات معالجة الرسومات باهظة الثمن ويمكن أن تكون نادرة. وفقًا لجون وولي ، كبير المسؤولين التجاريين في Pendor Insurgo Media ، يجب على التخزين تقديم ما لا يقل عن 10 جيجابت في الثانية من الإنتاجية المستدامة لمنع “جوع GPU”.
تسمح البروتوكولات مثل GPUDIRECT – التي طورتها NVIDIA – وحدات معالجة الرسومات بالوصول إلى ذاكرة محرك NVME مباشرة ، على غرار الطريقة التي يسمح بها RDMA للوصول المباشر بين الأنظمة دون إشراك وحدة المعالجة المركزية أو نظام التشغيل. كما أنه يحمل اسم DGS أو دعم GPU المباشر (DGS).
يمكن أن تستخدم طبقات ذاكرة التخزين المؤقت المحلية بين GPU والتخزين المشترك تخزين الكتلة على NVME SSDs لتوفير “تشبع النطاق الترددي” لكل وحدة معالجة الرسومات ، عند 60 جيجابت في الثانية أو أكثر. ونتيجة لذلك ، يخطط الموردون السحابيون لجيل جديد من SSD ، تم تحسينه لـ DGS ومن المحتمل أن يعتمدوا على SLC NAND.
يقول Sebastien Jean ، CTO في Phison US ، وهي شركة تصنيع NAND: “تتطلب أعباء عمل الاستدلال مزيجًا من التخزين بالجملة للمؤسسات التقليدية وتخزين DGS المحسّن”. “يتطلب عبء العمل الجديد المتمحور حول GPU وصول I/O صغير ومواصفات منخفضة للغاية.”
ونتيجة لذلك ، من المحتمل أن يشهد السوق أنظمة تخزين محسّنة من AI ، بما في ذلك تلك التي تحتوي على شهادة NVIDIA DGX Basepod و SuperPod ، وتكامل الذكاء الاصطناعي.
تشمل الخيارات Nutanix Enterprise AI ، و Pure’s Evergreen One for AI ، و Dell Powerscale ، ومنصة VAST’s VASE DATA ، و WEKA ، ومزود NAS HYBRID Cloud ، وعروض من HPE و Hitachi Vantara و IBM و NetApp.
