في هذا البودكاست، نلقي نظرة على التخزين والذكاء الاصطناعي (AI) مع جيسون هاردي، الرئيس التنفيذي لتكنولوجيا الذكاء الاصطناعي في شركة Hitachi Vantara.
ويتحدث عن متطلبات الأداء على التخزين التي توفرها معالجة الذكاء الاصطناعي، ولكنه يسلط الضوء أيضًا على التحويل الشديد للسياق الذي يمكن أن يؤدي إليه حيث تضطر المؤسسات إلى التركيز بين التدريب واستنتاج أعباء العمل في الذكاء الاصطناعي.
يتحدث هاردي أيضًا عن المستقبل الذي من المحتمل أن يشتمل على الذكاء الاصطناعي الوكيل – الذكاء الاصطناعي الذي يصمم سير العمل الخاص به ويتخذ القرارات بنفسه – والذي من المحتمل أن يؤدي إلى زيادة أكبر في تبديل سياق عبء العمل.
أنتوني أدشيد: ما هي المتطلبات التي تفرضها أعباء عمل الذكاء الاصطناعي على تخزين البيانات؟
جيسون هاردي: إنها مشكلة ثنائية الأبعاد. من الواضح أن الذكاء الاصطناعي يحتاج إلى السرعة والسرعة والسرعة والسرعة والمزيد من السرعة. إن الحصول على هذا المستوى من المعالجة، خاصة عند الحديث عن بناء ماجستير إدارة الأعمال والقيام بالتدريب على النماذج التأسيسية، أمر ضروري [AI] يحتاج إلى قدرات أداء عالية للغاية.
لا يزال هذا هو الحال وسيظل هو الحال دائمًا، خاصة عندما نبدأ في القيام بالكثير من هذه الأشياء من حيث الحجم، حيث نبدأ في التوجه نحو الاستدلال، وRAG، وكل هذه النماذج الأخرى التي بدأ تقديمها لها . لكن المطلب الآخر الذي أعتقد أنه – لا أريد أن أقول أنه تم التغاضي عنه، ولكن لم يتم التركيز عليه – هو الجانب المتعلق بإدارة البيانات.
على سبيل المثال، كيف أعرف ما هي البيانات التي أحتاج إلى إحضارها وإدخالها في نتائج الذكاء الاصطناعي الخاصة بي دون فهم البيانات التي أملكها بالفعل؟ ويمكن للمرء أن يقول، هذا هو الغرض من بحيرة البيانات، وفي الواقع، تعد بحيرة البيانات مجرد مكان كبير للنفايات في كثير من الحالات.
لذا، نعم، نحن بحاجة إلى أداء عالٍ للغاية، ولكننا بحاجة أيضًا إلى معرفة البيانات المتوفرة لدينا. أحتاج إلى معرفة البيانات القابلة للتطبيق على حالة الاستخدام التي بدأت في استهدافها، ثم كيف يمكنني استخدامها بشكل مناسب، حتى من متطلبات الامتثال، أو المتطلبات التنظيمية، أو أي شيء من هذا القبيل من تلك المواضيع.
إنه حقًا هذا التنين ذو الرأسين، تقريبًا، يحتاج إلى أن يكون عالي الأداء، ولكن أيضًا أن يعرف بالضبط ما هي البيانات المتوفرة لدي، ومن ثم الحصول على ممارسات وأدوات إدارة البيانات المناسبة وما شابه ذلك.
والكثير من هذا العبء، خاصة عندما ننظر إلى جانب البيانات غير المنظمة، يعد أمرًا بالغ الأهمية ومضمنًا في بعض هذه التقنيات مثل تخزين الكائنات، حيث لديك وظائف البيانات الوصفية وأشياء من هذا القبيل، حيث تمنحك المزيد قليلاً من تلك الطبقة الوصفية.
ولكن عندما يتعلق الأمر بـ NAS التقليدي، فإن هذا يمثل تحديًا كبيرًا، ولكنه يمثل أيضًا تحديًا أكبر بكثير فيما يتعلق بمصدر البيانات. لذلك، مرة أخرى، هذا شيء ذو وجهين، “أحتاج إلى أن أكون سريعًا للغاية، ولكني بحاجة أيضًا إلى أدوات إدارة البيانات المناسبة التي تحيط به.”
ميزات حالات استخدام الذكاء الاصطناعي
وهذا يقودني جيدًا إلى سؤالي التالي، وهو ما هي الميزات التي تحتاجها مصفوفات تخزين بيانات المؤسسة لحالات استخدام الذكاء الاصطناعي؟
هاردي: أنت على حق تماما. أحدهما يؤدي إلى الآخر، حيث، كما قلنا، نحتاج إلى أن نكون شديدي الأداء، ولكن ما نحتاج إليه أيضًا هو الأداء على نطاق واسع.
إذا نظرت إلى الأمر من، على سبيل المثال… إذا تحدثنا عن التدريب النموذجي، فإن التدريب النموذجي كان يدور دائمًا حول “أحتاج إلى قدر هائل من الحجم وكمية هائلة من الإنتاجية حتى أتمكن من معالجة هذه البيانات والتعلم منها والانتقال منها” هناك.”
الآن ما نراه هو [that] لقد بدأنا في التشغيل وتحقيق مستوى من المؤسساتية في نتائج الذكاء الاصطناعي هذه والتي تتطلب الكثير من جانب الامتثال وجانب رؤية البيانات، مع كونها عالية الأداء أيضًا.
لكن جانب الأداء يتغير أيضًا قليلاً. إنها تقول، نعم، أحتاج إلى إنتاجية عالية وأحتاج إلى أن أكون قادرًا على تحسين هذه النماذج أو ضبطها بشكل مستمر… ولكن الأمر أيضًا كذلك [that] لدي الآن عبء عمل لا يوصف بدأ المستخدمون النهائيون أو تطبيقاتي أو عملياتي التجارية في دمجه وإنشاء عبء العمل على مستوى الاستدلال.
كما أن عبء العمل على مستوى الاستدلال لا يمكن التنبؤ به إلى حد ما، خاصة عندما نبدأ في التحول إلى السياق. مثل، “مرحبًا، أحتاج دائمًا إلى تحسين النماذج الخاصة بي عن طريق إدخال أحدث البيانات، ولكنني أحتاج أيضًا إلى تقديم تعزيز الاسترجاع في هذا، ولذا فإن لدي الآن عبء عمل RAG المرتبط به.”
لذا، أحتاج إلى أن أكون قادرًا على القيام بهذا التحويل عالي الإنتاجية وعالي IOPS للسياق ذهابًا وإيابًا، وأن أكون قادرًا على دعم ذلك على نطاق المؤسسة.
ولكن أيضًا، مع إدخال بيانات جديدة في النظام البيئي – والتي يتم إنشاؤها من خلال التطبيقات والعمليات التجارية العادية – أحتاج إلى أن أفهم، ليس بالضرورة في الوقت الفعلي، ولكن في الوقت الفعلي تقريبًا، ما هي البيانات الجديدة التي يتم توفيرها حتى أتمكن من دمجها.
[That’s] طالما أنها البيانات الصحيحة ولديها الغلاف الصحيح وعناصر التحكم وكل شيء حولها. اعتمادًا مرة أخرى على نوع البيانات، للسماح لي بتضمين أو تحسين عمليات RAG الخاصة بي أو أي شيء آخر، ولكن [also] كيف يمكنني دمج الكثير من تلك البيانات فيه.
وفي نفس الوقت أيضًا، الأنظمة المصدرية التي نسحب منها هذه المعلومات. سواء كانت بيئة OLTP مثل SQL أو أي نوع من البيئة المنظمة، أو إذا كانت بيئة غير منظمة، فإن أنظمة المصدر هذه تحتاج أيضًا إلى أن تكون مجهزة لتكون قادرة على دعم عبء العمل الإضافي هذا أيضًا.
أحتاج إلى هذا الوعي بالبيانات، ولكني بحاجة إلى أداء حتى خارج نطاق ما يتم توفيره بشكل عام لوحدة معالجة الرسومات مباشرةً من نظام الملفات عالي الأداء الذي يدعم بشكل مباشر عبء عمل وحدة معالجة الرسومات. لذا، أحدهما هو الآخر حقًا، وهو ليس لغزًا، هذا الظهور الكبير أو أي شيء من هذا القبيل. هذه هي ممارسات البيانات الشائعة التي كنا نمارسها وننصح بها دائمًا في Vantara لفترة طويلة، [that] البيانات لها قيمة.
عليك أن تفهم أن البيانات [using] الفهرسة المناسبة، ووضع العلامات المناسبة – مرة أخرى، كل عمليات البيانات هذه – والنظافة المناسبة للبيانات. ولكن الآن أيضًا، كيف يمكنك القيام بذلك على نطاق واسع والقيام بذلك بكفاءة عالية؟
الاحتياجات التدريبية والاستدلالية
كيف تختلف احتياجات التدريب والاستدلال في الذكاء الاصطناعي عندما يتعلق الأمر بالتخزين؟
هاردي: هذا سؤال عظيم. وكما قلت، لقد ركزنا بشدة على – “نحن” كوننا السوق – لقد ركزت بشدة على كيفية بناء النماذج وكيفية الاندماج وإنشاء هذه النماذج الأساسية التي يمكن أن تبدأ في إحداث ثورة حقيقية في كيفية قيامنا بذلك. القيام بأعمال تجارية. كان كل ذلك جيدًا وجيدًا؛ كميات هائلة من الحجم. تقوم هيتاشي بأنفسنا بإنشاء هذه المنتجات للعديد من الأسواق التي نعمل فيها من منظور هيتاشي الكبير.
لكن ما يحدث الآن هو أننا نتحول من – وسنبدأ في رؤية هذا الاتجاه في عامي 2025 و2026… فقط [being] حصريًا حول بناء النماذج حول كيفية اندماجنا واستدلالنا على نطاق واسع.
إن الاستدلال على نطاق واسع، كما قلت، هو أمر عشوائي جدًا لأنه مدفوع بواسطة المستخدمين النهائيين أو التطبيقات أو العمليات، وليس بطريقة يمكن التنبؤ بها مثل، “مرحبًا، سأبدأ عملية تدريب، وسأقوم بتقييمها”. وقم بإجراء عملية تدريب أخرى حيث تكون منظمة للغاية ومجدولة بطريقة ما.
يحدث هذا نوعًا ما بناءً على نزوة كيفية عمل الشركة وتقريبًا على أساس نزوة، “لدي سؤال أريد طرحه على النظام”… ثم يقوم الآن بتدوير كل هذه الموارد والعمليات ليكون قادرًا على دعم ذلك عبء العمل.
لذلك، يصبح هذا أكثر عشوائية. بالإضافة إلى ذلك، فهي ليست مجرد حالة استخدام واحدة. سنرى العديد من حالات الاستخدام حيث تحتاج البنية التحتية إلى دعم هذا كله في وقت واحد.
إنه تحميل النموذج المناسب، وهو رمز مميز، ثم يكون قادرًا على الحصول على المخرجات مما يتم التفاعل معه، ومن ثم القدرة على تصوير ذلك مرة أخرى للعميل أو المستهلك، ثم طبيعة ذلك ذهابًا وإيابًا. لذا، من وجهة نظرنا، ما ستراه هنا هو أن الاستدلال سيقود مستوى ضخمًا من عبء العمل العشوائي الذي سيكون أيضًا أكثر تأثيرًا على جوانب البيانات المصدر أيضًا، وليس فقط النموذج.
لذا، مرة أخرى، كما ذكرت سابقًا، زيادة الاسترجاع، الذكاء الاصطناعي الوكيل، وأشياء من هذا القبيل.
تعمل هذه على تدوير جميع أنواع مستويات الاستهلاك المختلفة مقابل منصة التخزين التي يتم تحديدها بواسطة الاستدلال.
الذكاء الاصطناعي الوكيل، هذا الاتجاه الجديد الذي بدأ في الظهور، سوف يجعل هذه المشكلة أكثر تعقيدًا أيضًا، لأنه الآن، بدلاً من الطريقة التقليدية، إذا كنت سأتعامل مع نظام ما، فإنني أطرح عليه سؤالاً، نموذجًا يتم تحميله، ويقوم بعمل الترميز، وأحصل على النتيجة مرة أخرى، وما إلى ذلك، وهذه العملية برمتها.
حسنًا، ما يحدث الآن هو أن نفس المستوى من التواصل في العمل مع النظام لا يتحول إلى نموذج واحد فقط، بل إلى العديد من النماذج المختلفة، والعديد من الاستعلامات المختلفة أو نفس الاستعلامات التي يتم إجراؤها مقابل العديد من النماذج المختلفة لمحاولة الوصول إلى أفضل النتائج أو أفضل إجابة لهذا السؤال المحدد.
ما يحدث الآن هو أن هذا يؤدي إلى زيادة هذا المستوى الأسي لمزيد من عبء العمل. وبعد ذلك، بمجرد الانتهاء من ذلك، تحتاج إلى تقليل ذلك والعودة مرة أخرى إلى إجراء الضبط الدقيق أو التدريب الخاص بك أو أي عبء عمل آخر، لأنه ليس لديك مجرد مجموعة خاملة من الموارد التي ستنتظر فقط . سيتم استخدامه باستمرار لكلا الجانبين الآن، في الاستدلال وأعباء العمل التدريبية.
سيضع تبديل السياق هذا عبئًا كبيرًا على منصة التخزين حتى أتمكن من دعم نقاط التفتيش عالية السرعة حقًا حتى أتمكن من إيقاف ضبطي أو إيقاف تدريب النموذج الخاص بي ثم التحول إلى استخدام هذه الموارد لتلبية المستخدم النهائي أو معالجة الطلب في أسرع وقت ممكن، لأن هذه واجهة في الوقت الفعلي.
ثم يتم تدوير ذلك لأن الاستدلال قد تم، ثم أعود للأعلى وأواصل من حيث توقفت في جانب التدريب والضبط. لذا، سترون الآن هذا المستوى الغريب والعشوائي من عبء العمل الذي سيضعه كلا النوعين من المتطلبات على أنظمة التخزين.
