لن تقوم معظم المؤسسات أبدًا بتدريب نماذج الذكاء الاصطناعي الخاصة بها. وبدلاً من ذلك، يكمن التحدي الرئيسي الذي يواجهه معظم العملاء في مجال الذكاء الاصطناعي في تطبيقه على تطبيقات الإنتاج والاستدلال، مع الضبط الدقيق للبيانات وتنظيمها كمهام أساسية.
المفتاح هنا يستخدم استرجاع الجيل المعزز (راج) و قواعد بيانات المتجهاتوالقدرة على إعادة استخدام مطالبات الذكاء الاصطناعي، وقدرات الطيار المساعد التي تسمح للمستخدمين بالتشكيك في معلومات الشركة باللغة الطبيعية.
هذه هي آراء المديرين التنفيذيين لشركة Pure Storage الذين تحدثوا إلى موقع Computerweekly.com هذا الأسبوع في حدث Accelerate الخاص بالشركة في لندن.
وبطبيعة الحال، تتناسب المهام الرئيسية التي تم تحديدها بشكل جيد مع مجالات الوظائف التي تمت إضافتها مؤخرًا إلى عرض أجهزة التخزين الخاصة بشركة Pure – بما في ذلك الأجهزة التي تم إطلاقها مؤخرًا القيمة الرئيسية المسرع – وأيضا مع قدرته على توفير القدرة على الطلب.
ولكنها توضح أيضًا التحديات الرئيسية التي تواجه المنظمات التي تتعامل مع الذكاء الاصطناعي في هذه المرحلة من نضجه، والتي تسمى “مرحلة ما بعد التدريب”.
في هذه المقالة، نلقي نظرة على ما يحتاجه العملاء التخزين في الذكاء الاصطناعي في مراحل الإنتاج، ومع استمرار استيعاب البيانات والاستدلال.
لا تشتري وحدات معالجة الرسومات؛ إنهم يتغيرون بسرعة كبيرة
لن تقوم معظم المؤسسات بتدريب نماذج الذكاء الاصطناعي الخاصة بها لأنها ببساطة مكلفة للغاية في الوقت الحالي. هذا بسبب أجهزة GPU يعد شراءها مكلفًا للغاية وأيضًا لأنه يتطور بوتيرة سريعة بحيث يأتي التقادم قريبًا جدًا.
لذلك، تميل معظم المؤسسات الآن إلى شراء سعة وحدة معالجة الرسومات في السحابة لمراحل التدريب.
من غير المجدي محاولة بناء مزارع تدريب داخلية للذكاء الاصطناعي عندما تصبح أجهزة GPU قديمة في غضون جيل أو جيلين.
هذه هي وجهة نظر مؤسس شركة Pure Storage وكبير مسؤولي الرؤية جون “كوز” كولجروف.
وقال: “تقول معظم المنظمات: أوه، أريد شراء هذه المعدات، وسأستفيد منها لمدة خمس سنوات، وسأخفض قيمتها على مدى خمس أو سبع سنوات”. “لكن لا يمكنك فعل ذلك باستخدام وحدات معالجة الرسومات في الوقت الحالي.
وقال كولجروف: “أعتقد أنه عندما تتحسن الأمور بمعدل رائع، فمن الأفضل أن تقوم بالتأجير بدلاً من الشراء. إنه مثل شراء سيارة”. “إذا كنت ستحتفظ بها لمدة ستة أو سبعة أو ثمانية أعوام أو أكثر، فإنك تشتريها، ولكن إذا كنت ستحتفظ بها لمدة عامين وتنتقل إلى واحدة أحدث، فإنك تستأجرها”.
ابحث عن تطبيق AI Killer الخاص بك
بالنسبة لمعظم المؤسسات، لن يحدث الاستغلال العملي للذكاء الاصطناعي في مرحلة النمذجة. وبدلاً من ذلك، سيأتي حيث يمكنهم استخدامه لإنشاء تطبيق قاتل لأعمالهم.
يعطي كولجروف مثال البنك. وقال: “مع البنك، نعلم أن التطبيق القاتل سيكون شيئًا يواجهه العملاء”. “ولكن كيف يعمل الذكاء الاصطناعي الآن؟ أنا آخذ جميع بياناتي من أي قواعد بيانات لدي للتفاعل مع العميل. ثم أدمجها في نظام آخر. أقوم بتحويلها مثل عملية دفعية قديمة من ETL، وأقضي أسابيع في التدريب عليها ثم أحصل على نتيجة.
قال كولجروف: “لن يكون هذا هو التطبيق القاتل أبدًا”. “سيتضمن التطبيق القاتل نوعًا من الاستدلال الذي يمكنني القيام به. ولكن يجب تطبيق هذا الاستدلال في الأنظمة العادية إذا كان الأمر يتعلق بالعملاء.
“وهذا يعني أنه عندما تقوم فعليًا بتطبيق الذكاء الاصطناعي للحصول على قيمة منه، فسوف ترغب في تطبيقه على البيانات الموجودة لديك بالفعل، والأشياء التي تفعلها بالفعل مع عملائك.”
بمعنى آخر، تكمن تحديات الذكاء الاصطناعي بالنسبة لمعظم العملاء في مرحلة الإنتاج وبشكل أكثر دقة في القدرة على تنظيم البيانات وإضافتها (بسرعة) وتشغيل الاستدلال عليها لضبط نماذج الذكاء الاصطناعي الحالية. ومن ثم تكون قادرًا على القيام بذلك مرة أخرى عندما تكون لديك الفكرة التالية حول كيفية تحسين الأمور بشكل أكبر.
قدم فريد لهيرولت، كبير مسؤولي التكنولوجيا في شركة Pure Storage EMEA، لخص الأمر على النحو التالي: “يتعلق الأمر حقًا بكيفية ربط النماذج ببياناتي؟ ما الذي يعنيه في المقام الأول، هل قمت بالمستوى الصحيح للعثور على بياناتي، وتنظيم بياناتي، وجعلها جاهزة للذكاء الاصطناعي، ووضعها في بنية يمكن الوصول إليها بواسطة نموذج؟”
الأسس التقنية الرئيسية للذكاء الاصطناعي الرشيق
لذلك، برزت مرحلة الاستدلال باعتبارها محور التركيز الرئيسي لمعظم عملاء الذكاء الاصطناعي. يتمثل التحدي هنا في القدرة على تنظيم البيانات وإدارتها لبناء نماذج الذكاء الاصطناعي وإعادة تكرارها خلال فترة إنتاجها. وهذا يعني أن العملاء يتواصلون مع بياناتهم الخاصة بطريقة سريعة.
وهذا يعني استخدام التقنيات التي تتضمن قواعد بيانات المتجهات، وخطوط أنابيب RAG، وقدرة الطيار المساعد، والتخزين المؤقت السريع وإعادة الاستخدام.
التحديات الرئيسية للتخزين فيما يتعلق بهذه التحديات ذات شقين. ويعني ذلك القدرة على الاتصال، على سبيل المثال، بمصادر بيانات RAG وقواعد بيانات المتجهات. ويعني ذلك أيضًا القدرة على التعامل مع القفزات الكبيرة في سعة التخزين، وتقليل الحاجة إلى القيام بذلك. وكثيرا ما يكون الاثنان متصلين.
قال ليرولت: “يحدث شيء مثير للاهتمام عندما تضع بياناتك في قواعد بيانات متجهة”. “هناك بعض العمليات الحسابية المطلوبة، ولكن بعد ذلك يتم زيادة البيانات باستخدام المتجهات التي يمكن بعد ذلك البحث عنها. هذا هو الهدف الكامل لقاعدة بيانات المتجهات، ويمكن أن تؤدي هذه الزيادة أحيانًا إلى تضخيم البيانات بمقدار 10x.
وقال: “إذا كان لديك تيرابايت من بيانات المصدر التي تريد استخدامها مع نموذج الذكاء الاصطناعي، فهذا يعني أنك ستحتاج إلى قاعدة بيانات بحجم 10 تيرابايت لتشغيله”. “هناك كل هذه العمليات الجديدة بالنسبة للعديد من المؤسسات عندما ترغب في استخدام بياناتها مع نماذج الذكاء الاصطناعي.”
التعامل مع المتطلبات على سعة التخزين
يمكن أن تحدث مثل هذه القفزات في القدرات أيضًا أثناء مهام مثل نقاط التفتيش، والتي يمكن أن ترى كميات هائلة من البيانات التي تم إنشاؤها كنقاط تشبه اللقطات للرجوع إليها في معالجة الذكاء الاصطناعي.
تهدف Pure إلى معالجة هذه المشكلات من خلال نموذج Evergreen كخدمة، والذي يسمح للعملاء بزيادة السعة بسرعة.
وتقترح الشركة أيضًا طرقًا لمنع ارتفاع أحجام التخزين بسرعة كبيرة، بالإضافة إلى تسريع الأداء.
يسمح برنامج Key Value Accelerator الذي تم تقديمه مؤخرًا للعملاء بتخزين مطالبات الذكاء الاصطناعي حتى يمكن إعادة استخدامها. عادةً، يمكن لـ LLM الوصول إلى الرموز المميزة المخزنة مؤقتًا التي تمثل الاستجابات السابقة، ولكن ذاكرة التخزين المؤقت لوحدة معالجة الرسومات محدودة، لذلك غالبًا ما تحتاج الإجابات إلى إعادة حسابها من جديد. يسمح Pure’s KV Accelerator بالاحتفاظ بالرموز المميزة في مخزنه بتنسيق ملف أو كائن.
وقال ليرولت إن ذلك يمكن أن يسرع الاستجابات بما يصل إلى 20 مرة. وأضاف: “كلما بدأت في طرح أسئلة مختلفة على المستخدمين، كلما نفدت ذاكرة التخزين المؤقت بشكل أسرع”. “إذا كان لديك مستخدمان يطرحان نفس السؤال في نفس الوقت ويفعلان ذلك على وحدتي معالجة رسوميات، فيجب على كليهما إجراء نفس الحساب. إنها ليست فعالة للغاية.
“نحن نسمح لها بتخزين تلك القيم الأساسية المحسوبة مسبقًا على وحدة التخزين لدينا، لذلك في المرة القادمة التي يطرح فيها شخص ما سؤالاً تم طرحه بالفعل أو يتطلب نفس الرمز، إذا حصلنا عليه من جانبنا، قال ليرولت: “لا تحتاج وحدة معالجة الرسومات إلى إجراء الحساب”.
“إنه يساعد على تقليل عدد وحدات معالجة الرسومات التي تحتاجها، ولكن أيضًا في بعض الأسئلة المعقدة التي تولد آلاف الرموز المميزة، رأينا أحيانًا أن الإجابة تأتي أسرع 20 مرة.”
