التخزين هو مفتاح مشاريع الذكاء الاصطناعى التي تنجح

دعونا نلقي نظرة أولاً على الذكاء الاصطناعي و يطالبها بتوسيط الحساب والتخزين.

بشكل عام ، تقع معالجة الذكاء الاصطناعي في فئتين.

هذه هي التدريب ، عندما يتم إنشاء الاعتراف من مجموعة بيانات نموذجية ، بدرجات متفاوتة من الإشراف على الإنسان ؛ والاستدلال ، حيث يتم وضع النموذج المدرب للعمل على مجموعات بيانات العالم الحقيقي.

ومع ذلك ، تبدأ مكونات مشروع AI الناجح قبل التدريب.

هنا ، نتحدث عن جمع البيانات وإعدادها ، ومع مجموعات البيانات التي يمكن أن تختلف بشكل كبير في الطبيعة. يمكن أن تشمل النسخ الاحتياطية والبيانات غير المهيكلة والبيانات المنظمة والبيانات برعاية مستودع البيانات. قد يتم الاحتفاظ بالبيانات لفترات طويلة وإعدادها لتدريب الذكاء الاصطناعى في عملية طويلة ومعتبر ، أو قد تكون مطلوبة بسرعة لتلبية الاحتياجات التي لم تكن متوقعة.

بمعنى آخر ، يمكن لبيانات الذكاء الاصطناعي أن تأخذ أشكالًا متعددة وتنتج متطلبات غير متوقعة من حيث الوصول.

بمعنى آخر ، الذكاء الاصطناعي جائع للغاية من حيث الموارد.

تعتبر تعويض وحدات معالجة الرسومات (GPUs) معروفة ، لكنها تستحق التخلص منها. لذلك ، على سبيل المثال ، عندما تدربت Meta نموذج LLAMA 3.1 لغة كبيرة (LLM) ، تم الإبلاغ عن استغرق الأمر حوالي 40 مليون ساعة GPU على 16000 وحدة معالجة الرسومات. سنعود إلى ما يعنيه ذلك للتخزين أدناه.

جزء كبير من هذا هو أن الذكاء الاصطناعى يستخدم بيانات ناقلات. ببساطة ، عند تدريب نموذج ، يتم ترجمة سمات مجموعة البيانات التي يتم تدريبها بيانات ناقلات – أبعاد عالية –.

هذا يعني أن البيانات – على سبيل المثال ، يتم تحويل الخصائص العديدة لمجموعة بيانات الصور – إلى مجموعة مرتبة من نقاط البيانات على محاور متعددة بحيث يمكن مقارنتها ، وقربها من بعضها البعض ، وتشابهها أو تحديدها بطريقة أخرى.

والنتيجة هي أن قواعد بيانات المتجهات غالباً ما ترى نموًا كبيرًا في حجم مجموعة البيانات مقارنة ببيانات المصدر ، مع ما يصل إلى 10 مرات ممكنة. أن كل شيء يجب تخزينه في مكان ما.

بعد ذلك ، هناك تحقق متكرر للسماح بالشفاء من الإخفاقات ، وأن تكون قادرًا على التراجع إلى الإصدارات السابقة من النموذج ، يجب أن تحتاج النتائج إلى ضبط ، وأن تكون قادرًا على إظهار الشفافية في التدريب لأغراض الامتثال. يمكن أن يختلف حجم نقطة التفتيش وفقًا لحجم النموذج وعدد نقاط التفتيش المطلوبة ، ولكن من المحتمل أن يضيف حجم بيانات كبير إلى متطلبات سعة التخزين.

ثم هناك جيل معزز للاسترجاع (خرقة)، الذي يعزز النموذج بالبيانات الداخلية من المؤسسة ، وذات صلة بالتخصص الرأسي أو الأكاديمي في الصناعة ، على سبيل المثال. هنا مرة أخرى ، تعتمد بيانات RAG على متجه مجموعة البيانات للسماح بدمجها في البنية الكلية.

لزيادة فرص نجاح الذكاء الاصطناعي إلى الحد الأقصى ، تحتاج المؤسسات إلى التأكد من أن لديها القدرة على تخزين البيانات اللازمة لتدريب الذكاء الاصطناعى والمخرجات التي تنتج عنها ، ولكن يتم تحسين هذا التخزين حتى يمكن الحفاظ على الطاقة لمعالجة البيانات بدلاً من الاحتفاظ بها في صفائف التخزين