ما هي متطلبات التخزين للتدريب والاستدلال على الذكاء الاصطناعي؟

على الرغم من التكهنات المستمرة حولها فقاعة استثمارية قد تنفجر، تكنولوجيا الذكاء الاصطناعي (AI) موجودة لتبقى. وعلى الرغم من احتمال وجود سوق متضخم بشكل مفرط على مستوى الموردين، إلا أن الذكاء الاصطناعي متطور بشكل جيد وله موطئ قدم ثابت بين المؤسسات من جميع الأحجام.
لكن أعباء عمل الذكاء الاصطناعي تفرض متطلبات محددة على البنية التحتية لتكنولوجيا المعلومات و على التخزين بشكل خاص. يمكن أن تبدأ أحجام البيانات كبيرة ثم تتضخم، خاصة أثناء مراحل التدريب حيث يتم توجيه البيانات وإنشاء نقاط التفتيش. وفي الوقت نفسه، يجب تنظيم البيانات وجمعها وإدارتها طوال دورة حياتها.
في هذه المقالة، ننظر إلى المفتاح خصائص أعباء عمل الذكاء الاصطناعيوالمتطلبات الخاصة للتدريب والاستدلال على عمليات الإدخال/الإخراج للتخزين، والإنتاجية والسعة، سواء لاختيار كائن أو تخزين الملفات، و متطلبات التخزين للوكيل AI.
ما هي الخصائص الرئيسية لأحمال عمل الذكاء الاصطناعي؟
يمكن تصنيف أعباء عمل الذكاء الاصطناعي على نطاق واسع إلى مرحلتين رئيسيتين – التدريب والاستدلال.
أثناء التدريب، تركز المعالجة على ما هو التعرف على الأنماط بشكل فعال. يتم فحص كميات كبيرة من البيانات بواسطة خوارزمية – على الأرجح جزء من إطار التعلم العميق مثل TensorFlow أو PyTorch – التي تهدف إلى التعرف على الميزات الموجودة داخل البيانات.
يمكن أن يكون ذلك عبارة عن عناصر مرئية في صورة ما أو كلمات أو أنماط معينة من الكلمات داخل المستندات. هذه الميزات، التي قد تندرج ضمن الفئات العريضة مثل “قطة” أو “تقاضي”، على سبيل المثال، يتم منحها قيمًا وتخزينها في قاعدة بيانات متجهة.
توفر القيم المخصصة مزيدًا من التفاصيل. لذلك، على سبيل المثال “قطة سلحفاة”، سيشتمل على قيم منفصلة لـ “قطة” و”صدفة السلحفاة”، التي تشكل المفهوم بأكمله وتسمح بالمقارنة والحساب بين الصور.
بمجرد تدريب نظام الذكاء الاصطناعي على بياناته، يمكن بعد ذلك استخدامه للاستدلال – حرفيًا، لاستنتاج نتيجة من بيانات الإنتاج التي يمكن استخدامها للمؤسسة.
لذلك، على سبيل المثال، قد يكون لدينا كاميرا لتتبع الحيوانات ونريدها أن تنبهنا عندما تعبر قطة سلحفاة حديقتنا. للقيام بذلك، سيتم استنتاج وجود قطة أم لا وما إذا كانت قطة سلحفاة بالرجوع إلى مجموعة البيانات التي تم إنشاؤها أثناء التدريب الموصوف أعلاه.
ولكن في حين تندرج معالجة الذكاء الاصطناعي ضمن هاتين الفئتين العريضتين، فإنها ليست بالضرورة واضحة المعالم في الحياة الواقعية. سيكون الأمر دائمًا هو أن التدريب سيتم على مجموعة بيانات أولية. ولكن بعد ذلك، من المحتمل أنه على الرغم من أن الاستدلال هو عملية مستمرة، إلا أن التدريب يصبح أيضًا دائمًا عندما يتم استيعاب بيانات جديدة وينتج عنها استنتاجات جديدة.
لذا، لتطبيق المثال، قد يسجل نظام كاميرا حديقة القطط الخاص بنا قططًا جديدة من أنواع غير معروفة ويبدأ في تصنيف ميزاتها وإضافتها إلى النموذج.
ما هي التأثيرات الرئيسية على تخزين البيانات لمعالجة الذكاء الاصطناعي؟
يوجد في قلب أجهزة الذكاء الاصطناعي شرائح متخصصة تسمى وحدات معالجة الرسومات (GPUs). تقوم هذه الأجهزة بأعمال المعالجة الصعبة للتدريب وهي قوية بشكل لا يصدق ومكلفة وغالبًا ما يصعب الحصول عليها. لهذه الأسباب، تعد معدلات استخدامها أحد الاعتبارات التشغيلية الرئيسية لتكنولوجيا المعلومات – يجب أن يكون التخزين قادرًا على التعامل مع متطلبات الإدخال/الإخراج الخاصة بهم حتى يتم استخدامها على النحو الأمثل.
لذلك، يجب أن يكون تخزين البيانات الذي يغذي وحدات معالجة الرسومات أثناء التدريب سريعًا، لذا فمن المؤكد تقريبًا أنه سيتم إنشاؤه باستخدام مصفوفات تخزين فلاش.
وهناك اعتبار رئيسي آخر هو القدرة. وذلك لأن مجموعات بيانات الذكاء الاصطناعي يمكن أن تبدأ كبيرة وتزداد حجمًا. أثناء خضوع مجموعات البيانات للتدريب، يمكن أن يؤدي تحويل المعلومات الأولية إلى بيانات متجهة إلى زيادة حجم البيانات بما يصل إلى 10 مرات.
أيضًا، أثناء التدريب، يتم إجراء التدقيق على فترات منتظمة، غالبًا بعد كل “عصر” أو مرور عبر بيانات التدريب، أو بعد إجراء تغييرات على المعلمات.
تشبه نقاط التفتيش اللقطات، وتسمح بإرجاع التدريب إلى نقطة زمنية معينة إذا حدث خطأ ما حتى لا تضيع المعالجة الحالية. يمكن أن تضيف نقاط التفتيش حجمًا كبيرًا من البيانات إلى متطلبات التخزين.
لذلك، يجب أن تتوفر سعة تخزين كافية، وغالبًا ما تحتاج إلى التوسع بسرعة.
ما هي التأثيرات الرئيسية لمعالجة الذكاء الاصطناعي على الإدخال/الإخراج والقدرة على تخزين البيانات؟
تعد متطلبات الإدخال/الإخراج لمعالجة الذكاء الاصطناعي على وحدة التخزين ضخمة. في كثير من الأحيان، لن تتناسب بيانات النموذج المستخدمة مع ذاكرة GPU واحدة وبالتالي تكون متوازية عبر العديد منها.
كما أن أعباء عمل الذكاء الاصطناعي وعمليات الإدخال/الإخراج تختلف اختلافًا كبيرًا بين التدريب والاستدلال. كما رأينا، تتطلب المعالجة المتوازية الضخمة التي يتضمنها التدريب زمن وصول منخفض وإنتاجية عالية.
على الرغم من أن زمن الوصول المنخفض يعد مطلبًا عالميًا أثناء التدريب، إلا أن متطلبات الإنتاجية قد تختلف وفقًا لإطار التعلم العميق المستخدم. على سبيل المثال، تقوم PyTorch بتخزين بيانات النموذج على شكل عدد كبير من الملفات الصغيرة بينما يستخدم TensorFlow عددًا أقل من ملفات النماذج الكبيرة.
يمكن أن يؤثر النموذج المستخدم أيضًا على متطلبات السعة. تميل عمليات فحص TensorFlow إلى أحجام ملفات أكبر، بالإضافة إلى حالات البيانات التابعة والبيانات الوصفية، بينما يمكن أن تكون عمليات فحص PyTorch خفيفة الوزن. تميل عمليات نشر TensorFlow إلى أن يكون لها مساحة تخزين أكبر بشكل عام.
إذا كان النموذج متوازيًا عبر العديد من وحدات معالجة الرسومات، فهذا له تأثير على عمليات الكتابة والاستعادة في نقاط التفتيش، مما يعني أن عمليات الإدخال/الإخراج للتخزين يجب أن تكون على مستوى المهمة.
هل تفضل معالجة الذكاء الاصطناعي تخزين الملفات أم الكائنات؟
على الرغم من أن البنية التحتية للذكاء الاصطناعي لا ترتبط بالضرورة بطريقة أو أخرى من طرق الوصول إلى التخزين، إلا أن تخزين الكائنات له الكثير مما يحققه.
معظم بيانات المؤسسة هي بيانات غير منظمة وموجودة على نطاق واسع، وغالبًا ما يكون هذا هو ما يجب على الذكاء الاصطناعي التعامل معه. يعد تخزين الكائنات مناسبًا تمامًا للبيانات غير المنظمة نظرًا لقدرته على التوسع. كما أنه يأتي مزودًا بقدرات البيانات الوصفية الغنية التي يمكن أن تساعد في اكتشاف البيانات وتصنيفها قبل بدء معالجة الذكاء الاصطناعي بشكل جدي.
يقوم تخزين الملفات بتخزين البيانات في تسلسل هرمي يشبه الشجرة من الملفات والمجلدات. يمكن أن يصبح الوصول إلى هذا الأمر على نطاق واسع أمرًا غير عملي. وعلى النقيض من ذلك، يقوم تخزين الكائنات بتخزين البيانات في بنية “مسطحة”، من خلال معرف فريد، مع بيانات وصفية غنية. يمكنه محاكاة الهياكل الشبيهة بالملفات والمجلدات عن طريق إضافة تسميات البيانات التعريفية، والتي سيكون الكثيرون على دراية بها في الأنظمة المستندة إلى السحابة مثل Google Drive وMicrosoft OneDrive وما إلى ذلك.
ومع ذلك، يمكن أن يكون الوصول إلى تخزين الكائنات بطيئًا ويفتقر إلى القدرة على قفل الملفات، على الرغم من أن هذا من المحتمل أن يكون أقل أهمية بالنسبة لأعباء عمل الذكاء الاصطناعي.
ما هو تأثير الذكاء الاصطناعي الوكيل على البنية التحتية للتخزين؟
يستخدم Agentic AI وكلاء الذكاء الاصطناعي المستقلين الذين يمكنهم تنفيذ مهام محددة دون إشراف بشري. ويتم تكليفهم باتخاذ قرارات مستقلة ضمن حدود محددة محددة مسبقًا.
تشمل الأمثلة استخدام الوكلاء في أمن تكنولوجيا المعلومات للبحث عن التهديدات واتخاذ الإجراءات دون تدخل بشري، أو لاكتشاف الإجراءات وبدءها في سلسلة التوريد، أو في مركز الاتصال لتحليل مشاعر العملاء، ومراجعة سجل الطلبات والاستجابة لاحتياجات العملاء.
يعد الذكاء الاصطناعي الوكيل إلى حد كبير ظاهرة مرحلة الاستدلال، لذا لن تحتاج البنية التحتية الحاسوبية إلى أن تصل إلى أعباء العمل من النوع التدريبي. ومع ذلك، من المحتمل أن يتمكن وكلاء الذكاء الاصطناعي من الوصول إلى مصادر بيانات متعددة عبر الأنظمة المحلية والسحابة. سيغطي ذلك نطاق أنواع التخزين المحتملة من حيث الأداء.
ولكن، لكي يعمل الذكاء الاصطناعي بأفضل حالاته، سيحتاج إلى تخزين عالي الأداء على مستوى المؤسسات يمكنه التعامل مع مجموعة واسعة من أنواع البيانات بزمن انتقال منخفض مع القدرة على التوسع بسرعة. هذا لا يعني أن مجموعات البيانات الموجودة في مساحة تخزين أقل أداءً لا يمكن أن تشكل جزءًا من البنية التحتية الوكيلة. ولكن إذا كنت تريد أن يعمل وكلاؤك بأفضل ما لديهم، فستحتاج إلى توفير أفضل مساحة تخزين ممكنة.




