ما هو جي بي تي-3؟
GPT-3، أو الجيل الثالث من المحولات التوليدية المدربة مسبقًا، هي شبكة عصبية التعلم الالي نموذج تم تدريبه باستخدام بيانات الإنترنت لإنشاء أي نوع من النص. طورت بواسطة OpenAI، فهو يتطلب قدرًا صغيرًا من نص الإدخال لإنشاء كميات كبيرة من النصوص ذات الصلة والمتطورة التي يتم إنشاؤها آليًا.
جي بي تي-3 تعلم عميق الشبكة العصبية هي نموذج يحتوي على أكثر من 175 مليار معلمة للتعلم الآلي. ولوضع الأمور في نطاق واسع، كان أكبر نموذج لغوي مُدرب قبل GPT-3 هو نموذج تورينج للغة الطبيعية (NLG) الخاص بشركة ميكروسوفت، والذي كان يحتوي على 10 مليار معلمة. اعتبارًا من أوائل عام 2021، أصبحت GPT-3 أكبر شبكة عصبية تم إنتاجها على الإطلاق. ونتيجة لذلك، يعد GPT-3 أفضل من أي نموذج سابق لإنتاج نص مقنع بدرجة كافية ليبدو وكأن الإنسان قد كتبه.
يُشار عادةً إلى GPT-3 ونماذج معالجة اللغة الأخرى المشابهة لها باسم نماذج لغوية كبيرة.
ما الذي يمكن أن يفعله GPT-3؟
يقوم GPT-3 بمعالجة إدخال النص لأداء مجموعة متنوعة من مهام اللغة الطبيعية. ويستخدم على حد سواء توليد اللغة الطبيعية و معالجة اللغة الطبيعية لفهم وإنشاء نص اللغة البشرية الطبيعية. تاريخيًا، كان إنشاء محتوى مفهوم للبشر تحديًا للآلات التي لا تعرف التعقيدات والفروق الدقيقة في اللغة. تم استخدام GPT-3 لإنشاء المقالات والشعر والقصص والتقارير الإخبارية والحوار باستخدام كمية صغيرة من نص الإدخال الذي يمكن استخدامه لإنتاج كميات كبيرة من النسخ.
يمكن لـ GPT-3 إنشاء أي شيء ببنية نصية – وليس فقط نص اللغة البشرية. يمكنه أيضًا إنشاء ملخصات نصية وحتى كود برمجة.
أمثلة على GPT-3
أحد أبرز الأمثلة على تطبيق GPT-3 هو ChatGPT نموذج اللغة. ChatGPT هو نسخة مختلفة من نموذج GPT-3 المُحسّن للحوار البشري، مما يعني أنه يمكنه طرح أسئلة متابعة، والاعتراف بالأخطاء التي ارتكبها، وتحدي المقدمات غير الصحيحة. تم توفير ChatGPT مجانًا للعامة أثناء معاينة البحث لجمع تعليقات المستخدمين. تم تصميم ChatGPT جزئيًا لتقليل احتمالية الاستجابات الضارة أو الخادعة.
مثال شائع آخر هو دال-E. Dall-E عبارة عن شبكة عصبية تعمل بالذكاء الاصطناعي لتوليد الصور ومبنية على إصدار مكون من 12 مليار معلمة من GPT-3. تم تدريب Dall-E على مجموعة بيانات من أزواج الصور النصية ويمكنه إنشاء صور من المطالبات النصية المقدمة من المستخدم. تم تطوير ChatGPT و Dall-E بواسطة OpenAI.
باستخدام مقتطفات قليلة فقط من نص التعليمات البرمجية النموذجي، يمكن لـ GPT-3 أيضًا إنشاء تعليمات برمجية قابلة للتطبيق يمكن تشغيلها دون أخطاء، لأن تعليمات البرمجة البرمجية هي شكل من أشكال النص. باستخدام القليل من النص المقترح، قام أحد المطورين بدمج أداة النماذج الأولية لواجهة المستخدم Figma مع GPT-3 لإنشاء مواقع الويب من خلال وصفها في جملة أو جملتين. وقد تم استخدام GPT-3 لاستنساخ مواقع الويب من خلال توفير عنوان URL كنص مقترح. يستخدم المطورون GPT-3 بعدة طرق، بدءًا من إنشاء مقتطفات التعليمات البرمجية والتعبيرات العادية والمؤامرات والمخططات من أوصاف النص ووظائف Excel وتطبيقات التطوير الأخرى.
يمكن أيضًا استخدام GPT-3 في مجال الرعاية الصحية. واحد 2022 يذاكر استكشف قدرة GPT-3 على المساعدة في تشخيص الأمراض التنكسية العصبية، مثل الخرف، من خلال الكشف عن الأعراض الشائعة، مثل ضعف اللغة في كلام المريض.
يمكن لـ GPT-3 أيضًا القيام بما يلي:
- إنشاء الميمات والاختبارات والوصفات والقصص المصورة ومنشورات المدونات ونسخ الإعلانات؛
- كتابة الموسيقى والنكات ومنشورات وسائل التواصل الاجتماعي؛
- أتمتة مهام المحادثة، والرد على أي نص يكتبه الشخص على الكمبيوتر بنص جديد مناسب للسياق؛
- ترجمة النص إلى أوامر برمجية؛
- ترجمة الأوامر البرمجية إلى نص؛
- يؤدي تحليل المشاعر;
- استخراج المعلومات من العقود؛
- إنشاء لون سداسي عشري بناءً على وصف النص؛
- كتابة التعليمات البرمجية المعيارية؛
- والعثور على الأخطاء في التعليمات البرمجية الموجودة؛
- مواقع وهمية؛
- إنشاء ملخصات مبسطة للنص؛
- الترجمة بين لغات البرمجة؛ و
- تنفيذ هندسة سريعة ضارة وهجمات التصيد.
كيف يعمل جي بي تي-3؟
GPT-3 هو نموذج للتنبؤ باللغة. وهذا يعني أنه يحتوي على نموذج للتعلم الآلي للشبكة العصبية يمكنه أخذ نص الإدخال وتحويله إلى ما يتوقع أن تكون النتيجة الأكثر فائدة. يتم تحقيق ذلك من خلال تدريب النظام على الكم الهائل من نصوص الإنترنت لاكتشاف الأنماط في عملية تسمى التدريب المسبق التوليدي. تم تدريب GPT-3 على عدة مجموعات من البيانات، ولكل منها أوزان مختلفة، بما في ذلك الزحف المشتركو WebText2 و ويكيبيديا.
يتم تدريب GPT-3 أولاً من خلال مرحلة اختبار تحت الإشراف ومن ثم مرحلة التعزيز. عند تدريب ChatGPT، يقوم فريق من المدربين بطرح سؤال على نموذج اللغة مع وضع النتيجة الصحيحة في الاعتبار. إذا أجاب النموذج بشكل غير صحيح، يقوم المدربون بتعديل النموذج لتعليمه الإجابة الصحيحة. قد يقدم النموذج أيضًا عدة إجابات، يرتبها المدربون من الأفضل إلى الأسوأ.
يحتوي GPT-3 على أكثر من 175 مليار معلمة للتعلم الآلي وهو أكبر بكثير من سابقاتها – السابقة نماذج لغوية كبيرة، مثل تمثيلات التشفير ثنائية الاتجاه من المحولات (بيرت) و تورينج NLG. المعلمات هي أجزاء من نموذج لغة كبير تحدد مهارته في حل مشكلة مثل إنشاء نص. يتحسن أداء نموذج اللغة الكبير عمومًا مع إضافة المزيد من البيانات والمعلمات إلى النموذج.
عندما يقوم المستخدم بإدخال النص، يقوم النظام بتحليل اللغة ويستخدم متنبئ النص بناءً على تدريبه لإنشاء المخرجات الأكثر احتمالية. يمكن ضبط النموذج بشكل دقيق، ولكن حتى بدون الكثير من الضبط أو التدريب الإضافي، يقوم النموذج بإنشاء نص إخراج عالي الجودة يشبه ما يمكن أن ينتجه البشر.
ما هي فوائد جي بي تي-3؟
عندما تكون هناك حاجة إلى إنشاء كمية كبيرة من النص من جهاز يعتمد على كمية صغيرة من إدخال النص، فإن GPT-3 يوفر حلاً جيدًا. نماذج اللغات الكبيرة، مثل GPT-3، قادرة على توفير مخرجات جيدة في ضوء عدد قليل من أمثلة التدريب.
يحتوي GPT-3 أيضًا على مجموعة واسعة من تطبيقات الذكاء الاصطناعي. إنه غير محدد المهام، مما يعني أنه يمكنه تنفيذ نطاق ترددي واسع من المهام دون ضبط دقيق.
كما هو الحال مع أي أتمتة، سيكون GPT-3 قادرًا على التعامل مع المهام المتكررة السريعة، مما يمكّن البشر من التعامل مع المهام الأكثر تعقيدًا التي تتطلب درجة أعلى من التفكير النقدي. هناك العديد من المواقف حيث ليس من العملي أو الفعال الاستعانة بإنسان لإنشاء مخرجات نصية، أو قد تكون هناك حاجة لإنشاء نص تلقائي يبدو بشريًا. على سبيل المثال، يمكن لمراكز خدمة العملاء استخدام GPT-3 للإجابة على أسئلة العملاء أو الدعم روبوتات الدردشة; يمكن لفرق المبيعات استخدامه للتواصل مع العملاء المحتملين. يمكن لفرق التسويق كتابة نسخة باستخدام GPT-3. يتطلب هذا النوع من المحتوى أيضًا إنتاجًا سريعًا وقليل المخاطر، أي أنه إذا حدث خطأ في النسخة، فإن العواقب تكون بسيطة نسبيًا.
من المزايا الأخرى لـ GPT-3 أنه خفيف الوزن ويمكن تشغيله على كمبيوتر محمول أو هاتف ذكي للمستهلك.
ما هي مخاطر وقيود GPT-3؟
على الرغم من أن GPT-3 كبير وقوي بشكل ملحوظ، إلا أنه يحتوي على العديد من القيود والمخاطر المرتبطة باستخدامه.
محددات
- التدريب قبل. GPT-3 لا يتعلم باستمرار. لقد تم تدريبه مسبقًا، مما يعني أنه ليس لديه ذاكرة مستمرة طويلة المدى تتعلم من كل تفاعل.
- حجم الإدخال محدود بنيات المحولات – بما في ذلك GPT-3 – لها حجم إدخال محدود. لا يمكن للمستخدم توفير قدر كبير من النص كمدخل للإخراج، مما قد يحد من تطبيقات معينة. يحتوي GPT-3 على حد فوري يبلغ حوالي 2048 رمزًا.
- وقت الاستدلال البطيء. يعاني GPT-3 أيضًا من بطء وقت الاستدلال نظرًا لأن النموذج يستغرق وقتًا طويلاً لتوليد النتائج.
- عدم القدرة على التفسير. GPT-3 عرضة لنفس المشاكل التي تواجهها العديد من الشبكات العصبية – افتقارها إلى القدرة على شرح وتفسير سبب كون بعض المدخلات تؤدي إلى مخرجات محددة.
المخاطر
- تشابه. أصبحت نماذج اللغة مثل GPT-3 دقيقة بشكل متزايد، وقد يصبح من الصعب تمييز المحتوى الناتج عن الآلة عن المحتوى المكتوب بواسطة الإنسان. قد يطرح هذا بعض مشكلات حقوق النشر والانتحال.
- دقة. على الرغم من كفاءته في تقليد تنسيق النص الذي أنشأه الإنسان، إلا أن GPT-3 يعاني من الدقة الواقعية في العديد من التطبيقات.
- تحيز. نماذج اللغة عرضة ل تحيز التعلم الآلي. وبما أن النموذج قد تم تدريبه على النصوص الموجودة على الإنترنت، فإن لديه القدرة على تعلم وعرض العديد من التحيزات التي يعرضها البشر عبر الإنترنت. على سبيل المثال، وجد باحثان في معهد ميدلبري للدراسات الدولية في مونتيري أن GPT-2 – سلف GPT-3 – ماهر في توليد نص جذري، مثل الخطابات التي تحاكي نظريات المؤامرة والمتعصبين للبيض. ويمثل هذا فرصة لتضخيم خطاب الكراهية وأتمتته، فضلاً عن توليده عن غير قصد. ويهدف ChatGPT – المدعوم بإصدار GPT-3 – إلى تقليل احتمالية حدوث ذلك من خلال المزيد من التدريب المكثف وتعليقات المستخدمين.
تاريخ جي بي تي-3
تأسست شركة OpenAI في عام 2015 كمنظمة غير ربحية، وقامت بتطوير GPT-3 كأحد مشاريعها البحثية. وتهدف إلى معالجة الأهداف الأكبر المتمثلة في تعزيز وتطوير “الذكاء الاصطناعي الصديق” بطريقة تفيد البشرية جمعاء.
تم إصدار الإصدار الأول من GPT في عام 2018 واحتوى على 117 مليون معلمة. تم إصدار الإصدار الثاني من النموذج، GPT-2، في عام 2019 بحوالي 1.5 مليار معلمة. كأحدث إصدار، يقفز GPT-3 عن النموذج الأخير بفارق كبير مع أكثر من 175 مليار معلمة – أكثر من 100 مرة من سابقتها و10 مرات أكثر من البرامج المماثلة.
أظهرت النماذج السابقة المدربة مسبقًا – مثل BERT – جدوى طريقة مولد النص وأظهرت القوة التي تتمتع بها الشبكات العصبية لتوليد سلاسل طويلة من النص كانت تبدو في السابق غير قابلة للتحقيق.
أصدرت OpenAI إمكانية الوصول إلى النموذج بشكل تدريجي لمعرفة كيفية استخدامه ولتجنب المشاكل المحتملة. تم إصدار النموذج خلال فترة تجريبية تطلبت من المستخدمين التقدم لاستخدام النموذج، دون أي تكلفة في البداية. ومع ذلك، انتهت الفترة التجريبية في أكتوبر 2020، وأصدرت الشركة نموذج تسعير يعتمد على نظام قائم على الائتمان المتدرج يتراوح من مستوى وصول مجاني مقابل 100000 رصيد أو ثلاثة أشهر من الوصول إلى مئات الدولارات شهريًا على نطاق أوسع وصول. في عام 2020، استثمرت Microsoft مليار دولار في OpenAI لتصبح المرخص له الحصري لنموذج GPT-3. وهذا يعني أن Microsoft لديها حق الوصول الوحيد إلى النموذج الأساسي لـ GPT-3.
تم إطلاق ChatGPT في نوفمبر 2022 وكان مجانيًا للاستخدام العام أثناء مرحلة البحث. وقد أدى هذا إلى جذب اهتمام أكبر لـ GPT-3 مما كان عليه في السابق، مما أعطى العديد من المستخدمين غير التقنيين فرصة لتجربة التكنولوجيا. جي بي تي-4 تم إصداره في مارس 2023 ويُشاع أنه يحتوي على معلمات أكثر بكثير من GPT-3.
مستقبل GPT-3
هناك العديد من مفتوح المصدر الجهود المبذولة لتوفير نموذج مجاني وغير مرخص كثقل موازن للملكية الحصرية لشركة Microsoft. يتم نشر نماذج اللغات الجديدة بشكل متكرر على منصة Hugging Face.
ليس من الواضح بالضبط كيف سيتطور GPT-3 في المستقبل، ولكن من المحتمل أنه سيستمر في العثور على استخدامات في العالم الحقيقي وسيتم تضمينه في العديد من التطبيقات. الذكاء الاصطناعي التوليدي التطبيقات. تستخدم العديد من التطبيقات بالفعل GPT-3، بما في ذلك المساعد الافتراضي Siri من Apple. حيثما أمكن، سيتم دمج GPT-4 حيث تم استخدام GPT-3.
