وفي نفس الوقت الذي تتنافس فيه الأحزاب السياسية في المملكة المتحدة في إدانتها للقضية فضيحة مكتب البريدإنهم يتحدون في الترويج للذكاء الاصطناعي باعتباره الحل للمشكلات الاجتماعية الصعبة. وهذا يعني أنهم، في الواقع، يطالبون بالمزيد من الشيء نفسه؛ لمزيد من المناسبات حيث تجتمع الحوسبة والبيروقراطية لتشويه حياة الأشخاص العاديين، ولكن يتم تحجيمها بواسطة الذكاء الاصطناعي بطرق تجعل أضرار Horizon تبدو وكأنها بيرة صغيرة.
الشيء الوحيد المشترك بين نظام Horizon IT والذكاء الاصطناعي هو قابليتهما للخطأ؛ كلاهما أنظمة معقدة تولد أخطاء لا يمكن التنبؤ بها. ومع ذلك، في حين أن الأخطاء الموجودة في نظام المحاسبة المتعثر لشركة فوجيتسو تنبع من اختبارات البرامج غير المطابقة للمواصفات، فإن مشاكل الذكاء الاصطناعي تعتبر أساسية.
إن العمليات نفسها التي تمنح الذكاء الاصطناعي “عامل الإبهار”، مثل التعرف على الوجوه أو الإجابة على الأسئلة، تجعله أيضًا عرضة لأنواع جديدة من أنماط الفشل مثل الأخطاء خارج التوزيع (مثل حوادث سيارات تسلا ذاتية القيادة) والهلوسة.
علاوة على ذلك، وبفضل التعقيد الداخلي لملايين المعلمات، لا توجد طريقة صارمة لمعرفة سبب توصل نظام الذكاء الاصطناعي إلى إجابة معينة. ولا يحتاج الذكاء الاصطناعي حتى إلى اللجوء إلى المحكمة لإثارة مشاكل قانونية؛ هذه العتامة المتأصلة هي نقيض أي نوع من الإجراءات القانونية الواجبة.
نماذج اللغة مثل ChatGPT تقدم أيضًا شهودًا غير موثوقين لأنهم مدربون بالفعل على إنتاج الأكاذيب. لا يتم تحسين مثل هذه الأنظمة بناءً على الحقائق، بل على إنتاج مخرجات معقولة (شيء مختلف تمامًا). حتى عندما يبدو أنهم على حق، فإنهم يختلقون الأشياء حرفيًا.
الويل للمواطن غير الحذر الذي يلجأ إلى الذكاء الاصطناعي نفسه للحصول على المشورة القانونية؛ لقد تم بالفعل تحميص العديد منهم من قبل قضاة غير متعاطفين عندما تبين أنهم استشهد بالسوابق القضائية الملفقة.
كما يعمل الذكاء الاصطناعي على تضخيم البعد الآخر لفضيحة مكتب البريد، وهو القسوة المؤسسية المستمرة تجاه مديري مكاتب البريد الفرعيين.
مثل البيروقراطية، تعد خوارزميات الذكاء الاصطناعي وسيلة لتنظيم أنظمة كبيرة حيث تخلق التجريدات جدارًا بين النظام وتلك التي يتم تطبيقها عليها، بحيث يتم اختزال هذه الأخيرة إلى مجموعة من التصنيفات والفئات المتباينة. ربما ليس من المستغرب إذن أن يظهر التآزر بين مؤسسات الدولة والخوارزميات بالفعل ميلًا لتوسيع نطاق العنف الهيكلي.
في هولندا، خوارزمية اتهمت زورا عشرات الآلاف من عائلات الاحتيال على نظام إعانات الأطفال – أُمروا بسداد الأموال، وترك العديد منهم مع ديون معوقة واستبعاد اجتماعي.
في أستراليا، خوارزمية الديون الآلية وصف 400000 شخص بأنهم مذنبون بالاحتيال على الرعاية الاجتماعية. وأدى ذلك أيضًا إلى تدمير عدد لا يحصى من الأرواح، حيث قام محصلي الديون المخصخصة بملاحقة الناس على الهامش، وكان الكثير منهم يعانون بالفعل من إعاقات أو مشاكل في الصحة العقلية. كما هو الحال مع مكتب البريد، كان من المعروف أن مخطط Robodebt معيب داخليًا ولكن تم الدفاع عنه إلى أقصى حد لسنوات عبر التنمر المؤسسي والسياسي والقانوني.
العديد من العائلات التي استهدفتها الخوارزمية الهولندية كانت من مجتمعات الأقليات، ويبدو أن محاكمات مكتب البريد جاءت أيضًا مصحوبة بجرعة كبيرة من العنصرية. حدد تحقيقهم الداخلي رموزًا عنصرية قديمة مثل “الأنواع الصينية/اليابانية” و”الأنواع الأوروبية ذات البشرة الداكنة” و”الأنواع الزنجية” للاشتباه في مدراء البريد الفرعيين.
سيؤدي الانتقال إلى أنظمة الذكاء الاصطناعي إلى إعادة إنتاج هذا النوع من التمييز العنصري على نطاق صناعي، حيث لا يستوعب الذكاء الاصطناعي فقط العنصرية المضمنة في بيانات التدريب الخاصة بها لكنه يعرضها من خلال التصنيفات والاستثناءات الاختزالية. ومع ذلك، على الرغم من المشاكل الموثقة جيدا فيما يتعلق بالذكاء الاصطناعي، فإن الساسة من جميع المشارب ملتزمون بتبنيه على نطاق واسع.
إن الاعتقاد الراسخ بأن تكنولوجيا الخيال العلمي يمكن أن تحل التحديات الاجتماعية يتجسد في ادعاء رئيس الوزراء “تسخير الإمكانات المذهلة للذكاء الاصطناعي لتحويل مستشفياتنا ومدارسنا”، متخيلًا بطريقة ما أن هذا سيحل محل النقص في المعلمين والموظفين الطبيين الذين يتقاضون أجورًا مناسبة. أو إصلاح الأسقف المنهارة حرفيًا في المباني.
وفي الوقت نفسه، يقترح حزب العمال الذكاء الاصطناعي كوسيلة لمعالجة ارتفاع معدلات التغيب عن المدارس؛ حالة أخرى تتمثل في تناول قضية معقدة تتعلق بالأسر الضعيفة واستبدال الرعاية التي تشتد الحاجة إليها بالقوة الحسابية للحسابات السحابية.
وفي حين أن بعض هذه المحاولة هي محاولة معتادة لاحتلال عناوين الأخبار، إلا أن هناك التزامات أيديولوجية أعمق تلعب دورها. يُنظر إلى الذكاء الاصطناعي على أنه وسيلة لإحياء النظام الاقتصادي من خلال تكثيف الاتجاهات التي ظهرت منذ السبعينيات؛ والحد من الأمن الوظيفي عن طريق استبدال العمال بالأتمتة، وخصخصة الخدمات العامة المتبقية.
إن الترويج للذكاء الاصطناعي يعني الخصخصة من الباب الخلفي، لأنها تعني حتما نقل السيطرة إلى شركات التكنولوجيا. ومع ذلك، فإن هذا التسليم إلى الذكاء الاصطناعي سيؤدي إلى المزيد من حالات الإجهاض للعدالة، حيث سيستمر في تجاوز أصوات أولئك الذين يؤثر على حياتهم.
إذا استمعنا فقط إلى التصريحات العلنية لشخصيات وادي السيليكون مثل سام ألتمان، ومارك أندريسن، وبيتر ثيل ورؤاهم للمجتمع القادم، فسوف ندرك أنها أيضًا، مثل محاكمات مكتب البريد، هي “إهانة للضمير العام”. “.
فضيحة Horizon IT، على الرغم من أهوالها الحقيقية، سوف تبدو إنجليزية غريبة مقارنة بالأضرار الجانبية الناجمة عن فضائحها. التخيلات التكنولوجية ما بعد الإنسانية.
من التفاصيل غير المعروفة عن فضيحة مكتب البريد أنه بسبب بعض القرارات السيئة للغاية التي تم اتخاذها في التسعينيات، يفترض القانون الإنجليزي أن الأدلة الحاسوبية موثوقة. وهذا على الأقل يمكن إصلاحه عن طريق تبديل بسيط للمنظور؛ لا ينبغي الوثوق بالأدلة الحاسوبية ما لم يتم تقديم دليل على موثوقيتها. ببساطة، لا يوجد مقياس أو اختبار شامل يمكن تقديمه أمام المحكمة لإزالة الشك المعقول في أن الذكاء الاصطناعي يختلق الأمور.
ومع ذلك، لا يمكننا الانتظار حتى تصل الفضائح الناجمة عن الذكاء الاصطناعي إلى المحكمة قبل أن نعترف بذلك، لأنه بحلول ذلك الوقت سيكون الضرر قد وقع.
لا يمكن الوثوق بالذكاء الاصطناعي ويجب إبعاده عن أي عملية صنع قرار قد تؤثر على حياة الناس، مهما كانت متواضعة.
والسؤال المطروح الآن هو كيف ينبغي لنا أن نعمل على تفعيل مثل هذه الحماية. الموضوع المشترك في Horizon والمظالم الخوارزمية الأخرى هو دمج البيروقراطية والحوسبة في آلة تعصف “بالأشخاص الصغار”.
وفي كل هذه الحالات فشلت الضوابط والتوازنات المفترضة فشلاً ذريعاً في محاسبة النظام. يبدو من غير المرجح أن تكون التدابير الضعيفة مثل عمليات التدقيق الخوارزمية المقترحة في الاتفاقيات الجديدة قانون الاتحاد الأوروبي بشأن الذكاء الاصطناعي سيكون لها أي قوة جذب حقيقية.
الدرس القوي المستفاد من كارثة Robodebt ومكتب البريد هو أن الآلة لا يمكن إيقافها إلا من خلال اجتماع الأشخاص العاديين معًا. وفي كلتا الحالتين، كان التنظيم الذاتي للأشخاص المتأثرين وحلفائهم هو الذي ألقى المفتاح اللازم في العمل، ولكن بالطبع، بعد جهد ومعاناة هائلين.
من المؤكد أنه من الأفضل أن ندرك مبكرًا كيف تصبح الثقة غير المبررة في السلطة الخوارزمية غطاءً لما أسمته اللجنة الملكية الأسترالية “الفساد وعدم الكفاءة والجبن”.
والآن، وليس لاحقًا، هو الوقت المناسب لتحدي أيديولوجية “الذكاء الاصطناعي في كل مكان” والدفع بدلاً من ذلك نحو حلول تركز على الناس.
