يُظهر نظام الذكاء الاصطناعي (AI) الذي تستخدمه وزارة العمل والمعاشات التقاعدية (DWP) للكشف عن الاحتيال في مجال الرعاية الاجتماعية فوارق “ذات دلالة إحصائية” تتعلق بعمر الأشخاص والإعاقة والحالة الاجتماعية والجنسية، وفقًا للتقييم الداخلي للوزارة.
تم إصداره بموجب قواعد حرية المعلومات (FoI) لمشروع القانون العام، “تحليل العدالة” المكون من 11 صفحة وجدت أن نظام التعلم الآلي (ML) الذي تستخدمه DWP لفحص الآلاف من مدفوعات المزايا الائتمانية الشاملة يختار أشخاصًا من بعض المجموعات أكثر من غيرهم عند التوصية بمن يجب التحقيق فيه بشأن الاحتيال المحتمل.
وأظهر التقييم الذي تم إجراؤه في فبراير 2024، أن هناك “إحالة ذات دلالة إحصائية… وتفاوت في النتائج لجميع الخصائص المحمية التي تم تحليلها”، والتي شملت عمر الأشخاص، وعمرهم، وعمرهم، وعمرهم، وعمرهم. الإعاقةوالحالة الاجتماعية والجنسية.
وقالت إن مراجعة لاحقة للفوارق الموجودة وجدت أن “التفاوتات المحددة لا تترجم إلى أي مخاوف فورية بشأن التمييز أو المعاملة غير العادلة للأفراد أو المجموعات المحمية”، مضيفة أن هناك ضمانات معمول بها لتقليل أي تأثير ضار محتمل على المطالبين بالمزايا المشروعة. .
وأضافت: “هذا لا يتضمن اتخاذ قرارات آلية”، مشيرة إلى أن “الأمر دائمًا إنسان [who] يتخذ القرار مع الأخذ في الاعتبار جميع المعلومات المتاحة”.
وأضافت أنه على الرغم من عدم تحليل الخصائص المحمية مثل العرق والجنس والتوجه الجنسي والمعتقدات الدينية وما إلى ذلك كجزء من تحليل العدالة، إلا أن برنامج عمل الدوحة “ليس لديه مخاوف فورية بشأن المعاملة غير العادلة” لأن الضمانات تنطبق على جميع العملاء. وتخطط “لتكرار وتحسين” طريقة التحليل، وسيتم استكمال التقييمات الإضافية كل ثلاثة أشهر.
وأضافت: “سيتضمن ذلك توصية وقرارًا بشأن ما إذا كان استمرار تشغيل النموذج في الخدمة المباشرة معقولًا ومتناسبًا”.
وقالت كارولين سلمان، زميلة أبحاث بارزة في مشروع القانون العام، لـ الوصي: “من الواضح أنه في الغالبية العظمى من الحالات، لم تقم DWP بتقييم ما إذا كانت عملياتها الآلية تخاطر باستهداف المجموعات المهمشة بشكل غير عادل. يجب على DWP وضع حد لنهج “الضرر أولاً، والإصلاح لاحقًا”، والتوقف عن طرح الأدوات عندما لا تكون قادرة على فهم خطر الضرر الذي تمثله بشكل صحيح.
وبسبب التنقيح، ليس من الواضح حاليًا من التحليل الصادر ما هي الفئات العمرية الأكثر احتمالية لاستهدافها بشكل خاطئ للتحقق من الاحتيال بواسطة نظام الذكاء الاصطناعي، أو الاختلافات بين كيفية التعامل مع الجنسيات بواسطة الخوارزمية.
ومن غير الواضح أيضًا ما إذا كان الأشخاص ذوو الإعاقة أكثر أو أقل عرضة للتمييز بشكل خاطئ للتحقيق بواسطة الخوارزمية مقارنة بالأشخاص غير ذوي الإعاقة. بينما قال المسؤولون إن هذا يهدف إلى منع الأشخاص من التلاعب بالنظام، أشار التحليل نفسه إلى أن أي تباين في الإحالة يتعلق بالعمر (خاصة بالنسبة لأولئك الذين تبلغ أعمارهم 25 عامًا أو أكثر) أو الإعاقة على وجه التحديد أمر متوقع لأن الأشخاص الذين يتمتعون بهذه الخصائص المحمية مرتبطون بالفعل بمعدل أعلى من المدفوعات الائتمانية العالمية.
الرد على الوصي تقرير، قال متحدث باسم DWP: “إن أداة الذكاء الاصطناعي الخاصة بنا لا تحل محل الحكم البشري، وسوف ينظر أخصائي الحالة دائمًا في جميع المعلومات المتاحة لاتخاذ القرار. نحن نتخذ إجراءات جريئة وحاسمة لمعالجة الاحتيال في المزايا – وسيتيح مشروع قانون الاحتيال والأخطاء الخاص بنا إجراء تحقيقات أكثر كفاءة وفعالية لتحديد المجرمين الذين يستغلون نظام المزايا بشكل أسرع.
في حين أن التقييم أوضح التدابير التي وضعها برنامج عمل الدوحة للتخفيف من أي تحيز محتمل – بما في ذلك أن النموذج سيحيل دائمًا طلبات المطالبين التي يحددها على أنها عالية المخاطر إلى موظف برنامج عمل الدوحة، الذي سيقرر بعد ذلك ما إذا كان سيوافق عليها أم لا – فإن ولم يذكر التقييم أي شيء عن دور أو انتشار “التحيز الآلي”، حيث يكون المستخدمون أكثر عرضة للثقة وقبول المعلومات التي تنتجها أنظمة الكمبيوتر.
اتصلت مجلة Computer Weekly ببرنامج عمل الدوحة بشأن ما إذا كانت قد قامت بتقييم الديناميكيات حول تحيز الأتمتة في تشغيل نظام الذكاء الاصطناعي، وإذا كان الأمر كذلك فكيف يؤثر ذلك على الإحالة والتفاوت في النتائج، لكنها لم تتلق أي رد بحلول وقت النشر.
لقد خضع دور الذكاء الاصطناعي والأتمتة في أنظمة الرعاية الاجتماعية لتدقيق متزايد خلال الأشهر الأخيرة. في نوفمبر 2024، على سبيل المثال، تحليل منظمة العفو الدولية وجدت أن نظام الرعاية الاجتماعية الآلي في الدنمارك يخلق حاجزًا أمام الوصول إلى المزايا الاجتماعية لبعض الفئات المهمشة، بما في ذلك الأشخاص ذوي الإعاقة والأفراد ذوي الدخل المنخفض والمهاجرين.
وفي الشهر نفسه، تم التحقيق من قبل تقارير المنارة و سفينسكا داجبلاديت وجدت أن نظام الرعاية الاجتماعية المدعوم خوارزميًا في السويد هو استهداف المجموعات المهمشة بشكل غير متناسب لإجراء تحقيقات في الاحتيال في المنافع.
