قالت منظمة العفو الدولية إن نظام الرعاية الاجتماعية الذي يعتمد على الخوارزميات في السويد يستهدف بشكل غير متناسب الفئات المهمشة في المجتمع السويدي لإجراء تحقيقات في الاحتيال في الإعانات، ويجب إيقافه على الفور.
ان تحقيق وجدت Lighthouse Reports وSvenska Dagbladet (SvB) التي نشرتها في 27 نوفمبر 2024 أن نظام التعلم الآلي (ML) الذي تستخدمه Försäkringskassan، وكالة التأمين الاجتماعي السويدية، يقوم بشكل غير متناسب بإبلاغ مجموعات معينة لإجراء مزيد من التحقيق بشأن الاحتيال في المزايا الاجتماعية، بما في ذلك النساء والأفراد. من خلفيات “أجنبية”، وذوي دخل منخفض، وأشخاص ليس لديهم شهادات جامعية.
واستنادًا إلى تحليل البيانات المجمعة حول نتائج تحقيقات الاحتيال حيث تم الإبلاغ عن الحالات بواسطة الخوارزميات، وجد التحقيق أيضًا أن النظام كان غير فعال إلى حد كبير في تحديد الرجال والأثرياء الذين ارتكبوا بالفعل نوعًا من الاحتيال في الضمان الاجتماعي.
للكشف عن الاحتيال في المزايا الاجتماعية، تم استخدام النظام الذي يعتمد على التعلم الآلي – والذي قدمته مصلحة التأمينات الاجتماعية في عام 2013 – يعين درجات المخاطر للمتقدمين للضمان الاجتماعي، الأمر الذي يؤدي بعد ذلك تلقائيًا إلى إجراء تحقيق إذا كانت درجة المخاطرة عالية بما يكفي.
تتم إحالة الأشخاص الذين لديهم أعلى درجات المخاطر إلى قسم “المراقبة” التابع للوكالة، والذي يتولى الحالات التي يوجد فيها اشتباه في وجود نية إجرامية، في حين تتم إحالة الأشخاص الذين لديهم درجات أقل إلى العاملين في القضايا، حيث يتم التحقيق معهم دون افتراض وجود نية إجرامية.
بمجرد الإبلاغ عن الحالات لمحققي الاحتيال، يصبح لديهم القدرة على البحث في حسابات الشخص على وسائل التواصل الاجتماعي، والحصول على البيانات من مؤسسات مثل المدارس والبنوك، وحتى إجراء مقابلات مع جيران الفرد كجزء من تحقيقاتهم. وقد اشتكى أولئك الذين تم تمييزهم بشكل غير صحيح من قبل نظام الضمان الاجتماعي من أنهم ينتهي بهم الأمر إلى مواجهة التأخير والعقبات القانونية في الوصول إلى استحقاقات الرعاية الاجتماعية الخاصة بهم.
وقال ديفيد نولان، كبير الباحثين الاستقصائيين في قسم التكنولوجيا في منظمة العفو الدولية: “إن النظام برمته يشبه مطاردة الساحرات ضد أي شخص يتم الإبلاغ عنه في تحقيقات بشأن الاحتيال في المزايا الاجتماعية”. “إحدى المشكلات الرئيسية المتعلقة بالذكاء الاصطناعي [artificial intelligence] والأنظمة التي تنشرها وكالات الضمان الاجتماعي هي أنها يمكن أن تؤدي إلى تفاقم عدم المساواة والتمييز الموجود مسبقًا. بمجرد وضع علامة على شخص ما، يتم التعامل معه بعين الشك منذ البداية. هذا يمكن أن يكون غير إنساني للغاية. وهذا مثال واضح على حق الناس في الضمان الاجتماعي والمساواة وعدم التمييز والخصوصية التي تنتهك من قبل نظام متحيز بشكل واضح.
اختبار مقاييس العدالة
باستخدام البيانات المجمعة – وهو ما لم يكن ممكنًا إلا بعد أن طلبت هيئة التفتيش السويدية للضمان الاجتماعي (ISF) نفس البيانات سابقًا – تمكنت SvB وLighthouse Reports من اختبار النظام الخوارزمي مقابل ستة مقاييس عدالة إحصائية قياسية، بما في ذلك التكافؤ الديموغرافي والتكافؤ التنبؤي والمعدلات الإيجابية الخاطئة.
وأشاروا إلى أنه على الرغم من أن النتائج أكدت أن النظام السويدي يستهدف بشكل غير متناسب المجموعات المهمشة بالفعل في المجتمع السويدي، فإن مصلحة التأمينات الاجتماعية لم تكن شفافة تمامًا بشأن الأعمال الداخلية للنظام، بعد أن رفضت عددًا من طلبات حرية المعلومات (FOI) المقدمة من المحققين. .
وأضافوا أنهم عندما قدموا تحليلهم إلى أندرس فيزيث، رئيس التحليلات في Försäkringskassan، لم يشكك فيه، وبدلاً من ذلك جادل بأنه لم يتم تحديد أي مشكلة.
وقال: “الاختيارات التي نقوم بها، لا نعتبرها عائقاً”. “نحن ننظر إلى الحالات الفردية ونقيمها على أساس احتمالية الخطأ وأولئك الذين يتم اختيارهم يحصلون على محاكمة عادلة. لقد أثبتت هذه النماذج أنها من بين النماذج الأكثر دقة لدينا. وعلينا أن نستخدم مواردنا بطريقة فعالة من حيث التكلفة. وفي الوقت نفسه، نحن لا نميز ضد أي شخص، ولكننا نتبع قانون التمييز”.
اتصلت مجلة Computer Weekly بمؤسسة Försäkringskassan بشأن التحقيق ودعوة منظمة العفو الدولية اللاحقة لإيقاف النظام.
وقال متحدث باسم الوكالة: “تتحمل وكالة Försäkringskassan مسؤولية كبيرة لمنع الأنشطة الإجرامية التي تستهدف نظام الضمان الاجتماعي السويدي”. “يعد هذا النظام القائم على التعلم الآلي أحد الأدوات العديدة المستخدمة لحماية أموال دافعي الضرائب السويديين.
“من المهم أن النظام يعمل في الامتثال الكامل للقانون السويدي. ومن الجدير بالذكر أن النظام لا يحدد الأفراد بل تطبيقات محددة. علاوة على ذلك، فإن الإبلاغ عنه لا يؤدي تلقائيًا إلى إجراء تحقيق. وإذا كان لمقدم الطلب الحق في الحصول على المزايا، فسوف يحصل عليها بغض النظر عما إذا كان طلبه قد تم الإبلاغ عنه أم لا. نحن نتفهم الاهتمام بالشفافية؛ ومع ذلك، فإن الكشف عن تفاصيل كيفية عمل النظام يمكن أن يمكّن الأفراد من تجاوز الكشف. وقد أيدت محكمة الاستئناف الإدارية هذا الموقف (ستوكهولمز كامارات، القضية رقم 7804-23).”
وقال نولان إنه إذا استمر استخدام النظام، فقد تتجه السويد نحو فضيحة مماثلة لتلك التي حدثت في هولندا، حيث استخدمت السلطات الضريبية الخوارزميات لاتهام عشرات الآلاف من الآباء ومقدمي الرعاية الذين ينتمون إلى أسر منخفضة الدخل في الغالب بالاحتيال، الأمر الذي أضر أيضًا بشكل غير متناسب بالأشخاص من خلفيات الأقليات العرقية.
“نظرًا للرد الغامض من جانب السلطات السويدية، وعدم السماح لنا بفهم الأعمال الداخلية للنظام، والإطار الغامض لحظر التسجيل الاجتماعي بموجب قانون الذكاء الاصطناعي، فمن الصعب تحديد أين سيندرج هذا النظام المحدد تحت حكم الذكاء الاصطناعي”. وقال: “تصنيف القانون على أساس المخاطر لأنظمة الذكاء الاصطناعي”. “ومع ذلك، هناك أدلة كافية تشير إلى أن النظام ينتهك الحق في المساواة وعدم التمييز. ولذلك يجب إيقاف النظام فوراً”.
تحت قانون الذكاء الاصطناعي – الذي دخل حيز التنفيذ في 1 أغسطس 2024 – يجب أن يفي استخدام أنظمة الذكاء الاصطناعي من قبل السلطات العامة لتحديد الوصول إلى الخدمات والمنافع العامة الأساسية بقواعد فنية وشفافية وحوكمة صارمة، بما في ذلك التزام القائمين بالنشر بإجراء تقييم لحقوق الإنسان. المخاطر وضمان وجود تدابير تخفيف قبل استخدامها. يُحظر استخدام أنظمة محددة تعتبر أدوات للتسجيل الاجتماعي.
قوى الأمن الداخلي السويدية وجدت سابقا في عام 2018 أن الخوارزمية التي تستخدمها Försäkringskassan “في تصميمها الحالي [the algorithm] لا يلبي المساواة في المعاملة”، على الرغم من أن الوكالة تراجعت في ذلك الوقت بحجة أن التحليل كان معيبًا ويستند إلى أسس مشكوك فيها.
مسؤول حماية البيانات الذي عمل سابقًا في Försäkringskassan أيضًا حذر في عام 2020 أن تشغيل النظام ينتهك اللائحة الأوروبية العامة لحماية البيانات، لأن الهيئة ليس لديها أساس قانوني لتصنيف الأشخاص.
في 13 نوفمبر/تشرين الثاني، منظمة العفو الدولية كشف كيفية استخدام أدوات الذكاء الاصطناعي من قبل وكالة الرعاية الاجتماعية في الدنمارك تخلق مراقبة جماعية ضارة، وتخاطر بالتمييز ضد الأشخاص ذوي الإعاقة والمجموعات العنصرية والمهاجرين واللاجئين.
