يعمل نظام الرعاية الاجتماعية المدعوم بالذكاء الاصطناعي في الدنمارك على تغذية المراقبة الجماعية
تنتهك أدوات الذكاء الاصطناعي (AI) التي تستخدمها هيئة الرعاية الاجتماعية الدنماركية، الخصوصية الفردية، وتخاطر بالتمييز وتنتهك لوائح قانون الذكاء الاصطناعي للاتحاد الأوروبي بشأن أنظمة التسجيل الاجتماعي، وفقًا لتحليل أجرته منظمة العفو الدولية.
تستخدم Udbetaling Danmark (UDK، أو Payout Danish) – التي تأسست في عام 2012 لمركزية دفع مختلف استحقاقات الرعاية الاجتماعية عبر خمس بلديات – خوارزميات مدعومة بالذكاء الاصطناعي لتحديد الأفراد الذين يعتبرون الأكثر عرضة لخطر ارتكاب الاحتيال في الإعانات الاجتماعية لإجراء مزيد من التحقيق. وقد تم تطويرها بالشراكة مع ATP، أكبر شركة لمعالجة معاشات التقاعد في الدنمارك، والعديد من الشركات الخاصة المتعددة الجنسيات.
ال تقرير تفاصيل كيف تنتهك خوارزميات مكافحة الاحتيال الخاصة بـ UDK حقوق الإنسان لمتلقي مزايا الضمان الاجتماعي، بما في ذلك حقوقهم في الخصوصية والمساواة والضمان الاجتماعي. ويخلص أيضًا إلى أن النظام يخلق حاجزًا أمام الوصول إلى المزايا الاجتماعية لبعض الفئات المهمشة، بما في ذلك الأشخاص ذوي الإعاقةوالأفراد ذوي الدخل المنخفض والمهاجرين.
وقالت هيلين موكيري سميث، الباحثة في منظمة العفو الدولية في مجال الذكاء الاصطناعي وحقوق الإنسان: “لقد خلقت هذه المراقبة الجماعية نظام مزايا اجتماعية يخاطر باستهداف الأشخاص الذين كان من المفترض أن يحميهم، بدلاً من دعمهم”.
“إن الطريقة التي يعمل بها نظام الرعاية الاجتماعية الآلي الدنماركي تؤدي إلى تآكل الخصوصية الفردية وتقويض الكرامة الإنسانية. ومن خلال نشر خوارزميات مكافحة الاحتيال وطرق المراقبة التقليدية لتحديد الاحتيال في المزايا الاجتماعية، تعمل السلطات على تمكين وتوسيع نطاق المراقبة الجماعية الرقمية.
تجادل منظمة العفو الدولية بأن نظام الكشف عن الاحتيال الخاص بـ UDK يندرج على الأرجح تحت حظر “التسجيل الاجتماعي” بموجب قانون قانون الذكاء الاصطناعي للاتحاد الأوروبي، والذي دخل حيز التنفيذ في 1 أغسطس 2024.
يُعرّف القانون أنظمة التسجيل الاجتماعي للذكاء الاصطناعي بأنها تلك التي “تقيم أو تصنف” الأفراد أو المجموعات بناءً على السلوك الاجتماعي أو السمات الشخصية، مما يتسبب في “معاملة ضارة أو غير مواتية” لهؤلاء الأشخاص.
وقال موكيري سميث: “إن المعلومات التي جمعتها منظمة العفو الدولية وحللتها تشير إلى أن النظام الذي يستخدمه UDK وATP يعمل كنظام تسجيل اجتماعي بموجب قانون الذكاء الاصطناعي الجديد للاتحاد الأوروبي – وبالتالي يجب حظره”.
قام UDK وATP بتزويد منظمة العفو الدولية بوثائق منقحة حول تصميم بعض الأنظمة الخوارزمية، ويُزعم أنهما رفضا طلبات منظمة العفو الدولية لإجراء تدقيق تعاوني، ورفضا توفير الوصول الكامل إلى التعليمات البرمجية والبيانات المستخدمة في خوارزمياتهما.
ورفضت السلطات الدنماركية أيضًا تقييم منظمة العفو الدولية بأن نظام كشف الاحتيال الخاص بها من المحتمل أن يندرج تحت حظر التسجيل الاجتماعي بموجب قانون الذكاء الاصطناعي، لكنها لم تقدم تفسيرًا لهذا السبب.
وردا على ذلك، دعت منظمة العفو الدولية المفوضية الأوروبية لإصدار مبادئ توجيهية واضحة بشأن ممارسات الذكاء الاصطناعي التي تشكل نظام تسجيل اجتماعي في إرشادات قانون الذكاء الاصطناعي. كما طلبت المنظمة من السلطات الدنماركية التوقف عن استخدام النظام حتى يتم التأكد من أنه لا يقع تحت هذا الحظر.
وأضاف موكيري سميث: “يجب على السلطات الدنماركية أن تنفذ بشكل عاجل حظرًا واضحًا وملزمًا قانونًا على استخدام البيانات المتعلقة بـ “الانتساب الأجنبي” أو بيانات الوكيل في تقييم المخاطر لأغراض مكافحة الاحتيال. ويجب عليهم أيضًا ضمان الشفافية القوية والرقابة الكافية في تطوير ونشر خوارزميات مكافحة الاحتيال.
اتصلت شركة Computer Weekly بـ UDK بشأن الادعاءات التي قدمتها منظمة العفو الدولية لكنها لم تتلق أي رد حتى وقت النشر.
انتهاك الخصوصية
إلى جانب ATP، يستخدم UDK نظامًا يصل إلى 60 خوارزمية لتحديد الهوية طلبات الإعانات الاجتماعية الاحتيالية ووضع علامة على الأفراد لإجراء مزيد من التحقيقات من قبل السلطات الدنماركية.
ولتفعيل هذه النماذج، قامت السلطات الدنماركية بسن قوانين تمكن من جمع ودمج البيانات الشخصية على نطاق واسع من قواعد البيانات العامة لملايين المقيمين الدنماركيين. يتضمن ذلك معلومات عن حالة الإقامة والجنسية وغيرها من البيانات التي يمكن أن تكون أيضًا بمثابة مؤشرات لعرق الشخص أو أصله العرقي أو توجهه الجنسي.
وأضاف موكيري سميث: “تُستخدم آلة المراقبة الموسعة هذه لتوثيق وبناء رؤية بانورامية لحياة الشخص والتي غالبًا ما تكون منفصلة عن الواقع. فهو يتتبع ويراقب المكان الذي يعيش ويعمل فيه طالب الإعانة الاجتماعية، وتاريخ سفره، وسجلاته الصحية، وحتى علاقاته بالدول الأجنبية.
ووصف الأفراد الذين أجرت منظمة العفو الدولية مقابلات معهم ما حدث التأثير النفسي للخضوع للمراقبة من قبل المحققين الاحتيال والعاملين في القضية. وفي وصف الشعور بالتحقيق بشأن الاحتيال في المزايا، قال ستيغ لانغفاد، من مؤسسة دانسك للمعاقين، لمنظمة العفو الدولية إن الأمر يشبه “الجلوس في نهاية البندقية”.
صرح UDK أن جمع البيانات الشخصية ودمجها للكشف عن الاحتيال في المزايا الاجتماعية “لأساس قانوني”.
تفاقم التهميش الهيكلي
ويكشف التقرير أيضًا أن فوائد نظام مكافحة الاحتيال الذي طوره UDK وATP مبني على هياكل تمييزية بطبيعتها في الأنظمة القانونية والاجتماعية في الدنمارك، والتي تصنف الأشخاص والمجتمعات على أساس الاختلاف.
ووفقا للتقرير، فإن القانون الدنماركي يخلق بالفعل “بيئة معادية للمهاجرين والأشخاص الذين تم منحهم وضع اللاجئ”، مع متطلبات الإقامة لأولئك الذين يسعون للمطالبة بالمزايا التي تؤثر بشكل غير متناسب على الأشخاص من البلدان غير الغربية، مع وجود العديد من اللاجئين في الدنمارك. بما في ذلك سوريا وأفغانستان ولبنان.
تتنبأ خوارزمية التحكم في الاحتيال المنفردة حقًا بحالة عائلة الشخص أو علاقته لتقييم مخاطر الاحتيال في المعاشات التقاعدية وخطط رعاية الأطفال. تتضمن إحدى المعايير التي تستخدمها الخوارزمية أنماطًا معيشية أو ترتيبات عائلية “غير عادية” أو “غير نمطية”، ولكنها لا تحتوي على وضوح حول ما يشكل مثل هذه المواقف، مما يترك مجالًا لاتخاذ قرارات تعسفية بشكل خطير.
وأضافت موكيري سميث: “الأشخاص الذين يعيشون في ترتيبات معيشية غير تقليدية – مثل الأشخاص ذوي الإعاقة المتزوجين ولكنهم يعيشون منفصلين بسبب إعاقتهم؛ كبار السن في العلاقات الذين يعيشون منفصلين؛ أو أولئك الذين يعيشون في أسرة متعددة الأجيال، وهو ترتيب شائع في مجتمعات المهاجرين – جميعهم معرضون لخطر استهدافهم من قبل خوارزمية “Rely Single” لمزيد من التحقيق في الاحتيال على المزايا الاجتماعية.
وصفت جيتي نيلسن، رئيسة لجنة السياسة الاجتماعية وسياسة سوق العمل في مؤسسة دانسك للمعاقين، الشعور بالتعرض للتدقيق وإعادة التقييم باستمرار: “إنه يأكلك. الكثير من أعضائنا… يعانون من الاكتئاب بسبب هذا الاستجواب”.
بالإضافة إلى ذلك، يستخدم UDK وATP المدخلات المتعلقة بـ “الانتماء الأجنبي” في نماذجهم الخوارزمية. على سبيل المثال، تحدد خوارزمية “نموذج في الخارج” مجموعات المستفيدين الذين يُعتقد أن لديهم “روابط متوسطة وعالية القوة” مع البلدان غير الأعضاء في المنطقة الاقتصادية الأوروبية وتعطي الأولوية لهذه المجموعات لمزيد من التحقيق.
ووجد بحث منظمة العفو الدولية أن مثل هذه الخوارزميات تميز ضد الأشخاص بناءً على عوامل مثل الأصل القومي وحالة الهجرة.
وفي رد على منظمة العفو الدولية، ذكر UDK أن استخدام “المواطنة” كمعلمة في خوارزمياتهم لا يشكل معالجة للمعلومات الشخصية الحساسة.
