يتم استخدام أدوات التنميط القائمة على البيانات من قبل وزارة العدل في المملكة المتحدة (MOJ) لتنبؤ “مخاطر” الناس في ارتكاب جرائم جنائية ، لكن مجموعة الضغط على مجموعة State Watch تقول إن استخدام البيانات المتحيزة تاريخيًا سيؤدي إلى زيادة التمييز الهيكلي.
الوثائق التي تم الحصول عليها من خلال Watch with a freedom of Information (FOI) تكشف MOJ يستخدم بالفعل خوارزمية معيبة واحدة للتنبؤ “بخطر الشعب لإعادة تقديمه ، ويقوم بنشاط بتطوير نظام آخر” للتنبؤ “من الذي سيلتزم القتل.
بينما تقول السلطات التي تنشر أدوات الشرطة التنبؤية أنها يمكن استخدامها للموارد المباشرة بشكل أكثر كفاءة ، النقاد يجادلون ذلك، في الممارسة العملية ، يتم استخدامهم لاستهداف المجتمعات الفقيرة والعرقية بشكل متكرر ، حيث كانت هذه المجموعات تاريخياً “مفرطة في الإفراط” ، وبالتالي تم تمثيلها بشكل مفرط في مجموعات بيانات الشرطة.
هذا ثم يخلق أ حلقة التغذية المرتدة السلبية، حيث تؤدي هذه “التنبؤات المزعومة” إلى مزيد من الإفراط في الخلايا بين المجموعات والمناطق ، وبالتالي تعزيز وتفاقم التمييز الموجود مسبقًا حيث يتم جمع كميات متزايدة من البيانات.
تتبع الانتشار التاريخي لأنظمة الشرطة التنبؤية في كتابهم 2018 الشرطة: دليل ميدانييجادل المؤلفون ديفيد كوريا وتايلر وول بأن مثل هذه الأدوات توفر “بيانات موضوعية على ما يبدو” لسلطات إنفاذ القانون لمواصلة المشاركة في ممارسات الشرطة التمييزية ، “ولكن بطريقة تبدو خالية من التنميط العنصري”.
وأضافوا ذلك “لا ينبغي أن يكون مفاجأة أن الشرطة التنبؤية تحدد عنف المستقبل في فقراء الحاضر”.
اتصلت الكمبيوتر الأسبوعي بـ MOJ حول كيفية تعامله مع ميل أنظمة الشرطة التنبؤية لزيادة التمييز الهيكلي ، ولكن لم يتلق أي استجابة بشأن هذه النقطة.
أنظمة MOJ
المعروف باسم نظام تقييم الجاني (OASYS) ، تم تطوير أول أداة للتنبؤ بالجريمة من قبل وزارة الداخلية على ثلاث دراسات تجريبية قبل طرحها عبر نظام السجن والمراقبة في إنجلترا وويلز بين عامي 2001 و 2005.
وفق سجن صاحب الجلالة وخدمة الاختبار (HMPPs) ، يحدد Oasys “وتصنيف الاحتياجات المرتبطة بالجريمة” ويقيم “خطر الإضرار المجرمين على أنفسهم وللآخرين” ، باستخدام تقنيات التعلم الآلي بحيث “يتعلم” النظام من مدخلات البيانات لتكييف الطريقة التي تعمل بها.
يمكن ترميز العنصرية الهيكلية وغيرها من أشكال التحيز الجهازي في درجات مخاطر OASYS – بشكل مباشر وغير مباشر
سوبانان نارينتهيران ، مؤسسة اجتماعية اختراق
ثم يتم استخدام درجات المخاطر الناتجة عن الخوارزميات لاتخاذ مجموعة واسعة من القرارات التي يمكن أن تؤثر بشدة على حياة الناس. ويشمل ذلك قرارات بشأن الكفالة والحكم ، ونوع السجن الذي سيتم إرساله إليه ، وما إذا كانوا سيتمكنون من الوصول إلى برامج التعليم أو إعادة التأهيل أثناء السجن.
تُظهر الوثائق التي حصلت عليها StateWatch أن أداة OASYS تُستخدم لتشمل آلاف السجناء في إنجلترا وويلز كل أسبوع. في أسبوع واحد فقط ، بين 6 و 12 يناير 2025 ، على سبيل المثال ، تم استخدام الأداة لإكمال المجموع من 9،420 تقييم للمخاطر – بمعدل أكثر من 1300 في اليوم.
وتعليقًا على Oasys ، Sobanan Narenthiran-سجين سابق ويشارك الآن في Ceo اختراق المؤسسة الاجتماعية، وهي منظمة “تدعم الأشخاص المعرضين للخطر أو مع تجربة نظام العدالة الجنائية لدخول عالم التكنولوجيا” – أخبرت StateWatch أن “العنصرية الهيكلية وغيرها من أشكال التحيز النظامية قد يتم ترميزها في درجات المخاطر – بشكل مباشر وغير مباشر”.
كما جادل بأن المعلومات التي تم إدخالها في Oasys من المحتمل أن تتأثر بشدة بالقضايا النظامية مثل الشرطة المتحيزة والتوفير المفرط في مجتمعات معينة “، على سبيل المثال ، على سبيل المثال:” قد يتم إيقاف الأفراد الأسود وغيرهم من الأفراد عنصريين أكثر وتفتيشًا وتفتيشًا واعتمادهم بسبب عدم المساواة الهيكلية في إنفاذ القانون.
“نتيجة لذلك ، قد تظهر” مخاطر أعلى “في النظام ، ليس بسبب أي خطر فعلي أكبر ، ولكن لأن البيانات تعكس هذه التفاوتات. هذه حالة كلاسيكية من” القمامة في ، القمامة خارج “.
اتصلت الكمبيوتر الأسبوعي بـ MOJ حول كيفية ضمان الدقة في صنع القرار ، بالنظر إلى الحجم الهائل للتقييمات الخوارزمية التي تقوم بها كل يوم ، لكنها لم تتلق أي استجابة مباشرة على هذه النقطة.
وقال متحدث باسم أن الممارسين يتحققون من المعلومات ويتبعون إرشادات التسجيل التفصيلية للاتساق.
في حين أن أداة التنبؤ بالجريمة الثانية قيد التطوير حاليًا ، فإن القصد من ذلك هو تحديد الخوارزميات الأكثر عرضة لخطر ارتكاب جريمة قتل من خلال سحب مجموعة واسعة من البيانات عنها من مصادر مختلفة ، مثل خدمة الاختبار وقوات الشرطة المحددة في المشروع.
تقول StateWatch إن أنواع المعلومات التي تمت معالجتها يمكن أن تشمل أسماء وتواريخ الميلاد والجنس والعرق ، ورقم يحدد الأشخاص على شرطة الكمبيوتر الوطني (PNC).
يسمى في الأصل “مشروع التنبؤ بالقتل” ، مبادرة منذ ذلك الحين تمت إعادة تسميتها إلى “مشاركة البيانات لتحسين تقييم المخاطر” ، ويمكن استخدامها في ملف تعريف الأشخاص المدانين وغير المحدودين على حد سواء.
وفقا ل اتفاق مشاركة البيانات بين MOJ وشرطة مانشستر الكبرى (GMP) التي تم الحصول عليها بواسطة StateWatch ، على سبيل المثال ، يمكن أن تشمل أنواع البيانات التي يتم مشاركتها العمر الذي كان لدى الشخص أول اتصال له بالشرطة ، وعمرهم أولاً ضحية جريمة ، بما في ذلك العنف المنزلي.
المدرجة في إطار “فئات خاصة من البيانات الشخصية” ، تتوخى الاتفاقية أيضًا مشاركة “علامات الصحة التي من المتوقع أن تتمتع بسلطة تنبؤية كبيرة”.
يمكن أن يشمل ذلك البيانات المتعلقة بالصحة العقلية ، والإدمان ، والانتحار ، والضعف ، والإيذاء الذاتي والإعاقة. أبرزت StateWatch كيف سيتم استخدام بيانات الأشخاص الذين لم يتم إدانتهم من أي جريمة جنائية كجزء من المشروع.
في كلتا الحالتين ، تقول StateWatch إن استخدام بيانات من المنظمات “العنصرية المؤسسية” مثل قوات الشرطة و MOJ سيعمل فقط على “تعزيز وتضخيم” التمييز الهيكلي الذي يدعم نظام العدالة الجنائية في المملكة المتحدة.
مرارا وتكرارا ، تظهر الأبحاث أن الأنظمة الخوارزمية من أجل “التنبؤ بجريمة” معيب بطبيعتها
صوفيا ليال ، واوش
وقالت صوفيا ليال ، باحثة ولاية ستيت واتش: “إن محاولة وزارة العدل لبناء نظام التنبؤ بالقتل هذا هو أحدث مثال على تقشعر لها الأبدان وعدميك عن نية الحكومة لتطوير أنظمة التنبؤ بجريمة الجريمة”.
“مثل الأنظمة الأخرى من نوعها ، فإنها ستقوم بالترميز تجاه المجتمعات العنصرية والمنخفضة الدخل. إن بناء أداة تلقائية لملف تعريف الأشخاص كمجرمين عنيفين أمر خاطئ للغاية ، واستخدام مثل هذه البيانات الحساسة حول الصحة العقلية ، والإدمان والعجز متقلبة للغاية ومثيرة للقلق.”
وأضاف ليال: “مرارا وتكرارا ، تظهر الأبحاث أن أنظمة الخوارزمية من أجل” التنبؤ بجريمة “معيب بطبيعتها”.
لاحظت StateWatch أيضًا أن السود على وجه الخصوص تم تمثيلهم بشكل مفرط في البيانات التي تحتفظ بها MOJ ، وكذلك الأشخاص من جميع الأعراق من المناطق الأكثر حرمانًا.
تحدي عدم الدقة
وفقا ل التقييم الرسمي من بين درجات المخاطر التي تنتجها OASYS من عام 2015 ، يتمتع النظام بتناقضات في الدقة بناءً على الجنس والعمر والعرق ، مع وجود درجات المخاطر التي تولدها أقل دقة بشكل غير متناسب بالنسبة للأشخاص الذين يتمتعون بالعنصرية من الأشخاص البيض ، وخاصةً للأشخاص الأسود والمختلط.
وقالت: “كانت الصلاحية التنبؤية النسبية أكبر بالنسبة للإناث من المجرمين الذكور ، والمجرمين البيض أكثر من الجناة من الإثنية الآسيوية والأسود والمختلط ، وكبار السن من الجناة الأصغر سناً”. “بعد السيطرة على الاختلافات في ملفات تعريف المخاطر ، كان انخفاض الصلاحية لجميع المجموعات العرقية السوداء والآسيوية والأقليات (BME) (إعادة الإيداع غير العنيفة) والمجرمين العرق الأسود والمختلط (إعادة الإعادة العنيفة) أكبر قلق.”
كما أخبر عدد من السجناء المتأثرين بخوارزمية OASYS WATHWATCH عن تأثيرات البيانات المتحيزة أو غير الدقيقة. على سبيل المثال ، قال العديد من السجناء العرقيين الذين أصغروا ، إن مقيميهم دخلوا علامة “عصابات” تمييزية وكاذبة في تقاريرهم دون أدلة ، وهو قرار يقولون إنه يستند إلى افتراضات عنصرية.
في حديثه مع باحث من جامعة برمنغهام حول تأثير البيانات غير الدقيقة في أواسيس ، شبّه رجل آخر يقضي عقوبة بالسجن مدى الحياة بـ “كرة ثلجية صغيرة تسير على المنحدرات”.
قال السجين: “كل منعطف يلتقط المزيد والمزيد من الثلج (إدخالات غير دقيقة) حتى تترك في النهاية مع كرة الثلج الضخمة هذه التي لا تحمل أي مظاهر إلى كرة الثلج الصغيرة الأصلية. وبعبارة أخرى ، لم أعد موجودًا. لقد أصبحت بنية لخيالهم. إنه فعل في نهاية المطاف.”
كما وصف نارينتهيران كيف ، على الرغم من المشكلات المعروفة في دقة النظام ، من الصعب تحدي أي بيانات غير صحيحة واردة في أواسيس تقارير: “للقيام بذلك ، كنت بحاجة إلى تعديل المعلومات المسجلة في تقييم OASYS ، وهي عملية محبطة وغالبًا ما تكون معتمة.
“في كثير من الحالات ، لا يكون الأفراد إما على دراية بما تمت كتابته عنهم أو لا يتم منحهم فرصًا ذات مغزى للمراجعة والرد على التقييم قبل الانتهاء منه. حتى عندما يتم إثارة المخاوف ، يتم رفضها أو تجاهلها في كثير من الأحيان ما لم يكن هناك دعوة قانونية قوية.”
يستجيب MOJ
على الرغم من أن أداة التنبؤ بالقتل لا تزال قيد التطوير ، فقد اتصلت Computer Week بـ MOJ للحصول على مزيد من المعلومات حول كلا النظامين – بما في ذلك وسيلة تعويض الإدارة التي يتوخى القسم أن يتمكنوا من استخدامها لتحدي القرارات التي اتخذتها ، على سبيل المثال ، المعلومات غير دقيقة.
قال متحدث باسم القسم إن التحسين المستمر والبحث والتحقق من الصحة يضمن سلامة وجودة هذه الأدوات ، وأن الآثار الأخلاقية مثل الإنصاف وتحيز البيانات المحتملة يتم النظر فيها عندما يتم تطوير أدوات أو مشاريع بحثية جديدة.
وأضافوا أنه لا تستخدم أداة التنبؤ بالقتل ولا OASYs الإثنية كمنصح مباشر ، وأنه إذا لم يكن الأفراد راضين عن نتيجة شكوى رسمية إلى HMPSS ، فيمكنهم الكتابة إلى أمين المظالم والمراقبة.
فيما يتعلق بالوكيل ، أضافوا أن هناك خمسة أدوات للتنبؤ بالمخاطر التي تشكل النظام ، والتي يتم إعادة تقييمها للتنبؤ بفعالية بالمخاطر.
وتعليقًا على أداة التنبؤ بالقتل على وجه التحديد ، قالت وزارة الدفاع: “يتم إجراء هذا المشروع لأغراض البحث فقط. لقد تم تصميمه باستخدام البيانات الحالية التي تقام بها سجن HM وخدمة المراقبة وقوات الشرطة على المجرمين المدانين لمساعدتنا على فهم مخاطر الأشخاص الذين يخضعون للمراقبة بشكل أفضل لارتكاب عنف خطير.
وأضاف أن المشروع يهدف إلى تحسين تقييم المخاطر للجريمة الخطيرة والحفاظ على آمنة الجمهور من خلال تحليل أفضل لبيانات تقييم الجريمة والمخاطر الحالية ، وعلى الرغم من أنه لن يتم تطوير أداة تنبؤية محددة للاستخدام التشغيلي ، فإن نتائج المشروع قد تُبلغ عن العمل المستقبلي على أدوات أخرى.
كما أصرت وزارة الخارجية على أنه تم استخدام بيانات فقط عن الأشخاص الذين لديهم إدانة جنائية واحدة على الأقل حتى الآن.
أدوات رقمية جديدة
على الرغم من المخاوف الخطيرة حول النظام ، تواصل MOJ استخدام تقييمات OASYS عبر خدمات السجن والمراقبة. استجابةً لحملة FOI الخاصة بـ StateWatch ، أكدت MOJ أن “HMPPs تقييم المخاطر والاحتياجات ونقاط القوة (ARNS) يقوم بتطوير أداة رقمية جديدة لاستبدال أداة OASYS”.
كان النموذج الأولي المبكر للنظام الجديد في المرحلة التجريبية منذ ديسمبر 2024 ، “بهدف طرح وطني في عام 2026”. Arns “يتم بناؤه في المنزل من قبل فريق من [Ministry of] العدالة الرقمية التي تتواصل مع Capita ، الذين يقدمون حاليًا الدعم الفني لـ Oasys “.
أطلقت الحكومة أيضًا “مراجعة الحكم المستقل“بالنظر إلى كيفية” تسخير التكنولوجيا الجديدة لإدارة الجناة خارج السجن “، بما في ذلك استخدام أدوات تقييم المخاطر” التنبؤية “وأدوات التمييز ، وكذلك العلامات الإلكترونية.
كما دعت StateWatch إلى وقف تطوير أداة التنبؤ بالجريمة.
وقال ليال: “بدلاً من إلقاء الأموال نحو تطوير AI والخوارزميات العنصرية المراوغة ، يجب على الحكومة الاستثمار في خدمات الرعاية الاجتماعية حقًا. إن إجراء تخفيضات في الرعاية الاجتماعية أثناء الاستثمار في” الإصلاحات السريعة “لمزيد من التقنية لن يؤدي إلا إلى تقويض سلامة الناس ورفاههم”.
