Бристоль вимкнув ШІ для оцінки ризику злочинів проти дітей

Поліція Ейвона і Сомерсету та міська рада Бристоля відключили щонайменше дві моделі штучного інтелекту, які використовувалися для оцінки ризику злочинів проти дітей. Рішення було ухвалене після перевірок точності роботи моделей і спроб незалежного аудиту.

Моделі базувалися на даних із міської бази Think Family Database, запущеної в 2016 році для роботи з родинами та дітьми. До бази потрапляли поліцейські та соціальні дані: житловий статус, відомості про психічне здоров’я, підліткові вагітності, участь у курсах для батьків, пропуски школи та інформація про отримання безкоштовного шкільного харчування. У документах фіксується, що частина даних збиралася без прямої згоди мешканців на підставі юридичних підстав для обміну інформацією між державними органами. У різних джерелах згадуються різні оцінки охоплення — від даних про приблизно 55 000 сімей до записів, що стосувалися сотень тисяч осіб.

Правоохоронці й місцева влада використовували не одну модель. Перелік включав щонайменше 23 алгоритмічні інструменти для прогнозів різних ризиків, а також застосунок для управління фігурантами з даними про близько 300 000 людей у регіоні. Один із працівників, який працював із даними, описав підхід так: «Я складаю все це у велике відро».

Дві відключені моделі, що оцінювали ризик злочинів проти дітей, працювали на об’єднаних даних поліції, міської ради та інших служб і включали знеособлені дані благодійної організації про близько 1 000 дітей, які вже постраждали від злочинів. Показниками для скорингу були статус дитини, систематичні пропуски школи, проблеми з психічним здоров’ям; інша модель частково опиралася на інформацію про житлову підтримку, заборгованість із оренди й отримання безкоштовного харчування. У 2016 році етичний комітет поліції застерігав про ризик алгоритмічної упередженості й радив обережність та попереднє інформування населення про використання таких інструментів.

Зовнішні аудити та перевірки дали конкретні технічні зауваження. Незалежні аудитори не знайшли вихідного коду та повного переліку змінних, необхідних для повноцінної ревізії. Огляд роботи скорингу визначив механізм ризик‑скорингу як слабку ланку, вказавши на низьку точність результатів. Аналіз понад 36 000 показників продуктивності для 13 моделей за період 2017–2024 років показав, що більшість моделей мали низьку точність позитивних спрацювань; зокрема, модель для виявлення потенційних крадіїв із проникненням більше трьох років демонструвала показник менше 10%.

Спроба масштабувати підхід на територію п’яти місцевих рад не завершилася укладенням повних угод про обмін даними. Через це деякі моделі втратили соціальні індикатори і працювали переважно на поліцейських даних. Працівники місцевих служб повідомляли, що неповнолітні, які нещодавно постраждали від злочину, іноді отримували нижчі оцінки ризику, ніж підозрювані в майнових злочинах, і що фахівці не готові покладатися на непрозорі системи.

У поліції відзначили, що частина інструментів ніколи не була впроваджена, а доступні алгоритми застосовувалися як рекомендаційні сигнали для співробітників, без автоматичного ухвалення рішень. Міська рада повідомила, що наразі використовує лише модель NEET, яка оцінює ймовірність того, що молода людина після школи не продовжить навчання і не влаштується на роботу чи професійну підготовку.

На національному рівні Міністерство внутрішніх справ оголосило про запуск центру PoliceAI з бюджетом 75 млн фунтів стерлінгів на три роки для тестування і масштабування інструментів штучного інтелекту у 43 поліцейських управліннях. Перші польові випробування інструментів для обробки цифрових доказів заплановані на 2026–2027 роки. Керівництво центру має зв’язки з регіоном, де розроблялися згадані системи.