ANPФото для иллюстрации: интерьер тюремной камеры
Выводы Инспекции юстиции и безопасности однозначны. Алгоритмы, которые служба пробации годами использовала для расчета риска повторного совершения уголовных преступлений, полны ошибок. Отвечает Джессика Вестерик, директор Службы пробации Нидерландов. Час новостей в разоблачающем отчете.
Она называет выводы «очень конфронтационными» и говорит, что службе пробации нужно «некоторые наверстывать упущенное», когда дело доходит до правильного использования алгоритмов.
“Мы очень обеспокоены этим и я хочу взять на себя ответственность за это”, – говорит режиссер. «Я бы ничего не стоил, если бы не сделал этого. В службе пробации мы каждый день пытаемся научить людей тому, что нужно брать на себя ответственность за свои ошибки и пытаться их исправить».
Около 48 тысяч раз в год служба пробации информирует судей о риске повторной ошибки, так называемом риске рецидива. Это может быть подозреваемый, находящийся под следствием, или заключенный, которого собираются освободить. Этот совет имеет большой вес и может означать разницу между освобождением или задержанием.
Устаревшие данные из Швеции
Отчет проверки показывает, что модели расчета, использованные службой пробации, были неверными примерно в каждом пятом случае. Один из этих алгоритмов, получивший название Oxrec, практически ни в чем не соответствует стандартам государственных алгоритмов, заключают инспекция. В алгоритме были перепутаны важные формулы, проблемы с наркотиками не были должным образом включены в модель, а серьезные психические расстройства не были включены.
Более того, модель основывалась на устаревших данных шведских задержанных. «Очень сомнительно, что набор данных, который дает прогнозы для населения Швеции, может быть применен и к Нидерландам», — говорит Синтия Лием, доцент Делфтского технического университета, специализирующаяся на ответственном использовании искусственного интеллекта и алгоритмов.
Лием называет «смущающим» тот факт, что модель никогда не применялась правильно и что в последние годы она ни разу не проверялась. Она объясняет это, среди прочего, сильным доверием, которое организации часто оказывают компьютерным моделям. «ИИ и алгоритмы делают для нас очень привлекательным возможность меньше думать, меньше задавать вопросы и просто принимать то, что нам предлагают. Вы видите, что это происходит во многих технологических приложениях».
Это одно из самых болезненных сообщений, которые мы видели за последние годы.
Свен Стивенсон, Управление по защите данных Нидерландов
Служба пробации сейчас приостановила использование моделей и создала программу по тщательному изучению использования этих так называемых инструментов оценки рисков.
По мнению инспекции, для большинства ошибок риск рецидива был оценен заниженно. Возможным последствием является то, что общество недостаточно защищено. Если оценка слишком высока, это может нанести ущерб подозреваемому или осужденному, например, потому, что тогда он или она получит более строгий приговор.
На вопрос, могли ли люди быть освобождены слишком рано или наказаны более строго из-за неправильной оценки, директор Вестерик отвечает, что не может этого исключать. «Но я думаю, что шанс очень мал».
Дискриминация
«Это один из самых болезненных отчетов, которые мы видели за последние годы», — говорит Свен Стивенсон из Управления по защите данных Нидерландов. «Как гражданин, вы должны быть в состоянии верить, что такой алгоритм справедлив и не дискриминирует. И то, и другое не соответствует некоторым из этих алгоритмов».
Особенно обидно, что службу пробации закрыли еще в 2020 году. предупредил для дискриминационных элементов в алгоритме Oxrec. В этой модели были учтены характеристики почтового индекса и дохода, что может косвенно привести к этническому профилированию. Вестерик говорит, что служба пробации тогда отнеслась к этому сигналу “очень серьезно”. «Но в то время казалось, что было достаточно научных доказательств того, что соседство и доход являются отдельными факторами».
Но год спустя Нидерландский институт по правам человека также заявил, что нельзя учитывать эти характеристики, не обосновав это должным образом. И это обоснование отсутствовало. «Мы сделали этого недостаточно, это правда», — говорит Вестерик.
Директор признает, что в ее организации было недостаточно знаний об алгоритмах и их обслуживании. «Мы должны это улучшить, и мы это сделаем. Но я также хочу подчеркнуть, что испытательный срок — это человеческая работа. Во всех наших учебных материалах говорится, что профессиональные суждения наших сотрудников являются ведущими».
2026-02-12 23:03:00
1770947058
#Директор #службы #пробации #разрушительном #докладе #Недостаточное #знание #алгоритмов
Продолжение темы
