Алгоритм, влияющий на прогноз рецидивов? В Голландии его используют, но часто неправильно.

Алгоритм, используемый для оценки вероятности того, что преступник снова совершит преступление, содержит серьезные ошибки, заключают в Инспекции юстиции и безопасности. В инспекции заявили, что Реклассификация должна прекратить использование системы или изменить ее как можно скорее, говорит NOS.

Почти в четверти случаев оценки слишком высоки или слишком занижены. В большинстве ошибок риск повторения недооценивается.

Роль реклассификации

В своих отчетах реклассификация описывает биографию заключенных и указывает меры, необходимые для предотвращения рецидивов. Судья использует этот совет для вынесения приговора.

Если риск недооценен, компания может оказаться недостаточно защищенной. Напротив, завышение оценки может иметь негативные последствия для подозреваемого или осужденного.

Джессика Вестерик из Reclassering Nederland говорит, что использование системы «приостановлено». Он называет отчет инспекции «противным и ценным». В ближайшие месяцы мы оценим, как использовать систему «ответственно».

Предыдущие предупреждения

Еще шесть лет назад были высказаны сомнения по поводу алгоритма из-за возможной дискриминации по этническому признаку или социальному классу, а также слишком большой погрешности, что ставит под сомнение его эффективность.

Серьезный пример касается инверсии категорий «осужденный» и «расследуемый»: осужденным, имеющим больший риск повторного совершения преступления, был присвоен меньший риск. Даже для потребителей наркотиков риск рецидива недооценивается.

Некоторые важные переменные были опущены, например, принадлежность к меньшинствам или психические расстройства. Хотя инспекция признает, что некоторая конфиденциальная информация не может быть использована, модель не была должным образом скорректирована. Более того, введенные данные часто устарели, поскольку они основаны на устаревших шведских и американских исследованиях.

Широкое использование системы.

Система используется уже много лет: в 2023–2024 годах было подано более 40 000 заявок в год. Поскольку алгоритм представляет собой лишь часть общей оценки риска, инспекция не может количественно определить, сколько случаев фактически выдало неверные результаты. Операторы также оценивают независимо, и судья учитывает эти оценки при вынесении окончательного вердикта. Однако риск решений существует неуместное наказание, возможные приговоры могут быть слишком длинными или слишком короткими, а лечение неадекватным.

В инспекции отмечают, что алгоритм пользуется чрезмерным доверием при оценке рисков. «Операторы плохо понимают, как работает система, что увеличивает риски», — объясняет Шмидт.

Отсутствие контроля объясняет, почему ошибки не были обнаружены раньше: «Реклассинг не обладает достаточным опытом для правильного управления системой».

Риск дискриминации

Система может порождать косвенную дискриминацию. Такие переменные, как почтовый индекс и доход, могут быть связаны с этническим происхождением человека, и College voor de Rechten van de Mens предупреждает, что это может привести к дискриминации. Использование таких характеристик должно быть соразмерным и направлено на предотвращение дискриминации, чего в данном случае не произошло.

«Мы не хотим проводить дискриминацию и выделяем только то, что важно для оценки рисков преступного поведения», — говорит Вестерик. «Национальность и этническая принадлежность у нас не регистрируются».

Более широкий контекст

По словам NOS, расследование реклассификации является первым из более масштабного исследования использования алгоритмов в государственном управлении, начатого после проблем, возникших при использовании алгоритмов в делах о пособиях и в DUO.