Алгоритм защиты детей находится под пристальным вниманием Министерства юстиции

ПИТТСБУРГ (AP) — Министерство юстиции тщательно изучает спорный инструмент искусственного интеллекта, используемый агентством по защите детей в районе Питтсбурга, из-за опасений, что этот инструмент может привести к дискриминации в отношении семей с ограниченными возможностями, как стало известно Associated Press.

Интерес со стороны федеральных адвокатов по гражданским правам возник после того, как расследование AP выявило потенциальные проблемы с предвзятостью и прозрачностью, связанные с более широким использованием алгоритмов в проблемной системе защиты детей в США. дети могут столкнуться с вредом, другие говорят, что их опора на исторические данные рискует автоматизировать прошлое неравенство.

Как стало известно AP, осенью было подано несколько жалоб на нарушение гражданских прав в отношении инструмента Allegheny Family Screening Tool, который используется, чтобы помочь социальным работникам решить, какие семьи следует расследовать. Новаторская программа искусственного интеллекта предназначена для оценки уровня риска семьи, когда они сообщаются о проблемах с благополучием детей в округе Аллегейни.

Два источника сообщили, что адвокаты в отделе гражданских прав Министерства юстиции сослались на расследование AP, призывая их подать официальные жалобы с подробным изложением их опасений по поводу того, как алгоритм может усилить предвзятость в отношении людей с ограниченными возможностями, включая семьи с проблемами психического здоровья.

Третий человек сообщил AP, что та же группа федеральных адвокатов по гражданским правам также разговаривала с ними в ноябре в рамках широкого разговора о том, как алгоритмические инструменты могут потенциально усугубить неравенство, в том числе для людей с ограниченными возможностями. В этом разговоре обсуждались разработка и построение влиятельного алгоритма Аллегейни, хотя полный объем интересов Министерства юстиции неизвестен.

Все три источника поговорили с AP на условиях анонимности, заявив, что Министерство юстиции попросило их не обсуждать конфиденциальные разговоры. Двое сказали, что они также опасаются профессиональной мести.

Представитель министерства юстиции Вин Хорнбакл отказался от комментариев.

Алгоритмы используют пулы информации, чтобы превратить точки данных в прогнозы, будь то для покупок в Интернете, выявления горячих точек преступности или наем рабочих. Многие агентства в США рассматривают возможность использования таких инструментов в своей работе с детьми и семьями.

Хотя были широко распространены споры о моральных последствиях использования искусственного интеллекта в службах защиты детей, интерес Министерства юстиции к алгоритму Аллегейни знаменует собой значительный поворот в сторону возможных юридических последствий.

Робин Франк, ветеран семейного права в Питтсбурге и активный критик алгоритма Allegheny, сказала, что в октябре она также подала жалобу в Министерство юстиции от имени клиента с умственной отсталостью, который борется за возвращение своей дочери из приемной семьи. . AP получил копию жалобы, в которой выражается обеспокоенность по поводу того, как Allegheny Family Screening Tool оценивает риск семьи.

«Я думаю, что людям важно знать, каковы их права, и в той мере, в какой у нас не так много информации, когда, казалось бы, есть обоснованные вопросы об алгоритме, важно иметь некоторый надзор», — сказал Фрэнк.

Марк Бертолет, представитель Департамента социальных служб округа Аллегейни, сообщил по электронной почте, что агентство не получало никаких известий от Министерства юстиции, и отклонило просьбы об интервью.

«Нам не известно о каких-либо опасениях по поводу включения этих переменных из прошлой оценки исследовательских групп или отзывов сообщества об (инструменте скрининга семьи Allegheny)», — заявили в округе, описывая предыдущие исследования и информирование об этом инструменте.

Работники службы защиты детей могут столкнуться с критикой со всех сторон. Их обвиняют как в чрезмерной слежке, так и в том, что они не оказывают достаточной поддержки семьям, которые попадают в их поле зрения. Систему уже давно критикуют за непропорциональное разделение черных, бедных, инвалидов и маргинализированных семей, а также за недостаточное решение — не говоря уже об искоренении — жестокого обращения с детьми и их смерти.

Сторонники рассматривают алгоритмы как решение, основанное на данных, чтобы сделать систему более тщательной и эффективной, заявляя, что чиновники службы защиты детей должны использовать все имеющиеся в их распоряжении инструменты, чтобы не допустить жестокого обращения с детьми.

Критики опасаются, что делегирование части этой важной работы инструментам ИИ, основанным на данных, собранных в основном от бедных людей, может привести к дискриминации семей по признаку расы, дохода, инвалидности или других внешних характеристик.

В предыдущей истории AP выделялись точки данных, используемые алгоритмом, которые можно интерпретировать как прокси для гонки. Теперь федеральные адвокаты по гражданским правам рассматривают потенциальное воздействие инструмента на людей с ограниченными возможностями.

Инструмент Allegheny Family Screening Tool был специально разработан для прогнозирования риска того, что ребенок будет помещен в приемную семью в течение двух лет после расследования семьи. Округ заявил, что в его алгоритме используются точки данных, привязанные к инвалидности детей, родителей и других членов местных домохозяйств, поскольку они могут помочь предсказать риск того, что ребенок будет удален из дома после сообщения о жестоком обращении. Округ добавил, что он несколько раз обновлял свой алгоритм и иногда удалял точки данных, связанные с инвалидностью.

Используя множество подробных личных данных и записи о рождении, Medicaid, злоупотреблении психоактивными веществами, психическом здоровье, тюрьмах и испытательном сроке, а также другие правительственные наборы данных, статистические расчеты инструмента Allegheny помогают социальным работникам решить, какие семьи должны быть расследованы на предмет безнадзорности — нюансированный термин, который может включать в себя все, от неадекватного жилья до плохой гигиены, но это отдельная категория от физического или сексуального насилия, которое расследуется отдельно в Пенсильвании и не подлежит алгоритму.

Сгенерированная алгоритмом оценка риска сама по себе не определяет, что происходит в случае. Расследование в области защиты детей может привести к тому, что уязвимые семьи получат больше поддержки и услуг, но оно также может привести к изъятию детей на воспитание и, в конечном итоге, к лишению родительских прав.

округ сказал что алгоритмы обеспечивают научную проверку личных предубеждений работников колл-центра. Должностные лица округа также подчеркнули, что сотрудники горячей линии определяют, что происходит с делом семьи, и всегда могут отменить рекомендации инструмента. Инструмент также применяется только к началу потенциального участия семьи в процессе защиты детей; Впоследствии расследование проводит другой социальный работник.

Закон об американцах-инвалидах запрещает дискриминацию по признаку инвалидности, которая может включать широкий спектр состояний, от диабета, рака и потери слуха до умственной отсталости и диагнозов психического и поведенческого здоровья, таких как СДВГ, депрессия и шизофрения.

Национальный совет по вопросам инвалидности отметил, что многие родители с инвалидностью получают государственные пособия, включая продовольственные талоны, Medicaid и Supplemental Security Income, программу администрации социального обеспечения, которая обеспечивает ежемесячные выплаты взрослым и детям с инвалидностью.

По данным AP, алгоритм Аллегейни, используемый с 2016 года, иногда основывался на данных, связанных с дополнительным доходом, а также на диагнозах психических, поведенческих и нервно-психических расстройств, включая шизофрению или расстройства настроения.

В округе заявили, что, когда включаются данные об инвалидности, они «предсказывают результаты» и «не должно вызывать удивления, что родители с инвалидностью… также могут нуждаться в дополнительной поддержке и услугах». Округ добавил, что существуют и другие программы оценки рисков, в которых используются данные о психическом здоровье и других состояниях, которые могут повлиять на способность родителя безопасно заботиться о ребенке.

Эмили Патнэм-Хорнштейн и Рема Вайтианатан, два разработчика алгоритма Аллегейни и других подобных ему инструментов, прислушались к ответам округа Аллегейни о внутренней работе алгоритма. В электронном письме они сказали, что им ничего не известно о какой-либо проверке Министерства юстиции в отношении алгоритма.

AP получило записи, показывающие сотни конкретных переменных, которые используются для расчета показателей риска для семей, о которых сообщается в службы защиты детей, включая общедоступные данные, лежащие в основе алгоритма Allegheny и аналогичных инструментов, развернутых в системах защиты детей в других странах США.

Проведенный AP анализ алгоритма Аллегейни и людей, вдохновленных им в округе Лос-Анджелес, Калифорния, округе Дуглас, штат Колорадо, и в Орегоне, выявил ряд противоречивых данных, которые измеряли людей с низкими доходами и другими неблагополучными демографическими группами, иногда оценивая семьи на раса, почтовый индекс, инвалидность и использование ими социальных пособий.

С момента публикации расследования AP, Орегон отказался от своего алгоритма из соображений расового равенства, и Управление по науке и технологиям Белого дома подчеркнуло, что родители и социальные работники нуждаются в большей прозрачности в отношении того, как правительственные учреждения внедряют алгоритмы как часть первый в стране «Билль о правах ИИ».

В последние годы министерство юстиции проявляет большой интерес к изучению алгоритмов, говорит Кристи Лопес, профессор права Джорджтаунского университета, ранее руководившая некоторыми судебными разбирательствами и расследованиями в отделе гражданских прав Министерства юстиции.

В программном докладе около года назад помощник генерального прокурора Кристен Кларк предупредила, что технологии ИИ имеют «серьезные последствия для прав людей с ограниченными возможностями», а совсем недавно ее подразделение выпустило руководство для работодателей, в котором говорится, что использование инструментов ИИ при приеме на работу может нарушить права американцев. Закон об инвалидах.

«Мне кажется, что это является приоритетом для отдела, исследующего, в какой степени алгоритмы увековечивают дискриминационную практику», — сказал Лопес о тщательном изучении инструмента Аллегейни Министерством юстиции.

Трэйси Лалиберте, эксперт Университета Миннесоты по вопросам защиты детей и инвалидов, сказала, что расследование Министерства юстиции выделило ее, поскольку федеральные власти в значительной степени подчинялись местным агентствам по защите детей.

Лалиберте опубликовала исследование, в котором подробно рассказывается о том, как родители с ограниченными возможностями непропорционально сильно страдают от системы защиты детей. Она оспорила идею использования точек данных, связанных с инвалидностью, в любом алгоритме, потому что, по ее словам, он оценивает характеристики, которые люди не могут изменить, а не их поведение.

«Если это не является частью поведения, то наличие его в (алгоритме) искажает его», — сказал Лалиберте.

___

Берк сообщил из Сан-Франциско.

___

Эта история, подготовленная при поддержке Пулитцеровского центра по освещению кризисов, является частью продолжающейся серии статей Ассошиэйтед Пресс «Отследить», в которой исследуется влияние и последствия решений, принимаемых алгоритмами, на повседневную жизнь людей.

____

Следите за новостями Салли Хо и Гаранс Берк в Твиттере на @_sallyho и @garanceburke. Свяжитесь с глобальной следственной группой AP по адресу Investigative@ap.org или https://www.ap.org/tips/

ПОДЕЛИТЬСЯ: