Система распознавания лиц Rite Aid ошибочно пометила цветных людей как магазинных воров

Сеть аптек Rite Aid использовала технологию распознавания лиц, чтобы ложно и непропорционально идентифицировать цветных людей и женщин как вероятных магазинных воров, сообщила во вторник Федеральная торговая комиссия, описывая систему, которая ставит клиентов в неловкое положение и вызывает новые опасения по поводу предвзятости, заложенной в таких технологиях. .

По условиям соглашения, Rite Aid будет запрещено использовать технологию распознавания лиц в своих магазинах в целях наблюдения в течение пяти лет, сообщила FTC. Агентство, которое обеспечивает соблюдение федеральных законов о защите прав потребителей, похоже, дает понять, насколько серьезно оно будет реагировать на опасения по поводу технологии распознавания лиц.

54-страничная жалоба Федеральной торговой комиссии также пролила свет на то, как некогда теоретическое беспокойство о том, что человеческая предвзятость может проникнуть в алгоритмы искусственного интеллекта и усилить дискриминацию, стало причиной беспокойства в реальном мире.

Сэмюэл Левин, директор Бюро по защите прав потребителей Федеральной торговой комиссии, заявил в своем заявлении, что «безрассудное использование Rite Aid систем наблюдения за лицами привело к тому, что ее клиенты столкнулись с унижением и другим вредом».

В жалобе говорится, что с октября 2012 года по июль 2020 года сотрудники Rite Aid, действуя по ложным сигналам систем, следили за покупателями в магазинах, обыскивали их, приказывали некоторым уйти, а если они отказывались, иногда вызывали полицию, чтобы противостоять им или удалить их. перед друзьями и семьей.

Действия Rite Aid непропорционально сильно затронули цветных людей, особенно чернокожих, азиатов и латиноамериканцев, и все это во имя того, чтобы не допускать «лиц, представляющих интерес» в сотни магазинов Rite Aid в таких городах, как Нью-Йорк, Филадельфия и Сакраменто, сообщает FTC.

В заявлении Rite Aid говорится, что, хотя они и не согласны с обвинениями Федеральной торговой комиссии, они «рады достичь соглашения».

«Обвинения касаются пилотной программы технологии распознавания лиц, которую компания развернула в ограниченном количестве магазинов», — заявили в компании. «Rite Aid прекратила использовать эту технологию в этой небольшой группе магазинов более трех лет назад, до того, как Федеральная торговая комиссия начала расследование использования этой технологии компанией».

Мировое соглашение с Rite Aid произошло примерно через два месяца после того, как компания подала заявление о защите от банкротства и объявила о планах закрыть 154 магазина в более чем 10 штатах.

Rite Aid использовала технологию распознавания лиц, поскольку торговые сети били тревогу по поводу краж в магазинах, особенно «организованной преступности в розничной торговле», когда несколько человек крадут товары из нескольких магазинов, чтобы позже продать их на черном рынке.

Эти опасения побудили несколько магазинов, в том числе Rite Aid, защитить товары, заперев большую часть их в пластиковых ящиках.

Но эти опасения, похоже, были преувеличены. В этом месяце Национальная федерация розничной торговли отказалась от своей неверной оценки, согласно которой организованная розничная преступность несет ответственность за почти половину пропавших в 2021 году товаров из магазинов на сумму 94,5 миллиарда долларов. Эксперты говорят, что эта цифра, вероятно, ближе к 5 процентам.

Rite Aid не сообщила покупателям, что использует эту технологию в своих магазинах, а сотрудникам «не хотелось раскрывать такую ​​информацию», заявили в FTC.

Неясно, сколько других ритейлеров используют технологию распознавания лиц для наблюдения. Macy’s рассказала Business Insider, что использует его в некоторых магазинах. Home Depot сообщает на своем веб-сайте, что собирает «биометрическую информацию, включая распознавание лиц».

Альваро М. Бедойя, комиссар Федеральной торговой комиссии, заявил в своем заявлении, что «прямой факт того, что слежка может навредить людям», не должен затеряться в разговорах о том, как слежка нарушает права и вторгается в частную жизнь.

«Уже в течение многих лет было ясно, что системы распознавания лиц могут работать менее эффективно для людей с более темной кожей и женщин», — сказал г-н Бедойя.

Вудро Харцог, профессор права Бостонского университета, который исследовал технологии распознавания лиц и Федеральную торговую комиссию, заявил, что жалоба агентства на Rite Aid показывает, что оно рассматривает технологию наблюдения с помощью искусственного интеллекта как серьезную угрозу.

По словам профессора Харцога, цель жалобы агентства была значительной. Несмотря на то, что Rite Aid наняла две неназванные компании для создания базы данных людей, которые, по ее мнению, могли совершить кражу в магазинах, Федеральная торговая комиссия преследовала только Rite Aid.

По его словам, FTC, по сути, говорит, что «преступное поведение, на которое мы преследуем, — это неспособность проявить должную осмотрительность при работе с другими поставщиками».

В жалобе отмечается, что Rite Aid использовала системы наблюдения в городских районах и вдоль маршрутов общественного транспорта, что привело к непропорциональному воздействию на цветных людей, заявили чиновники.

Около 80 процентов магазинов Rite Aid расположены в районах, где белые люди составляют самую крупную расовую или этническую группу. Но, по данным FTC, 60 процентов магазинов Rite Aid, в которых использовалась технология распознавания лиц, находились в районах, где белые люди не были самой крупной расовой или этнической группой.

Rite Aid обучила сотрудников службы безопасности в своих магазинах загружать изображения в «базу данных регистрации» людей, которых она считала «лицами, представляющими интерес», а сотрудникам было приказано «добиться как можно большего количества регистраций». Базы данных были заполнены изображениями низкого качества, многие из которых были получены с помощью систем видеонаблюдения, камер мобильных телефонов и сообщений СМИ, сообщила FTC.

По словам чиновников, эта неисправная система вызвала тысячи «ложноположительных совпадений» или предупреждений, в которых неверно указывалось, что клиент «совпадает» с человеком в базе данных Rite Aid. Хуже того, в жалобе говорится, что у Rite Aid не было возможности отслеживать ложные срабатывания.

«Неспособность Rite Aid должным образом обучать или контролировать сотрудников, использующих технологию распознавания лиц, еще больше увеличила вероятность нанесения вреда потребителям», — заявили в FTC.

В одном случае сотрудники Rite Aid остановили и обыскали 11-летнюю девочку, которую система ошибочно пометила как человека, способного совершить кражу в магазине.

В другом примере, приведенном в жалобе, чернокожий мужчина написал в Rite Aid после того, как стал жертвой ложноположительного результата распознавания лиц.

«Когда я сейчас захожу в магазин, это странно», — сказал он, добавив: «Каждый чернокожий мужчина не вор, и его нельзя заставлять чувствовать себя таковым».