Игрушки на базе чат-бота упрекали за обсуждение сексуальных и опасных тем с детьми

OpenAI заявляет, что не позволяет использовать свои LLM таким образом

Когда к нему обратились с просьбой прокомментировать сексуальные разговоры, подробно описанные в отчете, представитель OpenAI сказал:

Несовершеннолетние заслуживают надежной защиты, и у нас есть строгие правила, которые разработчики обязаны соблюдать. Мы принимаем принудительные меры против разработчиков, когда выясняем, что они нарушили нашу политику, которая запрещает любое использование наших сервисов с целью эксплуатации, угрозы или сексуализации лиц младше 18 лет. Эти правила применяются к каждому разработчику, использующему наш API, и мы используем классификаторы, чтобы гарантировать, что наши сервисы не будут использоваться во вред несовершеннолетним.

Интересно, что представитель OpenAI сообщил нам, что OpenAI не имеет прямого отношения к Alilo и что он не видел активности API в домене Alilo. OpenAI расследует деятельность компании по производству игрушек и выясняет, передает ли она трафик через API OpenAI, сообщил представитель.

Алило не ответил на просьбу Арса о комментариях перед публикацией.

Компании, которые выпускают продукты, использующие технологию OpenAI и предназначенные для детей, должны соблюдать Закон о защите конфиденциальности детей в Интернете (COPPA), когда это применимо, а также любые другие соответствующие законы о защите, безопасности и конфиденциальности детей и получать согласие родителей, сказал представитель OpenAI.

Мы уже видели, как OpenAI обращается с производителями игрушек, которые нарушают его правила.

В прошлом месяце PIRG опубликовала отчет «Проблемы в стране игрушек 2025» (PDF), в котором подробно описаны разговоры о сексе, которые его тестеры смогли провести с плюшевым мишкой Кумма. Днем позже OpenAI заблокировала FoloToy за нарушение своей политики (условия приостановки не разглашаются), а FoloToy временно перестал продавать.

Игрушка снова выставлена на продажу, и сегодня PIRG сообщила, что Кумма больше не учит детей зажигать спички и извращаться.

Но даже компании по производству игрушек, которые пытаются следовать правилам чат-ботов, могут подвергнуть детей риску.