Игрушка с искусственным интеллектом предоставила доступ к 50 000 журналов своих чатов с детьми всем, у кого есть учетная запись Gmail

Даже сейчас, когда данные защищены, Марголис и Такер утверждают, что это поднимает вопросы о том, сколько людей внутри компаний, производящих игрушки с искусственным интеллектом, имеют доступ к данным, которые они собирают, как их доступ контролируется и насколько хорошо их учетные данные защищены. «Это влечет за собой каскадные последствия для конфиденциальности», — говорит Марголис. «Все, что нужно, — это у одного сотрудника неверный пароль, и тогда мы возвращаемся к тому же месту, с которого начали, где все это доступно общедоступному Интернету».

Марголис добавляет, что такого рода конфиденциальная информация о мыслях и чувствах ребенка может быть использована для ужасающих форм жестокого обращения с детьми или манипулирования ими. «Честно говоря, это мечта похитителя», — говорит он. «Речь идет об информации, которая позволила кому-то заманить ребенка в действительно опасную ситуацию, и, по сути, она была доступна любому».

Марголис и Такер отмечают, что, помимо случайного раскрытия данных, Bondu также, судя по тому, что они видели в консоли администратора, использует Gemini от Google и GPT5 от OpenAI, и в результате может делиться информацией о разговорах детей с этими компаниями. Анам Рафид из Bondu ответил на этот вопрос в электронном письме, заявив, что компания использует «сторонние корпоративные службы искусственного интеллекта для генерации ответов и проведения определенных проверок безопасности, что включает безопасную передачу соответствующего контента разговора для обработки». Но он добавляет, что компания принимает меры предосторожности, чтобы «минимизировать количество отправляемых данных, использовать договорные и технические средства контроля и работать в корпоративных конфигурациях, где поставщики заявляют, что подсказки/выходные данные не используются для обучения их моделей».

Два исследователя также предупреждают, что часть риска для компаний, производящих игрушки с искусственным интеллектом, может заключаться в том, что они с большей вероятностью будут использовать ИИ при кодировании своих продуктов, инструментов и веб-инфраструктуры. Они говорят, что подозревают, что незащищенная консоль Bondu, которую они обнаружили, сама была «закодирована с помощью вибрации» — создана с помощью инструментов генеративного программирования искусственного интеллекта, которые часто приводят к недостаткам безопасности. Бонду не ответил на вопрос WIRED о том, запрограммирована ли консоль инструментами искусственного интеллекта.

Предупреждения о рисках, связанных с игрушками с искусственным интеллектом для детей, в последние месяцы возросли, но в основном они сосредоточены на угрозе того, что разговоры с игрушкой будут поднимать неуместные темы или даже приведут к опасному поведению или членовредительству. NBC News, например, сообщил в прошлом месяце Игрушки ИИ, с которыми беседовали его репортеры, предлагали подробные объяснения сексуальных терминов, советы о том, как заточить ножи, и утверждали, и даже, казалось, повторяли пропаганду китайского правительства, заявляя, например, что Тайвань является частью Китая.

Бонду, напротив, по крайней мере, попытался внедрить средства защиты в чат-бота с искусственным интеллектом, к которому он предоставляет доступ детям. Компания даже предлагает вознаграждение в размере 500 долларов за сообщения о «ненадлежащей реакции» игрушки. «Эта программа существует у нас уже больше года, и никому не удалось заставить ее сказать что-то неуместное», — говорится на сайте компании.

Однако в то же время Такер и Марголис обнаружили, что Bondu одновременно полностью оставляла открытыми конфиденциальные данные всех своих пользователей. «Это идеальное сочетание безопасности и безопасности», — говорит Такер. «Имеет ли вообще значение «безопасность ИИ», когда все данные раскрыты?»

Такер говорит, что до того, как заняться безопасностью Бонду, он подумывал о том, чтобы подарить своим детям игрушки с поддержкой искусственного интеллекта, как это сделал его сосед. Увидев воочию раскрытие данных Бонду, он изменил свое мнение.

“Действительно ли я хочу, чтобы это было в моем доме? Нет, не хочу”, – говорит он. «Это просто кошмар конфиденциальности».