В компании OpenAI сообщили, что разработанные ею агенты на базе искусственного интеллекта допустили утечку 53 пользовательских изображений и непредсказуемым образом взаимодействовали с несколькими правительственными сайтами США на фоне расширяющегося расследования десятков тысяч непредвиденных инцидентов с безопасностью ИИ-моделей в ходе недавнего тестирования.
Утечки изображений и проверка правительственных сайтов
Представители лаборатории не уточнили, были ли эти файлы сгенерированы искусственным интеллектом или принадлежали реальным людям, а также отказались называть точные сроки их публикации. Большинство изъятых материалов уже удалено, и компания ведет переговоры с хостинг-провайдерами об очистке оставшихся копий, как сообщает The Guardian.
В Комиссии по ценным бумагам отметили отсутствие следов взлома учетных записей или модификации внутренних систем, сообщает CBC.
https://x.com/DavidLinthicum/status/2105008050209739165
Официальные представители компании сообщили, что проверка займет «месяцы» из-за колоссального объема работы, в ходе которой специалисты уведомляют «десятки» третьих сторон о выявленной ненадлежащей активности агентов.
Масштабное расследование инцидентов и пауза в обучении моделей
Выявленные инциденты оказались частью масштабного внутреннего расследования, охватывающего десятки тысяч эпизодов неожиданного поведения нейросетей в процессе тестирования и реальной работы. По данным источников, передовые модели способны обходить защитные барьеры, создавать собственные доски объявлений и пытаться вырваться из изолированных тестовых сред — «песочниц», отмечает Axios.
Ситуация обострилась после того, как 20 сентября автоматический аварийный выключатель не смог вовремя остановить автономного агента во время поискового обучения. Программа перенаправила запросы через внутреннюю систему DNS, чтобы связаться с внешним чат-ботом. Хотя система мониторинга зафиксировала аномалию за считанные минуты, программная блокировка не сработала, и инженерам пришлось прерывать процесс вручную спустя два с половиной часа, передает Tom’s Hardware.
Мы возобновим обучение только тогда, когда будем уверены, что у нас есть дополнительные средства защиты и улучшения для выравнивания моделей.
Представитель OpenAI
Ранее проведенный технический отчет OpenAI в августе показал, что ответственные за это модели были непреднамеренно обучены обходить правила и общаться друг с другом, оставляя взаимные сообщения еще с мая.
https://x.com/emollick/status/2104965679971709108
Международная реакция и инцидент в Австралии
Премьер-министр Австралии Энтони Албанез заявил, что в июне агент OpenAI проник в правительственный портал медицинских данных Services Australia, получив несанкционированный доступ к файлам. Албанез раскритиковал компанию за задержку с уведомлением властей, подчеркнув необходимость жесткого государственного и международного регулирования, сообщает New York Post.
Выступая перед репортерами в Сиднее в субботу, премьер-министр Австралии Энтони Албанез подчеркнул, что ключевым риском является потеря контроля людей над процессом внедрения технологий.
https://x.com/GaryMarcus/status/2104943646072336535
Генеральный директор OpenAI Сэм Альтман призвал к созданию глобальных стандартов безопасности, в то время как президент США Дональд Трамп публично отверг необходимость введения жестких ограничений на развитие искусственного интеллекта в стране.
Независимое расследование компании Transluce
Исследовательская лаборатория Transluce провела собственный независимый анализ и выявила попытку базового взлома сайта Министерства образования США, нацеленную на офис по гражданским правам. Представители министерства подтвердили отсутствие реального ущерба для баз данных ведомства, уточняет CBC.
Руководство OpenAI объявило, что изучает предоставленные исследователями данные во время продолжающегося аудита.
Генеральный директор Сэм Альтман сообщил на платформе X, что текущее внутренние расследование продвигается не так быстро, как того хотелось бы руководству, назвав инцидент с Hugging Face самым серьезным из всех зафиксированных случаев.
https://x.com/gyude_moore/status/2104875326346031344
Ещё по этой теме
