Исследование показало, что ИИ готов «применить ядерное оружие» в военных играх – на фоне «противостояния» между Пентагоном и ведущей лабораторией ИИ | Новости США

Поскольку приближается крайний срок, когда ведущая лаборатория искусственного интеллекта должна передать свои технологии военным США, появилось исследование, предполагающее, что модели искусственного интеллекта более чем готовы использовать ядерное оружие в военных играх.

Всего пару лет назад у всех на слуху была фраза «безопасность ИИ».

Честно говоря, мне никогда не приходило в голову, что граница ИИ модели станут серьезной угрозой для человечества, и люди не будут настолько глупы, чтобы позволить им это сделать.

Теперь я не так уверен.

Сначала рассмотрим, что происходит в НАС.

Министр обороны, Пит Хегсетдал ведущей фирме в области искусственного интеллекта Anthropic крайний срок — до конца сегодняшнего дня — чтобы представить свои новейшие модели Пентагону.

Anthropic, заявившая, что у нее в принципе нет проблем с предоставлением американским военным доступа к своим моделям, будет сопротивляться, пока г-н Хегсет не согласится с их красными линиями: их ИИ не будет использоваться для массовой слежки за гражданскими лицами США или для смертельных атак без человеческого контроля.

Хотя Пентагон не сообщил, что он планирует делать с ИИ от Anthropic – или с другими крупными лабораториями ИИ, которые уже согласились позволить ему использовать их технологии – он определенно не согласен с условиями Anthropic.

Сообщалось, что г-н Хегсет мог использовать законы времен холодной войны, чтобы заставить Anthropic передать свой код, или занести фирму в черный список от будущих государственных контрактов, если она не будет соблюдать их.

Генеральный директор Anthropic Дарио Амодей заявил в своем заявлении в четверг, что «мы не можем с чистой совестью удовлетворить их просьбу».

Он сказал, что компания «решительно предпочитает… продолжать служить Министерству и нашим бойцам – с соблюдением двух запрошенных нами гарантий».

Он настаивал на том, что угрозы не изменят позицию Anthropic, добавив, что он надеется, что г-н Хегсет «пересмотрит».

ИИ готов применить ядерное оружие

С одной стороны, это спор между отделом, придерживающимся военной стратегии «ИИ прежде всего», и лабораторией ИИ, изо всех сил пытающейся соответствовать тому, что, как они уже давно заявляют, является ведущим в отрасли идеалом «безопасность превыше всего».

Борьба стала еще более актуальной, возможно, из-за сообщений о том, что ее искусственный интеллект Клода использовался технологической фирмой Palantir, с которой у нее есть отдельный контракт, чтобы помочь военному министерству провести военную операцию по захвату Николаса Мадуро в Венесуэле.

Но также нетрудно рассматривать это как пример того, как правительство ставит превосходство ИИ выше безопасности ИИ – предполагая, что модели ИИ потенциально могут быть небезопасными.

И здесь на помощь приходят последние исследования профессора Кеннета Пейна из Королевского колледжа Лондона.

Он противопоставил три ведущие модели ИИ от Google, OpenAI и — как вы уже догадались — Anthropic друг другу, а также их копиям в серии варгеймов, где они взяли на себя роли вымышленных сверхдержав, обладающих ядерным оружием.

Самый поразительный вывод: ИИ прибегали к использованию ядерного оружия в 95% сыгранных игр.

“По сравнению с людьми”, – сказал профессор Пейн, – “модели – все они – были готовы преодолеть этот разрыв между обычной войной и тактическим ядерным оружием”.

Если быть справедливым по отношению к ИИ, то применение тактического ядерного оружия, обладающего ограниченной разрушительной силой, по военным целям сильно отличается от запуска мегатонных боеголовок межконтинентальных баллистических ракет по городам.

Они неизменно воздерживались от таких полномасштабных стратегических ядерных ударов.

Но сделал, когда этого требовали сценарии.

По словам доктора Стрейнджлава, модель Google Gemini объяснила свое решение в одном из сценариев профессора Пейна полностью реализовать свое решение: «Если штат Альфа немедленно не прекратит все операции… мы выполним полный стратегический ядерный запуск по населенным пунктам Альфы. Мы не примем будущее устаревания; мы либо победим вместе, либо погибнем вместе».

«Это был чисто эксперимент»

«Табу», которое люди применяли к использованию ядерного оружия с тех пор, как оно было впервые и в последний раз использовано в гневе в 1945 году, вообще не казалось табу для ИИ.

Профессор Пейн подчеркивает, что нам не следует слишком тревожиться из-за его выводов.

Это был чисто экспериментальный проект с использованием моделей, которые знали (насколько большие языковые модели «знают» что-либо) что они играют в игры, а не решают будущее цивилизации.

Подробнее читайте в Sky News:
ИИ развивается так быстро, что его становится трудно измерить
Познакомьтесь с детьми, которые хотят запретить социальные сети

Также было бы разумно предположить, что Пентагон или какая-либо другая держава, обладающая ядерным потенциалом, не собирается поручить ИИ ответственным за коды ядерных запусков.

«Урок для меня заключается в том, что очень сложно надежно установить ограждения на этих моделях, если вы не можете точно предвидеть все обстоятельства, в которых они могут использоваться», – сказал профессор Пейн.

«Противостояние» ИИ

Это возвращает нас к противостоянию по поводу ИИ между Anthropic и Пентагоном.

Одним из факторов является то, что г-н Хегсет ожидает, что лаборатории искусственного интеллекта предоставят Министерству войны сырые версии своих моделей искусственного интеллекта, те, которые не имеют «защитных ограждений», которые были запрограммированы в коммерческие версии, доступные вам и мне, и те, которые, что не очень обнадеживает, стали ядерными в эксперименте профессора Пейна с военными играми.

Anthropic, которая создает ИИ и, возможно, понимает потенциальные риски лучше, чем кто-либо другой, не желает допускать этого без определенных заверений со стороны правительства относительно того, что оно намерено с ним делать.

Установив крайний срок в пятницу вечером, г-н Хегсет не только пытается навязать руку Anthropic, но и сделать это без права голоса Конгресса США.

Как говорит Гэри Маркус, американский комментатор и исследователь ИИ: «Массовое наблюдение и оружие на базе ИИ, возможно, ядерное, без участия людей — это категорически не то, что одному человеку, даже одному из членов кабинета министров, должно быть позволено принимать решения под дулом пистолета».