Внутри спора Anthropic о роботах-убийцах с Пентагоном

Вплоть до того момента, как Пит Хегсет решил прекратить отношения правительства с компанией Anthropic, занимающейся искусственным интеллектом, ее лидеры считали, что они все еще на пути к сделке. Пентагон в одностороннем порядке настоял на пересматривает контракт с Anthropicкомпания, чья модель искусственного интеллекта в настоящее время является единственной, разрешенной к использованию в секретных системах федерального правительства, чтобы снять этические ограничения, наложенные на нее компанией.

По словам источника, знакомого с ходом переговоров, в пятницу утром Anthropic получила известие о том, что команда Хегсета пойдет на крупную уступку. Пентагон продолжал пытаться оставить себе небольшие запасные выходы в соглашениях, которые он предлагал Anthropic. Он пообещал не использовать ИИ Anthropic для массового домашнего наблюдения или для полностью автономных машин для убийства, но затем подкрепил эти обещания лазейками, такими как по мере необходимости— предполагая, что условия могут быть изменены в зависимости от интерпретации администрацией конкретной ситуации.

Читайте: Что теперь происходит с Anthropic?

Команда Anthropic с облегчением узнала, что правительство готово убрать эти слова, но осталась одна большая проблема: в пятницу днем Anthropic узнала, что Пентагон все еще хочет использовать ИИ компании для анализа больших объемов данных, полученных от американцев. Это может включать в себя такую информацию, как вопросы, которые вы задаете своему любимому чат-боту, вашу историю поиска в Google, ваши передвижения, отслеживаемые с помощью GPS, и транзакции по вашим кредитным картам, и все это может быть сопоставлено с другие детали о вашей жизни. Руководство Anthropic заявило команде Хегсета, что это слишком далеко, и сделка сорвалась. Вскоре после этого Хегсет направленный подрядчикам, поставщикам и партнерам вооруженных сил США прекратить вести дела с Anthropic. Список компаний, заключающих контракты с военными, обширен и включает в себя Amazon, компанию, которая поставляет большую часть компьютерной инфраструктуры Anthropic. Министерство обороны не ответило на запрос о комментариях. Представитель Anthropic направил меня в офис компании. заявление обращаясь к замечаниям Хегсета.

Мой источник, которому я предоставляю анонимность, поскольку он не уполномочен говорить о переговорах, также пролил дополнительный свет на разногласия между Anthropic и Пентагоном по поводу автономного оружия, машин, которые могут выбирать и поражать цели без принятия окончательного решения человеком. Американские военные разрабатывали эти системы в течение многих лет и только на 2026 финансовый год заложили на них 13,4 миллиарда долларов. Они охватывают диапазон от отдельных дронов до целых стай, которые можно использовать в воздухе и на море.

Anthropic не утверждал, что такого оружия не должно существовать. Напротив, компания предложила работать напрямую с Пентагоном, чтобы повысить свою надежность. Подобно тому, как беспилотные автомобили сейчас в некоторых случаях безопаснее, чем автомобили, управляемые людьми, дроны-убийцы могут когда-нибудь быть более точными, чем человек-оператор, и с меньшей вероятностью убьют прохожих во время атаки. Но на данный момент лидеры Anthropic полагать что их ИИ еще не достиг этого порога. Они обеспокоены тем, что модели могут привести к тому, что машины будут вести беспорядочный или неточный огонь или иным образом подвергнуть опасности гражданское население или даже сами американские войска.

По словам моего источника, в какой-то момент переговоров было высказано предположение, что этот тупик с автономным оружием можно разрешить, если Пентагон просто пообещает держать ИИ компании в облаке, а не в самом оружии. Аргументом было то, что модели можно было бы хранить за пределами так называемых периферийных систем, будь то дроны или другие виды автономного оружия. Они могут синтезировать разведданные перед операцией, но на самом деле они не будут принимать решения об уничтожении. Руки ИИ будут чисты от любых смертельных ошибок, допущенных дронами.

Но Anthropic такое решение не удовлетворило. Компания рассудила, что в современных военных архитектурах искусственного интеллекта различие между облаком и периферией уже не является определяющим. Это не стена, а скорее градиент. Дронами на поле боя теперь можно управлять через ячеистые сети, включающие облачные центры обработки данных. И хотя они созданы для самостоятельного выживания, военные всегда будут стремиться поддерживать как можно большую связь между ними и самыми мощными моделями в облаке; чем лучше связь, тем умнее машина.

Читайте: Антропик воюет сам с собой

Действительно, Пентагон прилагает все усилия, чтобы обеспечить максимально возможное участие облака. Часть цели его Совместные облачные возможности ведения боевых действий заключается в том, чтобы подтолкнуть вычислительные ресурсы ближе к битве. ИИ может находиться на сервере Amazon Web Services в Вирджинии, а не в зоне боевых действий за границей, но если он принимает решения на поле боя, с этической точки зрения это различие не имеет особой разницы. В итоге Anthropic отказалась от идеи, что предоставление облака может решить проблему. По словам источника, близкого к переговорам, особого анализа не потребовалось.

Руководители Anthropic, возможно, надеялись, что другие компании, занимающиеся искусственным интеллектом, будут придерживаться аналогичной линии. Ранее на этой неделе у них были основания полагать, что OpenAI может это сделать. Генеральный директор Сэм Альтман заявил, что, как и Anthropic, OpenAI также откажется разрешить использование своих моделей в автономных системах вооружения. Но когда он делал эти заявления, Альтман находился в процессе переговоров о новом соглашении с Пентагоном, о котором было объявлено всего через несколько часов после того, как сделка Anthropic распалась. (Альтман не ответил на текстовое сообщение с просьбой прокомментировать ситуацию.) Вчера OpenAI (которая имеет корпоративное партнерство с Атлантика) опубликовала заявление, в котором описывает общие контуры соглашения и подчеркивает тот факт, что ИИ компании будет развернут только в облаке.

Сотрудникам OpenAI, возможно, будет интересно узнать, что изменилось (если вообще что-то изменилось) с тех пор, как Альтман первоначально выразил свою солидарность с Anthropic. По состоянию на сегодня около 100 из них подписали открытое письмо, в котором указывалось, что они поддерживают те же красные линии, что и Anthropic, в том, что касается массового домашнего наблюдения и автономного оружия. Если в понедельник Альтман окажется лицом к лицу с ними в офисе, ему, возможно, придется объяснить, почему идея, которую Anthropic быстро отвергла, оказалась для него такой убедительной.