Компания Anthropic, занимающаяся искусственным интеллектом, вносит изменения в основной принцип безопасности на фоне растущей конкуренции в секторе

Anthropic, компания, занимающаяся искусственным интеллектом и создавшая чат-бота Claude, которая была основана с упором на безопасные технологии, похоже, сокращает свои обязательства по безопасности, чтобы сохранить конкурентоспособность компании.

Во вторник компания заявила, что изменила свою политику ответственного масштабирования — набор добровольно установленных рекомендаций, направленных на предотвращение развития ИИ, который потенциально может быть опасным и вызывать такие ситуации, как крупномасштабные кибератаки.

В то время как обновленные рекомендации говорят, что Anthropic по-прежнему потребует «веских аргументов в пользу сдерживания катастрофического риска» при разработке ИИ, теперь они заявляют, что разработка будет отложена только «до тех пор, пока мы больше не перестанем верить в то, что у нас есть значительное преимущество» — это означает, что компания продолжала бы развиваться, если бы она не верила, что у нее есть преимущество над конкурентами.

Компания заявила, что пошла на этот шаг, потому что опасения по поводу безопасности ИИ в США отошли на второй план по сравнению с его экономическим потенциалом.

«Несмотря на быстрый прогресс в возможностях искусственного интеллекта за последние три года, действия правительства по обеспечению безопасности искусственного интеллекта продвигались медленно», — заявили в компании. сказано в сообщении в блоге.

«Политическая среда сместилась в сторону приоритета конкурентоспособности ИИ и экономического роста, в то время как дискуссии, ориентированные на безопасность, еще не получили значимой поддержки на федеральном уровне».

Изменение в правилах безопасности Anthropic произошло в тот момент, когда Пентагон угрожает расторгнуть контракты с компанией, если ее технологии не будут разрешены для использования во всех законных военных целях — хотя Anthropic заявляет, что изменение директив не имеет к этому никакого отношения.

Компания, занимающаяся искусственным интеллектом, исторически позиционировала себя как ставящая безопасность на первое место.

Антропный был основана в 2021 году бывшими сотрудниками OpenAI, которые были обеспокоены тем, что компания ставит развитие выше безопасности. Генеральный директор Дарио Амодей также выразил опасения по поводу негативного потенциала ИИ, включая массовую человеческую катастрофу.и утверждал, что безопасность по-прежнему остается «приоритетом высшего уровня» для Anthropic в Декабрьское интервью Fortune.

В сообщении в блоге отмечается, что методы обеспечения безопасности компании всегда были предназначены для обновления и что эта новая итерация повышает «прозрачность и подотчетность» компании за счет новых обязательств по регулярной публикации отчетов и целей безопасности.

Но Хейди Клааф, главный научный сотрудник независимой исследовательской группы AI Now Institute, говорит, что, несмотря на репутацию Anthropic, которая ставит безопасность на первое место, она всегда терпела неудачу, когда дело дошло до попыток предотвратить человеческий вред.

• Cross Country Checkup спрашивает: «Как вы используете ИИ?» Делает ли ИИ нашу жизнь лучше или хуже? Оставь свой прокомментируйте здесь и мы можем прочитать его или перезвонить вам на воскресное шоу.

По словам Хлаафа, с момента своей первой политики безопасности Anthropic слишком много внимания уделял возможности катастрофических событий.дорога, а не возможность вреда, который может быть причинен современной технологией искусственного интеллекта, например, обычными ошибками чат-ботов.

Чат-бот Клода в прошлом был вещи в схемах мошенничества и попытках создания вредоносного ПО и недавно был использовался для кражи данных правительства Мексики, по мнению исследователей кибербезопасности.

Она говорит, что компания сейчас отказывается от «вида безопасности», который она раньше использовала для продвижения на рынке, потому что стало ясно, что это не в ее интересах.

«Это стратегическое объявление, показывающее, что они открыты для бизнеса», — сказал Хлааф.

Это объявление было сделано в период острой конкуренции между ведущими компаниями в области искусственного интеллекта, такими как Anthropic, OpenAI и Google, у которых есть конкурирующие чат-боты и которые заключают сделки по интеграции своих технологий с предприятиями и государственными ведомствами.

Администрация президента США Дональда Трампа также дала понять, что делает все возможное для развития искусственного интеллекта. пригрозил приостановить финансирование из штатов, которые принимают законы, сдерживающие доминирование США в отрасли.

Тереза Скасса, заведующий кафедрой канадских исследований в области информационного права и политики в Университете Оттавы, говорит, что отсутствие правил со стороны правительства США мешает компаниям расставлять приоритеты в области безопасности, «потому что, если они это сделают, то останутся в пыли».

По ее словам, это также ставит Канаду в трудное положение, поскольку регулирование здесь может отбросить отечественное развитие ИИ по сравнению с США или побудить канадские компании переместиться к югу от границы, где было бы меньше ограничения на их тех.

«И я думаю, смысл в том, что мы не можем себе этого позволить в Канаде прямо сейчас», — сказал Скасса. «Итак, вы можете увидеть, как это влияет на регулирование ИИ здесь».

Она говорит, что с тех пор, как Канада Закон об искусственном интеллекте и данных умер в 2025 годуКанадское правительство, как и его американский коллега, не пыталось ввести какое-либо широкое регулирование ИИ.

Изменение безопасности не связано с размолвкой Пентагона, заявляет компания

Изменение правил безопасности Anthropic происходит под давлением Пентагона.

антропный заключил сделку с Министерством обороны США. стоимостью до 200 миллионов долларов США в июле, что позволяет правительству использовать свои технологии в военных целях, но только в пределах компетенции компании. рекомендации по использованию — набор правил Anthropic, определяющих, как клиенты могут и не могут использовать ее продукты, включая чат-бота Клода.

Эти руководящие принципы запрещают кому-либо, включая правительство США, использовать инструменты искусственного интеллекта Anthropic для ряда целей, в том числе для проектирования или разработки оружия.

Но, согласно сообщениям, министр обороны США Пит Хегсет на встрече во вторник предъявил генеральному директору компании Amodei ультиматум, предоставив компании время до пятницы, чтобы позволить военным использовать свои инструменты искусственного интеллекта для всех законных военных целей. целей или рискует потерять свои государственные контракты и быть признанным риском цепочки поставок.

В ходе переговоров с правительством Anthropic заявила, что не позволит правительству использовать свою технологию в автономных системах вооружения — тех, которые позволяют только ИИ вести огонь по целям — и системах массового наблюдения.

Но представители Пентагона сообщил СМИ Спор не касается потенциального использования ИИ в автономном вооружении и массовом наблюдении, и они настаивают на том, что правительство всегда соблюдало закон.

Anthropic заявляет, что обновление ее политики ответственного масштабирования и требования Министерства обороны не связаны между собой. По мнению Anthropic, проблемы Hegseth связаны с политикой использования компании, а не с политикой масштабирования.

В преддверии крайнего срока в пятницу Амодей заявил в своем блоге, что Anthropic не согласится с пожеланиями администрации, подчеркнув несогласие компании с использованием ее технологий для домашнего наблюдения и автономного оружия.

Амодей выразил надежду, что Пентагон пересмотрит свое решение, но компания будет «работать над тем, чтобы обеспечить плавный переход к другому поставщику», если Пентагон решит расторгнуть контракт.

«Наше решительное предпочтение — продолжать служить департаменту и нашим бойцам — с соблюдением двух запрошенных нами гарантий», — написал Амодей.