Единственное, что стоит между человечеством и апокалипсисом искусственного интеллекта, это… Клод?

Anthropic заперта в парадоксе: среди ведущих компаний, занимающихся искусственным интеллектом, это самый одержимый с безопасностью и возглавляет исследование того, почему модели могут пойти не так. Но хотя вопросы безопасности которые, как она определила, далеки от решения, Anthropic так же агрессивно, как и ее конкуренты, продвигается к следующему, потенциально более опасному уровню искусственного интеллекта. Его основная задача – выяснить, как разрешить это противоречие.

В прошлом месяце Anthropic опубликовала два документа, в которых признаются риски, связанные с тем путем, по которому она идет, и намекают на путь, по которому она может пойти, чтобы избежать парадокса. «Юность технологийАмодей тактично описывает проблему как «пугающую», но его описание рисков ИИ (стало гораздо более ужасным, как он отмечает, из-за высокой вероятности того, что этой технологией будут злоупотреблять авторитарные режимы) представляет собой контраст с его более оптимистичным предыдущим протоутопическим эссе «Машины любящей благодати».

В этом посте говорилось о нации гениев в дата-центре; недавнее сообщение напоминает о «черных морях бесконечности». Вызов Данте! Тем не менее, после более чем 20 000 преимущественно мрачных слов, Амодей в конечном итоге выражает ноту оптимизма, говоря, что даже в самых мрачных обстоятельствах человечность всегда побеждала.

Второй документ Anthropic, опубликованный в январе, «Конституция Клода“, фокусируется на том, как можно осуществить этот трюк. Технически текст ориентирован на одну аудиторию: самого Клода (а также будущие версии чат-бота). Это захватывающий документ, раскрывающий видение Anthropic того, как Клод и, возможно, его коллеги по искусственному интеллекту будут решать мировые проблемы. Итог: Anthropic планирует положиться на самого Клода, чтобы распутать свой корпоративный гордиев узел.

Отличительной чертой Anthropic на рынке уже давно является технология под названием Конституционный ИИ. Это процесс, посредством которого ее модели соответствуют набору принципов, которые согласовывают ее ценности с здоровой человеческой этикой. Первоначальная конституция Клода содержала ряд документов, призванных воплотить эти ценности — такие, как Воробей (набор антирасистских и антинасильственных заявлений, созданный DeepMind), Всеобщая декларация прав человека и условия обслуживания Apple (!). Обновленная версия 2026 года отличается: она больше похожа на длинную подсказку, описывающую этические рамки, которым Клод будет следовать, самостоятельно открывая лучший путь к праведности.

Аманда Аскелл, доктор философии, которая была ведущим автором этой редакции, объясняет, что подход Anthropic более надежен, чем простое указание Клоду следовать набору установленных правил. «Если люди следуют правилам только по той причине, что они существуют, это часто хуже, чем если бы вы понимали, почему правило существует», — объясняет Аскелл. В конституции говорится, что Клод должен проявлять «независимое суждение» при столкновении с ситуациями, которые требуют баланса между его мандатами полезности, безопасности и честности.

Вот как это формулируется в конституции: «Хотя мы хотим, чтобы Клод был разумным и строгим, когда открыто размышлял об этике, мы также хотим, чтобы Клод был интуитивно чувствительным к широкому спектру соображений и мог быстро и разумно взвешивать эти соображения при принятии решений в реальном времени». Интуитивно здесь красноречивый выбор слова — похоже, предполагается, что под капотом Клода есть нечто большее, чем просто алгоритм, выбирающий следующее слово. «Институция Клода», как ее можно назвать, также выражает надежду на то, что чат-бот «сможет все больше опираться на свою собственную мудрость и понимание».

Мудрость? Конечно, многие люди прислушиваются к советам больших языковых моделей, но совсем другое дело заявлять, что эти алгоритмические устройства на самом деле обладают авторитетом, связанным с таким термином. Аскелл не отступает, когда я говорю об этом. «Я думаю, что Клод определенно способен на определенную мудрость», — говорит она мне.