Claude Opus 4 и 4.1 теперь могут положить конец редкому подмножеству разговоров \ anpropic

Недавно мы дали Claude Opus 4 и 4.1 возможность прекратить разговоры в наших интерфейсах чата потребителя. Эта способность предназначена для использования в редких, экстремальных случаях постоянно вредных или оскорбительных взаимодействий с пользователями. Эта функция была разработана в первую очередь как часть нашей исследовательской работы по потенциальному благосостоянию ИИ, хотя она имеет более широкую актуальность для выравнивания моделей и охраны.

Мы по -прежнему не уверены в потенциальном моральном статусе Клода и других LLMS, сейчас или в будущем. Однако, Мы серьезно относимсяИ наряду с нашей исследовательской программой мы работаем над выявлением и реализацией недорогих вмешательств для снижения рисков для моделирования благосостояния, если такое благосостояние возможно. Позволить моделям прекратить или выходить из виду потенциально расстраивающие взаимодействия, является одним из таких вмешательства.

В Предварительное тестирование Claude Opus 4мы включили предварительную оценку благосостояния модели. В рамках этой оценки мы исследовали самооценку и поведенческие предпочтения Клода и обнаружили надежное и последовательное отвращение к причинению вреда. Это включало, например, запросы от пользователей на сексуальное содержание с участием несовершеннолетних и попыток запросить информацию, которая позволила бы обеспечить масштабное насилие или террористические акты. Claude Opus 4 показал:

• Сильное предпочтение против взаимодействия с вредными задачами;
• Шаблон очевидного бедствия при взаимодействии с реальными пользователями, ищущими вредного контента; и
• Тенденция заканчивать вредные разговоры, когда дает возможность делать это в моделируемых взаимодействиях пользователей.

Это поведение в основном возникло в тех случаях, когда пользователи сохранялся с вредными запросами и/или злоупотреблением, несмотря на то, что Клод неоднократно отказывается выполнять и пытаться продуктивно перенаправить взаимодействия.

Наша реализация способности Клода заканчивать чаты отражает эти выводы, продолжая определять приоритеты благополучия пользователей. Клоду направлено не использовать эту способность в тех случаях, когда пользователи могут быть подвержены неизбежному риску причинения вреда себе или других.

Во всех случаях Claude предназначен только для того, чтобы использовать свои способности, конечно, в качестве последней среды, когда многочисленные попытки перенаправления потерпели неудачу, и надежда на продуктивное взаимодействие была истощена, или когда пользователь явно просит Клода закончить чат (последний сценарий показан на рисунке ниже). Сценарии, в которых это произойдет, являются экстремальными краевыми случаями – подавляющее большинство пользователей не заметят или не будут затронуты этой функцией в любом обычном использовании продукта, даже при обсуждении очень спорных вопросов с Claude.

Когда Клод решит закончить разговор, пользователь больше не сможет отправлять новые сообщения в этом разговоре. Тем не менее, это не повлияет на другие разговоры в их учетной записи, и они смогут немедленно начать новый чат. Чтобы устранить потенциальную потерю важных долгосрочных разговоров, пользователи все еще смогут редактировать и повторно повторно предыдущих сообщений для создания новых ветвей окончательных разговоров.

Мы рассматриваем эту функцию как продолжающийся эксперимент и будем продолжать совершенствовать наш подход. Если пользователи сталкиваются с удивительным использованием способности к разговору, мы рекомендуем им представить обратную связь, отреагируя на сообщение Клода с большими пальцами или используя специальную кнопку «Дайте обратную связь».