Почему искусственному интеллекту так опасно учиться лгать: «Они будут обманывать нас, как это делают богатые» | Технологии

У игрока в покер плохие карты, но он делает самую большую ставку. Остальные игроки пугаются блефа и признают победу. Покупатель хочет договориться о товаре, но не проявляет интереса. Он сначала смотрит на другие вещи и спрашивает. Затем, без особого намерения, он просит то, что ему действительно хочется, по более низкой цене. Эти два реальных примера взяты не из людей, а из моделей, созданных с помощью искусственного интеллекта (ИИ). Новая научная статья под названием Мистификации искусственного интеллекта: исследование примеров, рисков и потенциальных решений в журнале Узоры анализирует известные случаи моделей, которые лгали, лицемерили или льстили людям для достижения своих целей. Роботы ничего не подозревают и лишь ищут лучший способ получить искомое, но авторы считают, что Эти зарождающиеся обманы не сулят ничего хорошего результаты, если законодательство не ограничивает возможности ИИ.

«Сейчас мой самый большой страх по поводу обмана ИИ заключается в том, что автономный сверхразумный ИИ будет использовать свои возможности обмана, чтобы сформировать растущую коалицию людей-союзников и в конечном итоге использовать эту коалицию для достижения власти, в долгосрочном поиске загадочной цели, о которой станет известно только постфактум», — говорит Питер С. Парк, постдокторант в области экзистенциальной безопасности искусственного интеллекта в Массачусетском технологическом институте (MIT) и один из ведущих авторов исследования. бумага. .

Этот сильный страх перед Паком — всего лишь гипотеза, но мы уже видели его в ИИ, запрограммированном для игры. В 2022 году компания Meta объявила, что ее модель Цицерона победила соперников-людей на Дипломатиястратегическая игра, в которой сочетаются детали Рискпокер и телешоу Выжившие, по словам компании. Как и в реальной дипломатии, одним из ресурсов является ложь и лукавство. Сотрудники «Мета» заметили, что, когда Цицерон лгал, его игры шли хуже, и они запрограммировали его быть более честным. Но на самом деле это не так.

Питер С. Парк и его соавторы также проверили честность Цицерона. «Авторам статьи предстояло исправить ложное утверждение Меты о мнимой честности Цицерона, опубликованная в Наука”. Политический контекст игры Дипломатия Это гораздо меньший риск, чем реальный контекст их выборов и военных конфликтов. Но есть три факта, которые следует иметь в виду, говорит Пак: «Во-первых, Мета успешно обучила свой ИИ преуспевать в стремлении к политической власти, хотя и в игре. Во-вторых, Мета попыталась, но безуспешно, научить этот ИИ быть честным. И в-третьих, сторонним независимым ученым предстояло, спустя много времени после этого, развенчать ложь Меты о том, что его стремящийся к власти ИИ якобы был честен. Сочетание этих трех фактов, на мой взгляд, является достаточным поводом для беспокойства», — заявил Пак.

Как они лгут на самом деле

Исследователи полагают, что существует несколько способов, с помощью которых конкретные модели ИИ показали, что они могут эффективно обманывать: они могут манипулировать, как в дипломатии, делать вид, что сделают что-то, хотя знают, что не сделают, блефовать, как в покере, торговаться на переговорах и т. д. притворяться мертвым, чтобы избежать обнаружения, или обманом заставлять людей-рецензентов поверить в то, что ИИ сделал то, что должен, хотя на самом деле это не так.

Не все виды обмана предполагают такое знание. Иногда, причем непреднамеренно, модели ИИ являются «подхалимами» и просто следуют мнению, которое каждый пользователь указывает в своих вопросах: «Лесть может привести к стойким ложным убеждениям у людей. Лестные претензии специально созданы для привлечения пользователя. Когда пользователь сталкивается с этими ответами, у него может быть меньше шансов проверить факты. «Это в долгосрочной перспективе может привести к убеждениям, далеким от истины», — пишут авторы в статье.

Никто точно не знает, как сделать так, чтобы эти модели не обманывали, говорит Парк: «При нашем нынешнем уровне научного понимания никто не может надежно обучить большие языковые модели не обманывать». Кроме того, во многих компаниях есть много инженеров, занимающихся созданием разных, более мощных моделей. Не все изначально заинтересованы в том, чтобы их роботы были честными: «Некоторые инженеры очень серьезно относятся к риску обмана ИИ, вплоть до пропаганды или внедрения мер безопасности ИИ. Другие инженеры не воспринимают это всерьез и полагают, что метода проб и ошибок будет достаточно, чтобы перейти к безопасному и не лживому ИИ. И есть и другие, которые отказываются даже признать существование риска обмана ИИ», — говорит Пак.

Они будут использовать это, чтобы увеличить свою власть.

В статье они сравнивают сверхразумный ИИ с тем, как богатые стремятся получить новые доли власти: «На протяжении всей истории богатые субъекты использовали обман, чтобы увеличить свою власть», — пишут они. То, как Пак поясняет это, помогает лучше понять, насколько скрытной может быть роль ИИ, который хочет получить власть: «Компании, занимающиеся ИИ, участвуют в неконтролируемой гонке за создание сверхразумного ИИ, который превосходит людей в большинстве экономических и стратегических задач». соответствующие возможности. ИИ такого типа, как и богатые, будет экспертом в реализации долгосрочных планов, направленных на обманный поиск власти над различными частями общества, например, влияние на политиков с помощью неполной или ложной информации, финансирование дезинформации в средствах массовой информации или следователях. и уклоняться от ответственности, используя законы. Точно так же, как деньги преобразуются в власть, многие возможности ИИ, такие как обман, также преобразуются в власть», — объясняет Пак.

Не все ученые разделяют этот уровень страха. Профессор Эдинбургского университета Майкл Роватсос в заявлении SMC Spain считает, что Долгосрочные опасности слишком умозрительны: «Я не настолько убежден, что способность к обману создает риск потери контроля над системами ИИ, если к их конструкции применяется соответствующая строгость; Реальная проблема заключается в том, что в настоящее время это не так, и системы выпускаются на рынок без этих проверок безопасности. «Дискуссия о долгосрочных последствиях обманных способностей, поднятая в статье, очень умозрительна и предполагает множество дополнительных предположений о вещах, которые могут или не могут произойти».

Решение, которое предлагает статья, чтобы эти системы не превзошли своих создателей, – это законодательство. ЕС присваивает каждой системе искусственного интеллекта один из четырех уровней риска: минимальный, ограниченный, высокий и неприемлемый. Системы с неприемлемым риском запрещены, а к системам с высоким риском предъявляются особые требования. «Мы утверждаем, что обман ИИ представляет широкий спектр рисков для общества, поэтому его следует рассматривать по умолчанию как высокий или неприемлемый риск», — говорит Пак.

Вы можете следить Технология Эль-Паис в Фейсбук й Икс или зарегистрируйтесь здесь, чтобы получать наши Семанал информационного бюллетеня.