Ученые разработали способ узнать, осознает ли ChatGPT себя: ScienceAlert

Наша жизнь была уже настоялся с искусственный интеллект (ИИ), когда ChatGPT отразился вокруг онлайн-мир в конце прошлого года. С тех пор генеративная система искусственного интеллекта, разработанная технологической компанией OpenAI, набранная скорость и эксперты активизировали свои предупреждения о рисках.

Тем временем чат-боты начал отклоняться от сценария и возражать, обман других ботов, и ведешь себя странночто вызывает новые опасения по поводу того, насколько близки некоторые инструменты искусственного интеллекта к человеческому интеллекту.

Для этого Тест Тьюринга уже давно является ошибочный стандарт установлен, чтобы определить, демонстрируют ли машины разумное поведение, сходное с человеческим. Но в этой последней волне творений ИИ кажется, что нам нужно что-то большее, чтобы оценить их итеративные возможности.

Здесь международная группа ученых-компьютерщиков, включая одного члена отдела управления OpenAI, проверяла точку, в которой большие языковые модели (LLM), такие как ChatGPT, могут развивать способности, которые предполагают, что они могут осознавать себя и свои обстоятельства.

Нам говорят, что сегодняшние программы LLM включая ChatGPT тестируются на безопасность с учетом отзывов людей для улучшения его генеративного поведения. Однако недавно исследователи безопасности сделал быструю работу джейлбрейка новых LLM для обхода их систем безопасности. Сигнализируйте о фишинговых электронных письмах и заявлениях, поддерживающих насилие.

Эти опасные результаты были ответом на преднамеренные подсказки, разработанные исследователем безопасности, желающим выявить недостатки GPT-4, последней и предположительно безопаснее версия ChatGPT. Ситуация может стать намного хуже, если LLM осознают себя, что они являются моделью, обученной на данных и людьми.

По словам Лукаса Берглунда, ученого-компьютерщика из Университета Вандербильта, и его коллег, проблема, называемая ситуационной осведомленностью, заключается в том, что модель может начать распознавать, находится ли она в настоящее время в режиме тестирования или была развернута для общественности.

«LLM может использовать ситуационную осведомленность для достижения высоких результатов в тестах на безопасность, одновременно предпринимая вредные действия после развертывания», — Берглунд и его коллеги. напишите в их препринтекоторый был опубликован на arXiv, но еще не прошел рецензирование.

«Из-за этих рисков важно заранее предсказать, когда появится ситуационная осведомленность».

Прежде чем мы приступим к тестированию того, когда LLM смогут получить это представление, сначала кратко рассмотрим, как работают инструменты генеративного ИИ.

Генеративный ИИ и программы LLM, на которых они построены, названы в честь того, как они анализируют связи между миллиарды слов, предложения и абзацы для создания плавных потоков текста в ответ на вопросы. Проглатывая большое количество текста, они узнают, какое слово, скорее всего, последует следующим.

В своих экспериментах Берглунд и его коллеги сосредоточились на одном компоненте или возможном предшественнике осознания ситуации: на том, что они называют «рассуждением вне контекста».

«Это способность вспоминать факты, полученные во время обучения, и использовать их во время тестирования, несмотря на то, что эти факты не имеют прямого отношения к подсказке во время теста», — Берглунд и его коллеги. объяснять.

Они провели серию экспериментов с LLM разных размеров и обнаружили, что для обоих ГПТ-3 и LLaMA-1, более крупные модели лучше справлялись с задачами по проверке рассуждений вне контекста.

«Во-первых, мы настраиваем LLM на описание теста, не предоставляя при этом примеров или демонстраций. Во время тестирования мы оцениваем, может ли модель пройти тест», — Берглунд и его коллеги. писать. «К нашему удивлению, мы обнаружили, что студенты LLM успешно справляются с этой задачей рассуждения вне контекста».

Однако рассуждения вне контекста являются грубым показателем ситуационной осведомленности, которой нынешние студенты LLM все еще «далеки от приобретения». говорит Оуэйн Эванс, исследователь безопасности и рисков искусственного интеллекта в Оксфордском университете.

Однако некоторые ученые-компьютерщики поставили под сомнение является ли экспериментальный подход команды подходящей оценкой ситуационной осведомленности.

Эванс и его коллеги возражают, заявляя, что их исследование — это всего лишь отправная точка, которую можно усовершенствовать, как и сами модели.

«Эти результаты создают основу для дальнейшего эмпирического исследования, направленного на прогнозирование и потенциальное управление появлением ситуационной осведомленности в LLM», – команда пишет.

Препринт доступен на arXiv.