В защиту галлюцинаций искусственного интеллекта

Никто не знает, станет ли искусственный интеллект благом или проклятием в далеком будущем. Но сейчас почти всеобщий дискомфорт и презрение вызывает одна привычка этих чат-ботов и агентов: галлюцинации, те выдуманные факты, которые появляются в результатах больших языковых моделей, таких как ChatGPT. В середине того, что кажется тщательно продуманным ответом, LLM вставляет что-то, что кажется разумным, но на самом деле является полной выдумкой. Ваш типичный чат-бот может заставить опального бывшего конгрессмена Джорджа Сантоса выглядеть Эйбом Линкольном. Поскольку кажется неизбежным, что чат-боты однажды будут создавать подавляющее большинство всей когда-либо написанной прозы, все компании, занимающиеся искусственным интеллектом, одержимы идеей минимизировать и устранить галлюцинации или, по крайней мере, убедить мир, что проблема в руках.

Очевидно, что ценность LLM выйдет на новый уровень, когда и если галлюцинации достигнут нуля. Но прежде чем это произойдет, я прошу вас поднять тост за болтовню ИИ.

Галлюцинации меня очаровывают, хотя у ученых ИИ есть довольно хорошее представление о том, почему они происходят. Стартап в области искусственного интеллекта под названием Vectara изучил их и их распространенность, даже подсчет количества галлюцинаций различных моделей, когда их просят резюмировать документ. (Лучше всего работает GPT-4 от OpenAI, галлюцинируя лишь примерно в 3 процентах случаев; ныне устаревший Palm Chat от Google — а не его чат-бот Bard! — имел шокирующий показатель — 27 процентов, хотя, честно говоря, обобщение документов не было в рубке Palm Chat. .) Технический директор Vectara Амин Ахмад говорит, что LLM создают сжатое представление всех обучающих данных, передаваемых через искусственные нейроны. «Природа сжатия такова, что мелкие детали могут потеряться», — говорит он. В конечном итоге модель содержит наиболее вероятные ответы на запросы пользователей, но не имеет в своем распоряжении точных фактов. «Когда дело доходит до деталей, оно начинает придумывать», — говорит он.

Сантош Вемпала, профессор информатики Технологического института Джорджии, также изучал галлюцинации. «Языковая модель — это всего лишь вероятностная модель мира», — говорит он, а не правдивое зеркало реальности. Вемпала объясняет, что ответ LLM направлен на общую калибровку с реальным миром, представленным в его обучающих данных, что является «слабой версией точности». Его исследованияопубликованная совместно с Адамом Калаем из OpenAI, обнаружила, что галлюцинации неизбежны в случае фактов, которые нельзя проверить с использованием информации в данных обучения модели.

Это наука/математика галлюцинаций ИИ, но они также примечательны тем опытом, который могут вызвать у людей. Иногда эти порождающие измышления могут показаться более правдоподобными, чем реальные факты, которые часто бывают удивительно причудливыми и неудовлетворительными. Как часто вы слышите, как что-то описывается как нечто настолько странное, что ни один сценарист не осмелится включить это в фильм? В эти дни постоянно! Галлюцинации могут соблазнить нас, привязывая нас к миру, менее неприятному, чем тот, в котором мы живем на самом деле. Более того, я считаю полезным отметить, какие именно детали склонны выдумывать боты. В своих отчаянных попытках заполнить пробелы в удовлетворительном повествовании они тяготеют к наиболее статистически вероятной версии реальности, представленной в их обучающих данных в масштабе Интернета, которая сама по себе может быть правдой. Я сравниваю это с писателем-фантастом, который пишет роман, вдохновленный реальными событиями. Хороший автор отклонится от того, что на самом деле произошло, к воображаемому сценарию, раскрывающему более глубокую истину, стремясь создать что-то более реальный, чем реальность.

Когда я попросил ChatGPT написать для меня некролог — признайтесь, вы тоже это пробовали — он многое сделал правильно, но кое-что неправильно. Оно подарило мне внуков, которых у меня не было, дало более раннюю дату рождения и добавило к моему резюме премию Национального журнала за статьи о крахе доткомов в конце 1990-х, которые я не писал. По оценке LLM моей жизни, это то, что должен произошли, основываясь на фактах моей карьеры. Я согласен! Только из-за несовершенства реальной жизни Американское общество редакторов журналов не смогло наградить меня металлической скульптурой слона, удостоенной этой чести. После почти 50 лет работы в журналах, это вина их, а не меня! Это почти как если бы ChatGPT провел опрос возможных мультивселенных и обнаружил, что в большинстве из них у меня есть награда Элли. Конечно, я бы предпочел, чтобы здесь, в моем уголке мультивселенной, судьи-люди вызвали меня на подиум. Но распознавание вампирской искусственной нейронной сети — это лучше, чем ничего.