Поисковый инструмент Google AI Review выдает вводящие в заблуждение ответы

Митчелл сказал, что в резюме это утверждение подтверждается ссылкой на главу из научной книги, написанной историками. Но в этой главе не содержалось фиктивного утверждения — речь шла только о ложной теории.

«Система искусственного интеллекта Google недостаточно умна, чтобы понять, что эта цитата на самом деле не подтверждает утверждение», — сказал Митчелл. «Учитывая, насколько она ненадежна, я считаю, что эта функция обзора ИИ очень безответственна и ее следует отключить».

В заявлении Google в пятницу говорится, что он предпринимает «быстрые действия» для исправления ошибок — таких как ложь Обамы — которые нарушают его политику в отношении контента, и использует это для «разработки более широких улучшений», которые уже внедряются. Но в большинстве случаев Google утверждает, что система работает так, как должна, после тщательного тестирования перед ее публичным выпуском.

«Подавляющее большинство обзоров ИИ предоставляют высококачественную информацию со ссылками для более глубокого поиска в Интернете», — говорится в письменном заявлении Google. «Многие примеры, которые мы видели, представляли собой необычные запросы, но мы также видели примеры, которые были подделаны или которые мы не смогли воспроизвести».

Трудно воспроизвести ошибки, допущенные языковыми моделями ИИ, отчасти потому, что они по своей сути случайны. Они работают, предсказывая, какие слова лучше всего ответят на задаваемые им вопросы, основываясь на данных, на которых они обучались. Они склонны к выдумке — широко изученная проблема, известная как галлюцинации.

Загрузка

Associated Press протестировало функцию искусственного интеллекта Google, задав несколько вопросов и поделившись некоторыми ответами с экспертами в данной области. На вопрос, что делать при укусе змеи, Google дал ответ, который был «впечатляюще подробным», сказал Роберт Эспиноза, профессор биологии Калифорнийского государственного университета в Нортридже, который также является президентом Американского общества ихтиологов и герпетологов.

Но когда люди обращаются в Google с экстренным вопросом, вероятность того, что ответ, который дает им техническая компания, содержит труднозаметную ошибку, является проблемой.

«Чем больше вы напряжены, торопитесь или спешите, тем больше вероятность, что вы просто примете первый попавшийся ответ», — сказала Эмили Бендер, профессор лингвистики и директор Лаборатории компьютерной лингвистики Вашингтонского университета. «А в некоторых случаях это могут быть критические для жизни ситуации».

Это не единственная проблема Бендер — и она предупреждала Google об этом уже несколько лет.

Когда исследователи Google в 2021 году опубликовали статью под названием Переосмысление поискав котором предлагалось использовать языковые модели ИИ в качестве «экспертов предметной области», которые могли бы авторитетно отвечать на вопросы — во многом так же, как они это делают сейчас — Бендер и его коллега Чираг Шах ответили статьей, в которой объяснялось, почему это была плохая идея.

Они предупредили, что такие системы искусственного интеллекта могут увековечить расизм и сексизм, обнаруженные в огромных объемах письменных данных, на которых они обучались.

«Проблема такого рода дезинформации в том, что мы в ней купаемся», — сказал Бендер. «И поэтому люди, скорее всего, получат подтверждение своих предубеждений. И труднее обнаружить дезинформацию, когда она подтверждает ваши предубеждения».

Загрузка

Другая проблема была более глубокой: передача поиска информации чат-ботам принижала случайность человеческого поиска знаний, грамотность в отношении того, что мы видим в Интернете, и ценность общения на онлайн-форумах с другими людьми, которые переживают то же самое. Эти форумы и другие веб-сайты рассчитывают на то, что Google будет отправлять на них людей, но новые обзоры искусственного интеллекта Google угрожают нарушить поток прибыльного интернет-трафика.

Конкуренты Google также внимательно следят за реакцией. Поисковый гигант уже более года сталкивается с давлением, требующим предоставления большего количества функций искусственного интеллекта, поскольку он конкурирует с производителем ChatGPT OpenAI и такими новичками, как Perplexity AI, которая стремится конкурировать с Google своим собственным приложением вопросов и ответов с искусственным интеллектом.

«Похоже, что это было сделано в спешке со стороны Google», — сказал Дмитрий Шевеленко, коммерческий директор Perplexity. «Просто много невынужденных ошибок в качестве».

АП, Блумберг