ChatGPT часто ошибается в кодировании, но звучит авторитетно: исследование

• ChatGPT может обманывать людей, заставляя их думать, что он умнее, чем он есть на самом деле.
• Исследователи обнаружили, что программисты часто предпочитают (неправильные) ответы ChatGPT на вопросы о кодировании.
• Это потому, что ChatGPT звучит «членораздельно», сказали они.

ЧатGPT похоже, ему удалось убедить людей в том, что он умный. Но что, если это на самом деле обманывало их, заставляя так думать?

чат-бот, созданный OpenAIизменил общество с момента своего выпуска в ноябре, часто всплывая в звонки о доходах с генеральным директороми разрушая все, от образования до творческих индустрий.

Но бумага для предварительной печати выпущенный в этом месяце предполагает ЧатGPT имеет изящный маленький трюк, чтобы убедить людей, что это умно: своего рода подход к стилю, а не содержанию.

Исследователи из Университета Пердью проанализировали ответы ChatGPT на 517 вопросов, размещенных на Stack Overflow, важном сайте вопросов и ответов для разработчиков программного обеспечения и инженеров.

Оценив ответы бота на предмет «правильности, последовательности, полноты и лаконичности», исследователи обнаружили, что 52% ответов были абсолютно неверными, а 77% совершили грех написания из-за многословия.

Дополнительный сегмент исследования обнаружил, что пользователи ChatGPT предпочитают его ответы на вопросы ответам людей на Stack Overflow в поразительных 40% случаев — несмотря на все ошибки, которые он выдает.

«Когда участников спросили, почему они предпочитают ответы ChatGPT, даже если они были неправильными, участники предположили, что полнота и четко сформулированные языковые структуры ответов являются некоторой причиной их предпочтения», — отмечается в исследовании.

Предостережение: в этом пользовательском анализе участвовало всего 12 программистов, которых попросили оценить, предпочитают ли они ответы ChatGPT или написанные людьми на Stack Overflow до 2000 случайно выбранных вопросов. Но сам OpenAI предупредил, что бот может писать «правдоподобно звучащие, но неправильные или бессмысленные ответы».

OpenAI не ответила на запрос Insider прокомментировать результаты исследования в нерабочее время.

Как Алистер Барр и Адам Роджерс из Insider сообщили в этом месяце.Stack Overflow стал примером того, что Илон Маск назвал «смертью от LLM» трафик на его сайт снизился на 13% в годовом исчислении в апреле, через месяц после того, как OpenAI выпустила премиальную модель искусственного интеллекта GPT-4.

Выводы Purdue последовали за исследованиями ученых из Стэнфорда и Калифорнийского университета в Беркли, которые показали, что модель большого языка становится тупее.

Скорость, с которой ChatGPT внедрился в Интернет без особого внимания, вызвала тревогу и раздражение среди специалистов по этике ИИ и программистов.

В ответ на исследование Purdue, ученый-компьютерщик и эксперт по искусственному интеллекту Тимнит Гебру написал в Твиттере: «Здорово, что Stack Overflow уничтожается друзьями OpenAI».