Чат-боты работают лучше всего, когда вы говорите с ними формальным языком.

Разговор с ИИ-чат-ботом на менее формальном языке, как это делают многие люди, снижает точность его ответов. Это означает, что либо нам нужно быть более лингвистически строгими при использовании чат-бота, либо что ИИ необходимо научить лучше адаптироваться к неформальности.

Фулей Чжан и Чжоу Юй из Amazon рассмотрели, как люди начинают разговор с людьми-агентами, в сравнении с чат-ботом-помощником, работающим на большой языковой модели (LLM). Они использовали модель Claude 3.5 Sonnet для оценки разговоров по ряду факторов и обнаружили, что люди, взаимодействующие с чат-ботами, использовали менее точную грамматику и были менее вежливы, чем при обращении к людям. Они также использовали несколько более узкий словарный запас.

Например, согласно оценкам, полученным Клодом, общение между людьми было на 14,5 процента более вежливым и формальным, чем общение с чат-ботами, на 5,3 процента более плавным и на 1,4 процента более лексически разнообразным.

«Пользователи адаптируют свой лингвистический стиль в общении между людьми и LLM, создавая сообщения, которые становятся короче, более прямыми, менее формальными и грамматически более простыми», — пишут авторы, не ответившие на запрос об интервью, в статье о своей работе. «Это поведение, вероятно, сформировано ментальными моделями пользователей чат-бота LLM.[s] как менее социально чувствительный или менее способный к тонкой интерпретации».

Но оказывается, что у этой неформальности есть и обратная сторона. Во второй оценке исследователи обучили модель искусственного интеллекта под названием Mistral 7B на 13 000 реальных разговорах между людьми и использовали ее для интерпретации 1357 реальных сообщений, отправленных чат-ботам с искусственным интеллектом. Они аннотировали каждый разговор в обоих наборах данных «намерением», взятым из ограниченного списка, суммируя, что пользователь пытался сделать в каждом случае. Но поскольку ИИ Mistral был обучен разговорам между людьми, пара обнаружила, что ИИ изо всех сил пытается правильно обозначить намерения в разговорах с чат-ботами.

Затем Чжан и Ю попробовали различные стратегии, чтобы улучшить понимание ИИ Мистраля. Во-первых, они использовали ИИ Claude, чтобы переписать более лаконичные сообщения пользователей в человечную прозу, и использовали их для точной настройки модели Mistral. Это снизило точность меток намерений на 1,9 процента по сравнению с ответами по умолчанию.

Затем они использовали Claude для «минимального» переписывания, которое было короче и грубее (например, «Париж в следующем месяце. Рейсы в отели?», чтобы спросить о вариантах проезда и проживания в предстоящей поездке), но это снизило точность Mistral на 2,6 процента. Альтернативная, «обогащенная» переработка с более формальным и разнообразным языком также привела к снижению точности на 1,8%. И только благодаря обучению модели Mistral как минимальной, так и расширенной переписыванию производительность улучшилась на 2,9%.

Ной Джансиракуса из Университета Бентли в Массачусетсе говорит, что его не удивляет, что люди разговаривают с ботами иначе, чем с людьми, но этого не обязательно следует избегать.

«Тот факт, что люди общаются с чат-ботами иначе, чем с другими людьми, заманчиво преподносится как недостаток чат-бота — но я бы сказал, что это не так, что хорошо, когда люди знают, что разговаривают с ботами, и соответствующим образом адаптируют свое поведение», — говорит Джансиракуса. «Я думаю, что это полезнее, чем одержимые попытки устранить разрыв между человеком и ботом».