Ответы, сгенерированные AI, подрывают исследования краудсорсинга

Онлайн-анкеты затопляются реакциями, сгенерированными AI-потенциально загрязняет жизненно важный источник данных для ученых.

Платформы, такие как участники Plenific Pay, небольшие суммы для ответа на вопросы, поставленные исследователями. Они популярны среди ученых как простой способ собрать участников для поведенческих исследований.

Энн-Мари Нуссбергер И ее коллеги из Института человеческого развития Макса Планка в Берлине, Германия, решили выяснить, как часто респонденты используют искусственный интеллект после того, как заметили примеры в своей собственной работе. «Показатели заболеваемости, которые мы наблюдали, были действительно шокирующими», – говорит она.

Они обнаружили, что 45 процентов участников, которым задали один открытый вопрос о плодовитых скопированных и вставленных контента в коробку-они считают, что люди ставят вопрос в чат-бот ИИ, чтобы сэкономить время.

Дальнейшее исследование содержания ответов предполагалось, что более очевидное рассказывает об использовании ИИ, таком как «чрезмерно словесный» или «явный нечеловеческий» язык. «Из данных, которые мы собрали в начале этого года, кажется, что значительная часть исследований загрязнена», – говорит она.

В последующем исследовании с использованием Pellific исследователи добавили ловушки, предназначенные для того, чтобы разыграть тех, кто использует чат -боты. Два рекаптча-небольшие тесты на основе рисунков, предназначенные для отличия людей от ботов,-поймали 0,2 процента участников. Более продвинутая recaptcha, в которой использовалась информация о прошлой деятельности пользователей, а также о текущем поведении, отсекала еще 2,7 процента участников. Вопрос в тексте, который был невидимым для людей, но читаемым для ботов с просьбой включить слово «фундук» в их ответ, захватил еще 1,6 процента, предотвращая любое копирование и вставка, выявили еще 4,7 процента людей.

«То, что нам нужно сделать, это не полностью не доверять онлайн -исследованиям, а отвечать и реагировать», – говорит Нуссбергер. По ее словам, это обязанность исследователей, которые должны относиться к ответам с большим подозрением и принять противостояние, чтобы остановить поведение с поддержкой AI. «Но действительно важно, я также думаю, что на платформах стоит большая ответственность. Они должны ответить и очень серьезно относиться к этой проблеме».

Плодовитый не ответил на Новый ученыйЗапрос о комментарии.

«Челслевство по поведенческим исследованиям в Интернете уже была оспорена участниками сайтов обследования, искажающих себя или используя ботов для получения денежных средств или ваучеров, не говоря уже о достоверности отдаленных ответов на самооценку для понимания сложной психологии и поведения человека»,-говорит Мэтт Ходжкинсонвнештатный консультант по этике исследования. «Исследователи либо должны коллективно разрабатывать способы удаленно проверить участие человека или вернуться к старомодному подходу к личному контакту».