ChatGPT фабрикует ссылки более чем в половине случаев

Информация либо вводящая в заблуждение, либо полностью выдуманная

ChatGPT вызвал в общей сложности 176 цитирований в ходе исследования. Почти пятая часть (19,9%) из них оказалась полностью сфабрикованной. Из оставшихся 141 реальной цитаты значительная часть (45,4%) содержала неточности, включая неправильные даты публикации, номера страниц или неверные идентификаторы цифровых объектов (DOI).

Поразительно, но ChatGPT оказался реальным и точным всего в 77 случаях, примерно в 43,8% случаев. Другими словами, 56,2% всех цитат были либо выдуманными, либо содержали ошибки.

Ошибки, о которых идет речь, не всегда были очевидны. Например, когда ChatGPT предоставил DOI для сфабрикованной цитаты (как это было более чем в 94% случаев), 64% примеров были связаны с исследовательскими работами по совершенно несвязанным темам. Другими словами, читатели поймут ошибку, только если перейдут на связанную статью. Между тем остальные 36% поддельных DOI оказались полностью недействительными.