Модели искусственного интеллекта тоже страдают от гниения мозга

В конце концов, модели ИИ могут быть немного похожи на людей.

новый изучать Исследования Техасского университета в Остине, Техасского университета A&M и Университета Пердью показывают, что крупные языковые модели, питающиеся популярным, но некачественным контентом социальных сетей, испытывают своего рода «гниение мозга», которое может быть знакомо каждому, кто слишком долго прокручивал в X или TikTok.

«Мы живем в эпоху, когда информация растет быстрее, чем объем внимания, и большая ее часть предназначена для фиксации кликов, а не для передачи правды или глубины», — говорит Джуньюань Хонг, новый доцент Национального университета Сингапура, который работал над исследованием в качестве аспиранта UT в Остине. «Мы задавались вопросом: что происходит, когда ИИ обучают одному и тому же?»

Хонг и его коллеги в ходе предварительного обучения передавали разные виды текста двум моделям большого языка с открытым исходным кодом. Они исследовали, что происходило, когда моделям давали смесь очень «привлекательных» или широко распространяемых постов в социальных сетях и постов, содержащих сенсационные или разрекламированные тексты, такие как «вау», «посмотри» или «только сегодня».

Затем исследователи использовали несколько различных тестов, чтобы оценить влияние этой «мусорной» диеты в социальных сетях на две модели с открытым исходным кодом: Llama от Meta и Qwen от Alibaba.

Модели, которым вводили мусорный текст, испытали своего рода гниение мозга ИИ — с когнитивным снижением, включая снижение способностей к рассуждению и ухудшение памяти. Модели также стали менее этически ориентированными и более психопатическими по двум показателям.

Результаты отражают исследования на людях, которые шоу что некачественный онлайн-контент имеет вредный эффект на познавательные способности людей. Распространенность этого явления привела к «гниению мозга», названному в Оксфордском словаре. слово года в 2024 году.

Результаты важны для индустрии искусственного интеллекта, говорит Хонг, поскольку разработчики моделей могут предположить, что сообщения в социальных сетях являются хорошим источником обучающих данных для их моделей. «Обучение вирусному или привлекающему внимание контенту может выглядеть как масштабирование данных», — говорит он. «Но это может незаметно подорвать рассуждения, этику и внимание в долгосрочном контексте».

Тот факт, что выпускники LLM страдают от загнивания мозга, кажется особенно тревожным, поскольку ИИ сам все чаще генерирует контент для социальных сетей, большая часть которого, по-видимому, оптимизирована для взаимодействия. Исследователи также обнаружили, что модели, ухудшенные некачественным контентом, нелегко улучшить путем переобучения.

Результаты также показывают, что системы искусственного интеллекта, построенные на основе социальных платформ, таких как Grok, могут пострадать от проблем с контролем качества, если сообщения, созданные пользователями, используются в обучении без учета целостности сообщений.

«Поскольку все больше мусора, созданного ИИ, распространяется в социальных сетях, оно загрязняет те самые данные, на которых будут учиться будущие модели», — говорит Хонг. «Наши результаты показывают, что, как только начинается такого рода «гниение мозга», последующее чистое обучение не может полностью его устранить».

Это издание Уилл Найт Информационный бюллетень AI Lab. Читать предыдущие информационные бюллетени здесь.