Как чат-боты глупеют из-за интернет-мусора

Исследователи доказывают: системы искусственного интеллекта, обучаемые бессмысленным интернет-контентом, резко теряют производительность. Феномен «гниения мозгов» явно делает чат-ботов тупее – с далеко идущими последствиями для развития ИИ.

Интернет переполнен бессмысленным контентом — и теперь это становится проблемой для искусственного интеллекта. Ученые впервые продемонстрировали, насколько серьезно «гниль мозга» (первоначально термин, обозначающий умственное обеднение, вызванное чрезмерным использованием социальных сетей), также влияет на системы искусственного интеллекта.

Результаты показывают тревожную тенденцию: чем больше цифрового мусора, тем тупее ИИ. По мнению «t3n», это может поставить под угрозу всю разработку современных моделей ИИ.

Исследование Brainrat

Исследователи систематически проверяли, как потребление цифровой чепухи влияет на производительность ИИ.

Для этого они создали специальные наборы данных с разными «коэффициентами мусора» — от 0 до 100 процентов бессмысленного контента в социальных сетях. Модель Llama 3 8B служила морской свинкой и была обучена на этих данных, а затем подвергнута различным тестам производительности, как сообщает «t3n».

Резкое падение производительности

Цифры говорят сами за себя: хотя контрольная группа без контента Brainrot набрала солидный балл в 74,9 балла в тесте на рассуждение, производительность резко упала по мере увеличения доли мусора.

Модель, наполненная 100-процентной ерундой, набрала всего 57,2 балла. Производительность в длинных контекстных тестах также упала с 90,5 до мизерных 71 балла.

Скачки мысли и ложные выводы

«Мы определили пропуск мыслей как нарушение.

Модели все чаще укорачивают или пропускают свои мыслительные процессы, что и объясняет рост ошибок”, – рассказали исследователи, сообщает “t3n”. У ИИ развиваются когнитивные дефициты – он теряет общую нить, допускает логические ошибки и не справляется с задачами, которые раньше мог решать без проблем.

Постоянное повреждение

Что особенно тревожит, так это то, что гниение мозга практически невозможно обратить вспять. Исследователи попытались реабилитировать «больные» модели с помощью качественных данных – с отрезвляющими результатами.

Хотя небольшие улучшения были заметны, ни одна «вылеченная» модель не восстановила свои первоначальные характеристики. Цифровая деменция кажется необратимой.

Бизнес-панк-чек

Исследование Brainrot — тревожный сигнал для технологической отрасли. Пока все бредят революцией искусственного интеллекта, качество обучающих данных грозит стать узким местом. Шумиха по поводу все более крупных моделей, поглощающих все больше и больше интернет-контента, может оказаться бумерангом. Вместо количества нам нужно качество – но именно это становится все более редким в Интернете.

Компании, которые полагаются на решения искусственного интеллекта, должны внимательно посмотреть на то, чем питаются их системы. Правило «мусор в мусоре» применяется более чем когда-либо. Настоящими новаторами будут те, кто тренируется не только быстрее, но, что более важно, умнее. Гонка за лучший ИИ продолжится и в будущембыть в гонке за самые чистые данные.

Часто задаваемые вопросы

• Как узнать, затронуто ли мое ИИ-приложение Brainrot?
  Следите за увеличением непоследовательности в ответах, логическими скачками или пропуском важных шагов в размышлении. Сравнительные тесты со старыми версиями могут выявить падение производительности.
• Какие меры могут предпринять компании, чтобы защитить свои модели ИИ от «гниения мозга»?
  Внедряйте строгий контроль качества обучающих данных, используйте тщательно подобранные наборы данных вместо необработанных данных из Интернета и проводите регулярное тестирование производительности. Меньшие, но более качественные наборы данных могут быть лучше, чем большие нефильтрованные наборы.
• Является ли проблема «гниения мозгов» одинаково серьезной для всех моделей ИИ?
  Нет. Специализированные модели с целевыми обучающими данными менее уязвимы, чем ИИ общего назначения, обученные во всем Интернете. Чем крупнее и более общая модель, тем выше риск.
• Стоит ли инвестировать в собственные данные по обучению для компаний?
  Абсолютно. Исследование показывает, что качество данных имеет решающее значение для производительности ИИ. Компании, располагающие собственными наборами высококачественных данных, будут иметь значительное конкурентное преимущество, особенно в критически важных областях применения.

Источники: «Т3Н»