[2307.01850] Самопотребляющие генеративные модели сходят с ума

[Submitted on 4 Jul 2023]

Загрузите PDF-файл статьи Сины Алемохаммад и еще семи авторов под названием «Самопотребляющие генеративные модели сходят с ума».

Скачать PDF

Абстрактный:Сейсмические достижения в области генеративных алгоритмов искусственного интеллекта для изображений, текста и других типов данных привели к искушению использовать синтетические данные для обучения моделей следующего поколения. Повторение этого процесса создает аутофагическую (самопоглощающую) петлю, свойства которой плохо изучены. Мы проводим тщательный аналитический и эмпирический анализ с использованием современных моделей генеративных изображений трех семейств аутофагических петель, которые различаются тем, насколько фиксированные или свежие реальные данные обучения доступны на протяжении поколений обучения, а также тем, доступны ли образцы из предыдущего поколения. модели были предвзятыми, чтобы найти компромисс между качеством данных и разнообразием. Наш основной вывод во всех сценариях заключается в том, что без достаточного количества свежих реальных данных в каждом поколении аутофагического цикла будущие генеративные модели обречены на постепенное снижение качества (точности) или разнообразия (напоминаемости). Мы называем это состояние модельным расстройством аутофагии (MAD), проводя аналогию с коровьим бешенством.