Выборочное забывание может помочь ИИ лучше учиться

Оригинальная версия из эта история появился в Журнал Кванта.

Команда компьютерщиков создала более проворный, более гибкий тип модели машинного обучения. Хитрость: он должен периодически забывать то, что знает. И хотя этот новый подход не заменит огромные модели, лежащие в основе крупнейших приложений, он может рассказать больше о том, как эти программы понимают язык.

Новое исследование знаменует собой «значительный прогресс в этой области», сказал он. Джи Квонинженер искусственного интеллекта в Институте фундаментальных наук в Южной Корее.

Используемые сегодня языковые механизмы искусственного интеллекта в основном основаны на искусственные нейронные сети. Каждый «нейрон» в сети представляет собой математическую функцию, которая получает сигналы от других таких же нейронов, выполняет некоторые вычисления и отправляет сигналы через несколько слоев нейронов. Первоначально поток информации более или менее случайен, но в процессе обучения поток информации между нейронами улучшается, поскольку сеть адаптируется к обучающим данным. Например, если исследователь ИИ хочет создать двуязычную модель, он обучит модель большой куче текста с обоих языков, что позволит настроить связи между нейронами таким образом, чтобы связать текст на одном языке с эквивалентным значением. слова в другом.

Но этот процесс обучения требует больших вычислительных мощностей. Если модель работает не очень хорошо или потребности пользователя впоследствии меняются, ее сложно адаптировать. «Предположим, у вас есть модель, которая поддерживает 100 языков, но представьте, что один язык, который вам нужен, не охвачен», — сказал он. Микель Артече, соавтор нового исследования и основатель AI-стартапа Reka. «Можно начать все сначала, но это не идеально».

Артече и его коллеги попытались обойти эти ограничения. Несколько лет назад, Артече и другие обучили нейронную сеть одному языку, а затем удалили все, что она знала о строительных блоках слов, называемых токенами. Они хранятся в первом слое нейронной сети, называемом слоем внедрения. Они оставили все остальные слои модели в покое. После стирания токенов первого языка они переобучили модель на втором языке, что заполнило слой внедрения новыми токенами с этого языка.

Несмотря на то, что модель содержала несовпадающую информацию, переобучение сработало: модель смогла изучить и обработать новый язык. Исследователи предположили, что, хотя уровень внедрения хранит информацию, специфичную для слов, используемых в языке, более глубокие уровни сети хранят более абстрактную информацию о концепциях, лежащих в основе человеческого языка, что затем помогает модели выучить второй язык.

«Мы живем в одном мире. Мы концептуализируем одни и те же вещи разными словами» на разных языках, сказал Ихонг Чен, ведущий автор недавней статьи. «Вот почему в модели присутствуют те же рассуждения высокого уровня. Яблоко — это что-то сладкое и сочное, а не просто слово».