«Жидкая» нейронная сеть адаптируется на ходу

В сфере искусственный интеллект, больше должно быть лучше. Нейронные сети с миллиардами параметров обеспечивают работу таких повседневных инструментов на основе ИИ, как ЧатGPT и Dall-E, и каждый новый большая языковая модель (LLM) превосходит своих предшественников по размеру и сложности. Тем временем в Массачусетском технологическом институте Лаборатория компьютерных наук и искусственного интеллекта (CSAIL)группа исследователей работала над тем, чтобы стать меньше.

В Недавнее исследование, они продемонстрировали эффективность нового типа очень маленькой (20 000 параметров) системы машинного обучения, называемой жидкой нейронной сетью. Они показали, что дроны Оснащенные ими, они преуспели в навигации по сложным новым средам с точностью, даже опережая самые современные системы. Системы были в состоянии принимать решения, которые приводили их к цели в ранее неисследованных лесах и городских пространствах, и они могли делать это в условиях добавочного шума и других сложностей.

Нейронные сети в типичных системах машинного обучения обучаются только в процессе обучения. После этого их параметры фиксируются. Жидкие нейронные сетиобъясняет Рамин Хасаниодин из ученых CSAIL, относятся к классу искусственный интеллект системы, которые учатся на работе, даже после обучения. Другими словами, они используют «жидкие» алгоритмы, которые постоянно адаптируются к новой информации, такой как новая среда, точно так же, как мозг живых организмов. «Они напрямую смоделированы по тому же принципу, как нейроны и синапсы взаимодействуют в биологическом мозге», — говорит Хасани. Фактически, их сетевая архитектура вдохновлена ​​нервной системой живых существ, называемых С. Элеганскрошечные черви обычно встречаются в почве.

«Мы можем реализовать жидкую нейронную сеть, которая может управлять автомобилем, на Raspberry Pi». — Рамин Хасани, CSAIL Массачусетского технологического института

По словам Хасани, целью этого эксперимента была не просто надежная автономная навигация дрона. «Речь шла о проверке способности нейронных сетей понимать задачи, когда они развернуты в нашем обществе в качестве автономных систем».

В качестве обучающих данных для нейронных сетей, которые будут управлять дроном, исследователи использовали кадры с дрона, снятые пилотом-человеком, летящим к цели. «Вы ожидаете, что система научилась двигаться к объекту», — говорит Хасани, не определив, что это за объект, и не предоставив никаких меток для окружающей среды. «Дрон должен сделать вывод, что задача такова: я хочу двигаться навстречу [the object]».

Команда провела серию экспериментов, чтобы проверить, как усвоенные навигационные навыки переносятся в новую, невиданную ранее среду. Они протестировали систему во многих реальных условиях, в том числе в разное время года в лесу и в городских условиях. Дроны прошли тесты на дальность и нагрузку, а цели вращались, закрывались, приводились в движение и т. д. Жидкие нейронные сети были единственными, которые могли обобщать сценарии, которые они никогда не видели, без какой-либо тонкой настройки, и могли выполнять эту задачу плавно и надежно.

Применение жидких нейронных сетей для робототехника может привести к более надежным автономным навигационным системам, среди прочего, для поиска и спасения, наблюдения за дикой природой и доставки. По словам Хасани, умная мобильность будет иметь решающее значение по мере того, как города станут плотнее, и небольшой размер этих нейронных сетей может стать огромным преимуществом: «Мы можем реализовать гибкую нейронную сеть, которая может управлять автомобилем, на Raspberry Pi. ”

Помимо дронов и мобильности

Но исследователи считают, что жидкие нейронные сети могут пойти еще дальше, став будущим принятия решений, связанных с любой обработкой данных временных рядов, включая обработку видео и языка. Поскольку жидкие нейронные сети представляют собой механизмы обработки данных последовательности, они могут предсказывать финансовые и медицинские события. Например, путем обработки показателей жизнедеятельности можно разработать модели для прогнозирования состояния пациента в отделении интенсивной терапии.

Помимо других преимуществ, ликвидные нейронные сети также предлагают объяснимость и интерпретируемость. Другими словами, они открывают пресловутый черный ящик системного процесса принятия решений. «Если бы у меня было всего 34 нейрона [in the drone system], я могу буквально пойти и выяснить, какова функция каждого элемента», — говорит Хасани. Это было бы практически невозможно в крупномасштабной глубокой нейронной сети. Меньший размер жидких нейронных сетей также значительно снижает вычислительные затраты и, следовательно, углеродный след моделей машинного обучения.

Хасани и его коллеги ищут способы улучшить жидкие нейронные сети. «В этой статье рассматривается очень контролируемая и простая способность к рассуждению, но взаимодействие в реальном мире требует все более и более сложных логических задач», — говорит он. Команда хотела бы разработать более сложные задачи и протестировать жидкие нейронные сети на пределе их возможностей, а также выяснить, почему жидкие нейронные сети работают намного лучше, чем их конкуренты, в тестах на рассуждения.

Хасани объясняет жидкие нейронные сети в этом видео:

жидкие нейронные сети | Рамин Хасани | TEDxMITYouTube