Алгоритм VFF-Net обеспечивает многообещающую альтернативу обратному распространению ошибки для обучения ИИ

Глубокие нейронные сети (DNN), лежащие в основе современных моделей искусственного интеллекта (ИИ), представляют собой системы машинного обучения, которые изучают скрытые закономерности на основе различных типов данных, будь то изображения, аудио или текст, чтобы делать прогнозы или классификации. DNN изменили многие области благодаря своей поразительной точности прогнозирования. Обучение DNN обычно основано на обратном распространении ошибки (BP).

Хотя он стал незаменимым для успеха DNN, у BP есть несколько ограничений, таких как медленная сходимость, переобучение, высокие вычислительные требования и природа «черного ящика».

В последнее время многообещающей альтернативой стали сети прямого перенаправления (FFN), в которых каждый уровень обучается индивидуально, минуя BP. Однако применение FFN к сверточные нейронные сети (>), которые широко используются для анализ изображенийоказалось трудным.

Чтобы решить эту проблему, исследовательская группа под руководством г-на Гильхи Ли и доцента Хёна Кима из факультета электротехники и информационной инженерии Сеульского национального университета науки и технологий разработала новый алгоритм обучения, названный визуальной прямой сетью (VFF-Net). В состав команды также входил г-н Джин Шин.

Их исследование опубликовано в Нейронные сети.

Объясняя проблемы FNN для обучения >, г-н Ли говорит: «Непосредственное применение FFN для обучения > может привести к потере информации во входных изображениях, снижая точность. Кроме того, для > общего назначения с многочисленными сверточными слоями индивидуальное обучение каждого слоя может вызвать проблемы с производительностью. Наша VFF-Net эффективно решает эти проблемы».

VFF-Net представляет три новые методологии: шумовая маркировка по меткам (LWNL), контрастные потери на основе косинусного сходства (CSCL) и группировка слоев (LG).

В LWNL сеть обучается на трех типах данных: исходном изображении без шума, положительных изображениях с правильными метками и отрицательных изображениях с неправильными метками. Это помогает исключить потерю пиксельной информации во входных изображениях.

CSCL модифицирует традиционный жадный алгоритм, основанный на добротности, применяя функцию контрастных потерь, основанную на косинусном сходстве между картами объектов. По сути, он сравнивает сходство между двумя представлениями объектов на основе направления шаблонов данных. Это помогает сохранить значимую пространственную информацию, необходимую для классификации изображений.

Наконец, LG решает проблему обучения отдельных слоев, группируя слои с одинаковыми выходными характеристиками и добавляя вспомогательные слои, что значительно повышает производительность.

Благодаря этим инновациям VFF-Net значительно повышает эффективность классификации изображений по сравнению с обычными FFN. Для модели > с четырьмя сверточными слоями ошибки тестирования в наборах данных CIFAR-10 и CIFAR-100 сократились на 8,31% и 3,80% соответственно. Кроме того, полностью подключенная многоуровневая сеть VFF-Net достигла ошибки тестирования всего в 1,70% в наборе данных MNIST.

«Отходя от BP, VFF-Net прокладывает путь к более легким и более похожим на мозг методам обучения, которые не требуют обширных вычислительных ресурсов», — говорит доктор Ким.

«Это означает, что мощные модели искусственного интеллекта могут работать непосредственно на персональных устройствах. медицинское оборудованиеи бытовую электронику, уменьшая зависимость от энергоемких центров обработки данных и делая искусственный интеллект более устойчивым».

В целом, VFF-Net позволит искусственному интеллекту стать быстрее и дешевле, обеспечивая при этом более естественное, подобное мозгу обучение, способствуя созданию более надежных систем искусственного интеллекта.