Обучение с подкреплением позволяет подводным роботам находить и отслеживать объекты под водой

Исследовательская группа впервые продемонстрировала, что обучение с подкреплением, т. е. нейронная сеть, которая учится наилучшему действию для выполнения в каждый момент на основе ряда вознаграждений, позволяет автономным транспортным средствам и подводным роботам находить и тщательно отслеживать морские объекты и животных. .

Подробности изложены в статье, опубликованной в Научная робототехника.

В настоящее время подводная робототехника становится ключевым инструментом для улучшения знаний об океанах перед лицом многих трудностей при их исследовании с помощью аппаратов, способных погружаться на глубину до 4000 метров. Кроме того, данные на местах, которые они предоставляют, помогают дополнять другие данные, например данные, полученные со спутников. Эта технология позволяет изучать мелкомасштабные явления, такие как CO.₂ захват морскими организмами, что помогает регулировать изменение климата.

В частности, эта новая работа показывает, что обучение с подкреплениемшироко используемый в области управления и робототехники, а также при разработке инструментов, связанных с естественный язык обработка, такая как ChatGPT, позволяет подводным роботам узнать, какие действия необходимо выполнять в любой момент времени для достижения конкретной цели. Эти политики действий соответствуют или даже улучшают в определенных обстоятельствах традиционные методы, основанные на аналитической разработке.

«Этот тип обучения позволяет нам обучать нейронная сеть для оптимизации конкретной задачи, чего иначе было бы очень сложно добиться. Например, мы смогли продемонстрировать, что можно оптимизировать траекторию транспортного средства для обнаружения и отслеживания объектов, движущихся под водой», — объясняет Иван Масмитжа, ведущий автор исследования, работавший в Institut de Ciències del Mar ( ICM-CSIC) и Научно-исследовательский институт аквариумов Монтерей-Бей (MBARI).

Это «позволит нам углубить изучение экологических явлений, таких как миграция или движение в малых и больших масштабах множества морских видов с использованием автономных роботов. Кроме того, эти достижения позволят контролировать другие океанографические инструменты в режиме реального времени через сеть роботов, некоторые из которых могут находиться на поверхности, отслеживать и передавать через спутник действия, выполняемые другими роботизированными платформами на морском дне», — отмечает исследователь ICM-CSIC Джоан Наварро, который также участвовал в исследовании.

Для выполнения этой работы исследователи использовали дальномерные акустические методы, которые позволяют оценить положение объекта с учетом измерений расстояний, сделанных в разных точках. Однако этот факт делает точность определения местоположения объекта очень зависимой от места проведения измерений акустической дальности.

И здесь становится важным применение искусственного интеллекта и, в частности, обучения с подкреплением, которое позволяет выявить лучшие точки и, следовательно, оптимальную траекторию движения робота.

Нейронные сети обучались, в частности, на компьютерном кластере Барселонского суперкомпьютерного центра (BSC-CNS), где расположены самый мощный суперкомпьютер в Испании и один из самых мощных в Европе. «Это позволило настроить параметры различных алгоритмов намного быстрее, чем при использовании обычных компьютеров», — отмечает профессор Марио Мартин из отдела компьютерных наук UPC и автор исследования.

После обучения алгоритмы тестировались на разных автономные транспортные средствав том числе AUV Sparus II, разработанный VICOROB, в серии экспериментальных миссий, разработанных в порту Сан-Фелиу-де-Гишольс, в Баш-Эмпорда и в заливе Монтерей (Калифорния) в сотрудничестве с главным исследователем Лаборатории биовдохновения в МБАРИ, Какани Катия.

«Наша среда моделирования включает в себя архитектуру управления реальными транспортными средствами, что позволило нам эффективно реализовать алгоритмы перед выходом в море», — объясняет Нарсис Паломерас из UdG.

Для будущих исследований команда изучит возможность применения тех же алгоритмов для решения более сложных миссий. Например, использование нескольких транспортных средств для обнаружения объектов, обнаружения фронтов и термоклинов или совместного подъема водорослей с помощью многоплатформенных методов обучения с подкреплением.