Крошечный квадрокоптер учится летать за 18 секунд

Удивительно, как масштабировались квадрокоптеры за последнее десятилетие. Мол, сейчас мы подошли к тому моменту, когда они почти одноразовые, по крайней мере, с коммерческой или исследовательской точки зрения — за чуть более 200 долларов США вы можете купить немного 27-граммовый дрон с полностью открытым исходным кодом, и все, что вам нужно сделать, это научить его летать. Однако здесь все становится немного сложнее, потому что обучение дронов летать — непростой процесс. Благодаря хорошему моделированию и таким методам, как обучение с подкреплением, наделить дроны автономией стало гораздо проще, чем раньше. Но обычно это не быстрый процесс, и плавный переход от симуляции к реальности может оказаться непростой задачей.

Нью-Йоркского университета Лаборатория гибкой робототехники и восприятия удалось упростить процесс получения базовой автономии для работы с дронами, причем значительно упростить его: система лаборатории способна обучить дрон в симуляции от нуля до стабильного и управляемого полета за 18 секунд на MacBook Pro. И на самом деле компиляция и прошивка прошивки на сам дрон занимает больше времени, чем весь процесс обучения.

---

АРПЛ Нью-Йоркского университета

Таким образом, дрон не только способен сохранять стабильное зависание, отвергая толчки, толчки и ветер, но также может летать по определенным траекториям. Неплохо для 18 секунд, правда?

Одна из вещей, которая обычно замедляет время обучения, — это необходимость продолжать совершенствовать именно то, для чего вы тренируетесь, не уточняя это настолько, что вы тренируете свою систему только для полетов в вашей конкретной симуляции, а не в реальном мире. Использованная здесь стратегия — это то, что исследователи называют учебной программой (вы также можете думать об этом как о своего рода плане урока), чтобы настроить функцию вознаграждения, используемую для обучения системы посредством обучения с подкреплением. Учебная программа начинается с более снисходительного подхода и постепенного увеличения штрафов, чтобы подчеркнуть надежность и надежность. Все дело в эффективности: тренируйтесь так, как вам нужно, чтобы получить желаемые результаты, и не более того.

Есть и другие, более простые приемы, которые оптимизируют эту технику для повышения скорости. Алгоритмы глубокого обучения особенно эффективны и используют аппаратное ускорение, которое поставляется вместе с процессорами Apple M-серии. Эффективность симулятора умножает преимущества эффективности выборки на основе учебной программы в конвейере обучения с подкреплением, что приводит к невероятно быстрому времени обучения.

Этот подход не ограничивается простыми крошечными дронами — он подойдет практически для любого дрона, включая более крупные и дорогие, или даже для дрона, который вы сами создадите с нуля.

Йонас Эшманн

Нам говорят, что на обучение политике дрона на видео выше потребовались минуты, а не секунды, хотя исследователи ожидают, что в ближайшем будущем 18 секунд будут достижимы даже для более сложного дрона, такого как этот. И все это Открытый исходный код, так что вы, по сути, можете построить дрон и научить его летать с помощью этой системы. Но если вы подождете немного, ситуация станет только лучше: исследователи говорят нам, что они работают над интеграцией с автопилотом для дронов с открытым исходным кодом PX4. В долгосрочной перспективе идея состоит в том, чтобы иметь единую политику, которая могла бы адаптироваться к различным условиям окружающей среды, а также к различным конфигурациям транспортных средств, а это означает, что это может работать на всех типах летающих роботов, а не только на квадрокоптерах.

Все, что вам нужно, чтобы запустить это самостоятельно доступен на GitHubи статья находится на ArXiv здесь.