Meta работает над ИИ, который пытается воспринимать мир как люди

Изучая различные методы, ImageBind с открытым исходным кодом от Meta стремится «открыть шлюзы» для исследователей, разрабатывающих новые передовые системы искусственного интеллекта.

Meta — это новая модель искусственного интеллекта с открытым исходным кодом, которая может комбинировать различные точки данных для обработки информации, которая, по словам компании, сродни тому, как люди воспринимают мир.

ImageBind, раскрытый в Научно-исследовательская работа вчера (9 мая) и описанный в блоге Меты, изучает шесть модальностей текста, аудио, визуальных данных, данных о движении, термальных данных и данных о глубине.

Мета считает, что в сочетании с соответствующим оборудованием модель искусственного интеллекта ImageBind может сделать машины «на один шаг ближе к способности людей учиться одновременно, целостно и напрямую из множества различных форм информации — без необходимости явного контроля».

«ImageBind снабжает машины целостным пониманием, которое связывает объекты на фотографии с тем, как они будут звучать, их трехмерной формой, насколько они теплые или холодные и как они двигаются», — написала Мета в блоге.

Это означает, что он может учиться не только на тексте, изображениях и звуке, но и на датчиках, которые регистрируют глубину в 3D, тепловом через инфракрасное излучение и так называемых инерциальных измерительных блоках (IMU), которые рассчитывают движение и положение объекта.

«Возможности будущего включают в себя более точные способы распознавания, подключения и модерации контента, а также улучшение творческого дизайна, например, более плавное создание мультимедийных материалов и создание более широких мультимодальных функций поиска», — говорится в сообщении блога.

ImageBind также можно использовать, например, в Сделать сцену — Прошлым летом был представлен ИИ-инструмент Meta для преобразования текста в изображение — для создания изображений из аудио, например создания изображения на основе звуков тропического леса или шумного рынка.

Он может иметь аналогичное использование в Сделать видеоИИ-инструмент Meta для преобразования текста в видео, запущенный в сентябре.

Хотя пока это только исследовательский проект, Meta надеется, что модель ИИ «откроет шлюзы для исследователей» для разработки новых систем, таких как объединение 3D-датчиков и датчиков IMU для создания захватывающих виртуальных миров.

«ImageBind также может предоставить богатый способ изучения воспоминаний — поиск изображений, видео, аудиофайлов или текстовых сообщений с использованием комбинации текста, аудио и изображения», — говорится в сообщении компании.

Между тем, OpenAI — создатель ChatGPT, спровоцировавший продолжающуюся гонку ИИ, — разрабатывает новый инструмент, который поможет нам понимать, как работают языковые модели и определить, какие части модели отвечают за какое поведение.

Конкурент Anthropic, поддерживаемый Google, с другой стороны, пытался выделиться как ИИ, который лучше всего обеспечивает безопасность на рынке, благодаря своей концепции «конституционный ИИ‘, который использует самого чат-бота для модерации контента (с вмешательством человека), а не только модераторов-людей.

10 вещей, которые вам нужно знать, прямо в ваш почтовый ящик каждый будний день. Подпишитесь на Ежедневный обзордайджест важнейших научно-технических новостей Silicon Republic.