Новейший видеогенератор Google с искусственным интеллектом воспроизводит неправдоподобные ситуации для милых животных

Во вторник Google объявила Люмьервидеогенератор с искусственным интеллектом, который он называет «моделью пространственно-временной диффузии для реалистичной генерации видео». сопроводительная бумага для препринтов. Но давайте не будем обманывать себя: он отлично справляется с созданием видеороликов о милых животных в нелепых сценариях, таких как катание на роликовых коньках, вождение автомобиля или игра на пианино. Конечно, он может больше, но это, пожалуй, самый продвинутый из когда-либо продемонстрированных генераторов видео с искусственным интеллектом для преобразования текста в животных.

По данным Google, Lumiere использует уникальную архитектуру для создания всей временной продолжительности видео за один раз. Или, как выразилась компания: «Мы представляем пространственно-временную архитектуру U-Net, которая генерирует всю временную длительность видео одновременно, за один проход в модели. Это в отличие от существующих видеомоделей, которые синтезируют удаленные видео. ключевые кадры, за которыми следует временное суперразрешение — подход, который по своей сути затрудняет достижение глобальной временной согласованности».

С точки зрения непрофессионала, технология Google предназначена для одновременной обработки как пространственного (где объекты находятся в видео), так и временного (как объекты перемещаются и изменяются на протяжении видео). Таким образом, вместо создания видео путем объединения множества мелких частей или кадров, можно создать все видео от начала до конца за один плавный процесс.

Люмьер также умеет делать множество трюков для вечеринок, которые довольно хорошо изложены на примерах. Демо-страница Google. Например, он может выполнять преобразование текста в видео (преобразование письменной подсказки в видео), конвертировать неподвижные изображения в видео, создавать видеоролики в определенных стилях с использованием эталонного изображения, применять согласованное редактирование видео с использованием текстовых подсказок, создавать синемаграфы путем анимации определенных областей изображения и предложения видео роспись возможности (например, может изменить тип одежды, которую носит человек).

В исследовательской работе Люмьера исследователи Google утверждают, что модель искусственного интеллекта выводит пятисекундные видеоролики с разрешением 1024×1024 пикселей, которые они называют «низким разрешением». Несмотря на эти ограничения, исследователи провели исследование пользователей и утверждают, что результаты Люмьера предпочтительнее существующих моделей синтеза видео AI.

Что касается данных обучения, Google не сообщает, откуда они взяли видео, которые они передали в Lumiere, написав: «Мы обучаем наших T2V [text to video] модель на наборе данных, содержащем 30 миллионов видеороликов вместе с их текстовой подписью. [sic] Видео имеют длину 80 кадров и частоту 16 кадров в секунду (5 секунд). Базовая модель обучена в размере 128×128».

Видео, сгенерированное ИИ, все еще находится в примитивном состоянии, но за последние два года его качество улучшилось. В октябре 2022 года мы рассказали о первой публично представленной модели синтеза изображений Google. Изображение Видео. Он мог генерировать короткие видеоклипы размером 1280×768 из письменного запроса со скоростью 24 кадра в секунду, но результаты не всегда были последовательными. До этого Meta представила свой видеогенератор с искусственным интеллектом. Сделать видео. В июне прошлого года модель синтеза видео Gen2 от Runway позволила создавать двухсекундные видеоклипы из текстовых подсказок, что способствовало созданию сюрреалистическая пародийная реклама. А в ноябре мы рассказали Стабильная диффузия видеокоторый может создавать короткие клипы из неподвижных изображений.

Компании, занимающиеся искусственным интеллектом, часто демонстрируют видеогенераторы с милыми животными, потому что создание последовательных, недеформированных людей в настоящее время затруднено, особенно потому, что мы, люди (вы же люди, верно?), умеем замечать любые недостатки в человеческих телах или в том, как они двигаются. Просто посмотрите на созданные ИИ Уилл Смит ест спагетти.

Судя по примерам Google (а мы сами их не использовали), Люмьер, похоже, превосходит другие модели генерации видео с помощью искусственного интеллекта. Но поскольку Google стремится держать свои исследовательские модели искусственного интеллекта в тайне, мы не уверены, когда, если вообще когда-нибудь, у общественности появится шанс опробовать их на себе.

Как всегда, всякий раз, когда мы видим, что модели синтеза текста в видео становятся более функциональными, мы не можем не думать о будущие последствия для нашего подключенного к Интернету общества, которое сосредоточено на обмене медиа-артефактами, а также на общем предположении, что «реалистичное» видео обычно представляет собой реальные объекты в реальных ситуациях, снятых камерой. Будущие инструменты синтеза видео, более мощные, чем Люмьер, сделают создание обманных дипфейков тривиально простым.

С этой целью в разделе «Влияние на общество» статьи Люмьера исследователи пишут: «Наша основная цель в этой работе — дать возможность начинающим пользователям создавать визуальный контент творческим и гибким способом. [sic] Однако существует риск неправомерного использования нашей технологии для создания фальшивого или вредоносного контента, и мы считаем, что крайне важно разработать и применять инструменты для обнаружения предвзятости и случаев злонамеренного использования, чтобы обеспечить безопасное и добросовестное использование».