Новый инструмент для создания видео с искусственным интеллектом от Google впечатляет

Новая модель искусственного интеллекта Люмьер ее Google для создания видео он использует новую систему диффузии под названием Пространство-время-U-Net, STUNet, который вычисляет, где объекты находятся в видео (пространство) и как они одновременно движутся и изменяются (время). Сайт Ars Technica сообщает, что этот метод позволяет Люмьер чтобы создать видео за один раз, вместо того, чтобы объединять небольшие стоп-кадры.

Люмьер начинается с создания базового кадра из командной строки пользователя. Затем он использует его Структура STUNet чтобы начать приблизительно оценивать, где объекты будут двигаться внутри этого кадра, чтобы создать больше кадров, которые перетекают друг в друга, создавая впечатление плавного движения. Люмьер выдает 80 кадров по сравнению с 25 кадрами Стабильная диффузия видео.

Люмьер имеет возможность выполнять различные трюки, которые демонстрируются на примерах на его демо-странице. Google. Например, он может выполнять преобразование текста в видео (преобразование письменной подсказки в видео), преобразовывать неподвижные изображения в видео, создавать видеоролики в определенных стилях с использованием эталонного изображения, применять последовательное редактирование видео с использованием текстовых подсказок, создавать синемаграфы с анимацией определенных областей изображения и возможностью видеосъемки роспись (например, он может изменить тип одежды, которую носит человек).

В статье о Люмьерего исследователи Google сообщают, что модель ИИ создает пятисекундные видеоролики с разрешением 1024×1024, которое они описывают как «низкое разрешение». Несмотря на эти ограничения, исследователи провели тест с пользователями и заявляют, что их продукция получила предпочтение. Люмьер по сравнению с другими существующими моделями синтеза видео AI.

Что касается данных тренировок, Google не сообщает, откуда взялись видео, которыми питался Люмьер, написав:

Обучаем модель T2V [text to video] в наборе данных, содержащем 30 миллионов видео вместе с их подписями. Видео — 80 кадров со скоростью 16 кадров в секунду (5 секунд). Базовая модель обучается с разрешением 128×128.

Вы можете взглянуть на Люмьера отсюда.

[via]