Sora от OpenAI генерирует фотореалистичные видео

OpenAI 15 февраля выпустила впечатляющую новую модель преобразования текста в видео под названием Сора который может создавать фотореалистичные или мультяшные движущиеся изображения из текстовых подсказок на естественном языке. Сора пока недоступен для публики; вместо этого OpenAI предоставила Sora «красным командам» — исследователям безопасности, которые имитируют методы, используемые субъектами угроз, — для оценки возможного вреда или рисков. OpenAI также предложила Sora избранным дизайнерам, художникам по аудио и видео, чтобы получить отзывы о том, как лучше всего оптимизировать Sora для творческой работы.

Акцент OpenAI на безопасности вокруг Соры является стандартным для генеративный ИИ в настоящее время, но это также показывает важность мер предосторожности, когда речь идет об искусственном интеллекте, который можно использовать для создания убедительных фальшивых изображений, которые могут, например, нанести ущерб репутации организации.

Что такое Сора?

Сора — это генеративная модель распространения ИИ. Сора может создавать нескольких персонажей, сложные фоны и реалистичные движения в видеороликах продолжительностью до минуты. Он может создавать несколько кадров в одном видео, сохраняя единообразие персонажей и визуального стиля, что позволяет Соре быть эффективным инструментом рассказывания историй.

В будущем Sora можно будет использовать для создания видеороликов, сопровождающих контент, для продвижения контента или продуктов в социальных сетях или для иллюстрации моментов в презентациях для бизнеса. Хотя Sora не должна заменять творческие умы профессиональных видеомейкеров, ее можно использовать для более быстрого и легкого создания некоторого контента. Хотя информации о ценах пока нет, вполне возможно, что OpenAI в конечном итоге получит возможность включить Sora в свою ЧатGPT Enterprise подписка.

«СМИ и развлечения станут вертикальной индустрией, которая может одним из первых внедрить подобные модели», — сказал TechRepublic по электронной почте аналитик Gartner и заслуженный вице-президент Арун Чандрасекаран Чандрасекаран. «Бизнес-функции, такие как маркетинг и дизайн, в технологических компаниях и предприятиях также могут стать первопроходцами».

Как мне получить доступ к Соре?

Если вы еще не получили доступ от OpenAI в рамках бета-тестирования красной команды или творческой работы, доступ к Sora сейчас невозможен. OpenAI выпустила Sora для избранных художников, дизайнеров и кинематографистов, чтобы они могли научиться оптимизировать Sora специально для творческих целей. Кроме того, OpenAI предоставил доступ исследователям из красной команды, специализирующимся на дезинформации, разжигающем ненависть контенте и предвзятости. Аналитик Gartner и заслуженный вице-президент Арун Чандрасекаран заявил, что первоначальный выпуск Sora OpenAI является «хорошим подходом и соответствует практике OpenAI по безопасному выпуску моделей».

«Конечно, одного этого будет недостаточно, и им необходимо внедрить методы, позволяющие отсеивать злоумышленников, получающих доступ к этим моделям или их гнусное использование», — сказал Чандрасекаран.

Как работает Сора?

Сора — это диффузионная модель, то есть она постепенно превращает бессмысленное изображение в понятное на основе подсказки и использует архитектуру-трансформер. Исследование, проведенное OpenAI для создания моделей DALL-E и GPT, в частности, методика повторного захвата данных из DALL-E, стало ступенькой к созданию Соры.

ВИДЕТЬ: Инженеры искусственного интеллекта востребованы в Великобритании (Техреспублик)

Видео Соры не всегда выглядят полностью реалистично

Соре по-прежнему трудно различать левое и правое или следовать сложным описаниям событий, происходящих во времени, например подсказкам о конкретном движении камеры. По словам OpenAI, видео, созданные с помощью Sora, скорее всего, будут обнаружены по причинно-следственным ошибкам, например, когда человек откусывает кусочек печенья, но не оставляет следа от укуса.

Например, взаимодействие между персонажами может показывать размытость (особенно вокруг конечностей) или неопределенность в количественном отношении (например, сколько волков в видео ниже в любой момент времени?).

Каковы меры безопасности OpenAI в отношении Соры?

При правильных подсказках и настройке видеоролики, которые снимает Сора, легко можно принять за видеоролики с живыми актерами. OpenAI осознает возможные проблемы клеветы или дезинформации, возникающие в результате этой технологии. OpenAI планирует применить к Sora те же фильтры контента, что и к DALL-E 3, которые предотвращают «крайнее насилие, сексуальный контент, ненавистнические изображения, сходство со знаменитостями или IP других,” в соответствии с ОпенАИ.

Если Sora станет общедоступной, OpenAI планирует пометить контент, созданный с помощью Sora, водяными знаками. C2PA метаданные; метаданные можно просмотреть, выбрав изображение и выбрав пункты меню «Информация о файле» или «Свойства». Люди, создающие изображения, сгенерированные искусственным интеллектом, по-прежнему могут удалять метаданные намеренно или могут сделать это случайно. OpenAI в настоящее время не имеет ничего, что могло бы помешать пользователям ее генератора изображений, ОТ-Е 3от удаления метаданных.

“Уже [difficult] и все больше станет невозможным обнаружить контент, созданный людьми», — сказал Чандрасекаран. «Венчурные капиталисты инвестируют в стартапы, создающие инструменты обнаружения дипфейков, и они (инструменты обнаружения дипфейков) могут быть частью брони предприятия. Однако в будущем возникнет необходимость в государственно-частном партнерстве для выявления, часто на этапе создания, машинно-генерируемого контента».

Какие конкуренты у Соры?

Фотореалистичные видеоролики Соры довольно своеобразны, но есть и похожие сервисы. ВПП обеспечивает готовое для предприятия создание искусственного интеллекта для преобразования текста в видео. исправлять может создавать ограниченное количество видеороликов с синхронизацией голоса для повествования в социальных сетях. Генеративный ИИ теперь может надежно добавлять контент или редактировать видео, снятые традиционным способом.

8 февраля исследователи Apple опубликовали статью о Ключевой кадрпредложенная большая языковая модель, которая может создавать стилизованные анимированные изображения.

TechRepublic обратилась к OpenAI за дополнительной информацией о Соре.