Система ИИ идентифицирует поддельные видео за пределами лица и измененная речь

В эпоху, когда манипулируемые видео могут распространять дезинформацию, хулиганские люди и побуждать к вреда, исследователи UC Riverside создали новую мощную систему для разоблачения этих подделок.

Амит Рой-Чоудхури, профессор электрической и компьютерной инженерии, и кандидат доктора Рохита Кунду, как из инженерного колледжа UCR, так и из Колледжа инженерии Rosemary Bourns, объединились с учеными Google для разработки модели искусственного интеллекта, которая обнаруживает видео Вмешивание – даже когда манипуляции выходят далеко за пределы лиц и изменяли речь. Бумага есть опубликовано на arxiv Сервер препринта.

Roy-Chowdhury также является со-директором Института исследований и образования в области искусственного интеллекта UC Riverside, нового междисциплинарного исследовательского центра в UCR.

Их новая система, называемая Universal Network для определения подделанных и синтетических видео (Unite), обнаруживает подделки, изучая не только лица, но и полные видео кадры, включая фон и шаблоны движения. Этот анализ делает его одним из первых инструментов, способных идентифицировать синтетические или зарегистрированные видео, которые не полагаются на содержание лица.

«Глубобы развивались», – сказал Кунду. «Они больше не просто об их обменах.

Разработка Unite происходит, поскольку генерация текста в Video и изображение-Video стала широко доступными в Интернете. Эти платформы для искусственного интеллекта позволяют практически любому изготовить очень убедительные видеоролики, создавая серьезные риски для отдельных лиц, институтов и самой демократии.

«Страшно, насколько доступны эти инструменты», – сказал Кунду. «Любой, кто обладает умеренными навыками, может обойти фильтры безопасности и генерировать реалистичные видеоролики общественных деятелей, говорящих о вещах, которых они никогда не говорили».

Кунду объяснил, что более ранние детекторы DeepFake были сосредоточены почти полностью на подсказках лица.

«Если в кадре нет лица, многие детекторы просто не работают», – сказал он. «Но дезинформация может произойти во многих формах. Изменение фона сцены может так же легко исказить правду».

Чтобы решить это, Unite использует на основе трансформатора Модель глубокого обучения Чтобы проанализировать видеоклипы. Он обнаруживает тонкие пространственные и временные несоответствия – поступки часто пропускают предыдущие системы. Модель опирается на основополагающую структуру ИИ, известная как Siglip, которая извлекает особенности, не связанные с конкретным человеком или объектом.

Новый метод обучения, названный «Потеря внимания», побуждает систему мониторинг множества визуальных областей в каждом кадре, что мешает ей сосредоточиться исключительно на лицах.

Результатом является универсальный детектор, способный пометить ряд подделок – от простых лицевых свопов до сложных, полностью синтетических видео, генерируемых без каких -либо реальных кадров.

«Это одна модель, которая обрабатывает все эти сценарии», – сказал Кунду. «Это то, что делает его универсальным».

Исследователи представили свои выводы на конференции 2025 года по компьютерному зрению и распознаванию образцов (CVPR) в Нэшвилле, штат Теннесси, под названием «На пути к универсальному синтетическому детектору видео: от лица или фоновых манипуляций до полного сгенерированного AI контент», их статья, возглавляемая Кунду, изложена архитектура и методология обучения Untite.

Соавторы включают исследователей Google Хао Сионг, Вишал Моханти и Атула Балачандра.

Сотрудничество с Google, где Kundu стажировался, предоставило доступ к обширным наборам данных и вычислительным ресурсам, необходимым для обучения модели на широком диапазоне синтетического контента, включая видео, полученные из текста или неподвижных изображений, – форматы, которые часто пенис существующих детекторов.

Хотя Unite все еще находится в разработке, Unite может сыграть жизненно важную роль в защите от дезинформации видео. Потенциальные пользователи включают платформы социальных сетейпроверка фактов и новостей, работающие над предотвращением вирусных манипулируемых видео.

«Люди заслуживают того, чтобы знать, реально ли то, что они видят», – сказал Кунду. «И по мере того, как ИИ становится лучше в фальсификации реальности, мы должны стать лучше в раскрытии правды».