Sora Openai делает дезинформацию чрезвычайно легкой, реальной с AI -клипами | Экспертные взгляды

Тиффани Хсу, Стюарт Томпсон и Стивен Ли Майерс

За первые три дня пользователи нового приложения от Openai развернули искусственный интеллект, чтобы создать поразительно реалистичные видео мошенничества, иммиграционных арестов, протестов, преступлений и нападений на городских улиц – ни один из которых не произошел.

Приложение, называемое Sora, требует только текстовой подсказки, чтобы создать практически любые кадры, которые пользователь может придумать. Пользователи также могут загружать свои изображения, позволяя их подобию и голосу стать воображаемыми сценами.

По словам экспертов, Sora – а также Google Veo 3 и другие подобные инструменты, подобные IT, могут становиться все более плодородными местами размножения для дезинформации и злоупотреблений. В то время как беспокойство по поводу способности ИИ обеспечивать вводящее в заблуждение контент и откровенные изготовления в последние годы неуклонно повышались, достижения Соры подчеркивают, насколько проще такое контент, и насколько он убедителен.

Openai заявил, что выпустила приложение после обширных испытаний на безопасность, и эксперты отметили, что компания приложила усилия, чтобы включить ограждения.

В тестах New York Times приложение отказалось генерировать образы известных людей, которые не дали свое разрешение и отказались от подсказок, которые просили графического насилия. Он также отрицал некоторые подсказки с просьбой о политическом содержании.

Гарантия, однако, не были надежными.

Сора, которая в настоящее время доступна только через приглашение от существующего пользователя, не требует, чтобы пользователи проверяли свои учетные записи, что означает, что они могут подписаться на имя и изображение профиля, которые не являются их. Приложение будет генерировать контент с участием детей без проблем, а также контент с участием давних общественных деятелей, таких как преподобный доктор Мартин Лютер Кинг-младший и Майкл Джексон.

До недавнего времени видео были достаточно надежными в качестве доказательства реальных событий, даже после того, как стало легко редактировать фотографии и текст реалистичными способами. По словам экспертов, высококачественное видео Соры, однако, повышает риск того, что зрители потеряют доверие к тому, что они видят. В видео Sora представлены движущийся водяной знак, идентифицирующий их как создания AI, но эксперты сказали, что такие оценки могут быть отредактированы с некоторыми усилиями.

«Было несколько трудно подделать, и теперь этот последний бастион умирает», – сказал Лукас Хансен, основатель Civai, некоммерческой организации, которая изучает способности и опасности искусственного интеллекта. «Почти нет цифрового контента, который можно использовать, чтобы доказать, что произошло что -то конкретное».

Такой эффект известен как дивиденды лжеца: что все более высокие видеоролики с высоким содержанием калибра позволят людям отклонять аутентичный контент как фальшивый.

По словам экспертов, образы, представленные в быстро меняющемся свитке, как это на Sora, способствуют быстрым впечатлениям, но не строгим проверку фактов. Они сказали, что приложение способно создавать видео, которые могли бы распространять пропаганду и представлять фиктивные доказательства того, что одолжили теории заговора, причастны к невинным людям в преступлениях или воспаленных летучих ситуациях.

Хотя приложение отказалось создавать образы насилия, оно охотно изобразило ограбления магазинов и вторжения в домашние магазины, запечатленные на камерах для дверных звонков. Поддельные и устаревшие кадры распространялись в социальных сетях во всех недавних войнах, но приложение повышает перспективу, что такой контент может быть создан адаптированным и доставленным алгоритмами восприимчивых аудиторий.

© 2023 New York Times News Service

«Теперь я получаю действительно, действительно отличные видео, которые укрепляют мои убеждения, хотя они и ложны, но вы никогда не увидите их, потому что они никогда не доставлялись вам», – сказал Кристиан Дж. Хаммонд, профессор, который управляет Центром для повышения безопасности машинного интеллекта в Северо -западном университете. «Весь понятие разделенных, балканизированных реалий, у нас уже есть, но это просто усиливает его».

Доктор Фарид, профессор Беркли, сказал, что Сора была «частью континуума», который ускорился только с тех пор, как Google представила свой видео генератор Veo 3 в мае.

Даже он, эксперт, чья компания посвящена определению сфабрикованных изображений, теперь борется на первый взгляд, чтобы отличить от фальшивых, сказал доктор Фарид.

«Год назад, более или менее, когда я смотрел на это, я бы знал, а затем я запустил свой анализ, чтобы подтвердить мой визуальный анализ», – сказал он. «И я мог бы сделать это, потому что я смотрю на эти вещи весь день, и я как бы знал, где находятся артефакты. Я больше не могу этого делать».