Sora 2 от OpenAI: Для создания дипфейков достаточно одного запроса, и последствия могут быть разрушительными

Видеомодель Sora 2, разработанная OpenAI, достигала впечатляющего результата – в 80% случаев создавала реалистичные видео с ложной информацией после запроса. Исследование было проведено специалистами из NewsGuard.

Из 20 протестированных запросов 16 привели к созданию дезинформации, причем 11 из них получились с первой попытки. Авторы исследования отметили, что пять тем уже использовались в российских кампаниях по распространению фейков.

С помощью приложения были созданы поддельные видео, в которых, например, молдавский чиновник якобы уничтожает пророссийские бюллетени, американская иммиграционная служба задерживает маленького ребенка, а представитель Coca-Cola заявляет о прекращении спонсорства Супербоула.

Никакие подобные события не имели места в реальности. Видеоролики были достаточно правдоподобными, чтобы сбить с толку пользователя, быстро пролистывающего ленту.

Специалисты NewsGuard установили, что создание такого контента занимает всего несколько минут и не требует каких-либо технических навыков. Кроме того, водяной знак легко удалить.

«Некоторые видео, созданные с помощью Sora, выглядели более убедительно, чем оригинальные посты, с которыми они были связаны, и способствовали распространению вирусных фейков. Например, ролик с задержанием ребенка агентами ICE был заметно реалистичнее, чем размытое изображение, с которого началось первоначальное ложное утверждение», — утверждается в исследовании.

После выпуска Sora 2 OpenAI столкнулась с проблемой дипфейков с участием Мартина Лютера Кинга и других известных личностей. Пользователи создавали видео, где великий лидер, борющийся за права человека, якобы крадет в магазинах, убегает от полиции и демонстрирует расовые стереотипы. Его дочь назвала такие видео «неприемлемыми» и «абсурдными».

Стартап признал, что видеогенератор производил «неуважительный» контент, и отключил возможность использования личности Кинга.

Похожие ситуации произошли с множеством других знаменитостей. Дочь Робина Уильямса, Зельда, в Instagram попросила пользователей не отправлять ей ИИ-видео с ее отцом.

На протяжении трех недель компания неоднократно пересматривала свою политику: сначала разрешала создание фейковых роликов, затем ввела систему согласия для правообладателей, после этого запретила использование некоторых известных личностей, а в конце внедрила правила одобрения от знаменитостей и защиту их голоса.

Напоминаем, что в октябре дипфейки с участием Сэма Альтмана заполонили новое социальное приложение Sora от OpenAI.