Отделение черт лица от контекста - новая революция в дипфейк-технологиях

Представлен новый метод создания дипфейков с людьми, вращающими головой и меняющими выражения лица.

Израильские исследователи использовали дополнение данных CGI (CGI - изображения, сгенерированные компьютером) для получения большего контроля над дипфейк-изображениями. Хотя CGI-головы все еще нельзя использовать для эффективного заполнения пробелов в наборах данных дипфейк-изображений лиц, благодаря новым исследованиям вскоре, возможно, это и не потребуется.

Создатели некоторых самых успешных за последние несколько лет вирусных дипфейк-видео отбирали исходные видео для своих подделок с особой тщательностью, избегая изображений лица в профиль, под углом или с преувеличенным выражением. Чаще всего в качестве источника они выбирали видео, где человек (чье настоящее лицо впоследствии заменялось дипфейком) смотрит прямо в камеру с минимальным спектром выражений лица.

Специалисты Израильского технологического института представили новый способ использования синтетических данных, таких как CGI-головы, для реального отделения лица (например, основных черт лица фейкового "Тома Круза" со всех ракурсов) от его контекста (например, взгляд вверх и в сторону, хмурый взгляд, прищур в темноте, насупленные брови, закрытые глаза и пр.).

Это не просто дипфейк-марионетка, подходящая только для аватаров и частичной синхронизации губ и имеющая ограниченный потенциал для полноценной дипфейк-трансформации видео. Нет, представленный исследователями метод является огромным шагом вперед на пути к фундаментальному отделению объектов (таких как наклон головы или насупленные брови) от индивидуума.

С самого зарождения дипфейк-технологий их создатели экспериментировали с CGI-изображениями, создавая головы с помощью приложений для 3D-графики, таких как Cinema4D и Maya. Однако в итоге многие решили отказаться от этих способов в пользу более новых.

Метод израильских исследователей эффективнее, потому что поза и контекстная информация из CGI-изображений полностью отделяется от индивидуума.

Источник