Google разработала нейросеть VLOGGER, которая способна генерировать анимированные ролики говорящего человека по одной статической фотографии и записи голоса.
Нейросеть генерирует движение губ, моргание глаз, жесты руками и наклоны головы. VLOGGER также можно использовать, чтобы отредактировать уже готовое видео (например, синхронизировать движения губ человека с речью на другом языке).
«Наша цель — создать фотореалистичное видео переменной длины, изображающее речь целевого человека, включая его голову и жесты. Наш метод состоит из 1) стохастической модели диффузии движения человека в 3D и 2) новой архитектуры, основанной на диффузии, которая дополняет модели преобразования текста в изображение как временным, так и пространственным контролем», — поясняют исследователи.
VLOGGER не требует обучения для конкретного человека, входные данные включают в себя только одно фото и аудиозапись с речью, которую должен произнести человек на сгенерированном ролике. В отличие от предыдущих моделей, VLOGGER не полагается на распознавание лиц, генерирует полное изображение (а не только лицо или губы) и учитывает положение тела человека на фото.
Исследователи оценили VLOGGER по трём различным критериям и пришли к выводу, что модель превосходит другие аналогичные методы по качеству изображения, сохранению идентичности сгенерированного человека и временной согласованности ролика.
Технологию предлагается использовать в творчестве, онлайн-коммуникациях, образовании и при разработке персонализированных виртуальных помощников.
