Фото: Disney Research Hub
Искусственное застаривание актера обычно является дорогостоящим и трудоемким процессом, который требует от художников просмотра сцены кадр за кадром, чтобы вручную изменить внешний вид персонажа. В прошлом предпринимались попытки автоматизировать процесс с помощью нейронных сетей и машинного обучения, но наилучший результат получался в основном только для неподвижных изображений.
Новое же решение от Disney предлагает «первый практичный, полностью автоматический и готовый к производству метод застаривания лиц на видео».
Команда разработчиков написала, что было бы невозможно обучить нейронную сеть FRAN (face re-aging network) на основе данных реальных людей.
Для этого потребовались бы пары изображений, которые показывали бы объект с одинаковым выражением лица, позой, освещением и фоном в двух разных возрастах.
Вместо этого исследователи создали базу данных из нескольких тысяч случайно сгенерированных лиц. Они состарили эти синтетические лица с помощью существующих устройств машинного обучения, а затем передали результаты этого процесса в FRAN.
Нейронная сеть может проанализировать снимок головы и предвидеть, какие части лица будут затронуты старением, а затем она применяет эффекты морщин или разглаживания кожи на оригинальном лице. Исследователи утверждают, что такой подход позволяет FRAN состарить актера, сохранив его идентичность и внешность, даже если голова или лицо двигаются или изменяется освещение в кадре.
Разработка такого устройства может уменьшить нагрузку на художников по визуальным эффектам и ускорить творческий процесс. Вдобавок это может помочь проектам, не имеющим бюджета блокбастеров, не выйти за рамки определенных сумм. Например, значительная часть бюджета киноленты The Irishman Мартина Скорсезе (которая, по сообщениям, составляла 200 миллионов долларов) пошла на то, чтобы Роберт Де Ниро, Аль Пачино и Джо Пеши в отдельных сценах выглядели моложе.
«Дисней» старается состарить исполнителей в своих проектах, в частности, Марка Хэмилла в «Звездных войнах». А если следующим летом Харрисон Форд вернется в роли Индианы Джонса, он тоже будет выглядеть немного моложе. Новое устройство Disney должно в будущем ускорить работу над такими проектами.
