За последние несколько лет генеративные нейросети преодолели серьезный шаг развития, став больше массивными и способными создавать по текстовому описанию не только лишь изображения, да и видео. Новый метод VASA-1 от Microsoft, возможно, сможет поразить многих, так как для его работы вообщем не надо описание. Довольно предоставить 1-но изображение человека и аудиодорожку, на базе которых нейросеть сгенерирует видео говорящего человека с широким диапазоном чувств и естественной мимикой.
Итог работы VASA-1 смотрится очень естественно и правдоподобно. Всего из 1-го снимка лица и записи голоса метод создаёт близкое к реальности видео, на котором запечатлённый на снимке человек практически «оживает», а его мимика, движения губ и головы смотрятся полностью естественно. Так как сделанные при помощи VASA-1 видео с ходу трудно различить от реальных, уже высказываются опаски по поводу того, что метод может применяться злодеями для сотворения фейков.
Что касается самой нейросети, то основным её различием от других схожих алгоритмов является наличие целостной модели генерации фасадный мимики и движений головы. Спецы Microsoft провели необъятную исследовательскую работу, включая оценку ряда новых метрик. В итоге они установили, что новый метод сильно превосходит выставленные раньше аналоги по многим характеристикам.
«Наш прием не только лишь обеспечивает генерацию видео высочайшего свойства с близкой к реальности мимикой лица и движениями головы, но также поддерживает функцию онлайн-генерации видео 512×512 точек с частотой 40 кадров за секунду с малозначительной исходной задержкой. Это открывает путь к взаимодействию в реальном времени с близкими к реальности аватарами, имитирующими поведение человека во время разговора», — утверждается в сообщении Microsoft.
Подругому, нейросеть может создавать высококачественные фейковые видео на базе всего 1-го изображения. Потому не поразительно, что Microsoft именует VASA-1 «исследовательской демонстрацией» и не планирует выводить его на коммерческий рынок, по последней мере, в наиблежайшее время.
