Animacja twarzy z nagrania głosu

Audio-driven facial animation · id audiofacial · aliases: audio-driven facial animation, speech-driven facial animation, animacja twarzy sterowana mową, animacja twarzy z mowy

Modele mapujące sygnał mowy na sekwencję parametrów animacji twarzy trójwymiarowej postaci, z późniejszym przeniesieniem ruchu na jej rig.

Models mapping a speech signal to a sequence of facial-animation parameters for a 3D character, followed by retargeting the motion to its rig.

In one sentence

Model słucha mowy i tworzy zsynchronizowany ruch twarzy trójwymiarowej postaci.

A model listens to speech and creates synchronised facial motion for a 3D character.

Problem it solves

Ręczne zgrywanie ust z tysiącami linii dialogowych, w kilku językach, pochłania miesiące pracy animatorów.

Hand-syncing lips to thousands of dialogue lines in several languages eats months of animators' work.

What it does

Działa jak lektor dubbingu, który patrzy w ekran i dopasowuje ruch ust do słowa, tylko odwrotnie: z głosu powstaje twarz.

It works like dubbing in reverse: instead of fitting a voice to lips on screen, it builds the face from the voice.

Everyday example

Postać w grze odpowiada ci głosem wygenerowanym na bieżąco, a jej usta i mimika pasują do każdego słowa i emocji.

A game character answers you with a voice generated on the fly, and its lips and expressions fit every word and emotion.

This concerns you if you…

Related topics

Sources