Omniverse Audio2Face

Omniverse Audio2Face to aplikacja referencyjna, która upraszcza animację trójwymiarowego bohatera, aby pasowała do dowolnego ścieżki z podkładem mówionym. Jest ona załadowana gotowym modelem trójwymiarowego bohatera, który można animować za pomocą ścieżki z podkładem mówionym, a wejście audio jest podawane na wcześniej przeszkolną głęboką sieć neuronową, a wyjście napędza wierzchołki siatki twarzy bohatera w czasie rzeczywistym, tworząc animację twarzy. Posiada również funkcję przenoszenia postaci, która umożliwia użytkownikom przypisanie dowolnej trójwymiarowej ludzkiej lub ludzko-podobnej twarzy i pozwala skalować wynik z kilkoma postaciami na scenie oraz kontrolować emocje postaci za pomocą sieci sztucznej inteligencji. Posiada również funkcje konwersji danych, które umożliwiają konwersję kształtu twarzy blendshape i opcje eksportu wagi przypadków i obsługuje eksport-import z Blendshapes dla Blendera i Epic Games Unreal Engine w celu generowania ruchu postaci.