Cyberpunk bude mít lip sync pro všechny jazykové verze

Zřejmě až do vydání Cyberpunku 2077 nás nepřestane fascinovat, kolik práce do vývoje jedné videohry lidé z CD Projektu RED vkládají. A těší nás, že ne všechno musí členové týmu tvořit ručně, aby dospěli k nadstandardnímu výsledku. Jednou z těchto věcí je synchronizace úst s pronášenými větami v dialozích, alias lip sync, se kterým se dá efektně naložit ve hrách s omezeným počtem (hlavních) postav, ale je ho takřka nemožné zpracovat opravdu kvalitně v rozsáhlých RPG se zástupy NPC, na které může hráč narazit v podstatě kdekoliv a dát se s nimi do řeči. Je ale možné, že právě Cyberpunk 2077, který bude nepochybně jedním z těch velmi rozsáhlých RPG, tohle dogma zboří díky spolupráci s kanadskou společností JALI Research, specializující se na automatické generování věrohodného lip syncu. Polští vývojáři se s odborníky z University of Toronto dali dohromady před čtyřmi lety a výsledek jejich společné práce prezentují v obsáhlém videu s překvapivě povedeným výsledkem. Už dopředu vám navíc můžeme prozradit, že automatický lip sync vznikal ve všech 10 jazykových verzích, aniž by animátoři z CD Projektu do výroby jakkoliv zasáhli.

Technologii JALI prezentují ve videu Pif Edwards a Chris Landreth z University of Toronto a její použití následně komentuje vedoucí animátor postav v CD Projektu RED Mateusz Popławski. První dva zmiňovaní velmi podrobně vysvětlují, co všechno jejich software zpracovává a nezaměřují se pouze na pohyby úst, které by měly co nejvěrněji odpovídat tomu, co postava říká, ale zahrnují celou škálu drobných pohybů, které dodávají na přirozenosti celého projevu. JALI tedy zahrnuje pohyby obočí, svrašťování čela, svaly kolem lícních kostí, těkání očí i celkové pohyby hlavy, která pochopitelně lidem nesedí na krku nehnutě. Skript pak bere v potaz i způsob, jakým dané postavy mluví, případně jaký důraz kladou na konkrétní slova a podle toho se výstup upravuje opět směrem k co nejvyšší přirozenosti.

Pokud bychom měli být konkrétní, do jakých detailů JALI zachází, můžeme se zastavit například u mrkání. Pif Edwards na několika slidech prezentace odpovídá na otázku, proč vlastně mrkáme a naznačuje, že podobné otázky nechali klást i umělou inteligenci. Ta následně bere v potaz nejen nahrané audio, ale provádí také analýzu textu v souvislosti s pochopením, zda jde o veselý komentář, nebo naopak hlubokou promluvu směrem k hlavní postavě V a neustále počítá čas od posledního mrknutí. Tím je automaticky zahrnuta i biologická nutnost mrkat, tedy zvlhčovat oční bulvy, případně z nich stírat prach. A tímto způsobem by bylo pochopitelně možné rozebírat jednotlivé části, tvořící výsledný obraz a podtrhující celkový zážitek ze hry.

Ani tam ale JALI nekončí a kalkuluje také s odlišnou mimikou v souvislosti s jazykem, kterým postava právě mluví. Když je tato část prezentována na postavě Placida, kterého známe z dřívějších ukázek Cyberpunku 2077, nepůsobí zapojení angličtiny a francouzštiny v jednom dialogu nebo jediné větě nijak fantasticky. Adekvátní pohyby obličeje pak můžeme chápat jako vyšší standard toho, o co se vývojáři ve spolupráci s Jali Research snažili. Jenže s přihlédnutím k tomu, že si umělá inteligence generátoru JALI umí s bilingvní postavou poradit, automaticky se otevírají dveře k netušeným možnostem. A právě tady přichází bezprecedentní výsledek, který docení všichni, kdo budou chtít využít i jinou nežli anglickou jazykovou verzi hry.

Jak potvrzuje Mateusz Popławski, aniž by musel kdokoliv z jeho týmu byť jen sáhnout na obličejové animace, umělá inteligence JALI dokázala vygenerovat odpovídající pohyby všech postav ve hře (!) do všech dostupných jazyků (!). Cyberpunk 2077 bude obsahovat deset verzí dabingu – anglický, francouzský, německý, japonský, portugalský, polský, ruský, manadrínský, italský a španělský, přičemž ukázku a výsledek můžete zhlédnout přibližně v čase 15:40 s následným komentářem Chrise Landretha. Ten doplňuje, že opět nešlo jen o přepočet pohybů úst, ale o kompletní změnu mimiky například na odlišnostech důrazu na konkrétní slabiky v různých jazycích.