“This breaks my brain.”

目睹了舊金山游戲開(kāi)發(fā)者大會(huì )（GDC）期間的一幕時(shí)，有人發(fā)出上面這句感嘆。如果翻譯成中文，應該就是兩個(gè)字：“炸裂”。Epic Games推出了一個(gè)實(shí)時(shí)驅動(dòng)、逼真的全性能角色 “Siren”數字人類(lèi)。

Siren完全是在虛幻引擎中實(shí)時(shí)呈現的，細節程度爆炸，效果極其驚人，這個(gè)高精度的虛擬達到了前所未有的程度。

先來(lái)感受下一段Siren的自我介紹吧

但絕不僅是細節讓人驚嘆這么簡(jiǎn)單。Siren背后的系統，還具備強大的人類(lèi)表情動(dòng)作實(shí)時(shí)捕捉以及合成技術(shù)。

一個(gè)真實(shí)的女性人類(lèi)在現場(chǎng)侃侃而談，她的表情、動(dòng)作、聲音，被實(shí)時(shí)的賦予身后大屏幕上的女性數字人類(lèi)Siren。這就是開(kāi)頭提及的炸裂一幕。實(shí)際上，Siren這位小姐姐的容貌身形，也不是憑空虛構出來(lái)。而是一位來(lái)自中國的演員：姜冰潔。而負責現場(chǎng)演示的是英國演員Alexa Lee，她的表情和聲音，被頭戴設備捕捉之后，與姜冰潔的外貌進(jìn)行合成，最后就成了Siren。

Siren項目是始于Epic Games和騰訊之間的一個(gè)合作，目的是創(chuàng )建一個(gè)概念驗證演示，用來(lái)展示虛幻引擎4的功能以及下一代數字角色的外觀(guān)。為了處理角色的表演捕捉，Epic和騰訊使用Vicon的Vantage系列攝像機，配合新一代強大的動(dòng)作捕捉軟件shogun進(jìn)行實(shí)時(shí)追蹤，另外用Vue實(shí)拍攝影機拍攝演員動(dòng)作作為實(shí)時(shí)參考，將演員動(dòng)作、動(dòng)捕數據、虛擬角色三者的結合呈現給觀(guān)眾。你可以很清楚看到人物的皮膚細節、眼睛的轉動(dòng)、說(shuō)話(huà)的神態(tài)。不管是皮膚質(zhì)感，還是神態(tài)上的一顰一笑，都宛若真人。

Epic Games的CTO Kim Liberi說(shuō)：“當開(kāi)始研究Siren時(shí)，我們從一開(kāi)始就知道為了實(shí)現這個(gè)角色，我們需要動(dòng)作捕捉硬件和軟件。因為我們在以前的舞臺上使用過(guò)Vicon系統，所以我們知道Vicon是這個(gè)項目的選擇。”

這樣在第二個(gè)屏幕上，就可以看到由中國女演員姜冰潔的肖像創(chuàng )建的Siren角色——同步移動(dòng)，引擎中以60幀每秒的刷新率驅動(dòng)。為確保盡可能高的保真度，Vicon取代了傳統的復雜骨骼映射步驟，直接用自定義骨骼的方式解決了Siren的骨骼問(wèn)題。還開(kāi)發(fā)了一種新的算法來(lái)還原Siren的手指動(dòng)畫(huà)。Cubic Motion不僅為Vicon，Epic和騰訊提供的面部表演捕捉，追蹤，解算和動(dòng)畫(huà)，還提供了一個(gè)實(shí)時(shí)解算器，用女演員表情的視頻反饋來(lái)實(shí)時(shí)地驅動(dòng)CG角色表情。

要創(chuàng )造出逼真的數字角色需要的不僅僅是追蹤動(dòng)作，還需要能夠將人物模仿到細微的細節。這次Epic在GDC上展示的虛擬人物真的非常驚人。Vicon VFX產(chǎn)品經(jīng)理Tim Doubleday說(shuō)：當Epic找到我們嘗試創(chuàng )造這個(gè)逼真的數字化身時(shí)，我們渴望參與并希望能推動(dòng)這一領(lǐng)域的進(jìn)一步發(fā)展。

我覺(jué)得，他們成功了！