Meta Society |

過去三五年,，行業(yè)更迭,，入局企業(yè)眾多，元宇宙相關(guān)技術(shù)層出不窮,。我們希望在本欄目中,，對(duì)VR | XR | 動(dòng)作捕捉技術(shù)聚焦剖析，捋清技術(shù)脈絡(luò),，為您帶來相關(guān)技術(shù)分享與理論觀點(diǎn),。

20世紀(jì)80年代起，日本微型計(jì)算機(jī)技術(shù)開始逐漸成熟,，1983年更是成為公認(rèn)的紅白機(jī)元年,。

從這時(shí)開始，二次元文化逐漸形成,，動(dòng)畫片產(chǎn)業(yè)方興未艾,，但當(dāng)年并不像當(dāng)代日漫，題材稀薄,，乏味可陳,。因此，動(dòng)畫《超時(shí)空要塞Macross》憑借機(jī)器人與戀愛主題要素結(jié)合的超前理念,，在當(dāng)年一躍成為經(jīng)典,，女主角林明美更是成為初代“御宅族”的理想女神。

動(dòng)畫制作方抓住契機(jī),，虛擬偶像“林明美”正式出道,，就著歌姬人設(shè)出專輯，成為當(dāng)時(shí)最紅的存在,。「走出動(dòng)畫文本的紙片人」打開了未來虛擬偶像創(chuàng)作者的思路,。

到了1996年，技術(shù)條件的革新,，促發(fā)了3D虛擬偶像伊達(dá)杏子的誕生,，但由于當(dāng)時(shí)的動(dòng)作捕捉技術(shù)手段尚未成熟，制作成本高,，未能形成真正的3D虛擬偶像熱潮,。

21世紀(jì)初期，CG技術(shù),、動(dòng)作捕捉與面部捕捉技術(shù)的發(fā)展推動(dòng)虛擬偶像進(jìn)一步完善,，以初音未來、洛天依為代表的新一代虛擬歌姬,，以及《指環(huán)王》中的咕嚕和《猩球崛起》中的凱撒,，宣告虛擬偶像步入影視娛樂行業(yè)。

「二次元」虛擬偶像

2016年后，隨著人工智能,、建模,、渲染和動(dòng)作面部捕捉等技術(shù)的發(fā)展，虛擬偶像絆愛在直播間開啟虛擬主播帶貨新形式,，Bilibili“虛擬次元計(jì)劃”頻道成為虛擬主播大本營(yíng),。百度集團(tuán)深耕人工智能賽道，推出AIGC希加加,，當(dāng)代AI技術(shù)的蓬勃發(fā)展,，也讓AIGC向生成式數(shù)字人逐步前行。

技術(shù)革新推動(dòng)虛擬偶像產(chǎn)業(yè)發(fā)展

顯然,，虛擬偶像是頗具象征意味的群體需求和技術(shù)發(fā)展匯合的時(shí)代產(chǎn)物,。

隨著“元宇宙”概念的火熱，虛擬偶像再次被推上風(fēng)口浪尖,，當(dāng)下三維圖形生成技術(shù),、動(dòng)態(tài)環(huán)境建模技術(shù)、實(shí)時(shí)動(dòng)作捕捉技術(shù),、快速渲染處理,、虛擬引擎構(gòu)建、語(yǔ)音合成與交互技術(shù),、語(yǔ)義識(shí)別技術(shù),、深度學(xué)習(xí)與多模態(tài)技術(shù)等新技術(shù)的發(fā)展，正在積極為虛擬偶像賦能,。

元宇宙時(shí)代,，虛擬偶像已經(jīng)進(jìn)化為超寫實(shí)數(shù)字人。超寫實(shí)數(shù)字人建模是一種追求逼真度較高的技術(shù),，涵蓋多種方法和工具,，常見的建模技術(shù)主要有以下幾類：

手工建模是一種使用計(jì)算機(jī)圖形軟件或物理材料，通過藝術(shù)家或設(shè)計(jì)師手動(dòng)創(chuàng)建三維模型的過程,。這種方法涵蓋了游戲開發(fā),、動(dòng)畫制作、工業(yè)設(shè)計(jì)等多個(gè)領(lǐng)域,，適用于注重創(chuàng)造力,、個(gè)性化和藝術(shù)性的項(xiàng)目，但在時(shí)間,、成本和效率方面會(huì)受到限制,。

在不同的項(xiàng)目中，手工建模與數(shù)字技術(shù),、自動(dòng)化建模等方法可能會(huì)結(jié)合使用,，以平衡不同的需求,。

由Epic Games開發(fā)的工具，使用機(jī)器學(xué)習(xí)生成逼真的數(shù)字人物模型,，包括面部特征、膚色,、表情,、發(fā)型等。然而,，由于軟件局限,，應(yīng)用MetaHuman Creator制作能夠交互的虛擬偶像需要大量學(xué)習(xí)素材支撐，且建模類型較為單一,，無法創(chuàng)建定制化角色,。

MetaHuman Creator

通常采用高分辨率的3D掃描儀，捕捉真實(shí)人體或物體的微小細(xì)節(jié),，以及皮膚紋理等,，從而生成超寫實(shí)的數(shù)字人物模型。

元客視界Lustage光場(chǎng)重建系統(tǒng)

元客視界LuStage是一套高效的影視級(jí)數(shù)字人/物資產(chǎn)建模系統(tǒng),，利用多光譜變光照照明,、高速同步相機(jī)陣列采集的數(shù)據(jù)，自動(dòng)智能計(jì)算毛孔級(jí)的高精度人臉模型,、光照材質(zhì)特性,，大幅降低人/物等數(shù)字資產(chǎn)制作周期，提升制作精度,。

作為主流的虛擬偶像驅(qū)動(dòng)技術(shù),，動(dòng)作捕捉實(shí)現(xiàn)了真人虛擬化的互動(dòng)形式，這種交互方式開啟了創(chuàng)作者與虛擬偶像的虛實(shí)觸達(dá)通道,，也是人與機(jī)器之間的一種新的互動(dòng)形式,。 一些常用的控制手段包括動(dòng)作捕捉、手勢(shì)捕捉、表情捕捉等,。

元客視界虛擬偶像直播方案,，結(jié)合了自主開發(fā)的FZMotion光學(xué)式高精度動(dòng)作捕捉系統(tǒng)，以及iPhone的ARKit表情捕捉方式,，和諸如Manus、StretchSense等數(shù)據(jù)手套,，實(shí)時(shí)高精度解算人體骨骼運(yùn)動(dòng),，驅(qū)動(dòng)數(shù)字角色動(dòng)畫，整套流程骨骼魯棒穩(wěn)定,，動(dòng)畫生成快速細(xì)膩,。

元客視界虛擬偶像解決方案

近年來,，學(xué)術(shù)界在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)、多模態(tài)人工智能方面的探索表明大模型具備易擴(kuò)展性,，能夠?qū)崿F(xiàn)跨模態(tài)的知識(shí)沉淀,。

去年亮相的stableDiffusion以及ChatGPT成功商業(yè)化也證明了以大模型為基礎(chǔ)，通過大模型進(jìn)行業(yè)務(wù)封裝可以較好滿足多個(gè)行業(yè)需求,。

虛擬偶像作為最趨近真人的表達(dá)媒介之一,，除了傳統(tǒng)的AI內(nèi)容模型之外，還需要大量動(dòng)作數(shù)據(jù)集模型進(jìn)行自主學(xué)習(xí)驅(qū)動(dòng),。

基于專業(yè)的設(shè)計(jì)與集成理念,，元客視界LuStage光場(chǎng)重建系統(tǒng)兼具高速、高質(zhì)量的制造能力,。LuStage所具備的多相機(jī)微秒級(jí)同步以及圖像智能ISP處理能力,，可以使模型幾何信息更加精確、圖像色彩更加真實(shí),；同時(shí),，LuStage采用分布式高速拍攝存儲(chǔ)等技術(shù)，實(shí)現(xiàn)大規(guī)模批量化模型生產(chǎn)的目標(biāo),，大大縮短了AI模型數(shù)據(jù)訓(xùn)練數(shù)據(jù)庫(kù)的周期,，爆發(fā)真正改變技術(shù)手段、推動(dòng)行業(yè)進(jìn)步的生產(chǎn)力,。

虛擬偶像AI訓(xùn)練數(shù)據(jù)集