隨著虛擬技術(shù)的發(fā)展和對(duì)內(nèi)容制作高質(zhì)量的追求,，數(shù)字人頻頻出圈,，XR（擴(kuò)展現(xiàn)實(shí)）被頻繁的應(yīng)用在各種大型節(jié)目或電影廣告等視頻制作上，但由于實(shí)時(shí)直播對(duì)穩(wěn)定性要求高,，而XR虛擬制作涉及眾多復(fù)雜的軟硬件,，再加上數(shù)字人的參與增加了復(fù)雜度與風(fēng)險(xiǎn)，因此XR+數(shù)字人+實(shí)時(shí)+直播帶貨,，一直很難相遇,。本次數(shù)字人XR實(shí)時(shí)直播帶貨成功的背后都有哪些技術(shù)支撐呢？

首先要講的是虛擬制作,，它是將計(jì)算機(jī)中虛擬場(chǎng)景與攝像機(jī)實(shí)景視頻進(jìn)行實(shí)時(shí)合成,，使人物與虛擬場(chǎng)景能夠同步變化，從而輸出高真實(shí)感合成畫(huà)面的視頻制作方式,，XR虛擬制作必須以LED大屏為背景且有屏外擴(kuò)展畫(huà)面,。2021年春節(jié)晚會(huì)節(jié)目《牛起來(lái)》便是虛擬制作的典型案例。

本次直播,，將攝像機(jī)跟蹤,、數(shù)字人、動(dòng)作捕捉,、LED大屏,、UE5實(shí)時(shí)渲染等前沿技術(shù)或工具，有機(jī)結(jié)合到了一起,。其中凌云光自主研發(fā)的FZMotion光學(xué)運(yùn)動(dòng)捕捉系統(tǒng)部署在場(chǎng)地中,，保障了現(xiàn)場(chǎng)“中之人"的動(dòng)作捕捉與真實(shí)攝像機(jī)的跟蹤，是連接虛擬與現(xiàn)實(shí)世界的橋梁,。

為了讓真實(shí)攝像機(jī)在運(yùn)動(dòng)的時(shí)候,，LED大屏上的畫(huà)面以及屏外拓展畫(huà)面能夠發(fā)生相應(yīng)的準(zhǔn)確變化，FZMotion快速精準(zhǔn)的跟蹤真實(shí)攝像機(jī)6自由度（6DoF, 6 degree of freedom）變化,，結(jié)合鏡頭信息,，傳輸至UE5虛擬攝像機(jī)實(shí)時(shí)渲染引擎。不同于機(jī)械跟蹤或機(jī)身上安裝相機(jī)（InSide-Out）的跟蹤方式,，當(dāng)舞臺(tái)周?chē)嗯_(tái)真實(shí)攝像機(jī)同時(shí)需要被跟蹤時(shí),，一套FZMotion系統(tǒng)便能搞定，無(wú)需根據(jù)被跟蹤攝像機(jī)數(shù)量來(lái)增加跟蹤系統(tǒng)數(shù)量,。

為了讓沐嵐動(dòng)起來(lái),，FZMotion實(shí)時(shí)捕捉 “中之人"的動(dòng)作，并融合面部捕捉與手指捕捉設(shè)備，將“中之人"的表情,、手指動(dòng)作,、身體動(dòng)作傳遞給沐嵐并對(duì)其進(jìn)行驅(qū)動(dòng)。

一套動(dòng)捕,，多種跟蹤

觀眾看到的包含沐嵐的圖像,，其實(shí)由多個(gè)畫(huà)面組合而成。一是真實(shí)攝像機(jī)拍攝到的,，包含LED屏上的表演者,、基于真實(shí)攝像機(jī)視角渲染而成的LED屏上畫(huà)面。二是數(shù)字人沐嵐,，她被以AR前景的方式疊加到了畫(huà)面一上。當(dāng)攝像機(jī)拍攝到LED屏外的時(shí)候,，還需要渲染屏外拓展畫(huà)面,，同畫(huà)面一和二拼接。多個(gè)畫(huà)面虛實(shí)融合,，呈現(xiàn)給觀眾,。而這一切，都離不開(kāi)FZMotion的攝像機(jī)跟蹤與真人動(dòng)作捕捉,。

由于系統(tǒng)復(fù)雜,、存在不穩(wěn)定風(fēng)險(xiǎn)，XR制作與數(shù)字人未能在實(shí)時(shí)直播中普及應(yīng)用,，本次FZMotion持續(xù)100多分鐘的穩(wěn)定表現(xiàn),，為數(shù)字人XR直播及時(shí)注入了一針“強(qiáng)心劑"。同時(shí),，F(xiàn)ZMotion “一套動(dòng)捕,，多種跟蹤"的優(yōu)勢(shì)，能夠?qū)崿F(xiàn)多人,、多攝像機(jī)以及道具的跟蹤,，更是XR虛擬制作的神兵利器與高性價(jià)比選擇。

【彩蛋】

沐嵐與FZMotion同框解密直播黑科技,，下期再會(huì)~