2022年2月4日，四季初始,，佳期如許,。第24屆冬奧會(huì)在北京盛大開幕。世界目光再次聚焦北京,，世界期待中國,，中國做好了準(zhǔn)備。北京冬奧會(huì)始終秉持綠色,、共享,、開放、廉潔的辦奧理念,，凝聚中國科技力量,，展示大國風(fēng)范，共同參與,、共同享有,，面向世界、面向未來，為世界奉獻(xiàn)一場精彩,、非凡的盛會(huì),。
 

　　冬奧手語播報(bào)數(shù)字人——科技與人文的結(jié)合！
 

　　我國有超2700萬聽障人群,，他們與健聽人一樣,，對教育、社交,、娛樂,、信息獲取都有巨大的需求量。電視媒體作為大眾傳播媒介,，是普及傳播通道,。但傳統(tǒng)人工手語翻譯工作量大，且主持人和手語主持人配合難度*,。為了讓聽障人士能平等便利地享受冬奧盛會(huì),，北京電視臺上線這樣一位智能手語播報(bào)數(shù)字人，她僅用3個(gè)多月時(shí)間完成了近10萬條手語語料學(xué)習(xí),，翻譯準(zhǔn)確率高達(dá)90%,，在北京新聞和北京您早等節(jié)目中進(jìn)行冬奧專題手語播報(bào)，為聽障人士帶來精彩冬奧賽事播報(bào),。
 

　　手語動(dòng)作表情復(fù)雜,，語序與正常語序差異大，正常情況下想要熟練掌握手語大約需要2年左右的時(shí)間,，且還要結(jié)合語境進(jìn)行猜測,，她是如何做到的呢？
 

　　這歸功于智能數(shù)字人技術(shù)的進(jìn)步,。
 

　　
 

　　冬奧手語播報(bào)數(shù)字人系統(tǒng)是由北京市科委科技冬奧專班委托,，凌云光、智譜AI和北京廣播電視臺聯(lián)合打造,，北京市殘疾人聯(lián)合會(huì)和市殘聯(lián)聾人協(xié)會(huì)的大力支持,，在冬奧會(huì)期間，手語播報(bào)數(shù)字人在北京電視臺冬奧專題節(jié)目上提供賽事專題播報(bào),，方便聽障人士收看冬奧報(bào)道,。
 

　　今天讓我們一起來扒一扒冬奧手語播報(bào)數(shù)字人背后的技術(shù)創(chuàng)新,。
 

　　高精度多模態(tài)的手語語料采集方案
 

　　創(chuàng)建10萬條高質(zhì)量冬奧手語語料庫
 

　　近年來人工智能體系建設(shè)重點(diǎn)布局在算法層和應(yīng)用層,，數(shù)據(jù)層建設(shè)遠(yuǎn)遠(yuǎn)不足，尤其針對數(shù)字人相關(guān)產(chǎn)業(yè),，底層數(shù)據(jù)庫的數(shù)量,、質(zhì)量和開源程度還明顯不足。國內(nèi)現(xiàn)有的手語語料數(shù)據(jù)庫數(shù)量少，且多以圖像,、視頻等二維平面為主,，無法滿足AI訓(xùn)練的需求。因手語手語語序與中文語序差異大,，方言分化也更加復(fù)雜,，且需要通過表情、口型,、動(dòng)作等方式來傳達(dá)信息,。除了傳統(tǒng)的二維平面圖像、視頻采集,，三維肢體運(yùn)動(dòng),、表情信息數(shù)據(jù)采集及結(jié)構(gòu)化參數(shù)表達(dá)。手語作為肢體,、手勢,、表情全面信息載體，手語語料數(shù)據(jù)庫建設(shè)對三維運(yùn)動(dòng)信息捕捉需求更為明顯,。
 

　　凌云光多模態(tài)手語語料采集方案,，集成高精度人臉人體重建、動(dòng)作捕捉,、面部表情捕捉,、手指捕捉等技術(shù)，可實(shí)現(xiàn)二維\三維肢體動(dòng)作,、表情、手指等手語語料高效同步采集,。在3個(gè)月時(shí)間內(nèi),，完成10萬條高質(zhì)量手語語料庫建設(shè)。同時(shí)充分調(diào)研2022北京冬奧專用手語術(shù)語,，聯(lián)合北京市殘聯(lián),、聾人協(xié)會(huì)等相關(guān)組織機(jī)構(gòu)，進(jìn)行數(shù)據(jù)標(biāo)注,，建設(shè)手語語義映射關(guān)系,，大大完善了國內(nèi)手語數(shù)據(jù)庫的建設(shè)，為手語推廣和AI研究留下了寶貴的數(shù)據(jù)資產(chǎn),。
 

　　AI手語數(shù)字腦,，智能提取關(guān)鍵語義，
 

　　自動(dòng)生成手語語序,，準(zhǔn)確率高
 

　　
 

　　手語數(shù)字腦就是用計(jì)算機(jī)模仿聽障人士的大腦,，基于“悟道2.0”超大規(guī)模人工智能模型的技術(shù)支撐,，將看到的中文文本信息轉(zhuǎn)換成手語詞匯序列，主要包括中文語義蒸餾模型和AI手語分詞快編算法的研究,。其中中文語義蒸餾模型用于從輸入的文稿或文本中提取出關(guān)鍵的語義信息,，將中文文本語義提煉和精簡，形成精準(zhǔn)匹配適合手語表達(dá)的文本,。AI手語分詞快編算法用于將蒸餾得到的中文文本根據(jù)冬奧手語語料庫,，劃分成相應(yīng)的手語詞匯序列，供數(shù)字人做表達(dá)的輸入,。
 

　　跨模態(tài)擬人生成算法,，將手語語序列
 

　　生成對應(yīng)擬人的動(dòng)作、手勢,、表情,，
 

　　表達(dá)自然地道，更加易懂,。
 

　　#FormatImgID_0#
 

　　數(shù)字人是冬奧手語播報(bào)的載體和展現(xiàn)形式,，通過凌云光高精度寫實(shí)數(shù)字人全流程制作方案，可實(shí)現(xiàn)一鍵數(shù)字建模,，高度還原真人發(fā)膚,，毛孔級細(xì)節(jié)重現(xiàn)，更加真實(shí)親切,。通過跨模態(tài)擬人生成算法,，可以將手語詞匯序列，生成相應(yīng)的動(dòng)作信息,，驅(qū)動(dòng)數(shù)字人模型做出相應(yīng)的動(dòng)作,、手勢和表情。此算法能夠兼顧短時(shí)相鄰手勢動(dòng)作的連貫性和長時(shí)手勢動(dòng)作的語義完整性和一致性,，支持正常語速驅(qū)動(dòng),，動(dòng)作表情自然流暢。
 

　　科技讓生活更美好,。冬奧手語播報(bào)數(shù)字人,，讓聽障人士能平等、方便,、無障礙的享受冬奧盛會(huì),，未來將會(huì)在更多場所提供更便捷服務(wù)。凌云光也將持續(xù)攀登科學(xué)高峰,，推動(dòng)產(chǎn)業(yè)創(chuàng)新,，服務(wù)回報(bào)社會(huì)。