在智能座艙感知系統(tǒng)（如 DMS,、OMS,、安全帶識(shí)別、兒童遺留檢測(cè)等）逐漸從研發(fā)進(jìn)入大規(guī)模部署的階段,，數(shù)據(jù)成為模型性能提升的核心瓶頸。尤其在現(xiàn)實(shí)采集成本高,、隱私受限,、長(zhǎng)尾樣本稀缺的前提下,，越來(lái)越多客戶將目光投向了“艙內(nèi)合成數(shù)據(jù)”。

在與算法供應(yīng)商和主機(jī)廠諸多客戶的交流過(guò)程中,，我們也觀察到三個(gè)始終被反復(fù)提出的核心問(wèn)題,，本文為大家詳細(xì)揭秘：

一、模態(tài)是否豐富,，能否覆蓋多任務(wù)模型需求,？

相較于傳統(tǒng)車外感知任務(wù)，艙內(nèi)感知往往涉及多種任務(wù)并發(fā)：

（1）駕駛員狀態(tài)監(jiān)測(cè)（DMS）需提供 RGB,、NIR,、深度圖、紅外熱圖等,；

（2）艙內(nèi)目標(biāo)識(shí)別（OMS）需識(shí)別成人,、兒童、寵物及其關(guān)鍵點(diǎn),；

（3）安全帶/手勢(shì)/打電話等行為檢測(cè)需使用語(yǔ)義分割或姿態(tài)估計(jì),；

（4）基于時(shí)序的行為識(shí)別模型還需高幀率、長(zhǎng)時(shí)間段的時(shí)序一致數(shù)據(jù),。

1,、客戶普遍反饋

“不是只有圖像就夠了，我們訓(xùn)練要同時(shí)用 RGB,、深度,、語(yǔ)義 mask，還需要完整的關(guān)鍵點(diǎn)標(biāo)注,?！?/strong>

因此，一個(gè)面向艙內(nèi)場(chǎng)景的合成平臺(tái),，必須具備多模態(tài)輸出能力：

（1）支持同步輸出：RGB,、NIR、IR,、深度圖,、分割圖、關(guān)鍵點(diǎn),、動(dòng)作標(biāo)簽,；

（2） 每一幀支持完整 2D/3D 標(biāo)注（如人臉姿態(tài)、骨架,、Bounding Box）,；

（3）模態(tài)間具備嚴(yán)格的像素級(jí)對(duì)齊與時(shí)間同步。

不同分割標(biāo)準(zhǔn)的傳感器真值掩膜（左：材料分割掩膜 右：標(biāo)注分割掩膜）

二,、是否支持高度可控的“邊緣艙內(nèi)場(chǎng)景”構(gòu)建？

現(xiàn)實(shí)座艙中的少數(shù)情況是艙內(nèi)模型失效的最大來(lái)源,，例如：

（1）小孩被遺留在車內(nèi)后座但被玩具遮擋,；

（2）夜間父母懷抱嬰兒但光照極弱；

（3）多人乘坐,，后排座椅被倒下遮擋視野,；

（4）駕駛員佩戴口罩、墨鏡,、低頭,、側(cè)臉、疲勞,、抽煙等行為混合出現(xiàn),。

1、客戶直接表達(dá)

“這些是我們?cè)谡鎸?shí)測(cè)試中經(jīng)常出錯(cuò)的場(chǎng)景,，能不能直接構(gòu)造出來(lái),，用來(lái)補(bǔ)訓(xùn)練集？”

所以平臺(tái)需要具備：

（1）多乘員,、多體態(tài),、多遮擋物控制能力；

（2）情緒,、疲勞,、注意力偏移等狀態(tài)標(biāo)簽控制；

（3）光照條件（夜間,、背光）,、遮擋類型（雨傘、雜物）,、視角模糊模擬能力,；

（4）可腳本控制的場(chǎng)景生成引擎，如配置文件中直接設(shè)定“后排有兒童+玩具遮擋+車內(nèi)弱光”組合,。

只有能合成這些“長(zhǎng)尾”和“不可采集”的場(chǎng)景,，合成數(shù)據(jù)才具備真正補(bǔ)全實(shí)采數(shù)據(jù)盲區(qū)的價(jià)值。

駕駛員佩戴墨鏡的場(chǎng)景

三、合成數(shù)據(jù)真實(shí)度是否支持模型訓(xùn)練與部署,？

相比單純用于驗(yàn)證,，艙內(nèi)合成數(shù)據(jù)平臺(tái)的客戶越來(lái)越傾向于用模型直接訓(xùn)練，這也就對(duì)“擬真程度”提出了更高要求：

1,、客戶真實(shí)需求

“我們擔(dān)心合成圖太假,，訓(xùn)練完上車精度掉得厲害,。你們的合成數(shù)據(jù)真實(shí)度有保證嗎？”

為了讓數(shù)據(jù)能用于實(shí)際訓(xùn)練,，平臺(tái)需要從三方面確保高擬真性：

（1）真實(shí)人物建模

-  多體型、種族,、性別,、穿著、年齡段（尤其是兒童與老人）,；

-  姿態(tài)逼真（靠座,、打瞌睡、回頭,、躺倒）,；

-  動(dòng)作/表情基于真實(shí)骨骼驅(qū)動(dòng)，避免“動(dòng)畫(huà)感”,。

（2）真實(shí)座艙還原

-  車輛內(nèi)飾結(jié)構(gòu)完整,，覆蓋不同車型、座位布局,；

-  可配置裝飾物（抱枕,、飾品）、反光材質(zhì)（玻璃,、顯示屏）,；

-  支持模擬不同車型的FOV、分辨率,、攝像頭位置偏移等,。

（3）物理光照/材質(zhì)真實(shí)感

-  支持真實(shí) HDR 光照渲染；

-  模擬 IR/熱紅外成像特性,；

-  加入模糊,、噪聲、運(yùn)動(dòng)拖影,、畸變等現(xiàn)實(shí)感知特性,。

為了達(dá)到可用于實(shí)際訓(xùn)練的效果，合成數(shù)據(jù)平臺(tái)需要在圖像質(zhì)量,、行為表現(xiàn)和傳感器建模等多個(gè)維度具備高保真能力,，確保模型在部署后具備良好的泛化性能。

例如,，圖像應(yīng)能準(zhǔn)確模擬真實(shí)攝像頭的曝光,、模糊和遮擋；人物動(dòng)作需基于真實(shí)骨骼驅(qū)動(dòng)而非靜態(tài)拼接,；同時(shí)還應(yīng)支持多種模態(tài)協(xié)同輸出,，以滿足訓(xùn)練對(duì)數(shù)據(jù)質(zhì)量的一致性要求,。

四、平臺(tái)實(shí)現(xiàn)參考：Anyverse 的應(yīng)用實(shí)踐

在平臺(tái)實(shí)現(xiàn)層面,，Anyverse 提供了一個(gè)相對(duì)成熟的參考范式,，覆蓋了艙內(nèi)感知數(shù)據(jù)合成中的多個(gè)關(guān)鍵環(huán)節(jié)。

1,、模態(tài)生成方面

平臺(tái)支持多通道同步輸出,，包括 RGB、NIR,、深度圖,、紅外圖、語(yǔ)義圖,、關(guān)鍵點(diǎn)和動(dòng)作標(biāo)簽等,，滿足多種感知模型的數(shù)據(jù)輸入需求；

2,、場(chǎng)景構(gòu)建方面

平臺(tái)可以靈活配置人物數(shù)量,、姿態(tài)、遮擋物,、光照條件等變量,，以生成多樣化甚至少數(shù)條件下的艙內(nèi)場(chǎng)景；

3,、圖像與行為建模方面

平臺(tái)使用物理渲染與骨骼動(dòng)畫(huà)系統(tǒng),，對(duì)座艙結(jié)構(gòu)、乘員動(dòng)作及其與環(huán)境交互過(guò)程進(jìn)行了細(xì)致建模,，提升了數(shù)據(jù)的真實(shí)感與一致性,。

這些工程機(jī)制協(xié)同構(gòu)成了一個(gè)面向規(guī)模化訓(xùn)練的合成數(shù)據(jù)生成基礎(chǔ),，也為艙內(nèi)感知模型在復(fù)雜環(huán)境中的表現(xiàn)提供了有力支撐,。

五、合成數(shù)據(jù)應(yīng)為艙內(nèi)感知系統(tǒng)“數(shù)據(jù)主力軍”

從客戶反饋出發(fā),，我們始終認(rèn)為：

合成數(shù)據(jù)的價(jià)值,，不僅在于節(jié)省成本，更在于它能合成“你永遠(yuǎn)采不到,、但必須要有”的關(guān)鍵場(chǎng)景,。

真正面向工程落地的艙內(nèi)合成數(shù)據(jù)平臺(tái)，應(yīng)同時(shí)滿足以下三點(diǎn)：

（1）模態(tài)豐富,、標(biāo)注完整

（2）邊緣場(chǎng)景可控,、可批量

（3）圖像逼真、擬合實(shí)車部署

這將是支撐下一階段艙內(nèi)智能感知系統(tǒng)發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施。