一,、引言

隨著自動駕駛技術(shù)的逐步落地,，感知系統(tǒng)對數(shù)據(jù)的依賴正快速增長。傳統(tǒng)實車采集雖然真實可信,，但在效率,、安全性、標(biāo)注精度以及邊緣場景覆蓋方面均存在顯著限制,。

合成數(shù)據(jù)（Synthetic Data）因具備低成本,、高可控性、無限擴展性和高精度標(biāo)簽等優(yōu)勢,，已成為感知算法訓(xùn)練與驗證的重要數(shù)據(jù)來源,。尤其在多模態(tài)、多場景,、大規(guī)模自動化生成等方面,，仿真平臺正成為構(gòu)建感知數(shù)據(jù)體系的重要工具。

在感知系統(tǒng)的開發(fā)過程中，我們依托仿真平臺生成覆蓋多種場景和傳感器類型的合成數(shù)據(jù),，用于支持AVM（環(huán)視系統(tǒng)）開發(fā),，同時也利用合成數(shù)據(jù)生成符合公開格式標(biāo)準(zhǔn)的數(shù)據(jù)集，助力算法在真實部署前實現(xiàn)高效迭代與驗證,。本文將系統(tǒng)介紹利用合成數(shù)據(jù)開發(fā)的具體應(yīng)用流程和實踐效果,。

二、 AVM系統(tǒng)開發(fā)中的仿真驗證應(yīng)用

環(huán)視系統(tǒng)（AVM, Around View Monitor）是自動駕駛和高級輔助駕駛系統(tǒng)（ADAS）中常見的功能模塊,，通常由4個或更多廣角魚眼相機構(gòu)成,，通過拼接多個攝像頭圖像生成車輛周圍360°的鳥瞰圖。

自動泊車系統(tǒng)（APA）需要環(huán)視圖像提供對車輛周圍環(huán)境的精準(zhǔn)感知,。通過仿真方式模擬魚眼相機布設(shè)和 BEV 拼接,，可生成多種泊車場景下的高保真圖像，包括地庫,、斜列車位,、窄通道等復(fù)雜工況。相比實車采集,，仿真不僅可以批量構(gòu)造邊緣泊車條件,，還能自動提供精確的障礙物位置與車輛姿態(tài)標(biāo)注，大幅加速感知模型的訓(xùn)練和驗證流程,，減少實車調(diào)試時間,。

傳統(tǒng) AVM 系統(tǒng)的相機標(biāo)定依賴人工操作和實車設(shè)備，流程繁瑣且精度受限,。通過仿真,，可控制各攝像頭位置與視角，并生成可重復(fù),、可驗證的圖像和標(biāo)定數(shù)據(jù),，適用于整車項目開發(fā)初期的快速迭代。虛擬標(biāo)定不僅提高了標(biāo)定效率,，還支持在方案切換,、批量測試、相機布局驗證等場景中自動生成對齊標(biāo)注,，降低人力投入,，提升系統(tǒng)上線速度。

在實際開發(fā)中,，AVM對圖像畸變建模,、拼接精度、投影映射等有較高要求,，傳統(tǒng)方法依賴人工標(biāo)定與測試,，周期長,、靈活性差。而基于aiSim的仿真流程,，可有效提升開發(fā)效率與驗證精度。

通過合成數(shù)據(jù)仿真平臺,，我們借助從環(huán)境搭建到數(shù)據(jù)生成的全流程仿真,，成功實現(xiàn)了4個魚眼相機生成AVM合成數(shù)據(jù)的優(yōu)化和驗證。

圖1 基于aiSim構(gòu)建AVM圖像流程

1,、標(biāo)定地圖與仿真環(huán)境構(gòu)建

我們在Unreal Engine環(huán)境中快速搭建6米×11米標(biāo)定區(qū)域，使用2×2黑白相間標(biāo)定板構(gòu)成特征紋理區(qū)域,，并精確布設(shè)車輛初始位置,，確保視野重疊區(qū)域滿足投影需求，并通過特定插件將其無縫導(dǎo)入仿真器中,。

圖2 基于aiSim插件的Unreal Engine地圖編輯

2、魚眼相機配置與參數(shù)設(shè)置

設(shè)置前,、后,、左、右四個魚眼相機,，分別具備：

（1）高水平FOV（約180°）,；

（2）不同俯仰角（前15°、后25°,、側(cè)向40°）,；

（3）安裝位置貼近真實車輛安裝場景（如后視鏡下方）。

我們采用了仿真器內(nèi)置的OpenCV標(biāo)準(zhǔn)內(nèi)參建模,，輸出圖像同步生成物體的2D/3D邊界框與語義標(biāo)簽,。

圖3 環(huán)視OpenCV魚眼相機傳感器配置

3,、BEV圖像生成與AVM拼接

利用已知相機內(nèi)參和標(biāo)定區(qū)域結(jié)構(gòu),，通過OpenCV完成圖像去畸變與投影矩陣求解，逐方向生成BEV視圖（Bird's Eye View）,。結(jié)合車輛圖層與坐標(biāo)對齊規(guī)則,，拼接生成完整的AVM圖像。

支持配置圖像分辨率（如1cm2/像素）與投影視野范圍,，確保幾何準(zhǔn)確性,。

圖4 投影區(qū)域及BEV轉(zhuǎn)化示意圖

4,、多場景合成與傳感器布局優(yōu)化

通過批量仿真腳本,，可快速測試不同環(huán)境（如夜間,、窄巷、地庫）,、不同相機布局組合對AVM系統(tǒng)效果的影響,。在算法不變的前提下，系統(tǒng)性評估外參配置的優(yōu)劣,，為傳感器部署提供數(shù)據(jù)支持,。

圖5 不同場景下的AVM合成數(shù)據(jù)

三,、合成數(shù)據(jù)構(gòu)建多模態(tài)數(shù)據(jù)集

隨著智能駕駛逐步從基礎(chǔ)輔助走向復(fù)雜場景下的高階功能,，對感知系統(tǒng)的數(shù)據(jù)需求也在迅速升級。不僅需要覆蓋高速,、城區(qū),、出入口等典型 NOA 場景，還要求在不同模態(tài)之間實現(xiàn)精確對齊,，以支撐融合感知模型的訓(xùn)練與驗證,。在這類任務(wù)中，仿真生成的合成數(shù)據(jù)具備可控性強,、標(biāo)簽精準(zhǔn),、格式標(biāo)準(zhǔn)的優(yōu)勢，正在成為算法開發(fā)的重要支撐手段,。

在智能領(lǐng)航輔助（NOA）場景中,，系統(tǒng)需識別高速匝道、變道車輛,、道路邊緣等要素,，對訓(xùn)練數(shù)據(jù)多樣性與標(biāo)注精度要求很高。通過仿真構(gòu)建城市快速路,、高速公路等多類 NOA 場景,，配合光照、天氣,、車流密度等變量自動生成圖像與多模態(tài)同步數(shù)據(jù),。這類合成數(shù)據(jù)可用于訓(xùn)練檢測、分割,、追蹤等模型模塊,，特別適合用于填補實車采集難以覆蓋的復(fù)雜或高風(fēng)險場景，增強模型魯棒性,。

融合感知模型依賴相機,、毫米波雷達、激光雷達等多種傳感器協(xié)同輸入,，對數(shù)據(jù)的同步性和一致性要求較高,。通過仿真,，可以同時生成這三類傳感器的視角數(shù)據(jù)，并自動對齊時間戳,、坐標(biāo)系和標(biāo)注信息,，輸出包括 3D 邊界框、語義分割,、目標(biāo)速度等在內(nèi)的完整標(biāo)簽,，且格式兼容 nuScenes 等主流標(biāo)準(zhǔn)。這類數(shù)據(jù)可用于訓(xùn)練融合模型識別道路上的異形障礙物,，例如夜間難以通過視覺識別的散落雜物，或需要多模態(tài)補強感知的邊緣目標(biāo),。仿真帶來的高度可控性也便于統(tǒng)一測試條件,，對模型性能進行定量分析與精細化調(diào)優(yōu)。

在實際項目中,，合成數(shù)據(jù)的價值不僅體現(xiàn)在生成效率和標(biāo)注精度,，更在于其能否與下游算法開發(fā)流程無縫銜接。為了實現(xiàn)這一目標(biāo),，我們將 aiSim 導(dǎo)出的多模態(tài)原始數(shù)據(jù),，通過自研數(shù)據(jù)處理腳本，轉(zhuǎn)換為基本符合 nuScenes 標(biāo)準(zhǔn)格式的數(shù)據(jù)集,。

數(shù)據(jù)構(gòu)建流程如下：

1,、編寫符合 nuScenes 規(guī)范的傳感器配置文件

首先，我們根據(jù) nuScenes 的數(shù)據(jù)結(jié)構(gòu)要求,，定義并生成了包含相機,、雷達、激光雷達等傳感器的配置文件,，包括傳感器類型,、安裝位置、外參信息等,。該步驟確保生成數(shù)據(jù)可直接映射至 nuScenes 的 calibrated_sensor.json 和 sensor.json,。

圖6 激光雷達部分的傳感器配置文件

圖7 符合nuScenes格式的傳感器配置

2,、利用 aiSim Stepped 模式導(dǎo)出對齊的原始數(shù)據(jù)