驗證自動駕駛軟件需要數(shù)百萬公里的測試,。這不僅意味著系統(tǒng)開發(fā)周期長，而且系統(tǒng)的復雜度也會不斷增加,，同時,，大規(guī)模的實車測試也會耗費巨量的資源并且可能會面臨未知的安全問題,。aiSim這樣的虛擬仿真工具可以減輕真實世界測試的負擔。

AD和ADAS系統(tǒng)依靠閉環(huán)驗證來確保安全性和性能,。然而,，實現(xiàn)閉環(huán)評估需要一個能夠準確代表真實世界場景的3D環(huán)境。雖然這些3D環(huán)境可以由3D設計工程師手工構(gòu)建,，但這種方案很難解決Sim2Real的差距并且在可擴展方面存在一定的局限性,。為此，本文為您介紹神經(jīng)重建如何打破限制,，在自動駕駛模擬中的具體應用,。

一、神經(jīng)渲染——彌合差距

神經(jīng)渲染可以利用深度學習技術(shù)來緩解這個問題,，它可以從一個新的視角上逼真地渲染靜態(tài)（和動態(tài)）環(huán)境,。當然這種方法也存在一定的優(yōu)劣點：

1、優(yōu)點：

（1）高保真的仿真質(zhì)量：神經(jīng)渲染可以產(chǎn)生幾乎和現(xiàn)實無異的場景,，增強現(xiàn)實感,。

（2）數(shù)據(jù)驅(qū)動和可擴展：這種方法具有可擴展性，使其適用于實時應用（如3D高斯?jié)姙R）,。

2,、缺點：

（1）分布外的對象：神經(jīng)渲染很難將分布外（即以前未見過的）的對象插入 3D 環(huán)境中。

（2）偽影對動態(tài)物體的影響：偽影可能會影響動態(tài)物體的外觀,。

（3）幾何不一致：在深度預測中,，可能會出現(xiàn)幾何不一致。

二,、現(xiàn)有生成模型的挑戰(zhàn)

目前的生成模型能夠創(chuàng)建高度逼真的圖像和視頻,，但它們在幾個方面存在不足，例如:

（1）僅 2D 信息：這些模型不提供 3D 信息,，僅在 2D 圖像空間中操作,。

（2）射影幾何的空白。

（3）有限的傳感器模態(tài):這些模型不能用于生成其他傳感器模態(tài)(例如,，激光雷達),。

總之，當前的生成模型不適合汽車級驗證,。

三,、康謀混合解決方案：集成式神經(jīng)重建

為了解決這些限制，aiSim5提供了一種混合方案,。在成熟的基于物理的渲染方案中集成前沿的神經(jīng)重建技術(shù),，使我們能夠在任意位置虛擬地插入動態(tài)對象，調(diào)整環(huán)境條件，并渲染以前未見過的相機視角,。

通過這種方式,，我們能實現(xiàn)以下的功能：

1、虛擬動態(tài)內(nèi)容插入

（1）添加具有逼真光照和環(huán)境光遮蔽的動態(tài)對象,。

（2）模擬如雨,、雪、霧等環(huán)境效果,，以創(chuàng)建更多樣化的模擬場景,。

2、多模態(tài)渲染：

（1）從任意相機視角生成精確的RGB圖像,、深度圖和激光雷達強度圖（如下圖所示,，第一行為GT）。

（2）未來的工作將包括語義分割掩碼和雷達仿真,。

3,、相機虛擬化:

（1）模擬各種虛擬相機設置，包括不同的相機的安裝和定向以及模型,。

（2）下圖展示了模擬的前置魚眼（左）,、前置廣角（中）和前置長距（右）相機的渲染效果，這些圖像是通過一個沒有直接使用前置相機數(shù)據(jù)訓練的模型生產(chǎn)的,，也就是說,，這些視角并沒有專門采集數(shù)據(jù)進行訓練。