在自動(dòng)駕駛領(lǐng)域,，實(shí)現(xiàn)高質(zhì)量的虛擬傳感器輸出是一項(xiàng)關(guān)鍵的挑戰(zhàn),。所有的架構(gòu)和實(shí)現(xiàn)都會(huì)涉及來(lái)自質(zhì)量,、性能和功能集成等方面的需求,。aiSim也不例外,，因此我們會(huì)更加關(guān)注于多個(gè)因素的協(xié)調(diào),，其中，aiSim傳感器實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)渲染仿真方案,，在aiSim能夠在現(xiàn)有功能上實(shí)現(xiàn)多用途擴(kuò)展的同時(shí),，也可以盡可能地保留原始特性。

一,、現(xiàn)有問(wèn)題

從當(dāng)前學(xué)術(shù)界對(duì)于神經(jīng)渲染的研究來(lái)看,，不同的方案都會(huì)給虛擬世界帶來(lái)一定的限制，從而無(wú)法讓仿真充分發(fā)揮作用,。我們?cè)赼iSim中提供了一種不同且具有更高集成度的方案,，即aiSim的通用高斯?jié)姙R渲染器（General Gaussian Splatting Renderer），這一方案結(jié)合了渲染速度,、集成靈活性和好的視覺(jué)保真效果,，為當(dāng)下的神經(jīng)網(wǎng)絡(luò)三維重建技術(shù)帶來(lái)了新的內(nèi)容。

其中一點(diǎn)就是傳統(tǒng)方案中,，廣角鏡頭的渲染和處理總是不盡人意,，但這一傳感器又是自動(dòng)駕駛仿真中最為常見(jiàn)的用例之一,，但在aiSim的方案中我們克服了這一局限性。

二,、康謀方案

原始的算法在高斯?jié)姙R投射的處理過(guò)程中往往會(huì)引入若干限制,，阻礙了傳感器的合理渲染，主要源于是近似誤差（approximation error）,，當(dāng)處理FOV更大的鏡頭時(shí),，誤差會(huì)顯著增大。

左邊是原始解決方案,，它無(wú)法從六個(gè)攝像頭中一致地生成圖像,。右邊是aiSim的解決方案，它消除了這個(gè)問(wèn)題,，并能投射出一致的圖像,。

這種方案不僅能夠處理相機(jī)傳感器，還能夠處理其他基于光線追蹤的傳感器類(lèi)型,，比如LiDAR和Radar,。而在之前的ADAS/AD仿真中，無(wú)法擴(kuò)展到不同傳感器模式則是大多數(shù)神經(jīng)渲染解決方案面臨的最大挑戰(zhàn)之一,。

為此,，我們重現(xiàn)思考了高斯?jié)姙R解決方案，重建算法流程,，通過(guò)新一套的高斯?jié)姙R渲染器很好解決了前述的限制,，較好的組合了各種虛擬鏡頭組合的畸變圖像。

1,、aiSim通用高斯?jié)姙R渲染器

（1）一致性

aiSim通用高斯濺射渲染器和現(xiàn)有光柵化解決方案具有相當(dāng)?shù)男阅芩?/strong>,，即使在硬件在環(huán)方案中，也可以模擬（4K）多攝像頭傳感器設(shè)置,。由于該算法的通用性,，您可以從基于光線追蹤的傳感器模式（如LiDAR和雷達(dá)）中一致地獲得相同結(jié)果。

這意味著您無(wú)需犧牲運(yùn)行性能,，因?yàn)殇秩酒骺梢员３肿銐蚩斓乃俣纫詫?shí)時(shí)幀率工作,。

（2）自由視角

此外，aiSim通用高斯?jié)姙R渲染器還允許您在模擬場(chǎng)景中自由移動(dòng)攝像頭,，并使用不同的位置或傳感器設(shè)置,，且不會(huì)產(chǎn)生不可預(yù)測(cè)的偽影或故障。它使您能夠近距離親自查看各種物體表面的復(fù)雜細(xì)節(jié),。由于該算法可用于物理模擬甚至表面重建,，因此其應(yīng)用范圍可以進(jìn)一步擴(kuò)大。

（3）完善的前置工作

以上的關(guān)鍵在于我們預(yù)先結(jié)構(gòu)良好的數(shù)據(jù)采集和靈活的渲染方案位為所有物理級(jí)傳感器的仿真提供了堅(jiān)實(shí)的基礎(chǔ),。

期待您繼續(xù)關(guān)注康謀之后的文章,，我們將分享更多有關(guān)aiSim的方案內(nèi)容,。