康謀方案 | BEV感知技術:多相機數據采集與高精度時間同步方案
隨著自動駕駛技術的快速發(fā)展,,車輛準確感知周圍環(huán)境的能力變得至關重要,。BEV(Bird's-Eye-View,鳥瞰圖)感知技術,,以其不一樣的視角和強大的數據處理能力,,正成為自動駕駛領域的一大研究熱點。
一,、BEV感知技術概述
BEV感知技術,,是一種從鳥瞰圖視角(俯視圖)出發(fā)的環(huán)境感知方法。與傳統(tǒng)的正視圖相比,,BEV視角具有尺度變化小,、視角遮擋少的顯著優(yōu)勢,,有助于網絡對目標特征的一致性表達?;谶@樣的優(yōu)勢,,可以更有效的對車輛周圍環(huán)境進行感知。
圖1:BEV 感知圖
因此,,在自動駕駛感知任務中,,BEV感知算法通常包括分類、檢測,、分割,、跟蹤、預測,、計劃和控制等多個子任務,,共同構建起一個完整的感知框架。
BEV感知算法的數據輸入主要有圖像和點云兩種形式,。根據數據源不同,,BEV算法主要分為BEV Camera(純視覺)、BEV LiDAR(基于激光雷達)和BEV Fusion(多模態(tài)融合)三類,。其中,,圖像數據具有紋理豐富、成本低的優(yōu)勢,,此外,,基于圖像的任務、基礎模型相對成熟和完善,,比較容易擴展到 BEV 感知算法中,。
為了更好的訓練BEV Camera感知算法,往往需要先搭建一個高質量的數據集,。而搭建一套BEV感知數據采集系統(tǒng),,通常包括以下幾個關鍵環(huán)節(jié):
1. 硬件選型與集成:選合適的攝像頭和計算采集平臺,集成穩(wěn)定系統(tǒng),。
2. 數據采集:在實際環(huán)境中采集圖像數據,,覆蓋不同場景、光照和天氣,。
3. 時間同步:確保不同傳感器數據時間精確同步,,是后續(xù)算法訓練的必要前提。
4. 系統(tǒng)調試和部署:調試系統(tǒng)確保組件協同工作,,部署到實際應用環(huán)境,。
因此,在實際搭建過程中,,常會遇到技術復雜性高,、成本投入大,、數據質量與時間同步實現難、系統(tǒng)穩(wěn)定性與可靠性要求高等挑戰(zhàn),。針對這些問題,,康謀推出一套BEV Camera數據采集方案,能高效搭建高質量的BEV感知數據集,,加速算法研發(fā)和訓練,。
二、BEV Camera數據采集系統(tǒng)方案
BEV Camera數據系統(tǒng)采集方案以BRICKplus為核心系統(tǒng)平臺,,通過擴展PCIe Slot ETH6000模塊連接6個iDS相機,,利用GPS接收模塊獲取衛(wèi)星時鐘信號,提供XTSS時間同步服務,,并支持13路(g)PTP以太網接口,,確保高精度時間同步。
BRICKplus搭載BRICK STORAGEplus硬盤,,提供大容量高速存儲,,滿足高帶寬數據采集需求,確保數據的完整性和可靠性,。
圖2:系統(tǒng)集成
三,、數據采集
在BEV Camera數據采集方案中,難點在于如何同步多相機的采集動作,、確保數據的高精度時間同步以及高效傳輸,。因此,在整個軟件方面,,我們采用ROS+PEAK SDK方案進行深度集成,,實現了多相機的參數配置、數據采集與傳輸,。
為了更靈活應對實際采集環(huán)境需求,,對相機(如曝光時間、幀率和分辨率等)參數進行了統(tǒng)一管理和存儲,,這些參數可在節(jié)點啟動時通過配置文件動態(tài)加載,,為相機的初始化提供了靈活性。
圖3:相機參數配置
為實現多相機的同步采集和高效傳輸,,我們利用了ROS的多線程和節(jié)點管理功能,。通過為每個相機創(chuàng)建獨立的采集線程,,并啟動采集循環(huán),,確保了每個相機的采集過程獨立且高效。引入全局控制信號與信號處理機制,,確保了統(tǒng)一管理所有相機的采集和同步結束狀態(tài),。
圖4:相機實時可視化
四,、時間同步
為了實現多相機的時間同步,一般有兩種方式:軟時間同步和硬件時間同步,。軟時間同步主要依賴于軟件層面的算法和協議來實現時間同步,。其精度通常在微秒級別,適用于對時間同步精度要求不是較高的場景,。
圖5:多相機軟件時間同步
為了應對時間同步精度要求較高的采集場景,,如自動駕駛和高精度測量等。在BEV Camera數據采集方案中,,進一步支持相機進行硬件時間同步,。通過XTSS軟件可以有效管理數采平臺的時間同步功能,能夠快速輕便配備各個傳感器的時間同步配置,。
圖6:XTSS 時間同步管理
通過GPS模塊提供高精度的時間基準,,并利用支持硬件時間戳的以太網接口直接捕獲數據包的時間戳。其時間同步精度可以達到納秒級別,,具備高穩(wěn)定性,,不受軟件和網絡延遲影響。
圖7:多相機硬件時間同步
五,、總結
在自動駕駛技術的快速發(fā)展中,,BEV Camera數據采集系統(tǒng)的構建至關重要。通過采用BRICKplus平臺,,結合PCIe Slot ETH6000模塊和iDS相機,,我們實現了多相機的高效數據采集和存儲。通過ROS+PEAK SDK的深度集成,,實現了多相機的參數配置,、數據采集與傳輸。利用GPS接收模塊和XTSS時間同步服務,,確保了多相機的高精度時間同步,。
康謀的BEV Camera數據采集方案有效解決了多相機同步采集和高精度時間同步的難題,還提供了靈活的相機參數配置和高效的數據傳輸,,能夠滿足自動駕駛和高精度測量等場景的需求,。