康謀技術(shù) | 如何有效減少自動駕駛中傳感器數(shù)據(jù)的存儲量

來源：廣州虹科電子科技有限公司 2024年02月27日 13:36

對于數(shù)據(jù)的存儲落盤來說,，占據(jù)絕大部分存儲空間的數(shù)據(jù)來自于相機傳感器，特別是當(dāng)前的數(shù)采需求可能需要6-8個800M像素的相機采集,，進行RAW數(shù)據(jù)落盤,。

舉個例子

在以非RAW格式,，比如YUV422 8bits，在3840×2160（800M）分辨率下以30fps進行拍攝：3840 × 2160 × 16 / 8 ×30 / 1024^2 = 475MB/s,，近500MB/s的帶寬需求,，在搭載多個800M相機以及其他傳感器的情況下，一輛數(shù)采車可以輕易達到5TB/小時的落盤需求,。

因此能夠有效降低數(shù)采的存儲成本，減少數(shù)據(jù)挖掘的花費至關(guān)重要,。

應(yīng)對方法

時間同步策略

通過良好時間同步策略,，可以避免產(chǎn)生大量無效數(shù)據(jù)。當(dāng)然這里的無效也是相對而言的,，原因之一是通過后期的手動調(diào)整進行不同模態(tài)的數(shù)據(jù)的時間對齊是一種非常耗時的工作,。在數(shù)據(jù)采集的過程中，通過觸發(fā)式的機械連接和軟件時間同步,，讓不同模態(tài)的傳感器數(shù)據(jù)打上高精度的時間戳,，一方面便于數(shù)據(jù)管理，減少無效數(shù)據(jù)落盤,，另一方面充分有利于算法訓(xùn)練,。

數(shù)據(jù)壓縮

從數(shù)據(jù)壓縮的角度來看，在采集過程中可以采用H.264或者H.265進行視頻壓縮,，比如在H.265壓縮的情況下,，取決于采集數(shù)據(jù)的復(fù)雜性,、分辨率、幀率和編碼器的設(shè)置,，可以實現(xiàn)50%左右的壓縮比率,，1GB壓縮成500MB，當(dāng)然這個比率會受到很多參數(shù)影響,，因此因?qū)嶋H情況而有所不同,。

專注所需場景

目前，隨著傳感器技術(shù)的和算法的進步,，自動駕駛算法/系統(tǒng)已經(jīng)能夠應(yīng)對99%的場景,，這是因為各個算法已經(jīng)獲得了PB甚至EB級別的數(shù)據(jù)，覆蓋了生活中的絕大多數(shù)場景,。為了去應(yīng)對剩下1%的邊緣場景,，實際上，讓數(shù)采車直接進行上路進行數(shù)據(jù)采集,，將會有大量的重復(fù)數(shù)據(jù),，并且需要數(shù)據(jù)團隊需要花費相當(dāng)多的時間在其中尋找到目標(biāo)數(shù)據(jù)。所以,，優(yōu)化數(shù)據(jù)的采集模式,，讓數(shù)采專注于算法所需場景的數(shù)據(jù)，是當(dāng)下能夠有效減少數(shù)據(jù)存儲體積的方式,。

康謀方案

康謀HEEX

針對這方面,，康謀HEEX智能數(shù)據(jù)管理平臺采用了基于事件和預(yù)設(shè)觸發(fā)器的數(shù)據(jù)采集解決方案，能夠使得數(shù)據(jù)團隊直接在邊緣設(shè)備或是云端直接提取與所需事件相關(guān)的數(shù)據(jù),。我們稱之為“智能數(shù)據(jù)”,，并且能夠無縫分發(fā)給開發(fā)團隊，優(yōu)化數(shù)據(jù)存儲成本和資源,。

HEEX的工作流

康謀HEEX的工作流主要分為以下5個部分：

定義所需的“智能數(shù)據(jù)”,。即設(shè)置所需采集的數(shù)據(jù)的條件，比如“在有行人通過時,，制動加速度超過5m/s^2”場景的數(shù)據(jù),；
定義觸發(fā)器。將設(shè)置的條件通過康謀HEEX SDK自動部署到數(shù)據(jù)采集系統(tǒng)上,；
部署代理,。即設(shè)置監(jiān)測數(shù)據(jù)、評估條件并最終記錄事件的相關(guān)數(shù)據(jù)到對應(yīng)的系統(tǒng)中,；
提取和上傳數(shù)據(jù),。通過系統(tǒng)的網(wǎng)關(guān)和康謀HEEX API，可以方便上傳到云端或下載到本地；
數(shù)據(jù)分發(fā),。同樣通過康謀HEEX API可以根據(jù)用戶的需求自動處理不同模態(tài)的數(shù)據(jù),，并將其分發(fā)的對應(yīng)的開發(fā)團隊。并隨著場景的變化和更新,，可以進行更加細化和多樣化的條件設(shè)置,，以更好的定位只能數(shù)據(jù)。

在這個過程中,，落盤的只有目標(biāo)場景的數(shù)據(jù),，而并非所有數(shù)采車經(jīng)過的場景，因此能夠有效降低數(shù)采的存儲成本,，減少數(shù)據(jù)挖掘的花費,。

同時，康謀HEEX也將會根據(jù)需求,，集成到康謀高精度的時間同步數(shù)據(jù)采集方案中,，同時提供數(shù)據(jù)壓縮和智能數(shù)據(jù)管理服務(wù)。

如您對上述產(chǎn)品和解決方案感興趣,，

歡迎聯(lián)系我們了解更多信息,。

期待與您的交流！

相關(guān)產(chǎn)品

免責(zé)聲明

凡本網(wǎng)注明“來源：化工儀器網(wǎng)”的所有作品,，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-化工儀器網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品,，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品,。已經(jīng)本網(wǎng)授權(quán)使用作品的,，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：化工儀器網(wǎng)”,。違反上述聲明者,，本網(wǎng)將追究其相關(guān)法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明自其他來源（非化工儀器網(wǎng)）的作品,，目的在于傳遞更多信息,，并不代表本網(wǎng)贊同其觀點和對其真實性負責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任,。其他媒體,、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時,，必須保留本網(wǎng)注明的作品第一來源,，并自負版權(quán)等法律責(zé)任。
如涉及作品內(nèi)容,、版權(quán)等問題,，請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。

康謀技術(shù) | 如何有效減少自動駕駛中傳感器數(shù)據(jù)的存儲量

免責(zé)聲明

聯(lián)系我們

關(guān)注我們