隨著軟件定義汽車的發(fā)展，車輛生成的數(shù)據(jù)量也以很快的速度不斷增加,。這些數(shù)據(jù)包含廣泛的信息,，包括傳感器數(shù)據(jù),、遙測數(shù)據(jù),、診斷數(shù)據(jù)等。在開發(fā)過程中,，有效處理這些數(shù)據(jù)并從中獲得見解至關(guān)重要,。

對于原始設(shè)備制造商（OEM）和汽車一級供應(yīng)商（Tier 1）來說，是否自主構(gòu)建和維護(hù)數(shù)據(jù)處理流程是一個至關(guān)重要的考慮因素,。數(shù)據(jù)處理流程是應(yīng)對當(dāng)下軟件定義汽車所產(chǎn)生的海量數(shù)據(jù)的基礎(chǔ)組件,。

一、問題背景

在 AWS 等云平臺上為高級駕駛輔助系統(tǒng) （ADAS） 和自動駕駛 （AD） 數(shù)據(jù)構(gòu)建魯棒的數(shù)據(jù)處理流程,，通常需要全面了解各種服務(wù)及其集成,。您可能使用的特定服務(wù)可能取決于應(yīng)用程序的要求、數(shù)據(jù)源和處理需求,。

為了解決這一問題，康謀通過使用IVEX提出了專門用于應(yīng)對ADAS/AD海量數(shù)據(jù)的數(shù)據(jù)處理流程,。該流程的核心目的是自動從原始傳感器數(shù)據(jù)等輸入中識別出值得關(guān)注的事件和場景,。構(gòu)建這樣的數(shù)據(jù)處理流程需要仔細(xì)考慮各種技術(shù)方面，例如：原始傳感器數(shù)據(jù)的云端存儲,、基于原始數(shù)據(jù)的算法執(zhí)行（包括需要例如GPU等特定資源的機(jī)器學(xué)習(xí)算法）,、事件和場景等后處理數(shù)據(jù)的存儲機(jī)制、算法版本控制,、結(jié)果可視化以及確保數(shù)據(jù)僅對授權(quán)用戶可見,。

二,、內(nèi)部構(gòu)建或獲取預(yù)組裝解決方案

IVEX的數(shù)據(jù)處理流程基于多種AWS服務(wù)實現(xiàn)無縫銜接,，以下是經(jīng)過策略性部署的AWS服務(wù)：

1. 原始傳感器的數(shù)據(jù)（包括激光雷達(dá)點(diǎn)云、相機(jī)圖像和GNSS信息）存儲在S3存儲服務(wù)中,。S3用作采集數(shù)據(jù)的暫存地,，為后期處理的數(shù)據(jù)提供擴(kuò)展存儲,，并為處理提供經(jīng)濟(jì)高效的短期存儲解決方案。此外,，使用S3掛載點(diǎn)功能能讓S3作為主要的“處理卷”,，使其能夠像文件系統(tǒng)一樣使用。雖然它不怎么符合POSIX標(biāo)準(zhǔn),，對某些工作負(fù)載存在限制,，但可以通過整合EFS和可能添加的FSx來解決這個問題，以根據(jù)需要確保兼容性,。

2. 處理后的數(shù)據(jù)（重要事件和場景）存儲在關(guān)系型數(shù)據(jù)庫服務(wù)（Relational Database Service,，RDS）和DocDB中,。RDS是一個高效的存儲庫,，用于組織對分析至關(guān)重要的標(biāo)記數(shù)據(jù)。同時,，DocDB作為文檔存儲運(yùn)行,，它是專為快速變化的數(shù)據(jù)和顯示目的所需的二進(jìn)制數(shù)據(jù)而設(shè)計的。

3. EKS和EC2處理算法執(zhí)行和可視化任務(wù),。EKS充當(dāng)一系列服務(wù)的主機(jī),，包括后端、數(shù)據(jù)服務(wù),、前端和處理服務(wù),。EC2主要用于根據(jù)為EKS制定的規(guī)則配置機(jī)器。

4. 算法的版本控制通過 ECR 進(jìn)行管理,。ECR用于存儲Docker容器鏡像,。

5. 身份驗證通過Cognito進(jìn)行。如果有必要,，可以靈活地替換為任何OpenID Connect （OIDC）解決方案,。

6. 數(shù)據(jù)傳輸和臨時數(shù)據(jù)存儲通過EFS進(jìn)行管理。EFS作為臨時處理區(qū)域運(yùn)行,，供各種數(shù)據(jù)處理流水線存放中間數(shù)據(jù)并促進(jìn)不同進(jìn)程之間的數(shù)據(jù)共享,。因為EFS很符合POSIX標(biāo)準(zhǔn)，所以可以選擇它作為S3的替代文件系統(tǒng),。

這個方案示例突出了構(gòu)建魯棒的ADAS/AD數(shù)據(jù)處理流程所涉及的眾多云服務(wù),，并強(qiáng)調(diào)了應(yīng)對各種技術(shù)復(fù)雜性的必要性。此外,，還必須解決諸如組織輸入數(shù)據(jù),、確保數(shù)據(jù)格式兼容性以及管理和監(jiān)控數(shù)據(jù)格式變化等挑戰(zhàn)。

例如,，隨著ADAS/AD系統(tǒng)的發(fā)展,，添加更多傳感器以及管理不同車輛配置的需求成為數(shù)據(jù)處理流程中的關(guān)鍵考慮因素,。如果不加以妥善處理，這些因素可能會導(dǎo)致不正確的數(shù)據(jù)處理,，最終得到錯誤的結(jié)果,。

上圖列出的是構(gòu)建此數(shù)據(jù)處理流程的預(yù)計工作量和成本細(xì)目,，該處理流程可標(biāo)記12種駕駛場景,、提取駕駛參數(shù)，并支持可視化大型文件（≥ 10TB）,。

三,、總結(jié)

總之，解決上述的這些問題需要付出大量的努力,。顯而易見的是,，選擇預(yù)先搭建好的數(shù)據(jù)處理流程將擁有更低的開銷。此后,，便可以將節(jié)省的時間和成本分配給開發(fā)OEM和Tier1產(chǎn)品的關(guān)鍵方面,。