RAFT-DIC:用于全自動(dòng)、高精度,、稠密位移場(chǎng)測(cè)量的任務(wù)優(yōu)化神經(jīng)網(wǎng)絡(luò)
導(dǎo)讀
近期,,海塞姆科技首席科學(xué)家北京航空航天大學(xué)潘兵教授課題組在Experimental Mechanics上發(fā)文“User-Independent, Accurate and Pixel-Wise DIC Measurements with a Task-Optimized Neural Network”。論文介紹了一種新的基于任務(wù)優(yōu)化神經(jīng)的深度學(xué)習(xí)數(shù)字圖像相關(guān)方法(Digital image correlation, DIC)—RAFT-DIC,,通過針對(duì)性地改進(jìn)深度學(xué)習(xí)DIC框架并開發(fā)新的數(shù)據(jù)集生成方法對(duì)模型進(jìn)行訓(xùn)練,,RAFT-DIC可實(shí)現(xiàn)全自動(dòng)、逐像素,、高精度的位移場(chǎng)測(cè)量,。與現(xiàn)有深度學(xué)習(xí)DIC方法相比,,RAFT-DIC的亞像素位移測(cè)量精度約高出一個(gè)數(shù)量級(jí),且具有更強(qiáng)的跨數(shù)據(jù)集泛化性能和實(shí)用性,。
文章信息:Pan B, Liu Y. User-Independent, Accurate and Pixel-Wise DIC Measurements with a Task-Optimized Neural Network[J]. Experimental Mechanics, 2024: 1-15.
研究背景
數(shù)字圖像相關(guān)方法因其非接觸全場(chǎng)測(cè)量,、使用簡(jiǎn)單便捷,、適用范圍廣泛等優(yōu)點(diǎn),已成為實(shí)驗(yàn)力學(xué)領(lǐng)域主流的位移和變形測(cè)量技術(shù), 被廣泛應(yīng)用于不同科學(xué)和工程領(lǐng)域,。盡管基于圖像子區(qū)的局部DIC算法(常規(guī)DIC)在測(cè)量精準(zhǔn)度,、計(jì)算效率和魯棒性方面取得了重大進(jìn)展,并在商業(yè)軟件中普遍使用,,但仍存在以下兩個(gè)不足:
1) 常規(guī)DIC計(jì)算要求用戶明確輸入關(guān)鍵計(jì)算參數(shù)(圖像子區(qū)大小,、形函數(shù)階數(shù)等)以進(jìn)行后續(xù)的相關(guān)計(jì)算,無法實(shí)現(xiàn)使用者獨(dú)立的全自動(dòng)測(cè)量,;
2) 常規(guī)DIC計(jì)算是在參考圖像上指定均勻分布的計(jì)算點(diǎn)(相鄰點(diǎn)之間的距離是使用者指定的計(jì)算步長(zhǎng))上進(jìn)行的,,因此輸出的是離散計(jì)算結(jié)果,無法實(shí)現(xiàn)逐像素稠密位移場(chǎng)測(cè)量,。
為了解決常規(guī)DIC的這些固有局限,,深度學(xué)習(xí)是一種可能的解決方案。自 2021 年深度學(xué)習(xí)被首次引入 DIC以來,,各種基于深度學(xué)習(xí)的 DIC 方法已經(jīng)證明了神經(jīng)網(wǎng)絡(luò)在圖像變形測(cè)量方面的潛力和優(yōu)勢(shì),。與常規(guī)DIC相比,深度學(xué)習(xí)DIC可以在網(wǎng)絡(luò)訓(xùn)練后以端到端的方式輸出稠密位移場(chǎng),,且該過程無需使用者人為選擇計(jì)算參數(shù),。盡管已有很多學(xué)者嘗試將深度學(xué)習(xí)引入DIC,但現(xiàn)有深度學(xué)習(xí)DIC的亞像素位移測(cè)量精準(zhǔn)度與常規(guī)DIC相比沒有明顯優(yōu)勢(shì),,特別是對(duì)于(平移,、轉(zhuǎn)動(dòng)、拉伸和剪切或其組合等)低頻位移場(chǎng),。此外,,現(xiàn)有深度學(xué)習(xí)DIC的泛化能力不足,導(dǎo)致其在實(shí)際實(shí)驗(yàn)圖片中的表現(xiàn)不如測(cè)試數(shù)據(jù)集,。
技術(shù)路線
在網(wǎng)絡(luò)框架方面,,本文借鑒了深度學(xué)習(xí)光流估計(jì)領(lǐng)域研究進(jìn)展,并充分利用了DIC測(cè)量的先驗(yàn)信息(計(jì)算像素之間的相似度及迭代更新位移場(chǎng)),,從根本上優(yōu)化了網(wǎng)絡(luò)框架,。在光流估計(jì)領(lǐng)域中,遞歸全對(duì)場(chǎng)變換框架(Recurrent All-Pairs Field Transforms, RAFT)框架在提出時(shí)達(dá)到了最高的光流估計(jì)精度(誤差約為3個(gè)像素),,并成為深度學(xué)習(xí)光流估計(jì)的第三代標(biāo)準(zhǔn)框架,。盡管RAFT在光流估計(jì)領(lǐng)域表現(xiàn)出優(yōu)異的性能,,但其亞像素精度遠(yuǎn)遠(yuǎn)達(dá)不到DIC測(cè)量需求,因此RAFT框架并不適合直接應(yīng)用于DIC測(cè)量,。
為此,,本文對(duì)原始 RAFT 框架進(jìn)行了針對(duì)性的修改以提高其測(cè)量性能。修改后的位移估計(jì)框架稱為RAFT-DIC(主要模塊如圖1所示),,其主要整體框架由三個(gè)模塊組成:1)編碼器模塊:提取參考散斑圖像和變形圖像的特征信息,;2)4D相關(guān)層:通過構(gòu)建參考圖像特征和變形圖像的特征向量所有對(duì)之間的4D 相關(guān)層,,計(jì)算出參考圖像和變形圖像的相似性,;3)迭代更新運(yùn)算模塊:使用基于卷積神經(jīng)網(wǎng)絡(luò)的迭代更新運(yùn)算模塊更新RAFT-DIC估計(jì)的位移場(chǎng)。
圖1. RAFT-DIC框架的主要模塊:1) 輸出全分辨率特征的特征編碼器和上下文編碼器;2) 以兩個(gè)尺度(1和1/2)池化的4D相關(guān)層構(gòu)建的多尺度相關(guān)金字塔,,3) 更新更新算子,,用于更新和細(xì)化位移場(chǎng)。
RAFT-DIC對(duì)原始 RAFT 框架在兩個(gè)方面做了針對(duì)性的修改:首先,,去除了編碼模塊中所有的下采樣操作,,從而使模塊感知更多的空間信息,大大提高了位移估計(jì)精度,;其次,,4D相關(guān)層的金字塔層數(shù)減少到兩個(gè),因此網(wǎng)絡(luò)可以更高效地注重小位移精度,。
在訓(xùn)練數(shù)據(jù)集方面,,本文還開發(fā)了隨機(jī)散斑圖像和位移場(chǎng)數(shù)據(jù)集生成技術(shù)。通過充分考慮真實(shí)測(cè)量場(chǎng)景的因素(光照變化,、散焦,、相機(jī)放大倍率等),建立了分布廣泛的散斑圖像數(shù)據(jù)集(圖2),。
圖2. 合成的散斑數(shù)據(jù)集圖像示例
此外本文提出一種無模型位移場(chǎng)數(shù)據(jù)集生成方法,,將隨機(jī)自然影像的灰度分布通過灰度歸一化,、隨機(jī)模糊、隨機(jī)放縮一系列操作轉(zhuǎn)化為位移場(chǎng)分布(圖3),。與現(xiàn)有的使用特定數(shù)學(xué)模型的位移場(chǎng)生成技術(shù)相比,,位移場(chǎng)數(shù)據(jù)集的多樣性和復(fù)雜性有所提高?;谒⒌纳邎D像和位移場(chǎng)數(shù)據(jù)集生成技術(shù),,構(gòu)建了一個(gè)分布廣泛,、魯棒性強(qiáng)的數(shù)據(jù)集,極大地提高了RAFT-DIC的泛化性能,。
圖3. (a) 基于隨機(jī)自然圖像的位移場(chǎng)生成流程,,(b) 隨機(jī)自然圖像樣本以及相應(yīng)的生成位移場(chǎng),。
實(shí)驗(yàn)結(jié)果
為驗(yàn)證RAFT-DIC方法相對(duì)于現(xiàn)有的基于一階和二階形函數(shù)的常規(guī)DIC (采用當(dāng)前先進(jìn)的IC-GN算法) 和不同深度學(xué)習(xí)DIC (StrainNet-f、DisplacementNet和原始RAFT ) 的亞像素位移測(cè)量精準(zhǔn)度,,首先在圖4的數(shù)值模擬圖片中進(jìn)行了測(cè)試,,不同方法的實(shí)驗(yàn)結(jié)果如圖5所示。實(shí)驗(yàn)結(jié)果表明,,所提出的RAFT-DIC的精準(zhǔn)度比其它方法高出約一個(gè)數(shù)量級(jí),。
圖4. (a) 參考散斑圖像和 (b) 施加的正弦位移場(chǎng)
圖5. 使用一階 DIC(圖像子區(qū)大小21×21 像素,,一階形函數(shù)),、二階 DIC(圖像子區(qū)大小 : 21*21 像素)、StrainNet-f,、DisplacementNet,、原始 RAFT 和RAFT-DIC測(cè)量的 u 位移(左)和誤差圖(右)的比較。
為了進(jìn)一步驗(yàn)證RAFT-DIC在真實(shí)實(shí)驗(yàn)圖像中的性能,,在橡膠試樣三點(diǎn)彎曲試驗(yàn)和DIC challenge中的單向拉伸實(shí)驗(yàn)上進(jìn)行了進(jìn)一步測(cè)試,。實(shí)驗(yàn)結(jié)果進(jìn)一步證明了RAFT-DIC具有較強(qiáng)的跨數(shù)據(jù)集泛化性能和實(shí)用性。
圖6. (a) 參考圖像和 (b) 三點(diǎn)彎曲實(shí)驗(yàn)中的變形圖像
圖7. 標(biāo)準(zhǔn) DIC,、RAFT-DIC、StrainNet-f,、DisplacementNet 和原始 RAFT 計(jì)算的 u 和 v 位移場(chǎng)
圖8. (a) 單軸拉伸試驗(yàn)的參考圖像和變形圖像,(b) 常規(guī) DIC(圖像子區(qū)大?。?21 × 21 像素,,計(jì)算步長(zhǎng) : 3 像素),、RAFT-DIC、StrainNet-f,、DisplacementNet 和原始 RAFT 對(duì)應(yīng)的 u 和 v 位移場(chǎng)
總結(jié)與展望
本文提出一種采用任務(wù)優(yōu)化神經(jīng)網(wǎng)絡(luò)框架的深度學(xué)習(xí)DIC方法—RAFT-DIC,,該方法可在無用戶輸入的情況下,以端到端的方式實(shí)現(xiàn)精準(zhǔn)和像素級(jí)稠密的位移場(chǎng)測(cè)量,。仿真實(shí)驗(yàn)和真實(shí)實(shí)驗(yàn)結(jié)果表明,,RAFT-DIC在測(cè)量精準(zhǔn)度和跨數(shù)據(jù)集泛化能力方面均優(yōu)于現(xiàn)有的深度學(xué)習(xí)DIC方法。與常規(guī)DIC相比,,RAFT-DIC不僅能輸出逐像素的密集位移,,無需手動(dòng)選擇關(guān)鍵計(jì)算參數(shù),在具有復(fù)雜變形圖像的位移測(cè)量上具有明顯更高的精準(zhǔn)度,,對(duì)于簡(jiǎn)單變形圖像則可獲得與常規(guī)DIC相當(dāng)?shù)奈灰茰y(cè)量精準(zhǔn)度,。未來,,研究人員將進(jìn)一步提高RAFT-DIC的實(shí)用性,,例如與其它神經(jīng)網(wǎng)絡(luò)結(jié)合拓展其位移測(cè)量范圍,以及實(shí)現(xiàn)基于Raft-DIC的全自動(dòng),、精準(zhǔn)和稠密的3D-DIC測(cè)量,,該先進(jìn)算法將應(yīng)用在海塞姆科技的新版軟件中。