您好, 歡迎來到化工儀器網(wǎng)
RAFT-DIC：用于全自動(dòng)、高精度,、稠密位移場(chǎng)測(cè)量的任務(wù)優(yōu)化神經(jīng)網(wǎng)絡(luò)
導(dǎo)讀
近期,，海塞姆科技首席科學(xué)家北京航空航天大學(xué)潘兵教授課題組在Experimental Mechanics上發(fā)文“User-Independent, Accurate and Pixel-Wise DIC Measurements with a Task-Optimized Neural Network”。論文介紹了一種新的基于任務(wù)優(yōu)化神經(jīng)的深度學(xué)習(xí)數(shù)字圖像相關(guān)方法（Digital image correlation, DIC）—RAFT-DIC,，通過針對(duì)性地改進(jìn)深度學(xué)習(xí)DIC框架并開發(fā)新的數(shù)據(jù)集生成方法對(duì)模型進(jìn)行訓(xùn)練,，RAFT-DIC可實(shí)現(xiàn)全自動(dòng)、逐像素,、高精度的位移場(chǎng)測(cè)量,。與現(xiàn)有深度學(xué)習(xí)DIC方法相比,，RAFT-DIC的亞像素位移測(cè)量精度約高出一個(gè)數(shù)量級(jí)，且具有更強(qiáng)的跨數(shù)據(jù)集泛化性能和實(shí)用性,。
文章信息：Pan B, Liu Y. User-Independent, Accurate and Pixel-Wise DIC Measurements with a Task-Optimized Neural Network[J]. Experimental Mechanics, 2024: 1-15.
研究背景
數(shù)字圖像相關(guān)方法因其非接觸全場(chǎng)測(cè)量,、使用簡(jiǎn)單便捷,、適用范圍廣泛等優(yōu)點(diǎn)，已成為實(shí)驗(yàn)力學(xué)領(lǐng)域主流的位移和變形測(cè)量技術(shù), 被廣泛應(yīng)用于不同科學(xué)和工程領(lǐng)域,。盡管基于圖像子區(qū)的局部DIC算法（常規(guī)DIC）在測(cè)量精準(zhǔn)度,、計(jì)算效率和魯棒性方面取得了重大進(jìn)展，并在商業(yè)軟件中普遍使用,，但仍存在以下兩個(gè)不足：
1） 常規(guī)DIC計(jì)算要求用戶明確輸入關(guān)鍵計(jì)算參數(shù)（圖像子區(qū)大小,、形函數(shù)階數(shù)等）以進(jìn)行后續(xù)的相關(guān)計(jì)算，無法實(shí)現(xiàn)使用者獨(dú)立的全自動(dòng)測(cè)量,；
2） 常規(guī)DIC計(jì)算是在參考圖像上指定均勻分布的計(jì)算點(diǎn)（相鄰點(diǎn)之間的距離是使用者指定的計(jì)算步長(zhǎng)）上進(jìn)行的,，因此輸出的是離散計(jì)算結(jié)果，無法實(shí)現(xiàn)逐像素稠密位移場(chǎng)測(cè)量,。
為了解決常規(guī)DIC的這些固有局限,，深度學(xué)習(xí)是一種可能的解決方案。自 2021 年深度學(xué)習(xí)被首次引入 DIC以來,，各種基于深度學(xué)習(xí)的 DIC 方法已經(jīng)證明了神經(jīng)網(wǎng)絡(luò)在圖像變形測(cè)量方面的潛力和優(yōu)勢(shì),。與常規(guī)DIC相比，深度學(xué)習(xí)DIC可以在網(wǎng)絡(luò)訓(xùn)練后以端到端的方式輸出稠密位移場(chǎng),，且該過程無需使用者人為選擇計(jì)算參數(shù),。盡管已有很多學(xué)者嘗試將深度學(xué)習(xí)引入DIC，但現(xiàn)有深度學(xué)習(xí)DIC的亞像素位移測(cè)量精準(zhǔn)度與常規(guī)DIC相比沒有明顯優(yōu)勢(shì),，特別是對(duì)于（平移,、轉(zhuǎn)動(dòng)、拉伸和剪切或其組合等）低頻位移場(chǎng),。此外,，現(xiàn)有深度學(xué)習(xí)DIC的泛化能力不足，導(dǎo)致其在實(shí)際實(shí)驗(yàn)圖片中的表現(xiàn)不如測(cè)試數(shù)據(jù)集,。
技術(shù)路線
在網(wǎng)絡(luò)框架方面,，本文借鑒了深度學(xué)習(xí)光流估計(jì)領(lǐng)域研究進(jìn)展，并充分利用了DIC測(cè)量的先驗(yàn)信息（計(jì)算像素之間的相似度及迭代更新位移場(chǎng)）,，從根本上優(yōu)化了網(wǎng)絡(luò)框架,。在光流估計(jì)領(lǐng)域中，遞歸全對(duì)場(chǎng)變換框架（Recurrent All-Pairs Field Transforms, RAFT）框架在提出時(shí)達(dá)到了最高的光流估計(jì)精度（誤差約為3個(gè)像素）,，并成為深度學(xué)習(xí)光流估計(jì)的第三代標(biāo)準(zhǔn)框架,。盡管RAFT在光流估計(jì)領(lǐng)域表現(xiàn)出優(yōu)異的性能,，但其亞像素精度遠(yuǎn)遠(yuǎn)達(dá)不到DIC測(cè)量需求，因此RAFT框架并不適合直接應(yīng)用于DIC測(cè)量,。
為此,，本文對(duì)原始 RAFT 框架進(jìn)行了針對(duì)性的修改以提高其測(cè)量性能。修改后的位移估計(jì)框架稱為RAFT-DIC（主要模塊如圖1所示）,，其主要整體框架由三個(gè)模塊組成：1）編碼器模塊：提取參考散斑圖像和變形圖像的特征信息,；2）4D相關(guān)層：通過構(gòu)建參考圖像特征和變形圖像的特征向量所有對(duì)之間的4D 相關(guān)層,，計(jì)算出參考圖像和變形圖像的相似性,；3）迭代更新運(yùn)算模塊：使用基于卷積神經(jīng)網(wǎng)絡(luò)的迭代更新運(yùn)算模塊更新RAFT-DIC估計(jì)的位移場(chǎng)。
圖1. RAFT-DIC框架的主要模塊：1) 輸出全分辨率特征的特征編碼器和上下文編碼器；2) 以兩個(gè)尺度（1和1/2）池化的4D相關(guān)層構(gòu)建的多尺度相關(guān)金字塔,，3) 更新更新算子,，用于更新和細(xì)化位移場(chǎng)。
RAFT-DIC對(duì)原始 RAFT 框架在兩個(gè)方面做了針對(duì)性的修改：首先,，去除了編碼模塊中所有的下采樣操作,，從而使模塊感知更多的空間信息，大大提高了位移估計(jì)精度,；其次,，4D相關(guān)層的金字塔層數(shù)減少到兩個(gè)，因此網(wǎng)絡(luò)可以更高效地注重小位移精度,。
在訓(xùn)練數(shù)據(jù)集方面,，本文還開發(fā)了隨機(jī)散斑圖像和位移場(chǎng)數(shù)據(jù)集生成技術(shù)。通過充分考慮真實(shí)測(cè)量場(chǎng)景的因素（光照變化,、散焦,、相機(jī)放大倍率等），建立了分布廣泛的散斑圖像數(shù)據(jù)集（圖2）,。
圖2. 合成的散斑數(shù)據(jù)集圖像示例
此外本文提出一種無模型位移場(chǎng)數(shù)據(jù)集生成方法,，將隨機(jī)自然影像的灰度分布通過灰度歸一化,、隨機(jī)模糊、隨機(jī)放縮一系列操作轉(zhuǎn)化為位移場(chǎng)分布（圖3）,。與現(xiàn)有的使用特定數(shù)學(xué)模型的位移場(chǎng)生成技術(shù)相比,，位移場(chǎng)數(shù)據(jù)集的多樣性和復(fù)雜性有所提高?；谒⒌纳邎D像和位移場(chǎng)數(shù)據(jù)集生成技術(shù),，構(gòu)建了一個(gè)分布廣泛,、魯棒性強(qiáng)的數(shù)據(jù)集，極大地提高了RAFT-DIC的泛化性能,。
圖3. (a) 基于隨機(jī)自然圖像的位移場(chǎng)生成流程,，(b) 隨機(jī)自然圖像樣本以及相應(yīng)的生成位移場(chǎng),。
實(shí)驗(yàn)結(jié)果
為驗(yàn)證RAFT-DIC方法相對(duì)于現(xiàn)有的基于一階和二階形函數(shù)的常規(guī)DIC (采用當(dāng)前先進(jìn)的IC-GN算法) 和不同深度學(xué)習(xí)DIC (StrainNet-f、DisplacementNet和原始RAFT ) 的亞像素位移測(cè)量精準(zhǔn)度,，首先在圖4的數(shù)值模擬圖片中進(jìn)行了測(cè)試,，不同方法的實(shí)驗(yàn)結(jié)果如圖5所示。實(shí)驗(yàn)結(jié)果表明,，所提出的RAFT-DIC的精準(zhǔn)度比其它方法高出約一個(gè)數(shù)量級(jí),。
圖4. (a) 參考散斑圖像和 (b) 施加的正弦位移場(chǎng)
圖5. 使用一階 DIC（圖像子區(qū)大小21×21 像素,，一階形函數(shù)）,、二階 DIC（圖像子區(qū)大小 ： 21*21 像素）、StrainNet-f,、DisplacementNet,、原始 RAFT 和RAFT-DIC測(cè)量的 u 位移（左）和誤差圖（右）的比較。
為了進(jìn)一步驗(yàn)證RAFT-DIC在真實(shí)實(shí)驗(yàn)圖像中的性能,，在橡膠試樣三點(diǎn)彎曲試驗(yàn)和DIC challenge中的單向拉伸實(shí)驗(yàn)上進(jìn)行了進(jìn)一步測(cè)試,。實(shí)驗(yàn)結(jié)果進(jìn)一步證明了RAFT-DIC具有較強(qiáng)的跨數(shù)據(jù)集泛化性能和實(shí)用性。
圖6. (a) 參考圖像和 (b) 三點(diǎn)彎曲實(shí)驗(yàn)中的變形圖像
圖7. 標(biāo)準(zhǔn) DIC,、RAFT-DIC、StrainNet-f,、DisplacementNet 和原始 RAFT 計(jì)算的 u 和 v 位移場(chǎng)
圖8. (a) 單軸拉伸試驗(yàn)的參考圖像和變形圖像，(b) 常規(guī) DIC（圖像子區(qū)大?。?21 × 21 像素,，計(jì)算步長(zhǎng) ： 3 像素）,、RAFT-DIC、StrainNet-f,、DisplacementNet 和原始 RAFT 對(duì)應(yīng)的 u 和 v 位移場(chǎng)
總結(jié)與展望
本文提出一種采用任務(wù)優(yōu)化神經(jīng)網(wǎng)絡(luò)框架的深度學(xué)習(xí)DIC方法—RAFT-DIC,，該方法可在無用戶輸入的情況下，以端到端的方式實(shí)現(xiàn)精準(zhǔn)和像素級(jí)稠密的位移場(chǎng)測(cè)量,。仿真實(shí)驗(yàn)和真實(shí)實(shí)驗(yàn)結(jié)果表明,，RAFT-DIC在測(cè)量精準(zhǔn)度和跨數(shù)據(jù)集泛化能力方面均優(yōu)于現(xiàn)有的深度學(xué)習(xí)DIC方法。與常規(guī)DIC相比,，RAFT-DIC不僅能輸出逐像素的密集位移,，無需手動(dòng)選擇關(guān)鍵計(jì)算參數(shù)，在具有復(fù)雜變形圖像的位移測(cè)量上具有明顯更高的精準(zhǔn)度,，對(duì)于簡(jiǎn)單變形圖像則可獲得與常規(guī)DIC相當(dāng)?shù)奈灰茰y(cè)量精準(zhǔn)度,。未來,，研究人員將進(jìn)一步提高RAFT-DIC的實(shí)用性,，例如與其它神經(jīng)網(wǎng)絡(luò)結(jié)合拓展其位移測(cè)量范圍，以及實(shí)現(xiàn)基于Raft-DIC的全自動(dòng),、精準(zhǔn)和稠密的3D-DIC測(cè)量,，該先進(jìn)算法將應(yīng)用在海塞姆科技的新版軟件中。