高光譜圖像不僅包含空間信息,，還包含豐富的光譜信息，目前已被廣泛應(yīng)用于農(nóng)業(yè),、城市規(guī)劃等領(lǐng)域,。近年來(lái)，無(wú)人機(jī)的快速發(fā)展使高光譜在更多領(lǐng)域成為可能,。無(wú)人機(jī)操控簡(jiǎn)單,、成本相對(duì)較低、使用靈活,，航空高光譜拍攝示意圖如圖1所示,。但是航空高光譜技術(shù)也存在一些限制，當(dāng)追求高的分辨率時(shí),，成像儀的視場(chǎng)角就會(huì)變小,，從而導(dǎo)致成像區(qū)域變小。單幅圖像很難覆蓋大面積的區(qū)域,，需要運(yùn)用圖像拼接技術(shù)得到一幅全景高光譜圖像,。
圖1 航空高光譜拍攝示意圖
普通圖像的拼接領(lǐng)域已經(jīng)獲得了較多成果，但高光譜圖像拼接的研究還并不是十分成熟,。而且高光譜圖像與普通圖像存在一定的差異,，高光譜圖像的拼接目前面臨了一系列的困難。高光譜圖像有幾十上百個(gè)波段,，數(shù)據(jù)量非常大,，直接對(duì)高光譜數(shù)據(jù)進(jìn)行拼接會(huì)產(chǎn)生很大的計(jì)算量從而導(dǎo)致拼接時(shí)間過(guò)長(zhǎng)，降低效率,。其次,，用于遙感的高光譜圖像通常由機(jī)載設(shè)備拍攝,，無(wú)人機(jī)拍攝的條件不穩(wěn)定，飛機(jī)振動(dòng),、曝光時(shí)飛機(jī)快速運(yùn)動(dòng)導(dǎo)致的像點(diǎn)偏移等現(xiàn)象會(huì)使拍攝得到的圖像質(zhì)量下降并且存在非剛性變換,。這些情況造成特征點(diǎn)匹配時(shí)存在大量的誤匹配。除此之外,，無(wú)人機(jī)的飛行高度并不高,，圖像會(huì)存在視差，要得到好的高光譜拼接效果,，需要解決上述挑戰(zhàn),。在此背景下，迫切需要一種高精度的高光譜圖像拼接方法,。
武漢大學(xué)梅曉光副教授團(tuán)隊(duì)利用我司推掃式無(wú)人機(jī)高光譜成像系統(tǒng)（GaiaSky-mini）在300m高度拍攝的一組植物園場(chǎng)景,。數(shù)據(jù)包含18 幅圖像，大小為96×1057,，光譜范圍是400nm 到1000nm,，共176 個(gè)波段。圖2以偽彩色圖像的形式展示了18 張高光譜圖像數(shù)據(jù),，選取的三個(gè)波段分別為第13 波段(436.5nm),，第47 波段(547.6nm)，第92 波段(700.2nm),，將圖片從左往右,，從上往下依次標(biāo)號(hào)為1-18。
圖2 18幅高光譜圖像數(shù)據(jù)
首先,，選取一個(gè)波段作為參考波段,，得到灰度圖像后用SIFT算法提取相鄰兩幅圖像的特征點(diǎn)。本研究對(duì)比了SIFT,、SURF,、SS-SIFT這三種特征點(diǎn)提取的算法。其中SIFT和SURF是針對(duì)單個(gè)波段的圖像進(jìn)行特征點(diǎn)的提取,，SS-SIFT是針對(duì)高光譜的算法,，所提取的特征點(diǎn)具有三維信息。實(shí)驗(yàn)選取圖2中的第1,、2作為圖片進(jìn)行測(cè)試,，實(shí)驗(yàn)記錄了三個(gè)算法的幾個(gè)衡量指標(biāo)，實(shí)驗(yàn)結(jié)果如表1所示,。
表1 特征點(diǎn)提取的算法對(duì)比結(jié)果
特征點(diǎn)提取算法 | 提取特征點(diǎn)數(shù)量 | 匹配特征點(diǎn)數(shù)量 | 運(yùn)行時(shí)間 |
SIFT | 7455 | 1256 | 10.120s |
SURF | 467 | 80 | 0.849s |
SS-SIFT | 8304 | 82 | 950.311s |
從以上實(shí)驗(yàn)結(jié)果可以看出,，SS-SIFT相較于SIFT和SURF需要運(yùn)行大量時(shí)間，降低了算法的效率，因此不能采用直接從高光譜圖像數(shù)據(jù)中直接提取特征點(diǎn)的方法,。SIFT和SURF算法相比較，SIFT的運(yùn)行時(shí)間為10.012s,，雖然沒有SURF運(yùn)行速度快,，但是檢測(cè)和匹配的特征點(diǎn)的數(shù)量足夠多，使后續(xù)的圖像配準(zhǔn)更加準(zhǔn)確,。
無(wú)人機(jī)拍攝的遙感圖像通常存在局部地形變化,、尺度變化、旋轉(zhuǎn),、視差以及其他非剛性變化等情況,，在特征點(diǎn)的匹配過(guò)程中會(huì)造成很多誤匹配現(xiàn)象。為了解決這個(gè)問(wèn)題,，本研究采用基于mTopKRP的算法來(lái)剔除誤匹配,，得到的結(jié)果如圖3所示。
圖3 通過(guò)mTopKRP算法剔除誤匹配的結(jié)果
接下來(lái),，為了驗(yàn)證mTopKRP算法在剔除誤匹配點(diǎn)上的*性,，我們對(duì)比了mTopKRP和其他誤匹配剔除算法VFC和LPM。我們選擇精確率（precision）,，召回率（recall）和F-score作為評(píng)價(jià)特征點(diǎn)匹配算法的指標(biāo),。得到的特征點(diǎn)匹配算法對(duì)比實(shí)驗(yàn)結(jié)果如圖4所示。
圖4 特征點(diǎn)匹配算法對(duì)比實(shí)驗(yàn)結(jié)果
從以上實(shí)驗(yàn)結(jié)果中可以看出,，無(wú)論是在圖像存在剛性變換還是非剛性變換時(shí),，本研究特征點(diǎn)匹配算法mTopKRP都得到了更好的F-score，證實(shí)了我們的特征點(diǎn)匹配算法的*性,。在得到正確的匹配點(diǎn)集之后,，我們需要用匹配的特征點(diǎn)來(lái)建立圖片對(duì)之間的變換關(guān)系，即計(jì)算圖片對(duì)之間的單應(yīng)性矩陣,。為了避免投影變換帶來(lái)的失真,，本研究采用基于魯棒彈性扭曲的算法。并將本研究采用的圖像變換模型和其他圖像變換模型ANAP,，NISwGSP和ELA進(jìn)行對(duì)比,，實(shí)驗(yàn)利用線性加權(quán)的圖像融合算法，分別在單個(gè)波段拼接了18幅高光譜圖像,，得到圖5的結(jié)果,。
圖5 圖像拼接模型對(duì)比（從左到右ANAP、NISwGSP,、ELA和本研究算法）
從實(shí)驗(yàn)結(jié)果中可以看出,，算法ANAP，NISwGSP 和ELA 得到結(jié)果均在邊處有明顯的形變、不規(guī)則放大或扭曲,。而本研究的魯棒彈性變換模型更準(zhǔn)確地對(duì)齊圖像,，在拼接后的非重疊區(qū)域消除了形變、扭曲等問(wèn)題,。本研究所采用的圖像變換模型得到的拼接結(jié)果中圖像清晰,，沒有明顯模糊、重影的現(xiàn)象,。
高光譜圖像拼接的最后一步就是進(jìn)行全波段的圖像融合,。將參考波段的魯棒彈性變換模型參數(shù)運(yùn)用于其他剩余波段，這樣就可以獲得所有波段的空間信息,。在單個(gè)波段的重疊部分得到光譜值之后,，將融合參數(shù)應(yīng)用到其他波段，則全波段重疊部分都得到新的光譜值,，非重疊部分的光譜值保留本身波段原有的光譜值,。此處，將得到的高光譜全景圖像用 RGB 圖像的形式展示如圖6所示,。選取的三個(gè)波段分別為第 13 波段 （436.5nm）,，第 47 波段（547.6nm），第 92 波段（700.2nm）,。
圖6 以RGB形式展示的高光譜圖像整體拼接結(jié)果
對(duì)于圖像的光譜進(jìn)行分析可以實(shí)現(xiàn)對(duì)地物的分類和識(shí)別,，所以拼接任務(wù)除了關(guān)注空間信息外，還應(yīng)對(duì)光譜曲線進(jìn)行分析,。理想情況下拼接后的全景圖在重疊區(qū)域的光譜曲線應(yīng)該與參考圖像的保持一致,。通過(guò)計(jì)算兩個(gè)光譜曲線的光譜角大小（SAD）,，可以判斷它們的相似程度,。找出在圖1、2重疊部分的兩對(duì)典型地物（土地和植被）,，分別記錄為A,、A′ 和B、B′,，如圖7所示,。由于圖像1是參考圖像，因此拼接得到的高光譜圖像的光譜曲線應(yīng)該與圖像1的光譜曲線接近,。通過(guò)圖8計(jì)算得到,，對(duì)于同名點(diǎn)對(duì)A、A′,，圖像1和2在此點(diǎn)的光譜角為0.0894,。在同名點(diǎn)B、B′，圖1與圖2 光譜角大小為0.0471,。因此,，可以得出結(jié)論，在原始圖像同名點(diǎn)對(duì)的光譜值有較大差異的情況下,，本研究的算法得到的圖像的光譜接近于參考圖像,，保證了光譜信息的一致性。
圖7 同名點(diǎn)對(duì)示意圖
圖8 光譜分析曲線
本研究提出了新的高光譜圖像拼接方法,，適用于存在旋轉(zhuǎn)、尺度變化,、非剛性變換的圖像集,。得到的圖像清晰，無(wú)明顯錯(cuò)誤拼接和接縫,，圖像的光譜曲線失真較小,，適用于存在大視差的機(jī)載高光譜圖像。
通訊作者簡(jiǎn)介：
梅曉光,，博士,，武漢大學(xué)電子信息學(xué)院副教授，博士生導(dǎo)師,。
主要研究方向：高/超光譜應(yīng)用中的計(jì)算機(jī)視覺,、機(jī)器學(xué)習(xí)等相關(guān)問(wèn)題的研究。
參考文獻(xiàn)：Yujie Zhang, Zhiying Wan, Xingyu Jiang and Xiaoguang Mei, in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 13, pp. 3145-3154, 2020, doi: 10.1109/JSTARS.2020. 3001022.
(空格分隔,最多3個(gè),單個(gè)標(biāo)簽最多10個(gè)字符)
會(huì)員.png)
8
立即詢價(jià)
您提交后,，專屬客服將第一時(shí)間為您服務(wù)