本日學術(shù)分享為2020年中國科學院大學的科研人員合作發(fā)表于IEEE IEEE Transactions on Industrial Informatics的研究工作,。

論文題目： A Deep Nonnegative Matrix Factorization Approach via Autoencoder for Nonlinear Fault Detection

論文作者：Zelin Ren, Wensheng Zhang, Zhizhong Zhang

論文來源：《IEEE Transactions on Industrial Informatics》,，IF：12.3,，中科院JCR分區(qū)1區(qū)TOP期刊,，DOI：10.1109/TII.2019.2951011

這篇文章主要考慮了故障檢測的潛在復雜性,，提出了一種基于非負矩陣分解（NMF）的非線性方法,。在自動編碼器的推動下，本文首先利用輸入數(shù)據(jù)來學習適當?shù)姆蔷€性映射函數(shù),，將原始空間轉(zhuǎn)換為高維特征空間,。然后，根據(jù)NMF的分解規(guī)律，將學習到的特征空間劃分為兩個子空間,，并在這些子空間中適當設計兩個統(tǒng)計量進行非線性故障檢測,。所建立的方法，即深度非負矩陣分解（DNMF）,，由編碼器模塊,、NMF模塊和解碼器模塊三部分實現(xiàn)。與傳統(tǒng)使用隱式和預定核的基于NMF的非線性方法不同,，DNMF提供了一種新的非線性方案,，通過深度自編碼器框架應用于NMF，并自動實現(xiàn)輸入數(shù)據(jù)的非線性映射,。此外,，DNMF突破了非負輸入的限制，極大地擴展了NMF的應用范圍,。采用田納西州伊士曼工藝作為工業(yè)基準,，驗證了所提方法的有效性。（ 對于自編碼器或者非負矩陣分解的研究,，此篇論文具有借鑒性,，推薦有需要的同學進行精讀學習 ）

02

文獻背景

近年來，隨著工業(yè)體系的快速發(fā)展,，現(xiàn)代工業(yè)正朝著大規(guī)模,、復雜的方向發(fā)展。為了確保安全可靠的運行,，工業(yè)過程監(jiān)控和故障檢測是高度需要的,，最近得到了廣泛的研究。由于工業(yè)系統(tǒng)的復雜性,，實現(xiàn)基于模型的方法很困難,，甚至不可能。大數(shù)據(jù)時代,，存儲容量越來越大,，算力不斷提高,。僅基于傳感器測量數(shù)據(jù)的數(shù)據(jù)驅(qū)動方法已受到廣泛關(guān)注,。多變量統(tǒng)計過程監(jiān)測（ MSPM ）作為一類數(shù)據(jù)驅(qū)動方法已被廣泛研究并成功應用于實際工業(yè)系統(tǒng)的過程監(jiān)測。 (Ding 對數(shù)據(jù)驅(qū)動的故障診斷方法進行了全面總結(jié),，并詳細描述了幾種經(jīng)典的 MSPM 技術(shù),，如主成分分析（ PCA ）、偏最小二乘法和典型變量分析 ) ,。上述方法屬于線性方法 ; 一些非線性算法被提出并得到有效應用,。

在眾多數(shù)據(jù)驅(qū)動方法中，非負矩陣分解（NMF）是一種經(jīng)典且實用的降維方法，最初由Paatero和Tapper開發(fā),。NMF旨在通過局部系統(tǒng)特征的非負組合來獲得整體系統(tǒng)特性,。最近，它受到了很多關(guān)注,。它可以捕獲數(shù)據(jù)的全局結(jié)構(gòu)信息,，比圖像分類的局部信息更健壯?；贜MF的方法具有較強的特征提取能力,，在MSPM框架下已成功應用于過程監(jiān)控和故障檢測。然而,，傳統(tǒng)的NMF方法存在一些局限性,。作為線性的，它很難應用于實際的非線性情況,。它允許基數(shù)據(jù)之間的高階依賴關(guān)系,。對于KNMF，其基矩陣是通過核函數(shù)映射輸入數(shù)據(jù)獲得的高維特征的線性組合,。利用核函數(shù)開發(fā)非線性改進的NMF方法已成為非線性故障檢測的趨勢,。但是，內(nèi)核函數(shù)的形式需要預先確定,，其參數(shù)很難選擇,。這些缺點給這些內(nèi)核方法的應用帶來了瓶頸。(為了解決這個問題,，一些研究人員考慮通過使用神經(jīng)網(wǎng)絡方法代替核方法來實現(xiàn)線性方法的非線性變換,，例如一類神經(jīng)網(wǎng)絡)NMF的另一個主要限制是它需要非負輸入數(shù)據(jù)，而某些傳感器測量數(shù)據(jù)可能無法滿足此要求,，例如溫度,，壓力等。此外,，提出了廣義NMF來緩解原始數(shù)據(jù)的非負限制,。然而，上述解決NMF非負輸入的方法是線性的,，可能不適用于復雜的非線性過程,。即使非線性化，它們也需要采用核方法,。因此,，共同克服NMF的兩大局限性在研究中是不夠的，開發(fā)非負非線性NMF挑戰(zhàn)性,。

如今,，深度自編碼器（AE）作為一種流行的深度學習技術(shù),，被廣泛應用于圖像處理、自然語言處理和相關(guān)領(lǐng)域,。由于深度AE精通非線性過程的特征提取和分類,，因此已成功應用于故障檢測領(lǐng)域。然而,，這些方法中的大多數(shù)在兩種情況下無法處理故障檢測：1）當系統(tǒng)具有未知類型的故障時和/或2）當無法獲得故障數(shù)據(jù)時,。因此，采用MSPM框架,，在故障檢測中引入了改進的AEs方法和相應的設計統(tǒng)計量,，如收縮AE、去噪AE和變分AE,。這些方法具有良好的檢測效果,，但其目的不是改進基于多元統(tǒng)計分析的現(xiàn)有方法。

這篇文章的主要貢獻總結(jié)如下1) 提出了一種數(shù)據(jù)驅(qū)動的非線性工業(yè)系統(tǒng)故障檢測方法,。提出的DNMF使用深度AE框架為NMF提供了新的解決方案,。2) DNMF可以利用工業(yè)數(shù)據(jù)自動學習適當?shù)姆蔷€性映射函數(shù)，這是通過可學習的網(wǎng)絡結(jié)構(gòu)實現(xiàn)的,，這與內(nèi)核功能隱含且需要預先確定參數(shù)的核方法不同,。3) DNMF中提出的非線性框架具有很強的泛化性和很大的靈活性，可以推廣到MSPM的其他線性方法,。4) 盡管DNMF是一種基于NMF的方法,，但它不需要輸入數(shù)據(jù)來滿足非負條件，從而大大擴展了應用范圍,。

03

研究方法

所提出的DNMF是一種利用DCAE實現(xiàn)的新型NMF非線性方法,。圖1顯示了整個網(wǎng)絡結(jié)構(gòu)，大致由三個模塊組成：編碼器模塊,、NMF模塊和解碼器模塊,。編碼器和解碼器模塊主要實現(xiàn)原始空間的非線性變換，而NMF模塊則是實現(xiàn)網(wǎng)絡中NMF的功能,。

DNMF投影原始數(shù)據(jù)進入高維特征空間F獲取向量通過使用非線性映射函數(shù),，得到

由CNN組成的編碼器網(wǎng)絡實現(xiàn)。在此CNN中,，最后一個卷積層的輸出特征圖被展平為向量,。由于NMF模塊要 求輸入為非負數(shù)，因此可以通過激活函數(shù)整流線性單元（ReLU）激活獲得的矢量

ReLU可以保證特征的所有元素都是非負的,。由此,，得到的高維特征向量從輸入數(shù)據(jù)投影是非負的，可以是 NMF 模塊的輸入,。編碼器網(wǎng)絡結(jié)構(gòu)后，可以從輸入數(shù)據(jù)中自動學習映射函數(shù)。通過這種方式,，編碼器根據(jù)需要實現(xiàn)非線性操作,。

兩個矩陣W和H的NMF通過梯度下降法以交替迭代方式求解。在這里,，神經(jīng)網(wǎng)絡還執(zhí)行梯度下降法,，通過反向傳播收斂到局部優(yōu)解。因此,，構(gòu)建神經(jīng)網(wǎng)絡來實現(xiàn)NMF算法是合適的,。因此，該模塊的輸出是重建的值與的損失函數(shù)約束下?lián)p失1,，定義為

通過這種方式,，NMF 模塊實現(xiàn)了NMF算法

解碼器的目標是重新映射回到原始輸入空間，其中輸入數(shù)據(jù)x將在損失函數(shù)約束中重建損失2

解碼器網(wǎng)絡結(jié)構(gòu)與編碼器網(wǎng)絡結(jié)構(gòu)幾乎對稱,，因此可以將其視為編碼器的逆過程,，有效地實現(xiàn)了無監(jiān)督學習。通過上面對DNMF框架的分析,，整個網(wǎng)絡的損失函數(shù)可以表示為：

得益于DNMF精心設計的網(wǎng)絡結(jié)構(gòu),，非線性框架可以進一步轉(zhuǎn)移到MSPM的其他線性方法中。更具體地說,，首先將線性方法（例如,，PCA和局部保持投影（LPP）轉(zhuǎn)換為可訓練模塊，該模塊基于其相應的優(yōu)化問題,。然后,，將NMF模塊替換為設計的模塊，并將其與編碼器和解碼器模塊組合在一起,。最后,，結(jié)合設計整個網(wǎng)絡的損失函數(shù)損失1,損失2，以及與線性方法相關(guān)的損失,。（這里僅僅介紹了主要的算法,，有想做數(shù)據(jù)分析方向的可下載文章，詳細學習其優(yōu)化算法）

04

實驗驗證

TE工藝是美國田納西州公司首先開發(fā)的工業(yè)過程的真實模擬基準,。它已廣泛應用于各種控制和過程監(jiān)控方法的模擬和驗證,。TE工藝的結(jié)構(gòu)流程圖如圖2所示。由于TE過程沒有可用的數(shù)學模型,，因此使用傳感器測量的數(shù)據(jù)設計了故障檢測方法,。這個過程中的變量由兩個變量塊組成：一個是XMV塊，包含11個操縱變量,，另一個是XMEAS塊,，它包含41個測量變量,，包括22個過程變量和19個分析變量。在此模擬中,，選擇22個過程變量[XMEAS（1-22）]和11個操縱變量[XMV（1-11）]作為輸入數(shù)據(jù)變量,，其中我們刪除了分析變量。此外,，基準測試的更多信息可以參考,，MATLAB代碼可以從在線下載。

通過對上述三個故障的詳細分析,，PNMF的性能甚至比其線性版本的NMF還要差,，而另一種內(nèi)核方法KNMF具有更好的檢測能力。內(nèi)核的選擇似乎在性能中起著關(guān)鍵作用,。DNMF作為一種新提出的故障檢測算法,，比線性方法和核方法具有更令人滿意的故障檢測能力，主要是因為它能夠自動學習適當?shù)姆蔷€性映射函數(shù),。

從另一個角度來看,，故障檢測任務可以看作是一個特殊的二元分類問題。從以上三個故障的圖結(jié)果來看,，我們的方法在正常數(shù)據(jù)和故障數(shù)據(jù)之間的分類裕度大于其他方法;這表明我們的方法比其他方法具有更高的分類精度,。

總結(jié)

在本文中，在這篇文中,，提出了一種新型的改進非線性NMF方法DNMF,。首先采用深度神經(jīng)網(wǎng)絡自動查找當前輸入系統(tǒng)數(shù)據(jù)的非線性映射函數(shù)。然后,，將原始輸入數(shù)據(jù)投影到非負高維特征空間中,。NMF算法是由神經(jīng)網(wǎng)絡實現(xiàn)的。同時,，將特征空間劃分為FS和RS,，并設計了兩個監(jiān)控統(tǒng)計量，H2和SPE,。此外,，還使用KDE方法來確定它們的閾值。最后,，將所提方法用于TE過程中的故障檢測,，并驗證了其有效性。（提出的方法主要是提出一個基于神經(jīng)網(wǎng)絡的非線性NMF框架,。通過簡單的修改,，它可以進一步推廣到MSPM的其他線性方法）