堆疊自動(dòng)編編碼器是深度學(xué)習(xí)領(lǐng)域常用的一個(gè)深度學(xué)習(xí)模型，由多個(gè)自動(dòng)動(dòng)編碼器串聯(lián)堆疊構(gòu)成。堆疊多層自動(dòng)編碼器的目的是為了逐層提取輸入數(shù)據(jù)的高階特征，在此過程中逐層降低輸入數(shù)據(jù)的維度，將一個(gè)復(fù)雜的輸入數(shù)據(jù)轉(zhuǎn)化成了一個(gè)系列簡單的高階的特征，然后再把這些高階特征輸入一個(gè)分類器或者聚類器中進(jìn)行分類或聚類。

1.自動(dòng)編碼器模型及分類

自動(dòng)編碼器(Autoencoders，AE)是一種前饋無返回的神經(jīng)網(wǎng)絡(luò)，有一個(gè)輸入層，一個(gè)隱含層，一個(gè)輸出層，典型的自動(dòng)編碼器結(jié)構(gòu)如圖1所示，在輸入層輸入X，同時(shí)在輸出層得到相應(yīng)的輸出Z，層與層之間都采用S型激活函數(shù)進(jìn)行映射。

圖1典型自動(dòng)編碼器結(jié)構(gòu)圖

輸入層到隱含層的映射關(guān)系可以看作是一個(gè)編碼過程，通過映射函數(shù)f把輸出向量x映射到隱含層輸出y。從隱含層到輸出層的過程相當(dāng)于一個(gè)解碼過程，把隱含層輸出y映射通過映射函數(shù)g回去“重構(gòu)”向量z。對于每一個(gè)輸入樣本x(i)而言，經(jīng)過自動(dòng)編碼器之后都會(huì)轉(zhuǎn)化為一個(gè)對應(yīng)的輸出向量z(i)=g[f(x(i))]。當(dāng)自動(dòng)編碼器訓(xùn)練完成之后，輸入X與輸出Z完全相同，則對應(yīng)的隱含層的輸出可以看作是輸入X的一種抽象表達(dá)，因此它可以用于提取輸入數(shù)據(jù)的特征。此外，因?yàn)樗碾[含層節(jié)點(diǎn)數(shù)少于輸入節(jié)點(diǎn)數(shù)，因此自動(dòng)編碼器也可以用于降維和數(shù)據(jù)壓縮。網(wǎng)絡(luò)參數(shù)的訓(xùn)練方面，自動(dòng)編碼器采用反向傳播法來進(jìn)行訓(xùn)練，但自動(dòng)編碼器需要大量的訓(xùn)練樣本，隨著網(wǎng)絡(luò)結(jié)構(gòu)越變越復(fù)雜，網(wǎng)絡(luò)計(jì)算量也隨之增大。

對自動(dòng)編碼器結(jié)構(gòu)進(jìn)行改進(jìn)得到其他類型的自動(dòng)編碼器，比較典型的是稀疏自動(dòng)編碼器、降噪自動(dòng)編碼器。降噪自動(dòng)編碼器（DenoisingAutoencoder，DAE）是對輸入數(shù)據(jù)進(jìn)行部分“摧毀”，然后通過訓(xùn)練自動(dòng)編碼器模型，重構(gòu)出原始輸入數(shù)據(jù)，以提高自動(dòng)編碼器的魯棒性。對輸入數(shù)據(jù)進(jìn)行“摧毀”的過程其實(shí)類似于對數(shù)據(jù)加入噪聲。稀疏自動(dòng)編碼器則是對自動(dòng)編碼器加入一個(gè)正則化項(xiàng)，約束隱含層神經(jīng)元節(jié)點(diǎn)大部分輸出0，少部分輸出非0。稀疏編碼器大大減小了需要訓(xùn)練的參數(shù)的數(shù)目，降低了訓(xùn)練的難度，同時(shí)克服了自動(dòng)編碼器容易陷入局部及小值和存在過擬合的問題。降噪編碼器采用有噪聲的輸入數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)參數(shù)，提高了自動(dòng)編碼器的泛化能力。

2.SAD堆疊過程

堆疊自動(dòng)編碼器方法與DBN相同，具體過程描述如下：（1）給定初始輸入，采用無監(jiān)督方式訓(xùn)練第一層自動(dòng)編碼器，減小重構(gòu)誤差達(dá)到設(shè)定值。（2）把第一個(gè)自動(dòng)編碼器隱含層的輸出作為第二個(gè)自動(dòng)編碼器的輸入，采用以上同樣的方法訓(xùn)練自動(dòng)編碼器。（3）重復(fù)第二步直到初始化完成所有自動(dòng)編碼器。（4）把最后一個(gè)堆疊自動(dòng)編碼器的隱含層的輸出作為分類器的輸入，然后采用有監(jiān)督的方法訓(xùn)練分類器的參數(shù)。圖2給出了含三層AD的堆疊自動(dòng)編碼器的生成過程。

圖2堆疊三層自動(dòng)編碼器生成過程