摘 要：  該文提出了一種基于深度學習框架的圖像語義分割方法，通過使用由相對深度點對標注訓練的網絡模型，實現了基于彩色圖像的深度圖像預測，并將其與原彩色圖像共同輸入到包含帶孔卷積的全卷積神經網絡中。考慮到彩色圖像與深度圖像作為物體不同的屬性表征，在特征圖上用合并連接操作而非傳統的相加操作對其進行融合，為后續卷積層提供特征圖輸入時保持了兩種表征的差異。在兩個數據集上的實驗結果表明，該法可以有效提升語義分割的性能。

關鍵詞： 語義分割；深度學習；深度圖像
中圖分類號 TG 156 文獻標志碼 A

1、引 言

圖像的語義分割是計算機視覺中的一個基礎問題，作為圖像理解的重要一環，在自動駕駛系統、地理信息系統、醫療影像分析及機械臂物體抓取等實際應用中都有關鍵作用。其中，地理信息系統中的衛星遙感圖像可使用語義分割的方法自動識別道路、河流、建筑物、植物等。在無人駕駛系統中，車載攝像頭和激光雷達采集的圖像，經語義分割可以發現道路前方的行人、車輛等，以輔助駕駛和避讓。在醫療影像分析領域，語義分割主要用于腫瘤圖像分割和齲齒診斷等。

圖像的語義分割任務是指為一幅輸入圖像的每個像素分配一個語義類別，從而完成像素級別的分類。傳統的語義分割主要使用手工設計的特征和支持向量機、概率圖模型等方法。隨著深度卷積神經網絡在計算機視覺任務中刷新多項記錄，包括圖像分類[1-3]、物體檢測[4-6]等，深度學習的方法也在語義分割任務中被廣泛使用[7-9]。

卷積神經網絡本身具有一定的對局部圖像變換的不變性， 可以很好地解決圖像分類問題。但在語義分割任務中，分類的同時還需要得到精確的位置，這與局部圖像變換的不變性相矛盾。在典型的圖像分類模型中，多層網絡組成了一個從局部到全局的金字塔結構。其中，頂層的特征圖分辨率最低，雖然它包含全局的語義信息，但卻無法完成精確的定位。全卷積神經網絡[7]利用端到端、像素到像素的方法進行訓練，對于頂層特征圖定位不夠精細的問題，采用跳躍結構綜合了淺層精細的表觀信息和深層粗糙的語義信息。

Chen 等[8]使用了另一種方案，直接在網絡結構中減少了下采樣的操作以得到更高的分辨率，并且利用了帶孔的卷積，在不增加網絡參數數量的前提下增大卷積核的感受野，從而獲取更多關于圖像像素的上下文信息。在信號處理領域，類似的方法最初用于非抽樣小波變換的高效計算[10]。此外，還使用全連接的條件隨機場方法[11]對卷積神經網絡的輸出結果進行后處理，達到了更精細的分割結果。

Zhao 等[12]在帶孔卷積的網絡模型基礎上，提出了金字塔池化模塊。該研究使用全局平均池化(Global Average Pooling，GAP)操作結果作為一個全局的上下文信息表征，與之前的特征圖連接，使組合后的特征圖同時包含全局的上下文信息和局部信息，是目前在 Pascal VOC 2012 數據集[13]上分割結果最好的方法之一。

圖像中物理屬性(如深度、表面法向量、反射率) 的估計屬于中層視覺任務， 并可對高層視覺任務有所幫助。目前已經有許多數據驅動的深度估計方法[14-17]被提出，但這些方法受限于由深度傳感器采集的圖像數據集。盡管近年來消費級深度圖像采集設備，如微軟 Kinect、華碩 Xtion Pro 和英特爾 RealSense 等得到了大量使用，但仍主要局限于室內場景。對于鏡面反射、透明或較暗物體等情況，常常會得到失敗的結果。因此，在非受限的場景中難以用深度傳感器得到可靠的深度圖像。而對于語義分割任務而言，明確、清晰的邊緣比精確的深度測量值本身更重要。有經驗證據表明，相對于場景中某點的測量值，人類更擅長于估計兩點之間的次序關系[18]。對于圖像中兩點的深度而言，“相等”“更深”“更淺”三種關系具有對單調變換的不變性，而且由人類對其標注， 不存在場景受限的問題。Chen 等[19]構建了一個人類標注的“相對深度”點對數據集，并提出了一種以此標注端到端的訓練卷積神經網絡， 從彩色圖像預測深度圖像的方法，顯著改善了非受限場景下的單圖深度感知。本文提出將彩色圖像預測出的深度圖像融入語義分割的卷積神經網絡， 利用深度圖像的特性改善分割性能。
本文的主要創新點為：(1)使用從彩色圖像預測的深度圖像作為語義分割網絡的輸入；(2) 用多分支輸入、特征圖合并連接融合深度圖像特征的方法改善語義分割性能。實驗結果表明，融合深度圖像的特征可以顯著提升語義分割性能。

2、融合深度圖像的語義分割

2.1語義分割的卷積神經網絡

典型的用于分類任務的卷積神經網絡主要包含卷積層、激活函數、池化層和全連接層。一張輸入圖像經過網絡由全連接層輸出一個一維向量，再使用 Softmax 函數歸一化后作為物體分類的得分。語義分割任務的卷積神經網絡利用分類網絡預訓練得到的權重參數，采用全卷積的網絡結構，直接對輸入的三通道彩色圖像和像素級的標注掩膜進行端到端的訓練。由于取消了全連接層，可以適應任意尺寸的輸入圖像，并輸出與之相同尺寸的分割結果。

卷積神經網絡某一層輸出的特征圖中像素的位置對應于其在原圖像中的位置稱為“感受野”。由于網絡結構中存在池化層或卷積層的下采樣操作，最后卷積層輸出的特征圖分辨率往往很低。如果減少下采樣操作來增加最后一個卷積層的特征圖分辨率，那么會使卷積核的感受野變小，并帶來更大的計算代價。而帶孔的卷積操作在不改變網絡權重參數數量的前提下，可以增大卷積核的感受野。圖 1(a)為卷積核尺寸為 3 的普通卷積操作。圖 1(b)是比率參數 r 為 2 的帶孔卷積操作，在與圖 1(a)相同的參數數量情況下，處理并輸出了更高分辨率的特征圖。

對于一個一維的信號輸入x[i] 和一個長度為k的卷積核 w[k]比率參數為 r 的條件下，帶孔卷積的輸出y[i] 定義如下：

其中，比率參數 r 表示對輸入信號的采樣步長， 普通卷積可視為比率參數 r＝1 的特例。本文使用的語義分割網絡在使用帶孔卷積的基礎上，進行全局平均池化操作。其意義首先在于將特征圖的所有信息合并到多個通道的單個點，形成一種全局的上下文先驗信息；然后，再將其縮放回原特征圖大小，與原特征圖連接形成雙倍通道數量的特征圖，經過若干卷積層輸出分割結果。由于特征圖綜合了這樣的全局上下文信息，分割結果可得到明顯改善[12]。圖 2 是本文使用語義分割模型的網絡結構。其中，“彩色圖像網絡”以 VGG-16[2]作為基礎模型，將 conv5 替換成 3 個比率參數為 2 的帶孔卷積層，conv6 為一個比率參數為 12 的帶孔卷積層，最后輸出通道數量為 256 的特征圖?！吧疃葓D像網絡”分支僅包含 3 個卷積核尺寸為 3 的普通卷積層，通道數分別為 64、128、256。兩個分支分別進行全局平均池化、縮放到原尺寸及合并連接操作，得到 512 個通道的特征圖。網絡中其他部分的作用在下面幾個小節中介紹。

2.2從彩色圖像預測深度圖像

目前使用稀疏的“相對深度”標注進行學習并預測出稠密的深度圖像主要有兩種方法，分別由 Zoran 等[20]和 Chen 等[19]提出。其中，Zoran 等[20]首先訓練一個在圖像的超像素中心之間預測深度次序的分類器，然后用能量最小化的方法恢復整體的深度，使這些次序關系達到一致，最后在超像素中進行插值來得到像素級別的深度圖像。Chen 等[19]直接使用全卷積神經網絡實現了彩色圖像到深度圖像的端到端訓練，并提出了一種使用相對深度標注來訓練網絡的方法。對于相對深度標注需要設計一個合適的損失函數，基于這樣的原則：真實深度次序為“相等”時，預測的深度值差距越小越好；否則差距越大越好。假設訓練集的圖像為 I，對其的K次查詢R={(i_k,j_k,r_k)},k-1,...,k。其中，i_k,j_k分別是第k次查詢中兩個點的位置。r_k{+1,-1,0}是對兩點深度次序關系的標注，預測的圖像深度為z，則i_k、j_k對應的深度值為a_ik、z_jk。定義如下損失函數：

其中，φ_k,(I,i_k,j_k,r,z)是第k次查詢的損失。

對于人類標注的相對深度點對，只需直接使用這個損失函數。對于深度傳感器獲取的深度圖像，隨機采樣若干個點對即可轉換為相同的形式。本文使用 Chen 等[19]的“相對深度”網絡模型從彩色圖像預測深度圖像。該模型使用一種“沙漏”形的網絡結構[21]，首先用深度傳感器采集深度圖像數據集進行預訓練，然后在相對深度點對數據集上精調，預測的深度圖像如圖 3(b) 所示。

相對深度的標注點對選擇在很大程度上會影響網絡訓練的結果。如果隨機在二維平面內選取兩個點，會造成嚴重的偏置問題[19]：假設一個算法簡單地認為底部的點比上方的點深度更近， 有 85.8% 的概率會與人類標注的結果相同。一個更好的采樣方法是從同一水平線上隨機選取兩個點，但這同樣會造成簡單認為中心的點深度更近的算法與人類標注結果有 71.4% 的概率相同。因此，一個合適的采樣策略是從一條水平線上隨機選取兩個與其水平線中心對稱的點，這樣左邊的點比右邊的點深度更近的概率為 50.03%。

2.3彩色與深度圖像特征的融合

獲得了估計的深度圖像后，如何將深度圖像與彩色圖像的特征融合也是一個重要問題。一種簡單的方法是將彩色圖像的 3 個通道與深度圖像的 1 個通道堆疊，形成 4 個通道的輸入。然而， 深度圖像對物體的幾何意義與彩色圖像代表的光學意義并不相同，Long 等[7]實驗也表明這種方式并不能對性能有明顯的改善。Gupta 等[22]提出了一種由深度信息導出的稱為 HHA 的表征，由水平視差、距地面高度和局部表面法線與重力方向夾角組成，取得了更好的結果。但這種表征過于復雜，且未包含比深度圖像本身更多的信息[23]。本文提出的融合方法是：首先，分別用兩

個網絡分支處理彩色圖像和深度圖像，得到 a 和 b 個通道的特征圖；然后，用類似 PSPNet[12] 中金字塔池化模塊的合并連接操作將兩個分支的特征圖合并成 a＋b 個通道的特征圖；最后， 經過若干卷積層輸出分割結果。與特征圖融合常用的相加操作相比，用合并連接操作可以使兩個分支網絡輸出的特征更加獨立，而非只為后續卷積層提供相同表征形式的特征圖。如圖 2 所示， 將彩色圖像和深度圖像分支輸出的兩個通道數為 512 的特征圖合并連接，得到 1 024 個通道的特征圖。

初步實驗發現，使用與最后卷積層輸出的相同尺寸的較低分辨率深度圖像和少量卷積層，可以取得比使用較高分辨率的深度圖像和更多卷積層與池化層更好的結果。一方面，由于深度圖像的預測網絡輸出的分辨率本身較低，高分辨率的深度圖像僅僅是通過縮放得到；另一方面，不使用池化層更有利于網絡輸入和輸出像素之間的位置對應。

3、實驗

3.1數據集

本文在 Pascal VOC 2012 數據集和 SUN RGB-D 數據集[24]上進行實驗。其中，Pascal VOC 2012 數據集的圖像包含 20 種類別的物體和一個背景類別，語義分割數據集被分成 3 個部分：訓練集(1 464 張圖像)、驗證集(1 449 張圖像)和測試集(1 456 張圖像)。其中，驗證集和測試集不包含訓練集的圖像。我們遵循慣例使用增加的包含 10 582 張訓練圖像的標注數據[25]，在1 449 張圖像上進行驗證。SUN RGB-D 數據集是一個適用于場景理解的數據集，包含 4 種不同傳感器獲取的彩色圖像與深度圖像，包括 NYU Depth v2[26]，Berkeley B3DO[27]和 SUN3D[28]等數據集，共有 10 335 張 RGB-D 圖像和其像素級的語義分割標注，其中包含 5 285 張訓練圖像和5 050 張測試圖像。

3.2數據集處理

本文對兩個數據集采取了適合自然圖像的常用數據增強方法：隨機縮放、鏡像和裁剪填充。其中，(1)隨機縮放：將圖像隨機縮放為原來的 0.5～1.5 倍；(2)鏡像：以 50% 的概率對圖像進行水平翻轉；(3)裁剪填充：以 500×500 的固定尺寸裁剪或填充圖像(若尺寸不足則填充灰色)。
網絡的輸入包括彩色圖像和深度圖像。由于Pascal VOC 2012 數據集不含深度傳感器采集的深度圖像，本文使用從彩色圖像預測得到的深度圖像作為輸入。對于 SUN RGB-D 數據集，本文對深度傳感器采集的深度圖像、彩色圖像預測得到的深度圖像均作為輸入進行了實驗。

3.3實驗過程及參數

本文使用如圖 2 所示的網絡結構，首先使用深度預測的網絡從彩色圖像預測出深度圖像，然后將彩色圖像和深度圖像分別輸入兩個卷積神經網絡分支。其中，彩色圖像的分支是以 VGG- 16 模型為基礎的包含帶孔卷積的網絡，權重由ImageNet[29]上預訓練的 VGG-16[2]的權重進行初始化，其他卷積層均為 Xavier 隨機初始化[30]。兩個網絡分支經過合并連接后，再通過兩個卷積層輸出分割結果。

網絡訓練的批尺寸(Batch Size)參數為 10， 輸入的彩色圖像大小為 500×500，深度圖像和用于對比的灰度圖像大小為 63×63。初始學習率為 0.000 1(最后一個層為 0.001)，按照多項式函數衰減，訓練迭代 20 000 次后停止。動量參數為0.9，權重衰減參數為 0.000 5。實驗均在 NVIDIA GeForce TITAN X GPU 上進行。分割性能以各個類別的像素交并比 IoU(Intersection-over-Union得分平均數作為評價指標。本文在兩個數據集上設計了 5 個實驗，將輸入圖像分為：

(1)VOC 數據集，彩色圖像和預測的深度圖像；

(2)VOC 數據集，彩色圖像和灰度圖像；

(3)SUN 數據集，彩色圖像和預測的深度圖像；

(4)SUN 數據集，彩色圖像和深度傳感器采集的深度圖像；

(5)SUN 數據集，彩色圖像和灰度圖像。

其中，灰度圖像由彩色圖像轉換而成，用于替代深度圖像輸入網絡作為對照。

4、實驗結果

4.1Pascal VOC 數據集實驗對比

為了對比有無深度圖像信息的效果，我們比較了實驗(1)、(2)中不同類別的分割性能，結果如表 1 所示。由表 1 可以看出，對于大多數類別，融合預測的深度圖像特征都能對分割性能有效提升，只有顏色特征明顯、圖像中尺寸較小的盆栽植物(plant)類別下降了 0.1%。原因是深度預測模型的輸出分辨率較低，對于圖像中尺寸小的物體深度預測結果較差。其中，結構特征明顯且圖像中尺寸較大的物體提升明顯，如飛機(aero)、船(boat)和沙發(sofa)等，與深度圖像本身物理意義的作用相符，證實了該方法的有效性。Pascal VOC 數據集上的分割結果如圖 3 所示。由圖 3 可以觀察到， 即使對于室外的場景，深度圖像仍能捕獲到清晰的物體輪廓。在包含深度圖像輸入的情況下，由于深度圖像較為清晰的邊緣，物體邊界處的分割也達到了更好的效果。

4.2SUN RGB-D 數據集實驗對比

表 2 比較了在 SUN RGB-D 數據集上預測的深度圖像、使用傳感器采集的深度圖像和無深度信息 3 種情況下，即實驗(3)、(4)、(5)的分割結果。由圖 3 可以看出，使用深度圖像的分割結果較好，而且使用預測的深度圖像結果稍好于使用傳感器深度圖像的結果。這說明對于語義分割任務，預測的深度圖像能夠起到替代傳感器采集的深度圖像的作用。

SUN RGB-D 數據集上的分割結果如圖 4 所示。由圖 4 可以看到，第一行深度圖像能清晰地分辨出椅腳，表明使用深度圖像的實驗對椅腳部分的分割效果較好。第二、三行的傳感器深度圖像存在一些像素值缺失的區域和噪聲，而預測的深度圖像雖然深度測量值不夠精確，但保持了比較完整的物體形態。這是預測的深度圖像能夠取得稍好的分割結果的一個原因。

5、討 論

圖像中物體的語義和深度具有密切的聯系， 獲取并利用深度圖像可以對語義分割任務起到很大的輔助作用。但非受限環境下深度圖像的獲取是一個挑戰。深度傳感器獲取的深度圖像數據集局限于室內環境和固定場景(如公路等)，而且目前在語義分割任務中對深度信息的利用方法仍存在很多缺陷[22,23]。本文使用卷積神經網絡從彩色圖像中預測出深度圖像，以帶孔卷積的語義分割網絡為基礎設計了一個多分支網絡，用特征圖合并連接的方式融合彩色圖像和深度圖像的特征進行語義分割。帶孔的卷積在不增加網絡參數數量的前提下增大了卷積核的感受野，使其包含更多的圖像上下文信息，從而改善分割性能[8]。

在其他條件相同的情況下，本文提出的含有深度圖像信息與合并連接操作的網絡和不含深度圖像信息(以灰度圖像作為替代)的網絡相比，在 Pascal VOC 數據集上的均交并比(mIoU)提升了 1.1%。在 SUN RGB-D 數據集上的分割結果表明，使用預測的深度圖像訓練的網絡與使用傳感器獲取的深度圖像的網絡性能接近，且都好于不含深度圖像的網絡。這說明預測的深度圖像可以代替傳感器采集的深度圖像改善語義分割的結果。但當前方案所使用的相對深度點對數據集標注數量較少，網絡模型也有很大的改進空間[19]。在卷積神經網絡中利用深度圖像仍然是一個非常值得研究的問題。

6、結 論

本文提出一種多分支網絡和特征圖連接的方法融合深度圖像特征，使用彩色圖像預測的深度圖像解決非受限場景下深度圖像獲取困難的問題。利用金字塔池化模塊中使用的合并連接操作連接彩色圖像和深度圖像的特征圖，使兩種類型的特征互為補充且保持獨立的表征。在兩個數據集上的分割結果表明，該方法能夠利用深度圖像細化物體的邊緣，提升語義分割的性能。目前， 仍然沒有很好的方法在卷積神經網絡中充分利用深度圖像，下一步將嘗試對語義分割模型的損失函數和網絡結構進行改進。

參 考 文 獻

[1]Krizhevsky A, Sutskever I, Hinton GE. Imagenet classification with deep convolutional neural networks [C] // Proceedings of the 25th International Conference on Neural Information Processing Systems, 2012: 1097-1105.

[2]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J]. Computer Science, 2014, arXiv:1409.1556.
[3]He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition [C] // IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.
[4]Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [J]. Computer Science, 2013: 580-587.
[5]Girshick R. Fast R-CNN [J]. Computer Science, 2015, arXiv:1504.08083.
[6]Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(6): 1137-1149.
[7]Long J, Shelhamer E, Darrell T. Fully convolutionalnetworks for semantic segmentation [C] // IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431-3440.

[8]Chen LC, Papandreou G, Kokkinos I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 40(4): 834-848.

[9]Zheng S, Jayasumana S, Romera-Paredes B, et al. Conditional random fields as recurrent neural networks [J]. Computer Science, 2015, doi: 10.1109/ICCV.2015.179.
[10]Holschneider M, Kronland-Martinet R, Morlet J, et al. A real-time algorithm for signal analysis with the help of the wavelet transform [M] // Wavelets. Springer Berlin Heidelberg, 1990: 286-297.
[11]Kr?henbühl P, Koltun V. Efficient inference in fully connected CRFs with gaussian edge potentials [J]. Computer Science, 2012: 109-117.
[12]Zhao HS, Shi JP, Qi XJ, et al. Pyramid scene parsing network [C] // IEEE Conference on Computer Vision and Pattern Recognition, 2017: 6230-6239.
[13]Everingham M, Gool LV, Williams CKI, et al. The pascal visual object classes (VOC) challenge [J]. International Journal of Computer Vision, 2010, 88(2): 303-338.
[14]Karsch K, Liu C, Kang SB. Depth transfer: depth extraction from videos using nonparametric sampling [M] // Dense Image Correspondences for Computer Vision. Springer International Publishing, 2016: 775-788.
[15]Saxena A, Sun M, Ng AY. Make3D: learning 3D scene structure from a single still image [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(5): 824-840.
[16]Eigen D, Fergus R. Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture [C] // IEEE International Conference on Computer Vision, 2015: 2650-2658.
[17]Li B, Shen CH, Dai YC, et al. Depth and surface normal estimation from monocular images using regression on deep features and hierarchical CRFs
[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2015: 1119-1127.
[18]Todd JT, Norman JF. The visual perception of 3-D shape from multiple cues: are observers capableof perceiving metric structure? [J]. Perception & Psychophysics, 2003, 65(1): 31-47.

[19]Chen WF, Fu Z, Yang DW, et al. Single-image depth perception in the wild [C] // Advances in Neural Information Processing Systems, 2016: 730-738.
[20]Zoran D, Isola P, Krishnan D, et al. Learning ordinal relationships for mid-level vision [C] // IEEE International Conference on Computer Vision (ICCV), 2015: 388-396.
[21]Newell A, Yang K, Deng J. Stacked hourglass networks for human pose estimation [M] // Stacked Hourglass Network for Human Pose Estimation. Springer International Publishing, 2016: 483-499.
[22]Gupta S, Girshick R, Arbeláez P, et al. Learning rich features from RGB-D images for object detection and segmentation [C] // European Conference on Computer Vision, 2014: 345-360.
[23]Hazirbas C, Ma L, Domokos C, et al. Fusenet: incorporating depth into semantic segmentation via fusion-based cnn architecture [C] // Asian Conference on Computer Vision, 2016: 213-228.
[24]Song SR, Lichtenberg SP, Xiao JX. SUN RGB-D: a RGB-D scene understanding benchmark suite [C] // IEEE Conference on Computer Vision and Pattern Recognition, 2015.
[25]Hariharan B, Arbeláez P, Bourdev L, et al. Semantic contours from inverse detectors [C] // IEEE International Conference on Computer Vision (ICCV), 2011: 991-998.
[26]Silberman N, Hoiem D, Kohli P, et al. Indoor segmentation and support inference from rgbd images [C] // European Conference on Computer Vision, 2012: 746-760.
[27]Janoch A, Karayev S, Jia Y, et al. A category- level 3D object dataset: putting the kinect to work
[C]// IEEE International Conference on Computer Vision, 2011: 1168-1174.
[28]Xiao JX, Owens A, Torralba A. SUN3D: a database of big spaces reconstructed using SfM and object labels [C] // IEEE International Conference on Computer Vision, 2013: 1625-1632.
[29]Russakovsky O, Deng J, Su H, et al. Imagenet large scale visual recognition challenge [J]. International Journal of Computer Vision, 2015, 115(3): 211-252.
[30]Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks [J] Journal of Machine Learning Research, 2010, 9: 249-256.