作者：王娜1，王毅1，俞俊雄1，王慧芳2，雷柏英1，汪天富1，倪東*

1（深圳大學醫學部）

2（深圳市第二人民醫院超聲科）

摘要：在女性盆底功能障礙性疾病診斷中，準確分割肛提肌裂孔，具有至關重要的臨床意義。傳統方法依賴醫生經驗手動分割，耗神耗力，而且可靠性往往不高。因此，應臨床盆底超聲診斷需求，本文提出一種肛提肌裂孔智能識別方法。首先，使用自動上下文全卷積神經網絡，融合肛提肌裂孔圖像與全卷積神經網絡得到的概率圖，提高預測分割結果的局部空間一致性并改善分割細節，并結合活動輪廓模型，進一步完善分割結果。實驗結果說明本文所提出的方法較現有方法能夠提供更精確的分割結果。

前言

醫學影像分割決定著醫學影像在臨床診療中能否提供可靠依據的關鍵問題，近年來利用深度學習算法處理醫學影像分割問題，是人工智能的重要應用，醫學影像分割技術也取得了顯著進展。目前多使用卷積神經網絡(CNN)、全卷積網絡(FCN)、循環神經網絡(RNN)等網絡結構解決醫學影像分割問題。

女性盆底功能障礙性疾病(femalepelvicfloordysfunction,FPFD)包括盆腔器官脫垂，壓力性尿失禁、糞失禁等一系列綜合征，FPFD的致病因素有很多，主要原因是由妊娠及分娩引起的肛提肌損傷。盆底超聲因具有實時成像、費用低、無輻射等優點，是盆底疾病主要的影像檢查手段[1]。臨床診斷中，醫生通常利用軌跡球手動描記肛提肌輪廓；而這往往受醫生主觀經驗影響，且測量步驟繁瑣、耗時長、誤差大。但是實現肛提肌裂孔（levatorhiatus，LH）自動分割時會面臨以下幾點挑戰：①圖像中聲影、散斑等噪聲干擾大；②成像條件不同，圖像呈現不同的強度分布；③肛提肌單側或雙側損傷，影響其識別，如圖1所示。為解決這些問題，本文首次提出基于深度學習的LH自動分割方法。

LH邊緣分割是其生物參數測量的首要條件。Sindhwani[2]提出基于水平集的半自動肛提肌輪廓描繪工具，需要手動標記恥骨聯合后下緣點和恥骨直腸肌底部前緣點。隨著深度學習的蓬勃發展，其在醫學超聲圖像處理領域相比傳統方法能夠得到更好的性能表現。卷積神經網絡[3]在前景分類有良好應用，但它以圖像塊分類方式完成圖像分割，會造成分割不精細。而全卷積神經網絡[4]通過融合多視覺尺度信息，能夠實現像素級的分割。但當前流行的自然圖像網絡往往超出了醫學圖像領域所需的模型復雜性，所以應LH超聲圖像分割要求，提出一種自動上下文全卷積神經網絡(Auto-ContextFullyConvolutionalNetworks，AC-FCN)，通過融合LH超聲圖像與FCN得到的概率圖的方式，提高預測圖的局部空間一致性并改善分割細節[6]；針對分割結果中局部缺失問題，采用活動輪廓模型(ActiveShapeModel，ASM)[7]，通過形狀約束方式提升LH分割效果。

綜上所述，本文提出的基于深度學習的肛提肌裂孔智能識別方法，具有以下幾個創新點：①相比傳統的FCN網絡，AC-FCN對LH的分割任務有更好的性能表現，能夠更加準確快速地識別LH；②AC-FCN融合了不同尺寸不同層次的特征，成功解決傳統FCN分割結果細節粗糙的問題；③基于前兩步的分割結果以及LH形狀特點，利用ASM進行形狀約束，再次提高LH的分割效果；④將當前研究領域較流行的深度學習方法與傳統方法結合，借助深度學習網絡提取圖像中深層次的豐富的特征信息，獲得初步分割結果，在此基礎上，有機結合傳統方法不斷優化實驗結果，構建出性能更好的研究框架。

圖1盆底超聲圖像（左）及其分割結果（右），紅色輪廓表示手動描繪的LH邊界，黃色和綠色箭頭分別表示由超聲特點和肛提肌損傷引起的邊界缺失

方法

本文提出的基于深度學習的LH智能識別方法，研究框架如圖2所示，主要包括以下三點：首先，將預處理得到LH超聲圖像和對應的標簽輸入到第0級分類器(Level0—AC-FCN)，以遷移學習方式提取多尺度視覺特征，獲得肛提肌裂孔預測圖；之后將AC-FCN嵌入到自動上下文模型中，把第0級獲取的概率圖與LH超聲圖像進行多通道融合后輸入到第1級分類器(Level1—AC-FCN)，得到新的預測圖，與LH圖像融合后輸入第2級分類器，以此類推，不斷迭代直到獲得較好的分割結果；最后，利用ASM引入曲線形狀、圖像中的位置、邊界處的連續性等約束條件，對最后一次自動上下文模型得到的預測概率圖進行形狀優化，輸出最終的分割結果。

圖2本文提出的框架圖

2.1調整后的全卷積網絡

Long等[4]提出全卷積神經網絡(FCN)，以端到端、點到點的方式對任意尺寸的輸入圖像完成像素級分割。最有效的FCN模型是FCN-8s，本文以FCN-8s為基礎提出LH超聲圖像目標與背景區域分類器AC-FCN，主要進行如下調整：①刪除FCN8s中最后兩層卷積層降低模型復雜度，避免過擬合，縮短了訓練時間；②添加融合層，將第五池化層和第四池化層得到的特征圖融合，強化特征學習，將第一個卷積層的填充參數設為1。首先，神經網絡卷積層輸入輸出特征圖尺寸計算公式如下：

   (1)

其中，F_i為輸入特征圖的空間尺寸，F₀為輸出特征圖尺寸，K即為核函數尺寸，S為步幅，P是填充參數，通常用零擴充圖像的邊緣。在AC-FCN中，刪掉FCN-8s最后兩層卷積后，當卷積層中核函數K=3、步幅S=1時，P=1，F₀始終等于F_i，不存在邊緣丟失的問題，所以前后層信息融合時就無需使用裁剪層裁剪特征圖。

2.2自動上下文模型細化分割結果

AC-FCN雖然能更高效輸出目標區域的預測概率圖，但仍存在兩大問題：①對圖像中的細節不敏感，所得結果不夠精細；②FCN對各個像素分類時，沒有充分考慮像素之間的關系，忽略了基于像素分類中通常使用的空間規整步驟，缺乏空間一致性。為了解決上述問題，使用自動上下文模型對AC-FCN結果進行優化[8]。

自動上下文模型核心思想是第k級分類器同時利用灰度圖像的外觀特征和第k-1級分類器獲取的預測概率圖的上下文特征，第k-1級的分類器包含感興趣目標的基本形狀、前景、背景的輪廓分割等有價值的信息，通過上下文特征與灰度特征的聯合，得到比k-1級分類器更有效的特征描述，實現預測圖的概率精細化。

(2)

其中，h^k是第k級分類器的模型映射函數，x、y^k-1分別是肛提肌圖像和第k-1級分類器輸出的概率圖，J(.)是將

x、y^k-1結合的并行級聯間操作。本文將一張肛提肌圖像和k-1分類器獲取的概率圖聯合成三通道圖像，作為k級分類器的輸入，對AC-FCN預測圖實現輪廓細化和空間一致性優化。

2.3活動輪廓模型優化

雖然本文中級聯的多尺度AC-FCN對邊界缺失情況仍有強大的恢復能力，但目前還沒有理論保證能夠以絕對相近的形式恢復所有缺失的邊界，所以，在最后一層上下文后，我們應用一個輔助ASM模型[9]在預測概率圖上生成最終的分割結果。采用交叉驗證的方式，將372張LH分成12個子集，取11個子集作為訓練集，1個子集作為驗證集，每張圖上有12個主特征點和位于主特征點之間的60個次特征點，將樣本數據及特征點輸入ASM中統計LH形狀分布信息，構建完成形狀模型。因為模糊和大跨度的閉塞邊界已經被AC-FCN級聯識別，只有少量缺口有待ASM補全和完善。實驗結果表明，ASM能有效實現對LH的形狀約束，完善分割結果，為LH參數的精準測量提供有力支持。

實驗結果

為更全面準確地評估分割結果，參考文獻[10-12]，本文采用區域和形狀相似度兩類評價指標，即Dice、Jaccard、ConformityCoefficient(Cc)、AverageDistanceofBoundaries(Adb)四種指標來評估LH分割結果。其中，前兩種是基于區域的評價指標，后兩種是基于距離的評價指標。設G為醫生標記的目標區域，S為算法分割結果，評價指標計算公式如下：

其中，s(.)表示面積計算符，d_min(P_G,S)表示G上的點P_G到S上最近點的距離，同樣地，表示S上的點P_S到

上最近點的距離，σ _G代表輪廓上點的個數。

依據上述指標對本文的研究框架AC-FCN以及分割領域較流行的深度學習網絡在測試數據上進行分割性能的評估與比較，如表1所示。由評估結果可得，AC-FCN模型作為本文框架的核心算法，其性能相比其他網絡在所有指標上都更勝一籌。Level0-AC-FCN已經優于其他模型，嵌入上下文模型后，分割效果逐步提升，同時為了避免可能的過擬合問題，使用Level2-AC-FCN就可以得到令人滿意的結果，通過ASM約束LH形狀繼續優化分割結果。

圖3顯示了通過不同分割方法獲的結果，以及通過Level2-AC-FCN獲得精確預測圖。因為CNN和U-net分割性能較差，僅展示了SegNet，FCN-8s，Level2-AC-FCN,Level2-AC-FCN-ASM預測分割結果以及實際LH邊界。如圖3所示，Level2-AC-FCN-ASM分割結果與實際LH邊界最接近。

表1不同分割方法比較

圖3不同方法的定性分割比較，第一行：由Level2-AC-FCN獲得的精確預測圖。第二行：SegNet（黃色），FCN-8（青色），Level2-AC-FCN（藍色），Level2-AC-FCN-ASM（綠色）的預測分割結果和實際LH（紅色）的邊界

實驗結論

本文提出了一種以AC-FCN為核心的LH智能識別的研究框架，并取得了較好的結果。首先，通過調整FCN-8s獲得一個很好的基礎模型，提升分割精度的同時降低了模型復雜度、提高訓練效率、減少內存占用；將調整后FCN嵌入到一個自動上下文模型中，通過級聯LH超聲圖像與預測概率圖的信息增強邊界細節，使得分類器性能有顯著提升；將自動上下文模型得到的概率圖，輸入到ASM完成形狀約束，很好地解決了LH邊緣缺失的問題，且分割框架亦適用于其他超聲圖像的任務。