基于改進U-Net的細胞核分割方法
來源:用戶上傳
作者:孔德鳳 賈偉
摘要：細胞核的形狀、紋理和空間分布等信息能夠為各類疾病診斷提供重要的參考信息，對細胞核的準確分割是疾病診斷中的關鍵步驟。針對細胞核形狀多樣、邊界模糊和重疊等問題，提出一種基于改進U-Net的細胞核分割方法。首先，利用并聯空洞卷積模塊和串聯空洞卷積模塊改進Inception-ResNet的性能，擴大U-Net卷積核的感受野；其次，提出一種采用全局最大池化和全局平均池化的殘差注意力機制，同時獲得局部特征和全局特征。實驗結果表明，與現有細胞核分割方法相比，所提出的細胞核分割方法能夠對細胞核進行準確分割。
關鍵詞：Inception-ResNet;殘差注意力; U-net; 細胞核分割
中圖分類號：TP391 文獻標識碼：A
文章編號：1009-3044（2022）30-0004-03
開放科學（資源服務）標識碼（OSID）：
1 概述
病理圖像中的細胞核包含著大量的重要信息，準確獲取細胞核的大小、形狀、紋理和空間分布等信息能夠為多種疾病提供重要的參考指標[1]。因此，對細胞核的準確分割對于各種疾病的準確診斷和預后判斷具有重要意義[2]。大量的研究表明[3]，由于U-Net[4]的網絡結構能夠有效利用病理圖像中的低分辨率信息和高分辨率信息，在訓練樣本較少的情況下獲得較好的分割效果，使得基于U-Net的分割方法成為近年來細胞核分割的研究熱點，例如，IBTEHAZ等[5]提出一種可用于細胞核分割的多殘差塊U-Net （Multi-Residual U-Net，MU-Net） 的分割方法，方法在U-Net中使用殘差塊，用于融合多尺度病理圖像特征，并增強編碼器和解碼器之間的聯系。ZHOU等[6]提出利用U-Net++分割細胞核，通過增強病理圖像的特征融合，提高分割準確性。Li等[7]提出雙U-Net （Dual U-Net，DU-Net），并將該結構應用到細胞核分割中，用于提高重疊細胞核的分割效果。
由于病理切片制作技術的差異和細胞分布不均勻的影響，病理圖像中經常出現細胞核邊界模糊和細胞核重疊的情況。此外，病理圖像中的細胞核存在圓形和梭形等多種形狀，這些因素導致現有的U-Net及其改進方法無法獲取理想的分割結果。為解決上述問題，本文提出一種基于改進U-Net的細胞核分割方法（Improved U-Net，IU-Net），該方法在U-Net中引入Inception-ResNet結構[8]和注意力機制[9]，并利用空洞卷積[10]增強Inception-ResNet特征融合程度，獲取更多的細胞核特征信息。將殘差塊引入注意力機制的同時，使用最大池化和平均池化獲取更多的深層特征和淺層特征信息，進一步提高細胞核分割的效果。
2 基于IU-Net的細胞核分割
2.1基于IU-Net的分割方法
用于細胞核分割的IRAU的結構如圖1所示， 將改進的Inception-ResNet（Improved Inception-ResNet，IIRN）模塊分別應用到U-Net的編碼器、瓶頸層和解碼器中，并將基于雙池化的殘差注意力 （Residual Attention based on Double Pooling，RABD）模塊嵌入U-Net的跳連接中。此外，為了更有效地提取細胞核特征和減少計算量，在瓶頸層中，先使用1×1卷積核進行降維，再使用1×1卷積核進行升維，并把降維前和升維后的特征信息進行融合，把融合結果作為瓶頸層的輸出。
2.2 IIRN模塊
為擴大U-Net的卷積層感受野和獲取更精細的細胞核圖像特征，對Inception-ResNet進行改進，使用并聯空洞卷積模塊和串聯空洞卷積模塊分別代替Inception-ResNet-A模塊的兩個分支中的3×3卷積，在每次卷積計算之后使用激活函數Leaky ReLU防止梯度消失并獲得更好的泛化能力，并利用批歸一化（Batch Normalization，BN）進行歸一化處理，提高訓練速度和精度。如圖2所示，并聯空洞卷積包括4個3×3卷積核，這4個卷積核的空洞率分別設置為1、2、4和8，并聯方式在提取到不同尺度的細胞核特征后，再進行特征融合，有利于獲得與細胞核相關的更準確的全局特征信息和局部特征信息。串聯空洞卷積包括4個3×3卷積核，這4個卷積核的空洞率分別設置為1、2、4和8，按照空洞率由小到大的順序排列，前一層提取的特征信息作為后一層的輸入，逐步提高感受野范圍，通過串聯空洞卷積具有多層不同尺度的感受野，可以獲得更多與細胞核大小和形狀相關的特征信息。
2.3 RABD模塊
為提高注意力機制的性能，獲得更準確地融合細胞核的淺層特征和深層特征信息，提出使用RABD將注意力機制與殘差網絡相結合，并在殘差注意力機制中同時使用全局最大池化（Global Max Pooling，GMP）和全局平均池化（Global Average Pooling，GAP）對細胞核特征進行壓縮，在使用全局最大池化獲取重要的局部特征信息的同時，使用全局平均池化獲取全局特征信息。
RABD的結構如圖3所示，GMP和GAP分別對應1個分支，每個分支都將U-Net在下采樣過程中獲取的病理圖像信息分別作為輸入，在得到2個分支的池化結果后，首先都要經過1個全連接（Fully Connected，FC）層，在通過BN和激活函數Leaky ReLU之后，再經過1個FC層和激活函數Sigmoid，隨后對2個分支的結果進行加運算，通過加運算能夠在強調深層特征的同時，也強調淺層特征。最后將U-Net在下采樣過程中獲取的病理圖像信息與加運算的結果進行乘運算，使注意力權重疊加到由編碼器輸出的病理圖像信息上。
3 實驗分析
3.1實驗數據與評價指標
nlc202212091107
選用公共數據集Data Science Bowl 2018（https：//www.kaggle.com/c/data-science-bowl-2018/overview）對本文提出方法的有效性和準確性進行驗證。為避免過度擬合，提高泛化能力，對圖像進行預處理，通過剪裁將所有病理圖像調整為256×256×3，并利用數據增強技術對數據集中的數據進行擴充。
實驗中使用像素準確率（Pixel Accuracy，PA）、平均交并比（Mean Intersection over Union，MIoU） 、F1-Score和Dice相似系數（Dice similarity coefficient，DSC）對分割細胞核的效果進行評估。PA和MIoU的計算公式分別為：
[PA=e=0vpeee=0vj=0vpej] （1）
[MIoU=1v+1e=0vpeej=0vpej+j=0vpje-pee] （2）
其中，[pee]是真實像素類別為[e]的像素被預測為類別[e]的總數量，[pej]是真實像素類別為[e]的像素被預測為類別[j]的總數量，[v]是類別總數。
F1-Score的計算公式為：
[F1=2TP2TP+FP+FN] （3）
其中，[TP]是真性數量，[FP]是假陽性數量，[FN]是假陰性數量。
DSC的計算公式為：
[DSC=2A?BA+B] （4）
其中，[A]是使用分割方法得到的分割結果，[B]是真實分割結果，[A?B]是兩種分割結果的交集部分。
3.2結果與分析
將IU-Net與現有的細胞核分割方法MU-Net[5]、U-Net++[6]和DU-Net[7]進行比較。圖4是細胞核分割結果的比較，第一列是病理圖像原圖，第二列是細胞核分割的真實標簽，從第三列到第七列分別是細胞核分割方法MU-Net、U-Net++、DU-Net和IU-Net的細胞核分割結果。從圖4中可以看出，在細胞核較大且細胞核不重疊的情況下，MU-Net具有較好的分割效果，但是當細胞核較小且出現重疊情況時，MU-Net無法進行準確分割。U-Net++對細胞核邊界模糊的細胞核分割效果較好，但是無法在較小細胞核重疊時進行準確分割。DU-Net對大部分重疊細胞核的分割效果較好，但是對梭形細胞核和部分較小重疊細胞核的分割效果不夠好。IU-Net能夠對各種形狀和各種情況下的細胞核進行有效分割，其對細胞核分割的效果優于現有的細胞核分割方法。
為客觀評價分割結果，各細胞核分割方法分別獨立執行25次，在所有擴充后的數據中，每次隨機選取80%的數據作為訓練集，剩下20%的數據作為測試集，獲得的四項評價指標PA、MIoU、F1-Score和DCS的平均值如表1所示。
從表1的比較結果可以看出，IU-Net在四項評價指標PA、MIoU、F1-Score和DCS中的值都高于現有細胞核分割方法，說明IRAU在細胞核分割的整體表現優于現有細胞核分割方法，能夠準確分割細胞核。這是因為IU-Net中的IIRN 利用空洞卷積擴大了感受野，能夠提取更多的細胞核的淺層和深層特征信息，通過RABD將淺層特征信息與深層信息有效地融合在一起，更好地描述細胞核特征。
4 結論
本文提出的細胞核分割方法IU-Net，其通過改進Inception-ResNet，擴大U-Net的卷積層感受野，在提出的RABD中，將注意力機制與殘差網絡相結合，并采用GMP和GAP對細胞核特征進行壓縮，從而更有效地利用細胞核的淺層特征和深層特征，使得IU-Net能夠提高分割細胞核的有效性和準確性。
參考文獻：
[1] Nir G，Hor S，Karimi D，et al.Automatic grading of prostate cancer in digitized histopathology images：learning from multiple experts[J].Medical Image Analysis，2018，50：167-180.
[2] Veta M，Pluim J P W，van Diest P J，et al.Breast cancer histopathology image analysis：a review[J].IEEE Transactions on Biomedical Engineering，2014，61（5）：1400-1411.
[3] Liu L L，Cheng J H，Quan Q，et al.A survey on U-shaped networks in medical image segmentations[J].Neurocomputing，2020，409：244-258.
[4] Ronneberger O，Fischer P，Brox T.U-net：convolutional networks for biomedical image segmentation[M]//Lecture Notes in Computer Science.Cham：Springer International Publishing，2015：234-241.
nlc202212091107
[5] Ibtehaz N，Rahman M S.MultiResUNet：Rethinking the U-Net architecture for multimodal biomedical image segmentation[J].Neural Networks，2020，121：74-87.
[6] Zhou Z，Siddiquee M M R，Tajbakhsh N，et al.UNet++：redesigning skip connections to exploit multiscale features in image segmentation[J].IEEE Transactions on Medical Imaging，2020，39（6）：1856-1867.
[7] Li X L，Wang Y Y，Tang Q S，et al.Dual U-net for the segmentation of overlapping glioma nuclei[J].IEEE Access，2019（7）：84040-84052.
[8] Szegedy C，Ioffe S，Vanhoucke V，et al.Inception-v4，inception-ResNet and the impact of residual connections on learning[C]//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence.New York：ACM，2017：4278-4284.
[9] Chen L C，Yang Y，Wang J，et al.Attention to scale：scale-aware semantic image segmentation[C]∥Proceedings of the IEEE conference on computer vision and pattern recognition， Las Vegas， USA， 2016：3640-3649.
[10] Chen L C，Papandreou G，Kokkinos I，et al.DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.
【通編輯：唐一東】
nlc202212091107
轉載注明來源:http://www.hailuomaifang.com/8/view-15443067.htm
