基于PyTorch的圖像修復技術研究

來源:用戶上傳      作者:賀丹

　　摘要：圖像修復技術是利用計算機技術將圖像中的多余部分去除或者填補圖像中的缺失部分，該技術廣泛應用于醫學圖像處理、文物修復、人臉識別等領域。早期的圖像修復技術在小區域缺失圖像處理中取得了良好的效果，但面對大區域缺失圖像，修復效果往往不夠理想。隨著深度學習、人工智能技術的發展，深度學習技術為圖像修復提供了新的解決方案。文中重點介紹了基于深度學習的圖像修復模型，以PyTorch深度學習框架為基礎，以PASCAL VOC2012數據集為實驗對象。實驗表明，基于深度學習的圖像修復模型在圖像修復問題上取得了良好效果。
　　關鍵詞： PyTorch; 圖像修復; 深度學習; 人工智能; 神經網絡
　　中圖分類號：TP311 文獻標識碼：A
　　文章編號：1009-3044（2022）09-0075-03
　　1 引 言
　　隨著多媒體技術和信息技術的發展，圖像作為最重要的信息載體之一，在醫學圖像處理、遙感影像處理、人臉識別等領域發揮著越來越重要的作用。與此同時，人們對圖像質量提出了更高的要求，在圖像內容和圖像完整度上都有較高的要求，從而促使如何提高圖像質量問題成為當前計算機視覺領域重點研究問題之一。圖像修復[1]的概念最早由Bertalmio等人于2000年提出，圖像修復就是利用圖像處理算法將原始圖像中多余的部分去除，得到修復后的圖像，或者是在原始圖像中的缺損區域填充合理信息，讓圖像信息更完整的過程[2-5]。但在圖像修復過程中往往面臨著如下問題：首先，原始圖像中能利用的有價值信息十分有限，不能單純地利用已有信息填a缺損區域;其次，圖像修復算法的性能直接決定了修復后圖像在視覺上的真實合理性，尤其是涉及人臉圖像的修復，細微的差距就將影響圖像整體的視覺效果;最后，原始圖像中缺失區域的大小、形狀、位置等都將影響圖像修復的難度。因此，圖像修復是計算機視覺和圖像處理領域一個經典且具有挑戰性的研究課題。
　　2 圖像修復技術
　　2.1 圖像修復問題描述
　　圖像修復問題主要包括兩種類型：第一種是去除原始圖像中多余的部分，讓圖像中的核心內容更清晰，這種類型主要應用在圖像遮擋物去除、無關物去除等場景，如圖1所示。第二種是填充原始圖像中的缺失部分，讓圖像更完整，這種類型主要應用在圖像缺失填補的場景，如圖2所示。
　　2.2 圖像修復技術國內外研究現狀
　　根據研究內容的側重點不同，可以將傳統的圖像修復技術分成兩類：基于結構的圖像修復技術、基于紋理的圖像修復技術。其中基于結構的圖像修復技術以基于偏微分方程的修復算法[1，6]為代表，這種算法主要面向小尺寸的圖像缺失問題，以單個像素作為圖像修復的基本單元，利用像素擴散的方式完成缺失圖像的填充，但這種方式的魯棒性較差，容易造成圖像模糊?；诩y理的圖像修復技術以基于樣本塊紋理合成算法[7-8]為代表，這種算法是從原始圖像的已知區域中尋找目標塊，并將目標塊的信息復制到缺失區域中，達到圖像修復的目的。在處理場景圖像的修復問題上，雖然基于結構的圖像修復技術和基于紋理的圖像修復技術取得了良好的修復效果，但是這兩種算法只能對簡單的、紋理特征明顯的圖像進行修復，在實際應用中具有較大的局限性。
　　近年來，人工智能技術取得飛速發展，深度學習算法日新月異，深度學習算法在計算機視覺、圖像處理等領域的應用越來越廣泛的同時，也取得了巨大的研究進展和良好的研究成果?；谏疃葘W習的圖像修復技術在生產實踐中廣泛應用的同時，也得到越來越多學者的關注，并提出了基于深度學習的圖像修復模型，深度學習的修復方法通過從大規模的數據集中學習圖像中的語義信息，大幅度提升圖像修復效果?？v觀國內外現有研究成果，基于深度學習的圖像修復模型可以總結為下述三種[9]：基于自編碼的圖像修復方法[10]、基于生成模型的圖像修復方法[11]和基于網絡結構的圖像修復方法[12]。
　　基于自編碼的圖像修復方法主要用到了自編碼器結構（Autoencoder， AE），自編碼器由編碼器和解碼器兩部分組成，其結構如圖3所示。從圖3中可知編碼器由卷積神經網絡構成，從而實現對原始圖像的降維編碼操作，解碼器由反卷積神經網絡組成，利用編碼階段提取的原始圖像特征實現圖像的解碼重構。在編碼階段，利用編碼器將原始圖像壓縮并映射到特征空間，隨著卷積層級的不斷加深，通道數逐漸增加，特征圖尺寸逐漸減小。在解碼階段，通過從多個通道的深層特征實現圖像重構，隨著通道數逐漸減小，圖像尺寸逐漸增大，直至恢復至原始圖像的尺寸。
　　基于生成模型的圖像修復方法主要用到了生成對抗網絡（Generative Adversarial Networks， GAN），GAN網絡中包括了兩套獨立的網絡，分別是生成器網絡G網絡、判別器網絡D網絡，這兩套網絡用來作為相互對抗的目標。生成器網絡用來生成類似于真實樣本的隨機樣本，并作為假樣本數據，判別器網絡是需要訓練的網絡，用來分辨是真實數據還是假樣本數據。當生成器網絡生成的圖像內容不合理，或者圖像內容與真實圖像不符時，判別器網絡會將圖像判別為假，從而計算出生成圖像與真實圖像之間的差距，并將差距作為反饋傳回生成器網絡，指導生成網絡不斷提高生成圖像的質量，直到判別器網絡無法分辨生成圖像的真假為止。
　　基于網絡結構的圖像修復方法是以一個未被訓練的生成網絡為基礎，對該生成網絡進行隨機初始化處理，一方面利用初始化的網絡擬合待修復圖像，另一方面對單張缺失圖像的已知部分進行訓練，以生成網絡結構作為先驗信息，執行迭代操作反向推導出圖像缺失區域的圖像內容，迭代操作需要根據推導出缺失區域的圖像內容來確定。基于網絡結構的圖像修復方法較好地利用了深度生成網絡的捕獲大量低級圖像統計信息的能力，在學習之前就能從深度生成網絡的結構中捕獲，從而避免從大量數據集中獲取統計信息。這種方式在難以獲得大量的圖像訓練集時十分有效，但是圖像修復的計算量較大，迭代次數較多，影響算法執行效率。

nlc202205171924

轉載注明來源:http://www.hailuomaifang.com/8/view-15431574.htm