基于機器視覺的蘋果園果實識別研究綜述

來源:用戶上傳      作者:

　　中圖分類號：TN959.4;S758.4;TS255.1文獻標識碼：ADOI：10.3969/j.issn.2096-1553.2019.02.010
　　文章編號：2096-1553（2019）02-0071-11
　　關鍵詞：機器視覺;蘋果園;果實識別;圖像處理;機器學習
　　Key words：machine vision; apple garden;fruit recognition;image processing;machine learning
　　摘要：從基于顏色閾值、形狀和紋理的果實識別，三維果實形態識別，夜間果實識別，基于機器學習的果實識別，陰影和遮擋影響下的果實識別5個方面，對基于機器視覺的蘋果園果實識別研究現狀進行了綜述，認為上述研究所涉及的算法較為復雜，功能也很強大.但鑒于視覺理論、圖像處理技術和硬件條件等限制，以及蘋果園復雜多變的環境，基于機器視覺的果實識別目前尚無理想的方法，未來的研究重點應包括：1）加強更有效的圖像增強、圖像分割和特征提取等算法的研究，有效解決果實重疊、遮擋、顏色和光線變化的影響;完善白天和夜間果園現場作業的識別算法，建成全天候作業采摘機器人.2）加強基于自監督學習的果實識別的研究，以增加模型接收的反饋信息和模型表征的復雜的適用任務類型，減少任務中涉及的人類手工勞動比重，提高自動化程度.3）加強圖像的自動獲取與果實識別的研究，結合計算機視覺與近紅外、激光雷達等檢測技術，集成多模態的圖像和非圖像信息進行果實識別，提高處理速度和實時性，以及識別的準確度及系統的穩健性，為蘋果自動采摘、果園的精準管理提供借鑒.
　　Abstract：The current situation of fruit recognition based on machine vision was reviewed from fruit recognition based on color threshold， shape and texture， three-dimensional fruit shape recognition， nocturnal fruit recognition， fruit recognition based on machine learning， fruit recognition under the influence of shadow and occlusion. It’s thought that the algorithms involved in the above research were more complicated and features were very powerful. However， in view of the limitations of visual theory， image processing technology and hardware conditions， as well as the complex and varied environment of apple garden， there was no more ideal technology for machine vision-based fruit recognition， and it needed to be improved. Future research focuses include： 1） Strengthening more effective algorithms for image enhancement， image segmentation， and feature extraction to effectively address the effects of fruit overlap， occlusion， color， and light changes; and improving the identification algorithms for day and night orchard field operations for the construction of an all-weather operation picking robot. 2） Strengthening the research on fruit recognition based on self-supervised learning to increase the feedback information received by the model and the complex applicable task types of model representation， reduce the proportion of human manual labor involved in the task， and improve the degree of automation. 3） Strengthening the research of automatic image acquisition and fruit recognition， combined with computer vision and near-infrared， laser radar and other detection technologies， integrating multi-modal image and non-image information for fruit recognition， improving processing speed and real-time， and identifing accuracy and system robustness to provide reference for apple’s automatic picking and precise management of orchard. 　　0 引言
　　蘋果園果實識別是果實定位、自動化采摘和果樹估產的基礎.由于蘋果樹在自然狀態下生長姿態多變，果實個體之間存在差異，圖像獲取過程中易受光照、表面陰影、振動、重疊和遮擋等影響，果實識別難度大[1].機器視覺通過計算機來模擬人的視覺功能，從所采集的圖像中提取感興趣目標的信息，然后進行處理和理解，最終用于檢測、測量和控制[1].機器視覺具有非接觸、高精度、速度快、信息量大、實時、在線等優點，在農產品定位、識別、檢測等方面應用廣泛[2].國內外已有較多學者對基于機器視覺的果實識別技術進行了研究[3-4]，現有的蘋果果實識別主要基于果實的顏色分割和形狀提取，包括蘋果圖像采集、圖像分析與降噪、圖像的分割與特征提取、目標果實識別模型的建立等[5].目前常用的蘋果圖像分割識別算法主要有閾值分割法，色差法，人工神經網絡ANN，K-means聚類算法，支持向量機（SVM）法，K最近鄰法KNN和多種混合算法.由于設備成本降低、計算能力提高，將機器視覺技術與模式識別算法和自動分類工具相結合進行果實識別具有廣闊的應用前景.鑒于此，
　　本文擬從基于顏色、形狀和紋理的果實識別，三維果實形態識別，夜間圖像的果實識別，基于機器學習的果實識別，陰影和遮擋影響下的果實識別等方面對研究現狀進行綜述，以期能為相關工作提供借鑒與參考.
　　1 基于顏色、形狀和紋理的蘋果識別
　　對于果蔬視覺處理系統的研究可以追溯到1970年代，Parrish和Goksel首次提出蘋果自動識別系統[6].經過不斷地研究，蘋果識別技術已經獲得了大量的研究成果.圖像的顏色特征作為一種全局特征，可以用來描述圖像或圖像的某個區域相對應景物的表面性質，所有屬于目標區域的像素點均有各自的貢獻.為了更準確地識別圖像中的蘋果目標，閾值分割法一般要配合其他方法一起使用，有時在使用這些算法的同時還需考慮圖像的紋理、形狀屬性等特征.
　　由于蘋果樹的果實、樹葉與樹枝具有較大的顏色差異，通過顏色特征進行分類提取具有一定的可行性.國內外學者針對蘋果、獼猴桃和柑橘等水果的提取和識別，在RGB，YCbCr，Lab和HSV等顏色空間結合顏色閾值進行分割[7-8].R.Zhou等[9]通過實驗開發蘋果識別算法，根據R-B和G-R兩者之間的關系建立模型，提出了基于顏色特征的蘋果識別算法，估計果實數量并預測蘋果產量，為蘋果計數和早期產量的預測提供了參考.錢建平等[10]采用1.375 作為R/B的分割閾值，加入0.45作為V的分割閾值，使得成熟期蘋果的識出率、識別成功率、誤識率和漏識率分別為90.3%，84.9%，6.0%，15.1%，該混合顏色空間識別方法在自然光照條件下效果較好.李莎等[11]為更有效地估測蘋果產量，利用RGB，Lab和YCbCr顏色模型中的3個分量對彩色圖像進行灰度化處理，采用Otsu法進行二值化處理和形態學運算.3種分量均能分離出蘋果，其中，a*分量在保留最多蘋果面積的情況下噪聲較小，R-G色差分量會削弱部分蘋果面積，Cr分量噪聲較大，文中給出了各分量的適用范圍.
　　蘋果個體大多呈現類球狀，通過形狀檢測也可進行果實識別.在采用顏色特征結合圓形擬合算法進行蘋果識別方面，Y.Si等[12]提出了一種具有色差R-G和色差比（R-G）/（G-B）的蘋果識別算法，利用隨機環法提取果實形狀特征，基于面積和極線幾何的匹配算法來定位蘋果，識別率超過89.5%，圓心、半徑值的誤差小于20 mm.H.N.Patel等[13]提出了基于形狀分析的水果自動分割和產量計算方法，利用顏色和形狀分析來分割在不同光照條件下獲得的不同水果圖像.首先進行顏色空間轉換，將采集到的RGB圖像轉換到Lab顏色空間;然后通過邊緣檢測和圓擬合算法對圖像進行分割，再將得到的邊緣點用于擬合近似圓形形狀;最后將得到的擬合圓用于圖像中果實計數.結果表明，該方法能夠準確分割被遮擋的果實，準確率為98%，預測平均產量的誤差為31.4%.崔淑娟等[14]在不同光線和陰影的影響下，采用 R-G 色差分量和改進型Otsu法，通過分割映射和同面積質心圓印證，較好地對成熟蘋果進行了識別，識別率達93.2%.呂繼東等[15-16]為了減少機器人蘋果采摘的時間，除采用與崔淑娟相似的方法對蘋果進行快速識別之外，還研究了在自然光照條件下黃蘋果的目標提取法：首先通過基于歸一化R+G-B顏色特征的 K-means 聚類進行圖像分割;然后用分水嶺分割算法和區域噪聲閾值消除法，實現果實區域的孔洞填充，減少噪聲對后續識別的影響;接著基于Canny算子實現了分割圖像的邊緣檢測，改進了隨機Hough變換方法在蘋果圖像果實識別中的應用;最后通過實驗驗證了該方法的可行性和有效性[17].
　　青蘋果具有與葉子等背景相似的顏色，會導致蘋果果實難以識別.B.Li等[18]應用顯著性檢測和高斯曲線擬合算法檢測自然場景中的青蘋果，在自然場景中檢測青蘋果的效果顯著.另外，B.Li還提出了一種結合紋理、形狀和顏色特征的檢測方法，即利用灰度差分統計方法得到圖像的紋理特征向量，根據紋理特征向量，利用SVM對圖像進行預分割，然后將形狀和顏色特征相結合，實現復雜背景下的蘋果識別，該方法對具有輕微背景遮擋的水果也具有較好的分割效果.
　　以上研究主要針對的是蘋果顏色、形狀及紋理提取方法，對自然光照條件下的果實識別具有參考和借鑒意義.但是，以上基于顏色閾值的果實分割提取的方法，受到自然環境光照和果實自身成長所呈現的顏色變化的影響有一定局限性，分割效果和識別精度還有待提高.此外，對遮擋、粘連、重疊較為嚴重的蘋果進行分割獲取還需作進一步研究.
　　2 基于三維信息的蘋果識別
　　除了二維圖像信息的機器視覺技術，現有的激光雷達技術、三維成像技術等也可用于蘋果識別定位.
　　為消除不同光線和復雜背景的影響，馮娟等[19]提出了一種自動識別樹上蘋果的算法.該算法使用激光視覺系統獲取果樹局部的三維圖像，參考設定的場景知識對圖像背景進行簡化;采用基于平滑頻率曲線的自動閾值檢測方法實現圖像的二值化;利用隨機圓環法獲得果實的形狀特征，完成對蘋果的識別.實驗結果表明，該算法具有較好的實時性，當枝葉遮擋面積小于40%時，果實的識別率高于93.75%，且識別效果不受光照條件與果實表面顏色的影響.孫賢剛等[20]研制了用于蘋果成熟自動檢測并采摘的輪式機器人系統，該系統使用雙目立體視覺技術和圖像處理技術實現對蘋果的識別與定位，通過機械臂的路徑規劃實現對蘋果的采摘，由此實現自動導航、自動識別.該系統自動采摘蘋果，識別率大于94.00%，采摘成功率達到91.33%，平均采摘周期約為11 s，具有較高的準確性及穩定性.張賓等[21]為了提高蘋果采摘視覺識別系統的精度，增強視覺系統的抗干擾、自適應能力，設計了一種新的蘋果采摘機器人激光視覺識別系統.該系統采用高清相機采集圖像，通過圖像處理準確地識別蘋果，利用激光測距方法對蘋果進行距離測量，成功定位了果實位置，實現了果園非結構化環境中蘋果的高效率、高精度的識別、定位和采摘，在遮擋率低于50%時，其識別率可達到90%以上，響應時間為3.58 s.三維點云數據采集與三維技術重建能夠準確恢復空間特征并為果樹提供收獲的空間分布數據信息.在3D空間中實現準確識別果實是一項具有挑戰性的任務.B.Zhang等[22]利用近紅外線陣結構照明和三維重建技術，使用單個多光譜相機和近紅外線性陣列結構光線逐行重建被檢查蘋果的上半部分的3D表面，通過三角測量來計算每個像素的高度信息.另外，為了有效地識別莖和花萼，文中還自動構建了標準球形模型（沒有莖和花萼），以適應被檢查蘋果的大小和邊界形狀，為識別蘋果中的莖和花萼提供了支持，識別的準確率達到97.5%.Y.Tao等[23]從點云數據處理的角度提出了蘋果自動分割和識別方法：首先使用一種基于HSI的區域增長分割方法對蘋果樹的點云數據進行分割，再從每個分段點云計算出具有融合顏色特征和3D幾何特征的改進的3D描述符，最后構建一個基于遺傳算法分類器優化的支持向量機，用于識別場景中的蘋果、樹枝和樹葉.通過圖像（采用雙目或三目攝像頭）獲取三維信息的優點是成本低廉、算法和技術相對成熟，缺點是受環境光的限制比較大.激光雷達技術的優點包括探測距離遠、精度高、穩定性強、魯棒性好，但目前激光雷達設備成本較高.面對大規模的果園蘋果圖像、三維點云數據，如何實現圖像與三維點云的標定、匹配，開發數據融合與果實識別算法，提高數據處理的速度，實現實時的、高精度的識別是亟待解決的問題. 　　3 基于夜間圖像的蘋果果實識別
　　夜間光照強度小，采集蘋果圖像時需要借助人工光源輔助照明.然而人工光源照射范圍有限，光照不均勻且易受外界環境影響，所采集到的夜間蘋果圖像存在整體偏暗、邊緣模糊、對比度不高、細節信息丟失等問題[24].夜間圖像處理的關鍵是圖像的增強和去噪.
　　由于計算機視覺系統獲取的圖像質量直接受到采集階段照明強度的影響，因此通過使用足夠照明可提高系統的識別性能和可靠性，顯著降低處理階段所用算法的復雜性.趙德安等[25]提出了一種適用于機器人蘋果采摘的夜間果實識別方法.該方法采用2盞白熾燈從不同角度照明以削弱圖像中的陰影，針對高亮反光區應用改進的R-G色差分割法進行二次分割，并對分割后的圖像進行修補.在不考慮果實的情況下遮擋和粘連，該方法夜間蘋果正確識別率達到83.7%.劉曉洋等[26]為了識別夜間圖像，采用最小二乘擬合法對蘋果三維表面的特征點進行擬合，再根據特征點到擬合線的距離等參數建立閾值分割模型，最后結合陰影區域像素的位置信息，修正夜間圖像中的陰影，確保了圖像識別的精確和完整.經統計，不考慮果實的遮擋和粘連，夜間蘋果正確識別率達到83.7%.
　　Retinex理論可計算原始圖像的場景照度分量，從中提取攜帶高頻信息的反射分量圖像，具有圖像增強的作用，對弱光照、陰影及大霧下的蘋果圖像具有一定的增強效果.姬偉等[27-28]提出一種基于引導濾波的Retinex圖像增強算法，具有邊緣保持特性，可以更好地保持果實邊緣信息，凸出蘋果果實，在夜間圖像增強效果和運行時間效率上有明顯的提高，為后續夜間圖像的分割和目標識別提供了保障.呂興琴[29]在此基礎上，對經降噪和增強處理后的夜間蘋果圖像進行了基于R-G色差圖像的Otsu閾值分割，使得處于暗區域的目標蘋果果實能夠被完整分割出來，且邊緣平滑清晰.
　　蘋果采摘機器人圖像識別效果處理系統采集到的實時夜間圖像中含有大量的噪聲，賈偉寬等[30-31]通過差影法分析夜間圖像，針對高斯噪聲去除難題，將獨立成分分析ICA理論引入夜間圖像降噪，并嘗試采用粒子群優化算法PSO對ICA進行優化，建立了基于PSO優化的ICA降噪算法（PSO-ICA）.該方法降噪效果較為理想，噪點明顯減少，相對峰值信噪比較高.C.Ruan等[32]提出了基于小波模糊閾值的去噪算法，減少了圖像噪聲干擾，有利于下一步的圖像分割和識別.與原始圖像、中值濾波去噪方法和經典小波閾值去噪方法相比，該算法提高了相對峰值信噪比.
　　通過以上夜間圖像增強研究現狀可知，夜間果樹圖像的整體亮度得以提升，對比度得到顯著增強，果實的邊緣平滑清晰，便于后續的果實完整分割與提取，同時恢復了夜間圖像中的細節信息.目前國內外的研究大多集中在夜間圖像預處理、輔助照明設備配置、夜間圖像降噪和圖像增強，下一步應在提高夜間圖像采集效果、開發新的圖像增強和去噪算法的同時，加大在果實的識別、定位方面的研究.
　　4 基于機器學習的蘋果果實識別
　　機器學習是用數據或以往的經驗，優化計算機程序的性能標準.機器學習算法分為監督學習、無監督學習、強化學習和進化學習.監督學習算法是從一組正確答案（訓練集）開始，不斷訓練、調整，直到能正確響應所有可能的輸入.根據預測變量的類型劃分：如果預測變量是連續的，則屬于回歸問題;如果預測變量是獨立類別（定性或是定類的離散值），則屬于分類問題.無監督學習算法通過輸入相互比較，發現數據中未知的結構或者趨勢以識別相似性，從而進行分類.雖然原數據不含任何的標簽，但可以對數據進行整合（分組或者聚類）或是簡化（降維、移除不必要的變量或者檢測異常值）.強化學習算法是監督學習和無監督學習之間的中間階段.當算法輸出的答案錯誤時，會報錯并探索不同的答案，直到輸出正確的答案為止.進化學習是通過模擬微生物在其生活環境中生存和繁殖的過程，使算法具有自組織、自適應、自學習的特性，能夠不受問題性質的限制，從而有效地處理傳統優化算法難以解決的復雜問題.
　　4.1 基于支持向量機的果實識別
　　支持向量機（SVM）是一種在特征空間上間隔最大的線性分類器，即支持向量機的學習策略是間隔最大化，將復雜數據的分類轉化為凸二次規劃問題的求解.
　　SVM是一種非參數方法，具有一定的靈活性，可以實現復雜功能，同時又能夠適應過度擬合，
　　經典的SVM分類器能夠將輸入集的點分為兩類.
　　W.Ji等[33]采用中值濾波去除蘋果的彩色圖像噪聲，果實的顏色和形態特征根據區域生長法和顏色閾值法提取，經由SVM進行分類，準確率為89%，平均識別時間為352 ms.陳珂等[34]針對蘋果果實圖像背景復雜多變，導致提取果實的輪廓不均、分割不準等問題，選取最大類間方差法提取目標物的粗輪廓，引入目標輪廓的方向梯度直方圖HOG特征訓練SVM，進而對提取的輪廓進行細篩選，實現果實自動識別.夏雪等[35]結合自適應比率色差法、形態學處理法、Blob 分析法、改進圓形 Hough 變換算法、HOG 特征與SVM 機器學習等方法，從顏色相似的背景中提取幼小青蘋果，可實時監測蘋果生長動態，具有一定的應用價值.
　　由于SVM是借助二次規劃來求解支持向量，針對大批量的果樹圖像的學習策略難以實施，用SVM解決青蘋果、紅蘋果、樹枝與樹葉等多個目標的分類問題尚存在一定困難.
　　4.2 基于神經網絡的果實識別
　　人工神經網絡簡稱神經網絡，是參照動物神經網絡行為特征進行信息處理的算法模型，通過改變模型內節點的連接關系實現信息處理.神經網絡是計算智能和機器學習的重要分支，在諸多領域都取得了很大的成功[36].
　　馬曉丹等[37]對蘋果采摘機器人視覺系統中彩色圖像邊界像素的模糊性和不確定性對蘋果果實識別精度和速度造成影響的問題進行了研究，通過量子遺傳算法對模糊神經網絡的可調整參數初始值進行全局優化，加快了果實識別的速度，避免陷入局部極小值、迭代次數多等弊端.麥春艷等[38]針對自然光照條件下果園蘋果識別效果不佳的問題，利用錯檢率、漏檢率和處理速度3個量化指標綜合對比分析顏色閾值、SVM和BP神經網絡BPNN 3種蘋果顏色分割方法的處理效果，結果表明，BPNN的蘋果顏色分割方法，以及log邊緣檢測子與Hough圓檢測相結合的果實識別算法，具有較高的魯棒性和準確性，能有效克服果實遮擋、重疊和顏色變異等問題，果實識別率可達91.6%. 　　L.Xu等[39]提出了一種基于最小的單因素同化核SUSAN和脈沖耦合神經網絡PCNN的蘋果果實識別方法，在減少光線不足對分割結果的影響方面具有突出的性能.在50幅圖像中，93%的蘋果能夠被準確識別.王慧等[40]使用BPNN對蘋果圖像進行分割與特征提取，
　　利用遺傳算法對神經網絡模型中的閾值和權值進行優化，
　　提高了BPNN 模型的性能，
　　得到了能夠準確識別蘋果圖像的識別模型.
　　賈偉寬等[36]為進一步提升蘋果果實的識別精度和速度，提出一種基于K-means聚類分割和基于遺傳算法GA，最小均方差算法LMS，優化的徑向基RBF神經網絡相結合的蘋果識別方法，對于遮擋、重疊果實的識別率達95.38%和96.17%，總體識別率達96.95%.S.Bargoti等[41]提出了基于圖像處理的果園蘋果檢測和計數，采用多尺度多層感知器MLP和卷積神經網絡CNN進行圖像分割，使用分水嶺分割和圓形霍夫變換算法檢測蘋果并計數，相關系數R2為0.826.
　　基于神經網絡進行蘋果識別，通過線性學習算法取代傳統的非線性學習算法，既能維持非線性算法的高精度，又可確保最佳逼近、全局最優、收斂速度快.但是神經網絡最終可能會出現過擬合、中心難定、學習率偏低等問題，導致網絡運行效率和識別精度難以滿足要求.
　　4.3 基于聚類算法的果實識別
　　聚類算法是研究（樣品或指標）分類問題的一種統計分析方法，同時也是數據挖掘的一種重要算法.
　　王丹丹[42]利用K-means聚類分割算法分割提取蘋果，并對分割誤差、提取感興趣區域、原始果實的重合度和算法運行時間進行評價
　　，較準確地實現了多種分割方法分割性能的對比、重疊蘋果目標的分割、遮擋蘋果目標的定位，以及單果無遮擋蘋果目標采摘點的定位等功能.
　　W.Ji等[43]為解決蘋果采摘機器人在視覺識別中歸一化分割方法實時性差的問題，提出了一種基于自適應均值漂移和歸一化分割方法的彩色蘋果圖像快速分割方法.首先，通過基于區域的自適應均值漂移初始分割方法，減少圖像中的峰值和邊緣的數量;其次，通過提取R-B顏色特征將圖像劃分為區域圖，每個區域圖由區域點表示，綜合后獲得R-B顏色灰度級特征的無向圖;最后，將無向圖作為歸一化分割的輸入，通過區域點構造權重矩陣W，并基于決策理論粗糙集確定聚類的數量.該方法最大分割誤差為3%，平均識別時間小于0.7 s，可以滿足實時采摘機器人的要求.
　　S.Sun等[44]通過融合模糊集理論和流形排序算法FSMR解決在類似背景區域（例如葉子）中區分青蘋果的難題.首先，通過在HSI顏色空間中使用模糊集理論，粗略地增強原始圖像以使蘋果目標更加突出;其次，選擇特定查詢節點對整個圖像中的像素進行排序，以獲得最終識別結果;然后，進行孔洞填充、邊緣平滑和數學形態學方法等操作以提取蘋果目標的輪廓;最后，將該方法與基于流形排序MR，自相似顯著性檢測SDSR和K-means聚類算法的進行比較.結果表明，該方法能夠有效地提取實際輪廓，與目標邊緣線高度一致，識別結果更準確.此外，平均重疊系數為90.87%，比SDSR算法高17.34%，比K-means聚類算法高15.98%.因此，該方法可為生長監測、產量估算和自動采摘提供參考.
　　聚類算法的優點是技術簡單、聚類相似輸出、可被多層堆棧、效果直觀，其缺點是
　　所求問題的整體最優解通過一系列局部最優的選擇，即貪心選擇來實現，沒有進行全局優化，在某些情況下，與監督學習相比，層數增加時會失效，收益遞減.
　　4.4 基于深度學習的果實識別
　　深度學習網絡與傳統神經網絡的不同之處在于它們具有更多節點，更復雜的層互連方式，需要強大的計算能力用于訓練，并且它們可以自動提取參數.深度學習使用的4種主要架構是：無監督預訓練網絡、卷積神經網絡、遞歸神經網絡和遞歸神經網絡.這些類型的網絡已經用于解決各種問題，如文本到語音的轉換、語言識別、翻譯、信號處理等.其中，卷積神經網絡的主要目的是從卷積運算中學習數據特征，因此這種類型的網絡更適合圖像中的模式識別.
　　由于光照變化、葉子及鄰近果實的遮擋，難以得到準確的蘋果果實數量.S.W.Chen等[45]提出了一種基于深度學習的水果計數方法，利用自定義眾包平臺快速標記大型數據集，基于完全卷積網絡的斑點檢測器提取圖像中的候選區域;然后，基于第二卷積網絡的計數算法估計每個區域中的果實數量;最后，利用線性回歸模型將水果計數估計值映射到最終果實計數.該方法以人工生成的標簽為基礎，分析了白天及夜間的蘋果圖像，訓練時間短，并且在數據集大小有限的情況下表現良好.廖崴等[46]利用隨機森林算法實現了自然光照條件下綠色蘋果的分類和識別.針對果樹背景顏色和紋理特征的復雜性，基于RGB顏色空間進行Otsu閾值分割和濾波處理，以便去除枝干等背景，并將剩余的果實和葉片的灰度及紋理特征作為訓練集，構建綠色蘋果的隨機森林識別模型，但是該方法訓練時間過長，會導致果實分割的實時性不高.
　　深度學習的方法主要用在具有可微分（函數連續）、強監督（樣本數據標定很好、樣本類別/屬性/評價目標恒定）學習、封閉靜態系統（干擾少、魯棒性好、不復雜）任務下，而對于不可微分、弱監督學習（樣本分布偏移大、新類別多、屬性退化嚴重、目標多樣）、開放動態環境，該方法效果較差，計算收斂性不好.另外，針對大量數據進行訓練實現深度學習，其訓練結果難以遷移到其他應用.蘋果表面顏色會隨生長階段而變化，再加上果園的復雜環境影響，基于深度學習的果實識別還需更深入的研究.
　　5 針對陰影和遮擋影響的蘋果識別
　　由于顏色難以有效表達圖像目標物的局部特征，而采集圖像中的果實、葉片、枝干等形狀各異，因此基于各構件的形態特征進行識別提取具有一定的可行性.但是，在實際的研究中，經常將重疊的多果實看作一個果實整體，難以識別出陰影及遮擋較嚴重的果實.因此，重疊多的果實分割計數與遮擋果實的形狀擬合顯得尤為重要[6，47]. 　　宋懷波等[48]提出了一種基于模糊集理論的蘋果表面陰影去除方法，將含陰影圖像作為一個模糊矩陣，利用所設計的隸屬函數對圖像進行去模糊化處理，削弱蘋果表面陰影對目標分割的影響.
　　D.Wang等[49]對蘋果采摘機器人很難在自然場景中準確地獲取被遮擋蘋果的坐標的問題，提出了一種被遮擋蘋果的自動識別和定位方法.首先，描述了一種基于K均值聚類理論的蘋果識別算法;其次，通過提取的蘋果區域的凸殼作為蘋果邊緣;最后，選擇邊緣的3個點來估計蘋果的中心和半徑.與傳統的Hough變換法和輪廓曲率法相比，該方法可以獲得更好的識別和定位效果.J.Meng等[50]提出了一種基于邊界曲率的重疊蘋果分割識別方法，首先，提取重疊果實的完整邊緣并計算邊緣曲率;然后，根據曲率變化將邊緣分段，并通過基于3個標準的篩選過程保留有效片段;最后，通過圓擬合和合并實現了水果的識別.孫颯爽等[51]針對果實目標受枝條遮擋影響被分割成幾個部分的問題，將蘋果圖像轉換為Lab顏色空間，然后采用K-means聚類算法進行分割，采用數學形態學法提取蘋果輪廓，根據最小外接矩形法去除目標蘋果的偽輪廓，最后利用輪廓的曲率特征對目標蘋果進行重建，實現了復雜環境下蘋果目標的準確識別與定位.
　　遮擋和陰影的存在對果實的識別產生了嚴重影響，現有的研究方法通過邊緣檢測、Hough變換法、圓形擬合及其他形態學運算，提取果實的圓形特征，由部分蘋果的形態特征確立完整的蘋果區域，從而實現果實的識別.未來進行陰影和遮擋影響下的蘋果識別，可加入果實的顏色特征，以提高識別的準確率.
　　6 結論
　　本文從顏色、形狀和紋理分析，三維果實形態識別，基于夜間圖像的果實識別，基于機器學習的果實識別，陰影和遮擋影響下的果實識別等方面的研究現狀進行綜述分析發現：果實識別的研究，從初期的顏色閾值分割法，發展到顏色閾值結合形態、紋理進行分割識別，再到基于前期基礎的聚類算法，ANN，SVM，KNN，以及多種算法結合的識別方法，算法越來越復雜，功能也更為強大.
　　目前，基于顏色閾值的蘋果果實分割及提取的方法已經較為成熟，結合果形信息增強了識別的精度，采用基于機器視覺和激光技術構建蘋果果實的三維信息，已經取得了初步成效;通過控制照明條件，采用圖像增強和智能優化算法進行基于夜間圖像的果實識別，已經獲得一定的進展;基于監督學習和無監督學習進行蘋果果實識別的算法較多，識別精度也滿足實際要求;針對存在陰影及遮擋情況的果實識別，大多采用邊緣檢測和形狀擬合的方法進行分割與提取，具有一定的可行性.
　　但由于視覺理論、圖像處理技術和硬件條件等的限制，以及果園自身復雜多變的環境，基于機器視覺的果實識別迄今尚未出現理想的方法，
　　還存在一些不足：1）果實圖像的采集方式和質量是關系識別精度和效果的前提.目前的研究多采用較為理想的實驗條件，保證了采集到高質量圖像，且研究對象多是在無枝葉遮擋情況下的較易檢測到的果實.2）
　　當前幾乎所有的機器學習系統都是基于有監督學習建立的，需要過多的有標簽訓練樣本，而這些標簽通常都是由人工標記的，需要大量的人工參與.3）處理流程中的各環節銜接差，自動化程度和實時性有待提高.現有方法大多是在作業現場采集圖像信息，然后在實驗室進行圖像處理，圖像采集與處理環節分離，實時性較差[52].且現有研究多集中于果樹早期估產、生長期監測和成熟期采摘，針對不同時期果實的形狀、顏色紋理和背景各不相同的情況，如何有效識別果實的研究較少.
　　因此未來的研究重點應包括：1）研究更有效的圖像增強、圖像分割和特征提取等算法，有效解決果實重疊、遮擋、顏色和光線變化的影響.完善白天和夜間在果園現場作業的識別算法，建成全天候作業采摘機器人，提高果實圖像的采摘質量.2）進行基于自監督學習的果樹識別.通過自監督學習，模型接收的反饋信息逐漸增多，模型表征的復雜的適用任務類型逐漸增加，同時任務中涉及的人類手工勞動比重也顯著減少，自動化程度有望大大提高.3）進一步加強圖像的自動獲取與果實識別的研究，結合計算機視覺與近紅外、激光雷達等檢測技術，集成多模態的圖像和非圖像信息進行果實識別，提高處理速度和實時性，以及識別準確度和系統穩健性，為蘋果的自動采摘、果園的精準管理等研究注入活力.
　　參考文獻：
　　[1] 段峰，王耀南，雷曉峰，等.機器視覺技術及其應用綜述[J].自動化博覽，2002，19（3）：59.
　　[2] 孫碧亮.基于機器視覺的檢測算法研究及其在工業領域的應用[D].武漢：華中科技大學，2006.
　　[3] 徐銘辰，牛媛媛，余永昌.果蔬采摘機器人研究綜述[J].安徽農業科學，2014（31）：11024.
　　[4] 李素云，唐先進.蘋果采摘機器人的研究現狀、進展與分析[J].裝備制造技術，2016（1）：185.
　　[5] 李卓，楊子敬，郝建唯，等.蘋果幼果圖像的分割與識別算法研究[J].沈陽理工大學學報，2015，34（1）：34.
　　[6] 沈甜.蘋果采摘機器人重疊果實快速動態識別及定位研究[D].鎮江：江蘇大學，2016.
　　[7] 王晉.自然環境下蘋果采摘機器人視覺系統的關鍵技術研究[D].秦皇島：燕山大學，2014.
　　[8] 陳鷗.蘋果采摘機器人視覺系統識別基礎方法的研究[D].秦皇島：燕山大學，2016.
　　[9] ZHOU R，DAMEROW L，SUN Y，et al.Using colour features of cv "Gala" apple fruits in an orchard in image processing to predict yield[J].Precision Agriculture，2012，13（5）：568.
　　[10]錢建平，楊信廷，吳曉明，等.自然場景下基于混合顏色空間的成熟期蘋果識別方法[J].農業工程學報，2012，28（17）：137. 　　[11]李莎，錢建平，趙春江，等.不同顏色模型識別成熟蘋果圖像的比較分析[J].計算機工程與設計，2015，36（6）：1545.
　　[12]SI Y，LIU G，FENG J.Location of apples in trees using stereoscopic vision[J].Computers and Electronics in Agriculture，2015，112：68.
　　[13]PATEL H N，JAIN R K，JOSHI M V.Automatic segmentation and yield measurement of fruit using shape analysis[J].International Journal of Computer Applications，2012，45（7）：19.
　　[14]崔淑娟，李健.基于色差信息的成熟蘋果識別[J].西北大學學報（自然科學版），2011，41（6）：993.
　　[15]呂繼東，趙德安，姬偉.蘋果采摘機器人目標果實快速跟蹤識別方法[J].農業機械學報，2014，45（1）：65.
　　[16]LV J，XU L.Method to acquire regions of fruit，branch and leaf from image of red apple in orchard[J].Modern Physics Letters B，2017，31（19）：1.
　　[17]LV J，WANG F，MA Z，et al.Yellow apple recognition method under natural environment[C]∥Intelligent Human-Machine Systems and Cybernetics （IHMSC），2015 7th International Conference.Piscataway：IEEE，2015：46.
　　[18]LI B，LONG Y，SONG H.Detection of green apples in natural scenes based on saliency theory and Gaussian curve fitting[J].International Journal of Agricultural and Biological Engineering，2018，11（1）：192.
　　[19]馮娟，劉剛，司永勝，等.基于激光掃描三維圖像的樹上蘋果識別算法[J].農業機械學報，2013，44（4）：217.
　　[20]孫賢剛，伍錫如，黨選舉，等.基于視覺檢測的蘋果采摘機器人系統設計與實現[J].農機化研究，2016（9）：151.
　　[21]張賓，宿敬肖，張微微，等.基于激光視覺的智能識別蘋果采摘機器人設計[J].農機化研究，2016，38（7）：60.
　　[22]ZHANG B，HUANG W，WANG C，et al.Computer vision recognition of stem and calyx in apples using near-infrared linear-array structured light and 3D reconstruction[J].Biosystems Engineering，2015，139：25.
　　[23]TAO Y，ZHOU J.Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking[J].Computers and Electronics in Agriculture，2017，142：388.
　　[24]李強.蘋果采摘機器人視覺系統研究[D].蘭州：蘭州理工大學，2017.
　　[25]趙德安，劉曉洋，陳玉，等.蘋果采摘機器人夜間識別方法[J].農業機械學報，2015，46（3）：15.
　　[26]劉曉洋，趙德安，陳玉，等.夜間低照度條件下蘋果采摘機器人的圖像識別[J].華中科技大學學報（自然科學版），2015，43（S1）：525.
　　[27]姬偉，呂興琴，趙德安，等.蘋果采摘機器人夜間圖像邊緣保持的Retinex增強算法[J].農業工程學報，2016，32（6）：189.
　　[28]JI W，QIAN Z J，XU B，et al.A nighttime image enhancement method based on Retinex and guided filter for object recognition of apple harvesting robot[J].International Journal of Advanced Robotic Systems，2018，15（1）：1.
　　[29]呂興琴.蘋果采摘機器人夜間圖像降噪和增強技術研究[D].鎮江：江蘇大學，2016.
　　[30]賈偉寬，趙德安，阮承治，等.蘋果采摘機器人夜間圖像降噪算法[J].農業工程學報，2015，31（10）：219.
　　[31]賈偉寬.基于智能優化的蘋果采摘機器人目標識別研究[D].鎮江： 江蘇大學，2016.
　　[32]RUAN C，ZHAO D，JIA W，et al.Night vision image de-noising of apple harvesting robots based on the wavelet fuzzy threshold[J].International Journal of Advanced Robotic Systems，2015，12（12）：169. 　　[33]JI W，ZHAO D，CHENG F，et al.Automatic recognition vision system guided for apple harvesting robot[J].Computers & Electrical Engineering，2012，38（5）：1186.
　　[34]陳珂，許林峰，柯文德.基于HOG與支持向量機的成熟蘋果自動識別[J].江蘇農業科學，2017，45（7）：211.
　　[35]夏雪，周國民，丘耘，等.自然環境下果實作業機器人幼果期蘋果偵測方法[J].中國農業科技導報，2018，20（5）：64.
　　[36]賈偉寬，趙德安，劉曉洋，等.機器人采摘蘋果果實的K-means和GA-RBF-LMS神經網絡識別[J].農業工程學報，2015，31（18）：175.
　　[37]馬曉丹，劉剛，周薇，等.基于量子遺傳模糊神經網絡的蘋果果實識別[J].農業機械學報，2013，44（12）：227.
　　[38]麥春艷，鄭立華，肖昌一，等.自然光照條件下蘋果識別方法對比研究[J].中國農業大學學報，2016，21（11）：43.
　　[39]XU L，LV J.Recognition method for apple fruit based on SUSAN and PCNN[J].Multimedia Tools and Applications，2018，77（6）：7205.
　　[40]王慧，季雪.圖像識別處理技術在農業工程中的應用[J].傳感器與微系統，2018（6）：158.
　　[41]BARGOTI S，UNDERWOOD J P.Image segmentation for fruit detection and yield estimation in apple orchards[J].Journal of Field Robotics，2016，34（6）：1039.
　　[42]王丹丹.重疊及遮擋影響下的蘋果目標識別與定位方法研究[D].楊凌：西北農林科技大學，2016.
　　[43]JI W，MENG X，TAO Y，et al.Fast segmentation of colour apple image under all-weather natural conditions for vision recognition of picking robots[J].International Journal of Advanced Robotic Systems，2016，13（1）：24.
　　[44]SUN S，WU Q，JIAO L，et al.Recognition of green apples based on fuzzy set theory and manifold ranking algorithm[J].Optik，2018，165：395.
　　[45]CHEN S W，SHIVAKUMAR S S，DCUNHA S，et al.Counting apples and oranges with deep learning：a data-driven approach[J].IEEE Robotics and Automation Letters，2017，2（2）：781.
　　[46]廖崴，鄭立華，李民贊，等.基于隨機森林算法的自然光照條件下綠色蘋果識別[J].農業機械學報，2017，48（S1）：86.
　　[47]李娜，陳寧.自然場景下蘋果采摘機器人視覺系統研究[J].計算機技術與發展，2018（11）：1.
　　[48]宋懷波，張衛園，張欣欣，等.基于模糊集理論的蘋果表面陰影去除方法[J].農業工程學報，2014，30（3）：135.
　　[49]WANG D，SONG H，TIE Z，et al.Recognition and localization of occluded apples using K-means clustering algorithm and convex hull theory：a comparison[J].Multimedia Tools and Applications，2016，75（6）：3177.
　　[50]MENG J，WANG S.The recognition of overlapping apple fruits based on boundary curvature estimation[C]∥2015 Sixth International Conference on Intelligent Systems Design and Engineering Applications （ISDEA）.Piscataway：IEEE，2015：874.
　　[51]孫颯爽，吳倩，譚建昌，等.枝條遮擋下單個蘋果目標識別與重建的研究[J].西北農林科技大學學報（自然科學版），2017（11）：1.
　　[52]段延娥，李道亮，李振波，等.基于計算機視覺的水產動物視覺特征測量研究綜述[J].農業工程學報，2015，31（15）：1.
轉載注明來源:http://www.hailuomaifang.com/4/view-14860462.htm