基于卷積神經網絡的生鮮蔬菜精準識別系統

來源:用戶上傳      作者:張鼎開 楊耀嘉 徐濟惠 馮志峰

　　摘要：近年來，人工智能技術在商業領域的使用引起了越來越多的關注，通過開發更加智能化的系統幫助超市管理者管理超市和便捷顧客成了研究趨向。文章選取五類常見蔬菜作為訓練標簽，通過提取和學習圖片，將卷積神經網絡與隨機梯度下降算法應用于實現蔬菜對象識別模型。根據評估結果，最終選擇300萬次迭代訓練識別模型，模型準確率為95.2%。
　　關鍵詞：圖像識別; 深度神經網絡; 卷積神經網絡；隨機梯度下降；超市管理
　　中圖分類號：TP18 文獻標識碼：A
　　文章編號：1009-3044（2022）30-0007-04
　　開放科學（資源服務）標識碼（OSID）：
　　1概述
　　隨著人工智能技術的發展，智能化產品在人們的生活中被越來越多地運用，與機器學習相結合的系統在生活中的許多領域都有著廣泛且成熟的使用[1]，如指紋解鎖門鎖、人臉識別付款等。同時隨著科技的發展，超市等購物場所的部分環節也逐漸從人工操作轉換為以機器為主，例如超市的自助結賬系統。一方面，隨著社會的發展，工資水平的提高，采用機器替換人力能夠在一定程度上節省雇傭的成本；另一方面，大量機器的部署會減少顧客排隊的時間，因此，在商業領域，管理者越來越傾向于使用人工智能技術的智能化管理來幫助自己獲得更大的收益。
　　人工智能技術的飛速發展為超市管理帶來了全新的模式。超市管理者能夠通過購買和使用智能化機器優化傳統的超市經營模式。Daljeet通過挖掘大量的顧客在超市購買商品的數據，建立預測模型和描述模型，從而了解商品與商品間被購買的關系，如顧客在購買牛奶時一般還會購買面包。該研究得出結論，通過數據挖掘，超市管理者能夠在人工智能技術的幫助下，了解顧客的購買水平、購買傾向、甚至顧客家庭的購買情況；同時超市管理者通過了解這些數據能夠制定相應有效的營銷策略從而幫助自己保留顧客等[2]。Kedar等提出了一種基于機器學習的方法用于及時發現制冷和冷藏系統中出現的問題。該團隊通過將時間序列預測問題轉化為分類問題，采用基于隨機森林的二進制分類器進行特征提取，來實現僅需制冷情況下的溫度讀數和除霜狀態，就能分析出制冷系統是否存在問題的模型，并且該系統在上千家超市制冷系統測試中實現了89％的準確率[3]。
　　人工智能技術除了能為超市管理者帶來良好的經濟效益和智能管理模式，還能為超市的消費者帶來許多好處。
　　人工智能技術的應用，也能使消費者通過使用智能系統和設備獲得良好的購物體驗，節省等待時間，體驗便捷的購物方式。Antonio的團隊提出了一種購物輔助系統的設計框架，該系統主要用于老年人或殘障人士在超市中根據購物清單在載有系統的機器人的幫助下引導購物[4]。何小旭提出利用射頻識別技術實現在不需要接觸的情況下就能夠完成商品標簽識別的購物方式[5]。但由于這項技術的布置成本較高，還無法在市場上普及使用。
　　雖然在超市環境的許多方面，人工智能技術的應用為超市管理和消費者購物體驗都帶來了許多便利，但由于技術的難度和成本原因，自助、智能地掃描商品種類問題還未得到完全解決。通過調研、實際走訪當地超市，發現很多超市仍雇傭人力幫助顧客進行散裝生鮮食品的稱重，部分超市雖引進了顧客自助稱重的機器，但使用的自助稱重系統均需要顧客手動選擇蔬菜品類，所需時間較長。
　　因此，本文運用圖像識別為基本技術，以大量的超市常見蔬菜圖片為數據集，通過優化算法及卷積層，實現智能識別蔬菜種類。在商業層面，本系統既幫助超市管理者節省了雇傭人力的成本，又幫節約了消費者稱重排隊的時間；在科技層面，本系統通過優化蔬菜類區別度不明顯的商品識別，促進了進一步實現全面智能化管理。
　　2 探究實現生鮮蔬菜精準識別系統基本思路
　　生鮮蔬菜精準識別系統的探究與實現過程主要包括超市常見蔬菜圖片采集、蔬菜圖像識別模型訓練、識別模型選擇三個部分組成，如圖1所示。
　　首先，圖片采集主要針對常見蔬菜的照片采集。數據來源于互聯網圖庫中相關的蔬菜信息，對于蔬菜的種類，主要選擇爬取國內超市常見的蔬菜，如白菜、胡蘿卜等；對于蔬菜圖片，主要篩選與超市貨架上情況較為相似的蔬菜圖片，不考慮種植環境中的蔬菜圖片。
　　第二，將圖片采集中挖掘的常見蔬菜圖片作為模型訓練的數據集，蔬菜名稱作為模型訓練的標簽，運用卷積神經網絡和隨機梯度下降算法訓練分類模型，類別為各種蔬菜名稱。根據蔬菜名稱和蔬菜圖片，為訓練數據構建基于卷積神經網絡的蔬菜識別模型。 同時，在訓練過程中，嘗試使用不同的訓練迭代次數，構建探究不同迭代下訓練所得模型的性能。
　　最后，測試識別模型對于識別超市場景下蔬菜照片的表現，并通過比較在訓練的過程中選擇幾種不同的迭代次數所獲得的識別模型的準確率和召回率性能指標值，選擇識別能力最優的模型作為實驗最終推薦的蔬菜識別系統。
　　3 超市常見蔬菜圖片采集
　　超市常見蔬菜圖片采集以百度圖片為數據源。為結合當地特色，體現寧波市居民蔬菜購買趨向，團隊成員于寒假期間走訪了寧波當地各大超市（沃爾瑪、樂購、三江、新江廈、歐尚、家樂福等），通過市場調研的方式，了解并統計了超市常見的蔬菜種類及銷量。圖2為沃爾瑪、三江和新江廈超市某一分店某日日銷量前5的蔬菜名稱及銷量。
　　根據調查分析所得結果，優先選擇銷量較高的蔬菜作為模型訓練的數據標簽，同時考慮研究目標為構建召回識別系y，因此選擇同一品種但具體種類不同的幾類外形相似蔬菜作為模型訓練的數據分類。
　　最終，通過比較與分析，本文選用冬筍、雷筍、韭菜、芹菜、菜心五種蔬菜作為模型訓練的標簽，并運用爬蟲技術分別爬取了百度圖片中上述五種蔬菜的圖片各30張，總共150張清晰的、已摘取狀態下的蔬菜照片作為訓練集數據；對于測試集數據，為了結合實際場景評判識別系統的性能，團隊成員到超市實際拍攝了上述五種蔬菜的照片各5張，共25張照片作為模型的測試數據。

nlc202212091105

　　4 基于卷積神經網絡的蔬菜識別模型構建
　　4.1 深度神經網絡
　　深度神經網絡（Deep Neural Networks，DNN），也就是常說的深度學習，具有連接多個內部隱藏層以進行特征檢測和表示學習的深度層次結構[6]，如圖3所示，x代表輸入的特征值，w代表層與層的值間的特征向量。表示學習就是學習如何表達現實世界中從觀測數據中提取的基本信息[7]。通過深度學習的方法，特征提取可以通過使用深度學習使用圖像的像素級別作為輸入值，并通過學習獲得最合適的特征并進行識別，從而替代需要通過人為操作進行反復試驗的傳統方式的弊端[8]。最簡單的神經網絡是單層感知器網絡，它由單層輸出組成，輸入直接饋送到輸出，上述的神經網絡可以認為是最簡單的前饋網絡[9]。通過在多層神經網絡中采用反向傳播，模型的訓練變得很容易學習。在本文中，卷積神經網絡會被用來學習和訓練蔬菜圖像識別模型。
　　4.2 卷積神經網絡
　　本文采用深度學習方法中的卷積神經網絡模型（Convolution Neural Networks，CNN），實現蔬菜圖像識別模型的訓練與構建。在結構方面，卷積神經網絡由卷積層、池化層、全連接層構建而成，形成了一種在內部層次實現全連接的一種形式，能夠有效地表征學習能力，提高學習的準確性[10]。在學習方法方面，卷積神經網絡中的學習方法如傳統的多層感知器一樣，使用反向傳播模型，并使用隨機梯度下降法用來更新加權濾波器和耦合系數。依靠這樣的學習方法，卷積神經網絡通過使用卷積和池化操作[11-13]來識別優化的功能。對于類別識別任務，卷積神經網絡中使用了整流線性單元（Rectified Linear Unit，ReLU）來加快訓練速度。
　　在結構方面，卷積層為該神經網絡模型的核心部分，采用卷積公式進行卷積核計算[14]，如公式（1）所示。
　　[f=σb+l=1Lm=1Mwl，maj+l，k+m] （1）
　　在公式（1）中，[f]表示蔬菜圖片在經過卷積層卷積計算后得到新的特征表示， [L]表示蔬菜名稱，[M]表示蔬菜圖片的像素值，[j]和[k]分別表示增長長度， [b]為偏置項，[σ]為激活函數。
　　卷積層輸出作為后一層：池化層的輸入，從而實現提取圖片的局部重要特征，以減少過擬合的發生[15]。本研究使用的池化層計算公式如式（2）所示。
　　[f=σpool（fl-1j）+blj] （2）
　　在公式（2）中，[pool]為前向和反向傳播梯度的最大池化和平均池化的函數。
　　全連接層是將卷積和池化層獲得的局部特征作為輸入，經過加權連接后組裝成完整的圖后再輸出，全連接層的計算公式如式（3）所示。
　　[f=σKlfl-1+bl] （3）
　　在學習方面，本文運用Caffe實現卷積神經網絡模型的訓練與測試。Caffe提供了一個完整的工具包，用于訓練、測試、微調和部署模型，并為所有任務提供了詳細記錄的示例[16]。
　　根上述描述及分析，卷積神經網絡被認為能夠成功應用于對象識別的模型構建。典型的卷積神經網絡如圖4所示。網絡由一組層組成，每個層包含一個或多個平面。平面中的每個單元都從上一層平面中的一個小鄰域接收輸入。
　　4.3 蔬菜識別模型構建
　　在模型的構建過程中，使用訓練集數據實現識別模型的學習與訓練過程。根據第3節所描述，本文中所用到的訓練數據集共包含150張圖片，圖片的分類標簽是五種蔬菜名稱（分別是冬筍、雷筍、韭菜、芹菜和菜心），每種標簽下分別有30張對應蔬菜圖片。蔬菜的圖像數據示例如圖5所示。
　　在訓練識別模型的過程中，通過卷積層的特征計算，利用隨機梯度下降算法監督特征與模型識別結果的關系，訓練獲得能夠實現蔬菜識別的預測模型。為了探究在訓練過程中迭代次數對于模型識別能力的影響，本文嘗試在模型訓練的過程中使用從100萬至1000萬不同的學習迭代。根據迭代次數的不同，在訓練階段，共構建了三種識別模型，分別是基于100萬次訓練迭代、300萬次迭代和1000萬次迭代。
　　5 蔬菜識別模型的測試與選擇
　　由于在進行模型的訓練過程時，使用了不同蔬菜的圖片分別進行迭代學習。在測試階段，通過比較不同迭代次數所構建的模型識別的準確率和召回率來選擇最優模型。
　　準確率是衡量模型正確地對數據點進行分類頻率的一種性能指標，尤其適用于分類樣本數量較為平均的分類問題。因此，本文選用準確率作為評估模型識別能力的指標之一。
　　準確率的結果如圖6所示，橫軸表示蔬菜類別，縱軸表示準確率。其中迭代學習的平均準確率分別為92.4%（100萬次迭代）、95.2%（300萬次迭代）和88.4%（1000萬次迭代）。可以看出，在使用300萬次學習迭代訓練模型時，所表現出的識別性能最高（超過95％的準確率），并且差異較小。
　　除了計算準確率，本文還計算了識別結果與真實標簽間的召回率來評估模型的識別能力。召回率所計算的是預測為正的樣本占實際正陽本數量的比例，一般用于評估模型預測或識別某一已經發生或存在的真實事物的能力。因此，對于評估識別蔬菜的能力，可以選用召回率作為另一個評估指標。
　　不同蔬菜和不同學習迭代的召回率結果如圖7所示，模型在識別測試集圖片時的召回率總體（三種迭代分別為89.6%、93.2%和86.2%）相對于準確率較低。其中最明顯的差異表現在對于使用韭菜圖片進行的100萬次迭代，召回率約為84％，但是當學習迭代為300萬次時，召回率會提高（約89%），但隨著迭代次數增加到1000萬次時，召回率反而下降至3種迭代的最低（約79%）。在這種情況下，模型可能會將圖片中的背景部分作為有效學習區域進行識別。

nlc202212091105

　　通過考慮模型在不同迭代次數和不同種類蔬菜圖片的準確率和召回率的最大值、中間值和最小值，本文選擇使用300萬次的迭代學習次數來實現卷積神經網絡下的蔬菜圖片識別模型的訓練與構建。并選擇此訓練環境下構建的識別模型作為本文所構建的識別模型。
　　6 結論
　　本文面向超市顧客稱重蔬菜需要花時間排隊并且超市雇傭人力進行稱重需要大量的成本等問題，提出了一種基于卷積神經網絡的蔬菜精準識別系統。通過運用卷積神經網絡，最終選擇了300萬次迭代作為模型的訓練迭代次數，獲得了一種擁有95.2%準確率的常見蔬菜識別模型。該模型有望與稱重臺等硬件設備相結合，服務于超市中，優化超市對于生鮮食品的管理。
　　參考文獻：
　　[1] 王志宏，楊震.人工智能技術研究及未來智能化信息服務體系的思考[J].電信科學，2017，33（5）：1-11.
　　[2] Kaur D， Kaur J. Data Mining in Supermarket： A Survey[J]. International Journal of Computational Intelligence Research， 2017， 13（8）： 1945-1951.
　　[3] Kulkarni K，Devi U，Sirighee A，et al.Predictive maintenance for supermarket refrigeration systems using only case temperature data[C]//2018 Annual American Control Conference （ACC）.June 27-29，2018.Milwaukee，WI.IEEE，2018：4640-4645.
　　[4] Marin-Hernandez A，de Jesús Hoyos-Rivera G，García-Arroyo M，et al.Conception and implementation of a supermarket shopping assistant system[C]//2012 11th Mexican International Conference on Artificial Intelligence.San Luis Potos，Mexico.IEEE，2012：26-31.
　　[5] 何小旭.RFID技術在智能超市中應用問題研究[D].武漢：武漢理工大學，2009.
　　[6] 孫志軍，薛磊，許陽明，等.深度學習研究綜述[J].計算機應用研究，2012，29（8）：2806-2810.
　　[7] Bengio Y，Courville A，Vincent P.Representation learning：a review and new perspectives[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（8）：1798-1828.
　　[8] Le Q V.Building high-level features using large scale unsupervised learning[C]//2013 IEEE International Conference on Acoustics，Speech and Signal Processing.Vancouver，BC，Canada.IEEE，2013：8595-8598.
　　[9] Bebis G，Georgiopoulos M.Feed-forward neural networks[J].IEEE Potentials，1994，13（4）：27-31.
　　[10] Lee H，Grosse R，Ranganath R，et al.Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning.Montreal，Quebec，Canada.New York：ACM，2009：609-616.
　　[11] Takaki S，Yamagishi J.A deep auto-encoder based low-dimensional feature extraction from FFT spectral envelopes for statistical parametric speech synthesis[C]//2016 IEEE International Conference on Acoustics，Speech and Signal Processing.Shanghai，China.IEEE，：5535-5539.
　　[12] Kang L，Kumar J，Ye P，et al.Convolutional neural networks for document image classification[C]//2014 22nd International Conference on Pattern Recognition.Stockholm，Sweden.IEEE，：3168-3172.
　　[13] R宏濤，張秦川.深度卷積神經網絡在計算機視覺中的應用研究綜述[J].數據采集與處理，2016，31（1）：1-17.
　　[14] 王振，高茂庭.基于卷積神經網絡的圖像識別算法設計與實現[J].現代計算機（專業版），2015（20）：61-66.
　　[15] 劉萬軍，梁雪劍，曲海成.不同池化模型的卷積神經網絡學習性能研究[J].中國圖象圖形學報，2016，21（9）：1178-1190.
　　[16] Jia Y Q，Shelhamer E，Donahue J，et al.Caffe：convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM international conference on Multimedia.Orlando，Florida，USA.New York：ACM，2014：675-678.
　　【通聯編輯：唐一東】

nlc202212091105

轉載注明來源:http://www.hailuomaifang.com/8/view-15443066.htm