飲料生產過程中,飲料灌裝液位精度受灌裝設備的硬件狀況和定量灌裝控制系統控制策略的影響會出現瓶裝飲料液位高度波動。影響因素通常有飲料的液體特性及飲料內的固態成分、灌裝設備故障、自動補償控制系統調控策略等,因而灌裝作業中瓶裝飲料會出現灌裝液位差。灌裝后的液位高度檢測可以幫助廠家確保質量、控制成本,長期出現灌裝過量會造成原料需求量增加,企業利潤減少;缺量飲料流入市場,會造成企業的信譽損失,從而影響消費者消費決策。通過液位檢測可以反饋生產設備狀態,出現大量灌裝高度不合格飲料時,及時反饋錯誤,設備根據反饋信號及時調整參數修正錯誤,保障生產安全,提高生產效率。
瓶裝飲料液位檢測依賴光電傳感器發出視覺檢測程序觸發“開關”,配合壓力傳感器測量、電容式傳感器等對灌裝液位進行檢測,自機器視覺檢測技術應用后,在大部分PET飲料瓶質量檢測、灌裝后液位檢測多采用光電傳感器觸發檢測開關,配合圖像處理算法構成檢測系統。早期基于Opencv液位識別方法識別速度較慢,目前多數以光電傳感器作為液位檢測圖像處理程序的觸發器。
隨著機器視覺技術的成熟,目前機器視覺識別速度已能達到高速生產檢測的要求。使用機器視覺在飲料生產中作為檢測觸發程序,不僅可以降低檢測系統硬件使用量,集成化檢測系統,還能快速對檢測內容定位和調度檢測程序,并且可以簡化檢測系統設備結構,彌補傳感器冗雜的系統硬件布局缺點,提高系統效率和可靠性。飲料生產線視覺檢測系統背景較為簡單,因而更容易區分檢測目標,圖像中信息量少,配合圖像處理方法識別液位高度也就越快。本研究在YOLOv7基礎上參考飲料生產中飲料瓶質量檢測和飲料液位檢測方法,設計整套系統在背光照明的條件下實現瓶裝飲料液位檢測的快速識別和定位,并驗證了識別速度與識別準確率,為實現高速液位檢測提供識別模型,并快速定位液位區域,為液位高度檢測程序提供觸發指令,取代光電傳感器作為檢測程序的觸發器。
待采集的飲料瓶放置于傳送帶上,傳送帶寬25 cm;傳送帶一側設置CMOS傳感器海威工業相機,型號為MV-CE060-10UC,8 mm焦距鏡頭,采集圖像分辨率為3 072像素×2 048像素;另一側正對攝像頭設置背光板,背光板尺寸30 cm×60 cm,可滿足市場上大部分300~650 m L飲料瓶的高度,以此模擬生產的環境,其實際布局如圖1所示。在采集圖像試驗臺上采集不同類型瓶裝飲料液位。為獲得更好的液位特征完善識別模型,采集時以量筒測量后確定的飲料標準凈含量液位面為高度參考面,采集了俯視、平視和仰視3個視角的圖像作為學習樣本,采集圖像如圖2所示。
采集PET瓶裝飲料分類如圖3所示,將采集PET瓶類型分為透明瓶透明液位、透明瓶有色液位、深色透明瓶、表面粗糙瓶、直頸瓶、淺色透明瓶、白色不透明瓶和瓶頸不規則瓶8類。8種瓶分別采集有標簽有蓋、有標簽無蓋、無標簽有蓋和無標簽無蓋4小類樣本。每種類型飲料瓶基于飲料瓶形狀過渡對液位進行高度分段,據此條件作為液位高度變量。
由于生產線生產速度不同,多瓶飲料排列間隔也不同,為模擬生產時多瓶排列情況,將多瓶飲料不同間距排列從緊密到稀松分為4種間隔:緊密、間距2~3 cm、間距5~6 cm和間距8~12 cm,如圖4所示。
由于YOLOv7網絡中默認識別的80類可識別目標包含飲料瓶,因而只需驗證該模型在經過訓練后能夠正常識別和正確框定液位即可滿足識別要求。在對采集的部分樣本標注后,通過400輪次的訓練,訓練后驗證效果如圖5所示。
將采集的原始圖像篩選出無殘影的圖像,對圖像采取如下方式修改,增強模型對圖像識別準確性。
擴充采集樣本,模擬暗光與背光亮度過高,偏色處理模擬顏色失真,改變明度,圖6a為隨機選取圖像改變色相、飽和度和明度權重的樣本圖像。模糊圖像,從選取的圖像中隨機選取圖像,模擬實際應用中拍攝出現異常的情況,增加高斯、椒鹽和乘法噪聲;部分虛化圖像模擬鏡頭有霧氣。圖6b分別為加高斯、椒鹽、乘法噪聲和虛化的樣本圖像。
為進一步驗證模型復雜圖片識別能力,選取部分旋轉與加馬賽克處理,圖6c是瓶裝飲料原始圖像旋轉和馬賽克處理的樣本圖像。
已驗證YOLOv7能夠正常且準確識別和框定液位,通過改進YOLOv7結構(圖7),使得該算法更加適用于瓶裝飲料液位識別與框定,在實際生產檢測中與檢測程序更加契合。
YOLOv7基于空間金字塔池化結構(Spatial Pyramid Pooling,SPP),通過跨階段局部網絡CSPNet結構設計的一種SPPCSPC的空間金字塔池化結構
YOLOv7采用CIo U損失函數,其縱橫比權重不明確,其公式中參數反映的是長寬比差異,而不是寬高分別與其置信度的真實差異,在訓練后得到模型檢測液位時會因為瓶中傾斜液位而出現檢測框偏移較大,因而改進為SIo U公式。
角度計算如圖9所示,其他計算如下。
式中LossSIoU-總體損失函數
Io U-預測框與真實框交集和并集比值
Δ-距離損失
Ω-形狀損失
Λ-角度損失
A-面積
B-真實框
BGT-預測框
(bcxgt,bcygt)-真實框中心坐標
(bcx,bcy)-預測框中心坐標
cw、ch-真實框與預測框最小外接矩形的寬和高
c hc-真實框和預測框中心點的高度差
σc-真實框和預測框中心點的距離
w、h-預測框的寬和高
wgt、hgt-真實框的寬和高
θ-形狀損失關注程度,值為4
SIo U損失函數考慮了期望回歸之間的向量夾角,即角度損失Λ,還包括距離損失Δ、形狀損失Ω、Io U損失。方向框的角度會影響回歸,引入了角度損失Λ使得預測框快速地移動到最近地最近角度的軸,隨后模型將嘗試首先在X或Y軸做預測(以最接近者為準),然后沿著相關軸繼續接近。采用SIo U作為損失函數相等的訓練輪次下精度更高,添加角度懲罰進一步限制距離損失,有效地減少了損失的總自由度。
使用處理后的圖像作為訓練數據集,采用YOLOv7模塊,400次迭代,每8個樣本作為一個批處理單元(Batch size)。以多類別平均精度m AP、準確率(預測為正樣本實際為正的概率)Precision、損失值Loss及召回率Recall(實際為正的樣本中被預測為正樣本的概率),作為模型評價指標;以平均精度m AP和檢測時間t作為已訓練好的模型的主要評價指標。訓練配置如表1所示。
標注數據集,標注圖像共2 477幅,單瓶樣本中,無色透明瓶755幅、有色透明瓶463幅、不透明白色瓶150幅、表面粗糙瓶240幅;多瓶排列樣本269幅。修改HSV權值樣本100幅、旋轉樣本100幅、加馬賽克100幅、加噪點150幅及虛化樣本150幅。按照4∶1∶1的比例分配為訓練集、驗證集和測試集。
改進后的損失函數曲線如圖10所示。模型損失函數曲線在前50輪損失值下降較快后開始收斂,300輪之后損失值變化較小,并且損失值較小,可以確定損失函數有效。
為驗證改進后的YOLOv7飲料生產線關鍵目標檢測模型的識別性能,對模型的測試集做分類驗證。
(1)將分配好的含所有類別圖像的測試集圖像做混合測試,驗證模型性能。
(2)測試集分類驗證,將分類好的測試集圖像樣本、改變HSV權值的樣本、馬賽克模糊和加噪聲3類識別驗證,并對以上識別結果框定區域進行人工評估。
將同樣的訓練集分別在原YOLOv7和改進后的YOLOv7模型上訓練。使用二者訓練后的模型與本研究改進后的YOLOv7訓練好的最好權值模型在測試集上驗證。選取測試項為飲料瓶、液位識別精度、總體識別精度和平均精度,結果如表2所示,改進后的模型飲料液位識別精度為96.3%,比未改進模型94.5%高1.8個百分點,模型占用71.3 MB存儲空間。平均識別時間10.7 ms,非極大值抑制時間1.4 ms,平均識別框定時間12.1 ms。
進一步測試模型在暗光、色彩失真條件下模型的可靠性和檢測的準確性,選取暗光和修改色相、飽和度、亮度和全圖馬賽克(馬賽克核為15×15)的圖片各30張,包含多瓶排列樣本和空瓶,分別使用原算法和改進的YOLOv7訓練后得到的最好的模型中測試得到結果如表3和圖11所示。
由表3和圖11可知,在暗光、馬賽克、修改飽和度和改變色調的條件下模型沒有出現漏檢且液位定位準確。
在實際生產過程,因為相機過熱、線路不穩定等因素會出現部分采集樣本出現噪點,因而為驗證模型穩定性,分別選取30張加了高斯、椒鹽和乘法噪點的樣本圖像實測模型的抗噪點能力,包含多瓶排列樣本和空瓶,檢測結果如表4和圖12所示。通過實測,模型對于出現噪點的樣本同樣能準確識別,并且液位框定位置準確;增加噪點的樣本仍能準確識別并定位液位位置,對含氣泡液位也能正確識別。
(1)提出的基于YOLOv7網絡模型單幅圖像關鍵目標識別時間10.7 ms及非極大值抑制(NMS)處理時間1.4 ms,識別并定位平均耗時12.1 ms,模型占71.3 MB存儲空間。證明該模型對飲料關鍵檢測目標識別與定位的可行性,替換傳統傳感器作為瓶裝飲料液位高度檢測的圖像識別程序的觸發器,可實現實時的檢測觸發。
(2)識別模型可實時輸出識別框的像素位置數據,圖像處理程序根據框位置可直接從圖像中截取識別目標進行基于圖像處理的實時識別。
(3)對多種處理后圖像的試驗驗證表明,該模型具有抗干擾檢測能力,并且在暗光、顏色失真、加噪點和混合多類飲料且多噪點情況下也能識別目標,能夠對多種飲料瓶液位識別。