水果和蔬菜通常對人類健康很重要,因為它們富含許多營養素,包括鉀、葉酸、維生素 C、膳食纖維等。隨著日益增長的果蔬需求,農業機器人成為收獲、修剪、局部噴施等栽培任務中的熱門手段,這促進了果蔬檢測圖像分析和計算機視覺方法的發展。然而,復雜溫室環境下的葫蘆科果實時檢測算法存在諸多挑戰,如葉片遮擋、果實重疊、逆光、正光等等都是其中的挑戰之一。與此同時,果實檢測算法被期望具有通用性、輕量級、準確和快速的特點。為此,本研究提出了一種改進的YOLO序列檢測算法用于溫室葫蘆科果實檢測,并與YOLOv4、YOLOv5算法進行了比較。研究采用數碼相機采集了苦瓜、黃瓜、甜瓜和博洋蜜瓜的果實圖像(共2469張,分別為665、664、404和736張),其中包含葉片遮擋、果實重疊、枝干遮擋、背光、正光等各種環境條件的圖像(如圖1所示),并將其隨即劃分為訓練集80%、驗證集15%和測試集5%。由于輕量級的YOLOv4、YOLOv5檢測速度快,本研究以此作為框架,在此基礎上,Neck網絡(如圖3所示)采用路徑聚合網絡(PANet)和特征金字塔網絡(FPN)分別將YOLOv4和YOLOv5的骨干殘差塊排列從1、2、8、8、4改進為2、3、4、3、2,F、3、9、9、3改進為F、3、4、3、2(如圖2和表1所示)。結果表明,與YOLOv4和YOLOv5的Backbone相比,改進后的Backbone的檢測精度更高,速度更快。添加PANet的頸部的準確度高于FPN,但FPN的檢測時間較少。在所測試的改進算法中,YOLOv4RPANet檢測結果的平均準確率為91.5%,平均檢測時間為5.0 ms,優于YOLOv4和YOLOv5(如表2所示)。盡管存在差異,其他改進的YOLO系列檢測算法也是輕量級的,在更好的泛化性、實時檢測果實以及偽標簽生成器方面具有巨大前景,適用于采摘/收獲機器人。
圖1 各種條件下的果實圖像:(a)被葉片遮擋;(b)重疊;(c)被枝干遮擋;(d)b背光;(e)正光;(f)YOLO注釋規則,包含對象類、坐標、高度和寬度。
圖2 研究采用的改進(a)YOLOv5和 (b)YOLOv4 Backbone的果實檢測算法。
圖3 (a)FPN和(b)PANet的Neck網絡。
表1 研究所采用的訓練模型的總結
文獻來源:Lawal, O.M. Real-time cucurbit fruit detection in greenhouse using improved YOLO series algorithm. Precision Agric (2023). https://doi.org/10.1007/s11119-023-10074-0