精準雷射蟲害控制
Precise Laser Pest Control
在本研究中發展雷射病蟲害防治儀，其結合了單眼立體視覺 (monocular stereo vision)、快速雷射掃描 (rapid laser scanning) 與智慧影像辨識 (intelligent pest recognition) 等關鍵技術，應用於農業害蟲種群數量控制。選擇小白紋毒蛾 (Orgyia Postica) 與台灣黃毒蛾 (Porthesia Taiwana) 這兩種常見的害蟲做測試，將其標定完成之原始圖像用於 YOLO 演算法訓練與辨識，在 YOLO 演算法框選區域，再針對不同的害蟲做影像處理來檢測出害蟲的頭部，若是小白紋毒蛾則先需要將影像之色彩空間由 RGB 轉換成 HSV 後再進行頭部檢測的影像處理，並通過使用 k 均值聚類演算法 (k-means clustering algorithm) 定位出害蟲頭部的中心座標值，使雷射掃描系統能精準地控制雷射光束照射在害蟲頭部。實驗結果指出在波長 450 nm 、功率 1.735 W、光斑直徑 2.5 mm 的條件下，二齡以上的台灣黃毒蛾幼蟲在照射 1.2 sec 後會使其無法進一步攝入食物。因此，所發展之雷射病蟲害防治儀是能夠有效地控制害蟲種群的方法。
In this study, we developed a laser pest control system which combine the key techniques of monocular stereo vision, rapid laser scanning, and intelligent pest recognition for disabling caterpillars. Two caterpillar species of Orgyia Postica and Porthesia Taiwana were considered and their original images were used to train YOLO for identification. Color transform from RGB to HSV was applied to Orgyia Postica, and for Porthesia Taiwana, RGB color space was maintained, to successfully detect the caterpillar's head. The center of the caterpillar's head was positively approximated by using k-means clustering algorithm. These newly identified coordinates were then exposed to automatically controlled laser beam. Preliminary experimental results indicated that the second-instar larvae of Porthesia Taiwana could not further ingest food after 1.2 sec of irradiation under laser parameters with wavelength of 450 nm, power of 1.735 W and spot diameter of 2.5 mm. Therefore, this synergistic laser system seems to be a beneficial and promising approach to effectively control the pest population.
一、前言
農民為了保護未收成的農作物不受到昆蟲、動物的破壞，目前最普遍的做法是噴灑農藥來防治病蟲害，近年來雖然人民與政府皆有共識，積極推廣無藥農業，但是成效緩慢。為了減少病蟲害防治的農藥使用量，在科技進步下，已經有利用雷射光來避免昆蟲、動物入侵
(1, 2)不但可避免減少有毒化學物質對環境的傷害，還能提升農業生產效率。然而，雷射應用在蟲害防治上，目前還是處於研究開發的階段，所以目前市場上並沒有太大規模的使用在蟲害防治，而且雷射蟲害防治技術的成本還是相當高，不過，隨著科技的進步下，雷射蟲害防治系統將很有機會取代農藥的使用來達成無藥農業的目的。因此發展雷射蟲害防治系統的目的為建立一套能取代農藥的使用，避免有毒化學物質對環境的傷害，最終提升農業生產效率及產量。
本篇文章主要結合了蟲害專家學者提供相關領域知識，並運用自身軟體優勢，來建立一套能減少農藥用量的雷射病蟲害防治系統。利用自行設計組裝、可調性佳的脈衝式高功率雷射系統，配合單一攝像機及影像辨識系統裝載於嵌入式系統中，運用深度學習技術將資料庫中的害蟲，加以訓練辨視，並且經由影像辨識系統，自動識別出對農作物有害的害蟲位置，主動調整雷射功率至不傷及作物的情況下，特別針對這些害物以雷射進行直接組織毀壞，並為求更有效率的抑制害蟲，使用局部雷射於蟲的弱點區，以減少功率的消耗及縮短雷射的時間，以達快速及有效的成果。
二、關鍵技術開發
1. 單眼立體視覺 (monocular stereo vision)
單眼立體視覺系統與雷射掃描系統是採用同軸光學的設計架構，可以使雷射出光與影像擷取經由相同的角度進出，如此一來可以避免不同視角所造成的誤差，只要相機所接收到的目標物體沒有被東西擋住，雷射的路徑應該也是可以暢通地照射在目標物體上。圖 1 為雷射病蟲害防治儀系統之光學架構系統示意圖與實體影像，包含了單眼立體視覺系統與雷射掃描系統之光路系統，其透過二色鏡 (dichroic mirror) 來整合此兩套系統之光路達成同軸光學的設計架構，在雷射掃描系統上，初步所使用的雷射光源為雷射二極體 (laser diode)，經由雷射開關來精確地控制雷射光照射在目標物上的能量劑量 (energy doses)，之後再經過振鏡系統與分色鏡藉此來改變雷射光束的出光角度以達到快速且精準地照射在目標物體上。而單眼立體視覺系統的部分，經由二色鏡與陷波濾波片 (notch filter) 可以避免高強度的雷射光進入相機而造成相機本身的傷害，由相機取得的二張影像，再搭配自駕車系統所提供的位置資訊，經由目標物體在二張影像中所佔的像素差，再加上已知的像素大小及鏡頭焦距，便可利用簡單的三角幾何原理反推算出目標物體在空間上的座標位置，經由結合上述的各項技術，可以在相機擷取影像後，結合單眼立體視覺與影像辨識得到一個雷射掃描座標位置，再將此座標值所對應的電壓提供給兩軸的振鏡掃描系統，完成雷射病蟲害防治的目的。
圖 1. (a) 雷射病蟲害防治儀系統之光學架構，包含有單眼立體視覺系統與雷射掃描系統；(b) 雷射病蟲害防治儀系統之實體影像。
2. 快速雷射掃描 (rapid laser scanning)
光學掃描方式是被加工物體不動，雷射本身藉由二片高反射鍍膜鏡片，分別在平行方向及垂直方向快速轉動或振動以偏轉雷射光的位置，此種方式可將雷射光束快速偏移來進行位置掃描，此系統稱之為振鏡系統。而這樣的系統亦適合運用在棗樹病蟲害的防治系統上，當影像系統擷取到害蟲、蟲卵或罹病部位的影像後，經過辨識、定位、及範圍確認，即可啟動振鏡掃描系統，使雷射光束進行全面積多重快速掃描或精密快速的定位，完成罹病區或害物的清除作業，尤其再輔以自動變焦系統，調控不同的焦距，以控制不同的雷射光斑輸出，即可迅速調整單位面積的雷射能量，確保目標物體之清除，且不傷及作物。在此，為了可以掃描不同大小區域範圍，我們採用兩軸光學振鏡 (GVS202，Thorlabs) 作為掃描的工具。此光學振鏡在輸入 ±10V 的工作電壓時可以達到 ± 12.5° 的機械角度，並利用其高達 1 kHz 的掃描頻率快速地反覆掃瞄目標物所在的位置區域。由光學振鏡組所組成的二維掃描系統、雷射光源與快門來建立初步的病蟲害雷射防治系統，經由結合深度學習來辨識出物體的位置，與運算得到的空間座標，輸入給控制中樞，來完成病蟲害雷射防治系統的建立。目前系統控制中樞是採用嵌入式系統 NVIDIA Jetson TX2，經由 Ubuntu 作業系統下的機器人作業系統 (robot operating system, ROS) 來溝通所有的外部控制硬體，包含 USB 相機、雷射開關與振鏡控制器，控制系統流程如圖 2(a) 所表示，經由 USB 相機所取得的影像，輸入系統中，經過辨識運算取得農業害蟲在輸入圖像中的座標位置，再透過 TX2 上的通用型之輸入輸出 (general-purpose input/output, GPIO) 介面溝通的 RS485 通訊之數位類比轉換器 (digital to analog converter, DAC)，藉由輸出類比電壓控制雷射振鏡的角度，使雷射光正確地照射在目標物體上，同時間也經由 GPIO 來控制雷射開關，來精確地控制雷射光能量的照射劑量，圖 2(b) 為雷射病蟲害防治儀控制系統的實體影像，透過嵌入式系統 NVIDIA Jetson TX2 硬體來完成整體的控制。
圖 2. (a) 雷射病蟲害防治儀控制系統之介面控制架構圖；(b) 整體控制系統之實體影像。
為了讓雷射光束精準地照射在目標物體的位置上，經由目標物體在影像中的座標位置需要經過校正來取得其在真實空間中的座標，假設相機的像素尺寸為 dcam，而且其所使用的成像鏡頭焦距為 f，相機所取得的影像大小為 M × N，而目標物的位置座標為 (x, y)，並且假設影像中心座標為振鏡系統的掃描原點，經由簡單的三角幾何公式可以推導出雷射光束所需要的偏轉角度。在計算出雷射光束所需要的偏轉角度，根據光槓桿原理兩軸振鏡所需要偏轉的角度為雷射光束所偏轉角度的一半，由於所使用的光學振鏡在輸入 10 V 的工作電壓時可以達到 12.5° 的機械角度，經由計算可以得到兩軸振鏡偏轉所需要的電壓值。在取得兩軸振鏡偏轉所需要的電壓數值後，就可以經由 TX2 來控制雷射光束，使其精準地照射在目標物體上。
3. 智慧影像辨識 (intelligent pest recognition)
初步的測試場域為鳳山農試所合作配合之棗園，所使用的 Basler 彩色相機解析度為 1280 × 960，影像鏡頭焦距為 12 mm 來擷取影像，自行建立害蟲的資料庫，初期測試由取得的兩種害蟲資料庫，使用離線方式訓練並將其訓練結果建構於嵌入式系統 NVIDIA Jetson TX2，藉此進行深度學習的計算並且將結果轉換成真實座標位置。
以卷積神經網路 (convolutional neural networks, CNN) 為基本架構的物件偵測主要分成二大類：二階段偵測及一階段偵測。在二階段偵測中，將物件偵測分成第一步驟的偵測與第二步驟的分類。著名的作法有快速 RCNN (regions with CNN features)(3)，以 CNN 為基礎架構利用回歸與分類達到物件偵測及物件分類。以此基礎的變化有 R-FCN (region-based fully convolutional networks)(4) 與 FPN (feature pyramid networks)(5)。在一階段偵測中，是將偵測與分類在同一個步驟中學習完成，著名的方法有 YOLO (you only look once)(6) 與 SSD (single shot detector)(7)。這二種一階段的偵測在計算複雜度上都是比二階段偵測輕量很多，在系統上比較有機會達到即時運算的需求，但缺點是比二階段偵測的正確率相近或是比較差(8, 9)。
在辨識率與計算速度上的考量，我們使用 YOLO 的架構訓練害蟲資料庫，在訓練之前，我們將取樣的影像做縮小 3－4.5 倍後，任意角度 (間隔 10 度) 旋轉並調整亮度，再由圖片心中切成 448 × 448 的尺寸，當成學習資料，以增強算法的強健性及辨識度。收集的資料庫針對棗園常見的二種害蟲，小白紋毒蛾 (Orgyia postica) 及台灣黃毒蛾 (Porthesia taiwan)，使用 710 張圖做訓練，及使用人工標定的 500 張圖做測試，測試流程如圖 3(a) 所示。經由 YOLO 的架構上無修正的使用原網路設定，運用 YOLO 的預測模型加上 710 張影像重新訓練一次權重值適合害蟲的網路架構 710 張圖離線訓練後，利用訓練好的網路架構將鏡頭的即時影像輸入網路架構中，進行辨識與框選；再經由框選與分類的結果，針對每一個框選區再做一次精準的定位流程如圖 3(b) 所示，為了使雷射更有效率的使用，我們定位出害蟲弱點部份即為頭部， YOLO 分類的結果選擇使用不同的影像處理方式，利用二種害蟲頭部顏色紋理不同的特性，小白紋毒蛾的身體呈現黃色且頭部呈現紅色的特性投影顏色模組於 HSV 中有可效分離黃色與紅色區域依據；而黃毒蛾與小白紋毒蛾有不同的顏色紋理，頭部顏色紋理的部份為黑色分佈占較大的比重，因此使用抓取黑色區域後標示相對位置為紅色，並針對紅色區域取重心設定頭部座標。
將辨識後的結果區塊經由 RGB 轉換到 HSV Model，各自分成三個頻道 H、S 及 V，每個頻道的解析度為長為 m，寬為 n，若辨識結果的分類為小白紋毒蛾，即使用下列公式做過濾將區塊中的影像紅色部份做二值化成為一張 red 圖，在此公式中，TH1 為紅色角度的閥值設定為 0.08，TH2 為飽和度的閥值設定為 0.6，h 值的分佈 0－1；s 值的分佈 0－1。
若辨識結果的分類為台灣黃毒蛾，需要做黑色的過濾，因此會使用下面公式，公式中一樣使用 HSV 資訊，並將影像黑色部份做二值化成為一張 black 圖；TH3 為每個點的色度+飽和度+亮度的值總合閥值設定為 0.3。
過濾完的結果如圖 3(c) 所示，可將小白紋毒蛾紅色的部份使用紅色標示出，黃毒蛾黑色的部份使用白色標示出並使用 k-means10 的分群法得到每一群的重心，再取最大的那一群的重心結果輸出給雷射座標。如圖 3 中圖重心部份使用白色方格表示。
圖 3. (a)為YOLO影像辨識；(b)為害蟲頭部定位流程；(c)為偵測顏色過濾的結果。
三、測試結果
1. 兩種害蟲之辨識結果
(1) YOLO 辨識結果分析：由於在實際環境中，害蟲並非鋼體會有不同的體態角度，及不同的環境亮度變化，因此在訓練時考量這些環境變因有加入不同旋轉角度和不同亮度的訓練及測試影像如圖 4(a) 所示，在實際場景中，背景複雜且亮度不一致經由 YOLO 網路架構使用 ResNet-50 的基本架構的辨識。在訓練的迭代次數實驗使用 9 層與 24 層測試迭代 50－500 次分析收斂程度，實驗結果得到針對訓練影像在迭代 150 次以上可達辨識率 100% 的收斂結果，如圖 4(b)。使用不在訓練資料庫外的另外 500 張測試影像，測試辨識率，使用 9 層與 24 層的結果辨識率皆達 100%，因此加入 IoU (intersection over union)(11)分析與人工標定出的框與偵測結果框的重疊率如圖 4(c) 所示，雖然在辨識率達 100%，但在 IoU 的數值 1 表示為人工標定的框與偵測框 100% 重疊，相反地，數值為 0 表示人工標定與偵測框完全無重疊，在此分析上無法有接近 1 的數值結果，主要原因是因為多人標定，而且害蟲體態角度無法用統一的標定手法，因此計算時無法達到接近 1 的數值結果。
圖 4. 使用 YOLO 的偵測結果：(a) 運用不同情況影像測試算法強健度，不同亮度與複雜背景實際圖；(b) 訓練圖 710 張，使用 9 層與 24 層分析迭代次數結果；(c) 訓練加入測試影像並使用 IoU 分析結果。
(2) 害蟲頭部定位結果分析：頭部定位辨識率結果如表 1 所示，總定位辨識率為 62% 當中小白紋毒蛾辨識率為 75%，台灣黃毒蛾 58%；將顏色過濾結果如圖 5(a) 所示，經由上述的公式過濾後，可二值化得到需求的資訊，再經由 k-means 的結果如圖中白色框定位出中心點座標；如圖 5(b) 為小白紋毒蛾無法正確定位出的圖，由於使用紅色二值化，因此在無此資訊及頭部被遮蔽的情況下無法正確定位出頭部的位置；如圖 5(c) 為台灣黃毒蛾無法正確定位出的圖，由於使用黑色二值化，由於使用的黑色過濾上無法有效過濾出需要的頭部黑色資料，如每張彩色圖右邊的黑底圖都為全黑表示在黑色過濾時沒有任何一個像素點為黑色，因此無法定位出有效的位置使得頭部定位的正確率較低。
表 1. 頭部定位辨識度分析表。
圖 5. 針對害蟲頭部定位結果：(a) 顏色過濾定位結果圖；(b) 小白紋毒蛾無法正確定位圖；(c) 台灣黃毒蛾無法正確定位圖。
2. 定位精準度的測試結果
根據目前的雷射病蟲害防治儀之系統設計，相機上感光元件的一個像素點尺寸大小為 3.75 mm，成像鏡頭的焦距為 12 mm，因此，經由影像提供的角度解析度約為 0.018° (像素除以鏡頭焦距)；而在雷射掃描系統上，由於光學振鏡在輸入 ±10 V 的工作電壓時可以達到 ±12.5° 的機械角度，且使用的 DAC 在 ±10 V 的輸出時可以提供 12 bit 解析度，換算下來光學振鏡能夠達到約 0.006° 的角度解析，經由於光槓桿原理可以得出雷射光束的掃描角度解析度為 0.012°，在假設目標物體距離為 120 cm 的情況下，影像目標物與雷射光目標物的理論誤差值約只有 0.13 mm (120 cm × (0.018° - 0.012°) ÷ 180° × π = 0.013 cm)，因此，目前的雷射病蟲害防治儀系統設計是沒有問題的，雷射掃描系統可以經由影像系統提供的座標位置來精準地定位在目標物體上，而經由實際的實驗測試結果，誤差值約為 1 至 2 mm 左右；圖 6 為雷射病蟲害防治儀的初步測試實驗結果，影像中的紅色線交點為雷射光束的掃描原點，由相機所取得的影像經過 YOLO 網路計算後可框選出害蟲區域，並且將此區域的中心座標回傳，並驅動光學振鏡讓雷射光束偏折至目標物體的座標位置上，洋紅色為影像辨識所框出的害蟲位置，上面名稱為害蟲的種類 (台灣黃毒蛾)，綠色光點為雷射光所照射的位置，正好落在框選區域的中心位置附近。
圖 6. 雷射病蟲害防治儀的初步測試實驗結果，紅色線交點為雷射光束的掃描原點，洋紅色為 YOLO 演算法影像辨識所框出的害蟲位置與害蟲種類。
然而在實際應用的農地場域，必須克服自然環境下可能會引入相關的誤差，進而導致雷射光束無法正確地定位在目標物體上，其中最主要的因素為當地面不平整時，車輛傾斜時所造成與目標物體的距離發生改變與車輛移動，進而造成目標物體在影像中的座標產生改變，假若影像辨識速度非常快時，就能夠達到即時的座標修正，很不幸的是由於系統硬體的限制，影像辨識速度大約小於每秒 15 張影像 (~ 67 ms)，因此為了解決此問題，目前的構想是利用車輛中的慣性測量單元 (inertial measurement unit, IMU) 來即時取得車輛的資訊，由於雷射病蟲害防治儀是固定在車輛上，所以車輛的 IMU 資料可以直接取得來使用，透過 IMU 資訊來即時修正目標物體在影像中的座標位置，讓雷射光束能夠正確地照射在目標物體上。
3. 雷射害蟲防治於台灣黃毒蛾幼蟲的測試結果
在傳統的做法是定期噴灑農藥來防治病蟲害，但是大量使用農藥會對環境產生許多的負面影響，因此，將雷射光源應用在病蟲害的防治上，可避免對環境產生過多負面影響，並且只要提供穩定的電源供應就可以持續系統的運行，不需要重新添加藥劑。然而，雷射病蟲害防治 (laser pest control) 目前尚缺乏全面的雷射適用參數研究數據，為了進行有效率且不傷及作物的雷射病蟲害防治，需量測對於不同棗病蟲害適用的最有效雷射波長，及該波長下最不會傷及棗子的雷射能量。此防治方法的概念在 1999 年就已經有人提出來，可將目前相關的研究文獻與實際的測得參數進行整合：在果蠅的防治上，有研究團隊利用 532 nm 與 1064 nm 兩種不同波長的雷射光照射果蠅幼蟲，發現較有效率的波長為 532 nm，能量密度只需要 6 kJ/m2 就可以殺死果蠅幼蟲(12)；同時也有研究團隊採用半導體雷射波長 650 nm 來殺死果蠅幼蟲，研究指出當雷射功率大於 60 mW 下照射 1282 秒就可以讓果蠅幼蟲的死亡率達到99%，研究結果也指出在雷射功率低於 40 mW 時，反而會促進果蠅幼蟲的生長(13)；而在瘧蚊的防治上，研究指出綠光與遠紅外線波段的雷射可以更有效率地殺死瘧(14)。此外，在蚜蟲的防治研究上，使用 532 nm 雷射，功率 500 mW 照射 3 秒就可顯著殺死大量蚜蟲死亡(15)。
利用雷射來防治蟲害的實驗，我們先針對台灣黃毒蛾二齡以上的幼蟲來進行初步的實驗測試，有國外研究指出幼蟲頭部具有許多感測器，可以幫助幼蟲來探索週圍環境與尋找食物來源(16)，因此我們利用雷射來照射幼蟲頭部，使頭部的感測器失去功能性，而為了避免幼蟲在實驗過程中移動，會預先將幼蟲放在冰塊上 10 分鐘使其活動力大大地降低。初步的實驗測試所使用的雷射為波長 450 nm 的雷射二極體，並且利用透鏡組使其照射在目標物體上的雷射光斑直徑為 2.5 mm，圖 7為 初步的實驗結果，由左至右為分別為照射雷射光前、雷射光照射後與照射完成經過 9 小時後之台灣黃毒蛾幼蟲頭部影像，初步測試實驗所使用之雷射光功率均固定為 1.735 W，雷射光照射時間分別為 1.2 秒，如圖 7(a) 所示，與照射 2 秒，如圖 7(b)，而且被雷射光照射過後的台灣黃毒蛾幼蟲會被放置在葉片上，且持續觀察有無進食的行為，初步的實驗結果顯示在經過雷射光照射 1.2 秒以上，台灣黃毒蛾幼蟲頭部的感測器失去其功能性而使其無法進食，此時的能量密度約為 424 kJ/m2，未來將更精準地測試所需的雷射劑量，並且試著在害蟲還在卵塊時期便利用雷射將其破壞，使雷射光能夠更有效率地應用在害蟲的防治上。
圖 7. 台灣黃毒蛾幼蟲頭部影像，由左至右為分別為照射雷射光前、雷射光照射後與照射完成經過 9 小時後；(a) 雷射光照射 1.2 秒；(b) 雷射光照射 2 秒。
四、結論
我們成功地開發出一套雷射病蟲害防治儀用於農業害蟲種群數量控制，結合單眼立體視覺、快速雷射掃描與智慧影像辨識的關鍵技術，在小白紋毒蛾與台灣黃毒蛾這兩種常見的害蟲的防治上，利用 YOLO 網路架構的學習結果，針對訓練影像可達辨識率 100% 的收斂結果，通過影像處理後，小白紋毒蛾的頭部定位正確率為 0.75，而台灣黃毒蛾的頭部定位正確率為 0.58，達到整體定位正確率為 0.62；在雷射掃描系統部份，在目標物體距離為120 cm 時，雷射定位的誤差值約為 1－2 mm 左右；在台灣黃毒蛾的雷射防治上，實驗結果指出在波長 450 nm、功率 1.735 W、光斑直徑 2.5 mm 的條件下，二齡以上的台灣黃毒蛾幼蟲在照射 1.2 秒後會使其無法進一步攝入食物。因此，藉由智慧影像辨識、單眼立體視覺與快速雷射掃描技術所發展之雷射病蟲害防治儀似乎是能夠有效地控制害蟲種群的方法，能夠進一步防止農作物被害蟲損害並提高產量。
誌謝
本研究承蒙科技部計畫 (MOST 107-2321-B-009 -003)支持。