空中與地面無人載具應用於 3D 果樹與樹林建模
3D Modeling of Fruit Tree Crowns and Large-scale Tree Scene by Unmanned Aerial Vehicle and Unmanned Ground Vehicle
本文章使用無人旋翼機結合無人多足地面機取得果樹可見光與近紅外光影像，運用影像資訊進行光譜分析與建立三維模型應用於果樹生長監控系統。無人旋翼機飛行藉由比例積分微分控制器 (PID) 控制，依照路徑規劃，使無人旋翼機自動飛行收集果樹影像資訊；透過實時動態載波相位差分技術定位，誤差只達公分等級；空中的無人旋翼機加上地面的無人多足地面機，藉由上中下多角度影像疊合、立體視覺法與三角網格建模技術來建立三維模型，達到果樹生長情形的監控。
This article using unmanned aerial vehicle (UAV) combined with the multi-footed unmanned ground vehicle (UGV) to obtain visible and near-infrared images of the crowns of fruit trees. Using image information for spectral analysis and to build three-dimensional model apply in fruit tree growth monitoring systems. UAV flight is controlled by PID controller. Along with the path planning, the UAV automatically collects the image information of the crowns. Through the self-developed real-time kinematic (RTK) module, the positioning error is only up to the cm level. The UAV fly in the air and the multi-foot UGV simultaneously move in the ground to obtain the multi-angle images. Using registration multi-view images, stereo vision and mesh segmentation modeling technology could construct a three-dimensional model to achieve the monitoring of fruit tree growth.
一、前言
藉由遙測技術可提供二維影像資訊。其中結合交通載具與光學技術是大地量測的主要方式之一(1)。藉由不同視點拍攝的幾幅圖像中來恢復場景的幾何形狀，即為立體視覺(2)。將兩者結合可達到經由遙測技術取得大地量測之三維圖像資訊。在過去十年中無人旋翼機 (UAV) 已被提議用於農業應用，因為它們具有很大的飛行調度靈活性，低製作成本以及越來越多專門的小型化感測器應用於無人旋翼機上(3) 。商用市場上兩種主要類型的無人旋翼機包含定翼機和多旋翼機。兩者都有其優點和缺點，包括它們對不同應用的適用性。定翼機通常一次飛行的時間能比較長，飛行速度也較快；而多旋翼機可以提供穩定的圖像捕捉和輕鬆的垂直起飛和著陸(4)。在植被覆蓋非常密集的果樹叢中，多旋翼機提供了非常高的空間分辨獲取圖像的獨特能力。與衛星或定翼機相比，多旋翼機可以快速重複地部署，影像擷取比較不受空間限制，並且受天氣條件的影響較少(5)，故多旋翼機更適合在此類型的研究上應用。然而，現代基於圖像的建模研究主要集中在小型物體高精細度的重建或者人工輔助的簡化建模上(6)。經由空中無人旋翼機與地面無人多足地面機結合，多角度影像擷取來獲得充足的影像資訊輔助建模。基於網格的變分多視點立體視覺方法，從圖像中恢復三維場景，計算由離散三角網格定義的非光滑曲面的重投影誤差的梯度。梯度在表面移動時發生，迫使由重建表面產生的輪廓與圖像輸入中的明顯輪廓完美匹配(7, 8)。
1. 無人旋翼機架構
在多旋翼無人飛行載具之設計與製造涵蓋飛行力學控制系統 (flight control system)、機電動力系統、無線通訊系統等。知名無人旋翼機製造商，如大疆 (DJI)，會針對其公司旗下之無人旋翼機系統開發適合之飛行控制器，如 Naza V2, A2, A3 等控制器，雖然擁有穩定飛行能力，但卻不能對內部功能調整，甚至於無法取得其飛行資料(9)。因此，無人旋翼機之研究一般採用開放原始碼，研究人員可依據需求，直接修改硬體線路設計，甚至於韌體更能修改。若是以精緻農業導向之飛行控制器，則偏好以 32-bit Cortex-M3 處理器為主之 Pixhawk(10)，或是更高階之 Pixhawk 2.1 為主。Pixhawk 控制器強調本身具兩顆中央處理器(CPU) 與雙電源管理系統，使一個中央處理器或電源管理系統毀損時，系統仍能正常運作。酬載控制器則依應用情境而有所區別，若是系統控制簡單則可使用飛行控制器直接控制，並予以驅動。反之，若是應用情境需要複雜系統，如影像辨識系統、階層式遙控無人機飛航管理 (UTM) 即時監控回報系統、智慧型任務控制系統等即時控制器，皆採用無人旋翼機通訊協定 (MAVLink)，透過飛行控制器與酬載控制器的溝通，而實行控制之目的。當考慮大型控制系統時，元件對元件的溝通已不敷使用，無人旋翼機通訊相關的研究可朝向多對多的無人旋翼機通訊，可以 MAVProxy 為網路代理服務實現多輸入多輸出 (MIMO) 系統。。
2. 無人旋翼機定位
穩定無人旋翼機自動控制，需要非常精準的定位方法，在一般全球定位系統 (GPS) 定位精度只可達到公尺等級，垂直高度誤差也較大。因日本第一顆衛星 (QZSS) 於 2010 年發射、中國北斗導航衛星系統 (BDS) 於 2011 年開始運行，迄今為止有 33 顆衛星，另有 22 顆歐洲伽利略衛星和 32 顆 GPS 衛星現可用於定位。這些全球導航衛星系統 (GNSS) 的組合使單頻 (SF) 實時動態 (RTK) 定位變得可行(11)。即時動態定位 (real time kinematic, RTK) 為一種衛星導航技術，用於提高衛星定位系統的位置數據精度。要使用高精度GNSS 定位於無人車、無人旋翼機這些領域，蒐集幾筆資料即可進入公分級定位 (few epoch kinematic, FEK) 是必須的，以 5 赫茲 (Hz) 為取樣頻率，使用小於5 取樣點的資料，，即可以在 1 秒內得到公分級精度的解答。經由 RTK演算定位後，誤差精度可達公分等級(12)，可使無人旋翼機非常穩定地被控制。
3. 3D 建模技術
3D 立體測量技術之建立，並且搭配智慧無人載具進行 3D 立體量測，發展至今已有許多成熟之 3D 立體量測技術，包含飛時測距 (TOF)、雷射測距、超音波測距或者立體機器視覺法等，目前國內外已有許多案例成功利用無人旋翼機進行地貌、景物、建築建立 3D 立體模型，使用之 3D 立體測量技術多屬於立體機器視覺法，利用無人旋翼機搭載高解析度可見光相機，在不同位置對待測物或者景象進行多張不同角度之連續影像拍攝，再搭配市面上已有之 3D 模型軟體進行 3D 立體建模，原理上利用已知多張影像拍攝時之相機真實空間位置與計算影像中特徵點，再對已知參數所建立之三維空間中相機與拍攝之景物矩陣對應關係反求待測景物之各點座標，以此建立出 3D 模型。目前機器視覺用來建立三維模型方法大致可分為三種類型(13)，如表 1 所示。
表 1. 三維建模類型表。
二、研究方法
本研究結合無人旋翼機與無人多足地面機來取得果樹影像資訊，應用影像進行三維模型建立，並結合光譜分析以達到果樹生長監控，如圖 1 所示。
圖 1. 無人旋翼機與無人多足地面機示意圖。
1. 無人旋翼機系統
本研究整合無人旋翼機 3D 立體量測無人機結合三台高解析度可見光相機進行俯、仰、平視角的資料收集，與 RTK 定位系統對果樹與樹林場域進行影像資訊收集，進行三維立體建模，並運用三維模型來進一步觀察場域資訊。核心技術包含無人載具之自動控制與飛行路徑規劃、RTK 定位系統、3D 建模演算法。整合系統所需儀器與無人旋翼機飛行系統架構圖如圖 2 所示，其架構主要分為飛行控制系統、酬載系統、地面站系統；飛行控制系統使用鋰離子聚合物電池來供給飛行控制板、馬達與感測器之電源；採用 Pixhawk2 飛行控制器來接收電子羅盤、氣壓計、加速度計與 GPS 之數值參數，進而控制馬達輸出，並藉由無線射頻 (radio frequency) 來與地面站溝通。酬載系統為 3 台 GoPro Hero 7 可見光運動相機，相機內皆有 GPS 晶片來記錄拍攝時 GPS 資訊。地面站系統使用電腦連接 GPS 晶片之天線來解算 RTK，並藉由無線射頻來與無人旋翼機飛控系統溝通。
圖 2. 無人旋翼機飛行系統架構圖。
2. 飛行控制
控制系統，目前以兩大開源系統為主，分別為 QGroundControl 與 MissionPlanner，其相對應之 Firmware 為 Pixhawk 與 Ardupilot，尤其是以 MissionPlanner 為主的 ArduPilot，完全支援 MAVLink 協議；因此，本研究以 ArduPilot 及 MissionPlanner 為主要的研究工具如圖 3 所示，並搭載 RTK 系統達到精準定位之需求。
圖 3. ArduPilot控制系統 Mission Planner。
為了使無人旋翼機之四軸馬達穩定控制，飛行控制之穩定度架構如圖 4 所示，無人旋翼機飛行控制項包含滾動 (roll)、俯仰 (pitch)、偏航 (yaw) 三個姿態角度，目標控制項先經過擴展卡爾曼濾波器 (Extended Kalman Filter) 與前饋控制器 (feed-forward control) 將角度誤差 (目標角度和實際角度之間的差值) 轉換為所需的轉速後，進入比例積分微分控制器模型，利用電子羅盤、氣壓計、加速度計與 GPS 之數值作為回饋數值，建立比例積分微分控制系統，經過比例、積分、微分三個參數之調教後控制馬達，使得無人旋翼機能夠穩定飛行。
圖 4. 飛行控制之穩定度架構圖。
3. RTK 定位
RTK 實時動態技術定位系統，是一套能提供公分級精度座標與方位的定位系統。對於影像間的影像疊合、比較、立體像對與 3D 影像建立，是一項重要核心技術。解算理論為 GNSS 相對定位理論基礎。
GNSS 電碼 (1) 及相位觀測 (2) 方程式，下表 2 中列出模型中所使用的內部參數的符號表示：
表 2. GNSS 電碼及相位觀測內部參數的符號(14)。
表 3. 相位觀測量之對應頻率(14)。
由於硬體遲延量與接收器時鐘偏差係數相同，無法同時求解。為解決硬體遲延量與接收器時鐘偏差係數相同的問題，因此常利用一顆 GPS 的衛星為主衛星，將其 L1 頻率硬體遲延量與接收器時鐘偏差合併為一新的變數，此時一次差分可表為式 (3)－(6)，下表 4 中列出模型中所使用的內部參數的符號表示：
表 4. 差分模型內部參數的符號表(14)。
多 GNSS 定軌系統時偏 (inter system bias, ISBs) 分 ISBs 浮點解 ISBs 固定解。在 ISBs 浮點解中將 ˜dGpq, fn 與 ˜dG*pq, fn 合併為一項 ˜d*pq, fn，其公式可表為式 (7)－(8)：
合併考慮後的硬體遲延量均包含 GPS L1 的電碼硬體遲延，傳統上時鐘偏差與硬體遲延合併估計的方式會將電碼遲延合併為一項。
在 ISBs 固定解中 ISB 在許多的應用場合中都是可以被事先率定的，式 (7) 中電碼 ISB ˜dG*pq, fn 與相位 ISB ˜dG*pq, fn 可利用事先率定的方式求得，估計項 ISB 率定值時會引入整數未定值 Npq, fn，但此項估計可與式 (8) 中 ˜Npq,1*l*fn 合併為一新的整數未定值，式 (8) 可改為已率定之 ISB 以 ˜dG*pq, fn 與 ˜dG*pq, fn 表示。相關公式如式 (9)(14)：
若不使用事先率定的方式，亦可對每個不同頻率的星系，選用不同的參考衛星來克服此問題。
GNSS 載波相位觀測量具有公釐等級的精度，但其中的未定值參數必須加以估計。這個估計未定值的程序稱為未定值求解。另外，由於未定值本身為整數，此程序被稱為整數未定值求解 (integer ambiguity resolution, IAR)。最小二乘平插法 (least-squares ambiguity decorrelation adjustment, LAMBDA) 理論為最常用的 IAR 理論，本研究亦採用此理論。當衛星顆數不足、觀測環境可能導致未定值求解失敗，此時將致結果中有不可容忍的錯誤。因此，評估整數未定值是至關重要的。利用求解成功率的理論可以評估求解成果的可靠度，求解方法常見的方法有整數最小平方法 (ILS)、整數引導法 (IB)、整數四捨五入法 (IR) 的成功率近似和界限(15-19)，利用這些理論可以簡單地評估這些方法成功率的近似值及其上限和下限。
4. 無人多足地面機
除了空中無人旋翼機擷取影像外，本研究使用無人多足地面機，如圖 5 所示，應用現場可程式化邏輯閘陣列 (FPGA) 提供脈衝寬度調變 (PWM) 訊號供給馬達控制晶片，再藉由馬達控制晶片來控制 18 個伺服馬達，其控制架構圖如圖 6 所示。因果樹地形易受天氣影響而多變，多足機構能良好的適應各種地形，故應用無人多足地面機去補足無人旋翼機無法取得的影像位置，例如樹叢底部、隱藏在葉子下方之枝條、葉子底面等，使 3D 模型建立時應用機器視覺法能在細微處都能得到影像資訊，以避免在模型建立後，果樹底部影像沒有資訊而造成底部模型影像無法建立；另外也在無人多足地面機上放上快照式高光譜相機，藉由高光譜分析，應用異質感測的結合，來監控果樹的營養指標。
圖 5. 無人多足地面機(21)。
圖 6. 無人多足地面機控制架構圖。
5. 3D 建模
本文章之三維立體量測建模系統，利用高解析度可見光相機先在地面上以手持角度模擬無人旋翼機飛行時拍攝情形，進行三維立體測量系統建立與測試；再透過無人旋翼機量測系統與無人多足地面機獲得可見光影像資訊，藉由空中三角測量 (aero-triangulation) 的演算法，從照片來計算三維物體更精確的空間定位與拍攝角度，接著使用區段比對 (block matching) 與對極幾何 (epipolar geometry) 演算法等立體視覺法 (stereoscopic) 將影像相疊的部分進行深度推算，以三角網格 (triangle mesh) 搭配上紋理 (texture) 的方式呈現其三維模型，建模步驟如下圖 7 所示。
圖 7. 建模步驟。
空中三角測量透過計算相鄰圖片重疊區域內相似的特徵點、手動設置圖片連接點 (tie/pass point) 來增加圖片間連結性或地面實測控制點 (含有絕對 GPS 位置)，之後經由特徵點算出特徵向量，用於每張圖片的特徵向量匹配，選取高相關的特徵向量匹配來找出所有相鄰圖片後，計算出相鄰圖像的相對方向，最後將所有圖片都套用至整個模型區域之座標系統，來計算每張圖片的空間坐標，再將圖片資訊都轉換至同個三維的坐標中(20)，如圖 8 所示。
圖 8. (a) 相機影像特徵比對圖與 (b) 空中三角測量結果圖。
空中三角量測法求出圖片的空間坐標與角度後，將前後連續的圖片中重疊區塊透過區段比對 (block matching) 與對極幾何 (epipolar geometry) 等立體視覺演算法，求出其立體深度資訊及區分出近景與遠景。
重建三維模型時切除由立體視覺法遠景的部分，將目標物中準確度較高之對應點視為節點並與鄰近兩節點組成三角網格形式，而其中的色彩與圖形呈現則由原始圖分割成數塊高解析的紋理貼上。
圖 9. 立體視覺演算法示意圖。
圖 10. (a) 三角網格形樹形圖與 (b) 三角網格細節放大圖。
二、無人載具設計與實驗
1. 無人飛機機構設計
在三維立體量測系統與無人旋翼機設計中，本架構為了使各角度影像資料擷取，共需上中下三角度影像資訊，如圖 11 所示，附載需求為 3 台可見光運動相機、並以三維建模場域飛行距離，電池需可維持 15 分鐘以上飛行時間之電量，加上無人旋翼機本身重量，估計總機體系統架構重量約 4.53 公斤，如下表 5 所示。最終採用 550 等級的四軸多旋翼機最為合適，圖 12 所示。
圖 11. 三角度拍攝示意圖。
表 5. 總機體系統架構重量評估。
圖 12. 550 等級的四軸多旋翼機。
2. 無人飛機定位穩定性測試
無人旋翼機穩定性與操控性分析可藉由無人旋翼機停旋分析與動態表現分析加以驗證。無人旋翼機停旋時，在 GPS 的回受控制其系統的穩定性，此時無任何物力介入，從圖 13 中很明顯地，在 37 秒至 42 秒時飛機停懸，飛機的三個姿態角度：滾動角、俯仰角和偏航角 (roll angle、pitch angle and yaw angle)，並無明顯修正角度，偏航角角度有輕微的偏移，應該是受到側風的影響作稍為的修正，因此，可驗證在此設計下，此機電次系統滿足無人旋翼機附載的規劃。
圖 13. 旋翼無人旋翼機停旋分析，(上) 滾動角、(中) 俯仰角、(下) 偏航角。
相同的，無人旋翼機系統的動態表現亦可由飛機的三個姿態角度，滾動角、俯仰角和偏航角，決定其靈敏度與抗風性等動態性質。設計優質的無人旋翼機除了可表現其可控制性的優點外，並須滿足排除干擾等特性。圖 14 為偏航角的動態表現特性，為了能夠快速的反應偏航角的變化，在本例設計中採用較大的比例控制因子，而使得偏航角呈現過衝，並加速其反應。圖 15 與圖 16 為滾動角與俯仰角的動態響應，為增加其響應速度及降低過衝現象，在設計上採增大內迴圈微分控制係數，明顯可看出，此系統響應在維持相對的穩定性及可控制性下仍可有效降低干擾的影響。
圖 14. 偏航角度動態行為表現。
圖 15. 滾動角度動態行為表現。
圖 16. 俯仰角度動態行為表現。
RTK 三維定位暨姿態求解系統經過約 19 餘萬筆的資料測試，確認系統的穩定度與正確性，定位成果如圖 17 所示，其東西向標準差 0.13 公分，南北向標準差 0.13 公分，高度向標準差 0.35 公分。
圖 17. RTK定位成果圖。
3. 無人多足地面機穩定性測試
無人多足地面機穩定性與操控性分析可藉由直線行走誤差分析與原地旋轉誤差分析來加以驗證。藉由手動控制使無人多足地面機進行直線行走，如圖 18 所示，在量測與理想直線距離誤差，最大誤差為 5.59 公分，平均誤差為 3.13 公分，平均誤差為 3.1355 公分。藉由手動控制使無人多足地面機進行原地旋轉，如圖 19 所示，在量測與理想圓距離誤差，最大誤差為 4 公分，平均誤差為 1.44 公分。在果樹影像擷取時，直線與旋轉誤差達至公分等級即可接受。
圖 18. 無人多足地面機直行誤差。
圖 19. 無人多足地面機旋轉誤差。
四、場域實驗與結果
1. 快照式高光譜影像
在無人多足地面機上配有快照式高光譜相機，無需任何掃描就能在非常短的採集時間蒐集到多波段的光譜資訊，因為在相機內含有 5x5 的馬賽克濾鏡，使單次擷取影像就能取得 25 個光譜波段，範圍介於 550－1000 nm，其拍攝結果如下圖 20 所示。
圖 20. 快照式高光譜影像。
2. 3D建模結果
三維立體模型誤差可由建模之比例尺估算，如圖 21，先以鐵尺模型來計算模型單位長與實際長度比例，再以模型之各點座標距離與實際距離比較，算出模型與實際量測值之誤差，如式 (10)－(11)，Xm 為模型量測值、Xr 為實際量測值、N 為樣本數：
圖 21. (a) 模型誤差度測試圖與 (b) 模型誤差度示意圖。
平均水平誤差百分比為 2.91%，水平標準誤差為 2.09%，見圖 22 所示；平均垂直誤差百分比為 0.21%，垂直標準誤差為 1.65%，見圖 23 所示。三維立體量測建模系統以高雄鳳山農試所與屏東南州之場域做測試，可見圖 24 為鳳山農試所三維模型俯視圖，與衛星圖做比較能清楚看見植株分布差異，並且影像解析度更清晰；更可由模型圖看出場域中的植株分布與大小，並且藉由模型算出植株個數，側視圖 25 更能看出場域中之溝曲，也可清楚看見相對高度落差來計算植株高度，辨別各植株生長情況。
圖 22. 水平誤差圖。
圖 23. 垂直誤差圖。
圖 24. (a) 高雄鳳山農試所衛星圖 (GoogleMap 高雄市鳳山區鳳松路) 與 (b) 三維建模場域比較圖。
圖 25. 高雄鳳山農試所場域三維建模側視圖，(a) 面北方、(b) 面南方、(c) 面東方、(d) 面西方。
在單株果樹方面如圖 26 所示，可以藉由果樹葉形與枝條特徵來辨識品種與植株生長情況，來決定是否疏花或疏果使產量品質提升。
圖 27 為屏東南州衛星與場域比較，能看見衛星圖未蓋網前情形，而三維模型場域圖為蓋網情形，其區域評估與覆蓋面積，可藉由觀察三維模型勘查各區域果樹強弱株來決策。而在各面向側視圖如圖 28 可清楚明辨果樹種植分布，結合各角度影像加上俯視圖影像後，能使用機器學習、機器視覺的方法來計算出果樹棵樹。
圖 26. 高雄鳳山農試所蓮霧樹三圍模型，(a) 面北方、(b) 面東方、(c) 面南方、(d) 面西方。
圖 27. (a) 屏東南州衛星圖 (GoogleMap 屏東縣南州鄉社邊路) 與 (b) 場域比較圖。
圖 28 屏東南州場域三維建模各角度全景圖，(a)面北方、(b)面南方、(c)面東南方、(d)面東北方、(e)面西北方、(f)面西南方。
五、結論
在無人旋翼機系統整合後可穩定自動飛行完整待測目標地；但在無人旋翼機配上酬載後因總重量偏重，飛行時間只能 15 分鐘，在未來可考慮部分架構輕量化，使飛行能量消耗較小，在控制穩定性也能提升。而 RTK 三維定位系統定位誤差精度可達公分等級，目前精度與穩定度相當足夠；但因無人旋翼機系統之電子羅盤容易受場域影響而異常，故希望在未來藉由 RTK 解算之定位位置，來反解算求得之航向角取代以電子羅盤。各系統整合後所取得之影像之三維建模模型已可達到對於果樹生長監控需求，在樹群分布、樹冠高度與果樹個數都可清晰可見；但在建模影像擷取或影像前處理可做優化使三維模型精細度更高，以達到更完整的三維影像訊息。
除了無人旋翼機，加上無人多足地面機更能增加無人旋翼機所擷取不到的影像資訊，不同於一般的無人車，藉由多足機構能適應各種惡劣地面環境，在果樹園中可能因下雨或乾旱，地面呈現泥濘或龜裂情形；無人多足地面機因具有高靈活移動機構，可在任何地形環境的樹叢底部甚至可攀爬至樹叢中，來擷取靠近果樹底部的影像資訊，來輔助三維建模所需的各角度影像。
在三維模型建立後在未來能結合機器學習演算法來辨識果樹品種、樹木生長期、數樹木的個數、辨別強株弱株等，如圖 29、30 所示，在初步測試可看見成功率非常高，確實具有非常之應用可能；若加上高光譜影像資訊，更能應用於非破壞性檢測就能分析出果樹當前的營養成分，例如糖度、水分、葉綠素等，能將這些資訊回報給農友，以提供監測與管理執行方向與依據，達到智慧農業的目的。
圖 29. 屏東南州三維場域影像辨識區域。
圖 30. 屏東南州三維場域模型圖之影像辨識結果。