0218076

可變焦透鏡多焦點影像應用於顯微形貌量測

Surface Profiling Measurement and Model Reconstruction of Micro Object Using Varifocal System Based on Multi-Focus Image Fusion

范振亮、林敬烜、鄭璧瑩、翁俊仁

Chen-Liang Fan, Jing-Xuan Lin, Pi-Ying Cheng, Chun-Jen Weng

本文的重點為利用尋焦演算法以及可變焦透鏡,達成多重焦點影像融合的方法以及樣品表面輪廓模型的建立。大多攝影系統在光線聚焦處皆會有一景深值,若樣品在攝影系統景深內,則所拍攝的影像會是最清晰的,反之若樣品表面在景深外,則所拍攝的影像會是模糊的。尋焦演算法能夠計算影像的清晰度(sharpness),演算法的輸出值,會隨著影像變得清晰而增加,因此利用尋焦演算法可判別樣品表面是否在景深內。本研究利用尋焦演算法可以判別影像清晰度的特性,配合可變焦透鏡達成多重焦點影像融合的功能,利用多重影像焦距融合演算法就算在景深不足的情況下,也能夠透過融合不同焦距下取得的影像合成品質良好的影像,並同時繪製出樣品的表面顯微形貌。本篇論文所研究之表面輪廓量測方法為被動式量測,因此不會直接與待測物進行物理性的接觸,避免掉損壞待測物的風險,適合應用在脆弱的樣品上。

The purpose of this thesis is about to integrate and develop a method of surface profiling measurement that based on the image processing technique into varifocal microscope system. The method of measuring surface profile based on the image processing technique is call shape from focus or multi-focus image fusion. It can measure the surface profile of sample and create an image with large depth of field at same time. If the surface of sample is out of depth of field, the image is blurry. Using focus algorithm can calculate the sharpness of image and help the varifocal microscope systems to determine the best focus setting. The multi-focus image fusion method is established based on focus algorithm and integrated into the varifocal microscope systems in this research. Even in the case of poorly depth of field, our systems are capable to get the all in-focus image with the multi-focus image fusion method and this research can also achieve the functionality of surface profiling in the microscopy scale. The surface profiling method in this research is passive measurement, it does not cause any physically contact to the sample. It can prevent the risk of damaging the sample.

一、前言

本研究著重於調整攝影系統的焦距,尋找出最佳的焦距,使得攝影系統的景深範圍能夠被調整至待測物表面位置,以利取得最佳影像。此類尋焦技術分為主動式以及被動式的尋焦,主動式的尋焦為利用雷射或是超音波等信號判定待測物位置,接者再將攝影系統的焦距調整至適當值,而被動式尋焦的原理為透過影像感測器取得影像後,利用尋焦演算法計算出影像的清晰度 (sharpness) 並找出最大的清晰度,以此方式判斷影像是否對焦。本研究以可變焦透鏡以及聚焦透鏡為基礎的攝影系統,配合數種不同的尋焦演算法以利取得清晰的待測物影像。本研究同時利用可變焦攝影系統以及尋焦演算法進行形貌的量測,形貌的量測也可分為主動式以及被動式,目前工業上常用的方法為使用接觸式探針進行形貌量測,此方法雖然精度較高,但在量測的同時會有傷害待測物的風險(1, 2),同時此方法量測的速度也較慢,本研究所開發之量測方法為被動式量測,被動式量測為不需要量測儀器發射探測信號或是對待測物進行物理性的接觸也能夠量測出樣品輪廓形貌資訊,因此被動式量測可以避免傷害待測物的風險,相較於主動式量測,這是較大的優勢,而被動式量測的劣勢為精度可能不如主動式量測。

文獻回顧可分為電控尋焦以及尋焦演算法、多重焦點影像融合、基於影像處理方法之形貌量測。使用電腦控制液態透鏡或是機械式致動器並配合尋焦演算法找出最清晰的影像,稱為電控尋焦。尋焦演算法可計算影像的清晰度,當待測物影像越清晰,尋焦演算法所計算的輸出值會越大,當待測物表面正好落在景深內時,待測物影像會最清晰,而此時演算法的輸出值也會是最大。2004 年 Yu Sun 等人的研究將分析的條件從一般光學顯微鏡中擴大至相襯顯微鏡 (phase-contrast) 以及微分干涉像差顯微鏡 (DIC)(5),該研究分析了139,000 張,包括動物以及人類器官組織影像,該研究也表明不同的演算法,在不同的應用下,表現也會不同,比如該研究表明 Auto-Correlation 演算法在一般的光學顯微鏡中表現良好(4),但在相襯顯微鏡以及微分干涉像差顯微鏡中,表現並不是最佳的,在經過不同顯微鏡以及條件的分析後,該研究認為 Normalize Variance 演算法才是最佳的。大部分攝影系統的景深有限,若待測物表面位於景深之外,該部分的影像將會變得模糊。多重焦點影像融合 (multi-focus image fusion) 又被稱為對焦疊合 (focus stacking),此技術能夠克服攝影系統景深不足的問題,就算是在景深狹小的攝影系統,比如顯微鏡,透過此技術也能夠取得品質良好的影像。此技術的原理為,將攝影系統在不同焦距設定下所拍攝的影像,利用演算法判別不同焦距影像的清晰部分,最後將清晰的部分進行融合,藉此方式延長攝影系統景深,此技術在一般的攝影或是微米尺度等級的攝影與檢測有相當高的應用價值。根據 2015 年由 Di Guo 等人所發表的研究,目前主流多重焦點影像融合技術大致上可分為兩類,分別是多重尺度分解域 (multi scale decomposition domains) 進行處理或是在空間域 (spatial domain) 的方法進行處理。多重尺度分解域的方法為,將不同焦距的影像利用小波轉換或是拉普拉斯金字塔等方式分解成至不同尺度進行處理,處理完畢後進行影像重組,然而在 Di Guo 以及其他學者的文章中表明,利用多重尺度分解域的方法可能會在影像分解與重組的過程中造成像素位置的誤判,導致生成出的影像品質惡化,並且通常此類演算法也較為複雜,運算時間也較長(6, 7)

在空間域進行多重焦點影像融合的方法也是主流之一,2006 年 Wei Huang 等人研究所使用的方法為將影像分為數個小區域(7),接著使用尋焦演算法計算不同焦距的影像中清晰的區域並合成為一張清晰的影像。該文章表明此方法能夠避免多重尺度分解域影像惡化的問題。在 Wei Huang 等人研究中,探討了利用不同尋焦演算法所生成的高景深影像之影像品質,並提出利用均方根誤差 (root-mean-square error) 方法計算所生成之高景深影像與原影像之差異做為評估的標準。利用不同焦距所拍攝的影像建構出待測物形貌的技術被稱為 shape from focus,由 Sheer K. Nayar 所提出(3)。該研究使用機械式平台取得樣品在不同焦距的影像後,接著用 shape from focus 演算法建構出鏡下的物體形貌。由於 shape from focus 所需設備簡單,僅需一單眼相機以及可調整焦距的功能即可達成,且為被動式量測,因此至今仍有許多學者在探討以及改善此方法。關於 shape from focus 的研究大多為利用電動式平台取得不同焦距的影像,本研究則是利用可變焦透鏡進行不同焦距的影像擷取(8-10),本系統耗能更小,系統體積也更簡潔也避免掉了平台在移動時振動所造成的雜訊,使系統更加穩定。大多數 shape from focus 方法是以尋焦演算法為基礎而開發的,因此許多尋焦演算法也會隨著 shape from focus 的研究被提出(11),比如 sum of modified laplace 尋焦演算法就是在 Nayar 的研究裡被提出的。shape from focus 與多重焦點影像融合的邏輯相當類似,兩者重點皆為找出不同焦距影像中最清晰的像素,而 shape from focus 更著重於待測物形貌的建立。

本研究為基於尋焦演算法的多重焦點影像融合功能開發之形貌量測,首先使用的攝影系統是基於可變焦透鏡所開發的攝影系統,其特色為能夠透過可變焦透鏡快速改變焦距並獲得不同焦距的影像。研究目標其一,為開發電控尋焦功能,並將其整合進可變焦攝影系統,經由電腦控制的方式調整系統焦距的同時,並藉由尋焦演算法找出最佳的焦距。研究目標其二為,克服因待測物表面的垂直落差較大或攝影系統的景深狹小而容易出現景深不足的情形,所以本文提出以尋焦演算法為基礎透過高通濾波器輔助,提出一多重焦點影像融合演算法 (multi-focus image fusion algorithm),將此演算法整合可變焦攝影系統中,能夠大幅延長攝影系統的景深,就算是待測物表面垂直落差較大,也能夠從不同焦距的影像中,生成清晰的影像。研究目標其三為研究多重焦點影像融合的功能時,發現可以透過多重焦點影像融合演算法分析出待測物表面的垂直位置,因此針對以可變焦透鏡為基礎的可變焦攝影系統進行形貌量測功能的開發,使系統能夠在生成出多重焦點融合影像時,同時建構出待測物的形貌。本研究所開發的形貌量測方法為非接觸式的量測,不會對待測物進行物理接觸,因此能夠避免掉傷害待測物的風險,適合應用在脆弱、稀有或精密的樣品上。

二、實驗架設與理論背景

本系統的主要目的為可變焦透鏡之多焦點影像應用於顯微形貌量測,其為儀科中心所架設之系統設施,包含可變焦攝影系統,由顯微鏡 BX51M、液態透鏡 (EL-16-40)、CCD 攝影機 (EO-1312C-HQ LE)、可動式平台以及不同倍率物鏡所組成。主要目標為能夠在短時間內拍攝鏡下不同焦距的待測物影像,透過液態可變焦式透鏡能夠快速改變焦距,可變焦透鏡光焦度 (Focal Power) 的運作範圍為 -3 dpt 至 3 dpt,配合不同的物鏡能夠提供不同的解析度以及量測範圍。系統架設如圖 1(a)。

本研究的特色為使用液態透鏡,如圖 1(b),取代傳統的機械式移動平台,其優點為耗能更少、體積更小同時也不會因為機械式零件的移動產生振動的雜訊,本研究使用的液態透鏡型號為 (EL-16-40)。液態透鏡最大的優點就是可以在短時間內快速變焦,其原理為利用電磁感應產生力,擠壓裝填特殊光學液體的彈性薄膜,使薄膜產生形變,以此改變透鏡曲率。可變焦透鏡的特色之一就是能夠快速的改變光焦度 (focal power),本研究所使用之攝影系統能夠在數秒內拍攝 100 張不同焦距的影像,並進行後續的處理,在本篇論文所使用之可變焦透鏡 (EL 系列),光焦度最小的變化值為 0.0018 dpt,大約為 0.002 dpt。本實驗所使用 CCD 攝影機,型號 EO-1312C-HQ LE,CCD 為感光耦合元件 (charge-couple device) 的縮寫,它能夠將光的強度轉換成數位信號,並以影像的形式顯示以及儲存於電子設備,其影像亮度取決於光源亮度、曝光時間以及增益。通常 CCD 攝影機在每一個 Pixel 都具有 RGB 三原色的感光元件,透過三原色的比例分布顯示彩色照片。在拍攝模式下,可以選擇彩色影像模式或灰階影像攝影模式。此型號的攝影機的幀數在 1280× 1024 的解析度下最高為 25,在 640× 512 的解析度下可以達到 60。相機的幀數決定本系統量測的速度,若相機的曝光時間加快,量測速度可以得到顯著的提升。

圖 1. (a) 儀科中心可變焦量測系統 (b) 液態可變焦透鏡原理 圖片來源:EL-16-40 說明書(15)

圖 2. (a) 可變焦透鏡變焦反應時間 (b) EO-1312C 攝影機(36) 圖片來源:Edmund Optics 官方網站。

如前言所提及,當待測物表面在景深內時,所獲取的影像是最清晰的,不同倍率的物鏡對應到的景深也不同,影響景深的參數有放大倍率 (magnification) 以及數值光圈 (numerical Aperture),參考景深計算公式(12) 以及 BX51M 的產品說明書(15) 可以計算出不同倍率所對應到的景深,表 1 為不同倍率透鏡安裝至 BX51M 所對應到的參數。文中主要以 10 倍物鏡為實驗量測物鏡。本節將介紹本篇論文中,較為重要的實驗程式設計以及量測流程的規劃。所使用之程式語言為 LabVIEW。在拍攝完影像後,本篇論文利用了佇列 (queue) 的程式設計技巧,此量測系統實驗的程式設計,主要的目的為操控硬體系統,使得此系統能夠在短時間內取得待測物在各個焦距的影像。當放置待測物並確定待測物在量測範圍內後,將液態透鏡的 focal power 設定至最低點,待相機拍攝完成,增加液態透鏡的 focal power,重複此步驟來獲得各個焦距的影像。在拍攝完影像後,本篇論文利用了佇列 (queue) 的程式設計技巧,在拍攝完影像後立即使用佇列傳送至尋焦演算法或是多重焦點影像融合或其他擴充功能,使得計算與控制儀器得以同時進行,使量測速度加快。流程如圖 3。

表 1. 不同倍率物鏡對應到的特性資料。

圖 3. 量測程式流程。

1. 尋焦演算法

以下介紹本研究所使用的十二種尋焦演算法及多重焦點影像融合演算法。

1. 絕對值梯度演算法(5):若影像越清晰其像素之間的差值將會越大,也就是說每一像素的梯度絕對值也會跟著提升,絕對值梯度演算法計算每一像素灰階值與鄰近像素灰階值差值後,取絕對值並加總,以此表示影像的清晰度。

其中 x 為影像像素在水平方向位置,y 為影像像素在垂直方向位置,i(x, y) 為灰階影像像素在位置 (x, y) 之灰階值。

2. 平方梯度演算法(5):與第一種演算法類似,唯一的差別為此方法是計算梯度的平方並加總。

3. Brenner 演算法(16):與前面兩者不同的為,此演算法計算每一像素與水平方向第二鄰近像素灰階值的差值。

4. Tenenbaum 梯度演算法(16):此演算法為分別對灰階影像使用水平方向以及垂直方向的索貝爾遮罩 (Sobel mask) 進行迴旋積,再將水平遮罩與垂直遮罩的輸出值平方後加總。

其中 Sx (x, y) 以及 Sy (x, y) 為水平方向與垂直方向的索貝爾遮罩對影像做迴旋積後的在位置 (x, y) 的輸出值。索貝爾遮罩通常用於偵測水平與垂直邊緣,Sx 對水平邊緣有較大的響應,而 Sy 則是對垂直方向。以下為這兩種遮罩的形式

5. Sum of modified laplace 演算法(3):將水平以及垂直的拉普拉斯遮罩對影像做迴旋積後,將水平與垂直方向輸出值做絕對值並加總。

LxLy

6. Energy laplace 演算法(16):將下方能量拉普拉斯遮罩對影像做迴旋積後將輸出值平方並加總。

其中 Lenergy 為能量拉普拉斯遮罩

7. Modified DCT 演算法(13):DCT 為離散餘弦變換 (Discrete cosine transform) 的縮寫,Modified DCT 計算方法為,利用遮罩 M 對影像做迴旋積計算

遮罩 M

8. Diagonal laplacian 演算法(11):與 FSML 類似,但同時也計算對角方向拉普拉斯遮罩的輸出

其中 Ld1Ld2

9. 變異量數演算法 (Variance algorithm)(16):在統計學中,變異量數為描述其該變量的離散程度,也就是各變量與其平均值之相差並加總。

其中 HW 為影像長寬,m 為影像平均值。

10. 標準化變異量數演算法 (Normalized variance algorithm)(16)

在變異量數演算法中除上影像強度平均值。

其中 HW 為影像長寬,m 為影像平均值。

11. Auto correlation 演算法(16)

12. Tenengrad variance 演算法(14)

其中 mTT(x, y) 的平均值

2. 多重焦點影像融合演算法

本研究建構三維形貌的核心技術為多重焦點影像融合 (multi-focus image fusion)。一般攝影系統在聚焦某一樣品表面時,位於景深中之樣品表面影像中會是清晰的,但景深外的樣品表面則會是離焦的狀態,在影像中會是模糊的。多重焦點影像融合技術能夠將不同焦距的影像融合產生一張整張高景深影像 (image with large depth of field)。若待測物影像在相機中為清晰時,代表此時的焦距與鏡頭與待測物之間的距離相等。根據此原理透過分析待測物在不同焦距下的影像,並判斷每一像素的清晰度以及其對應到的焦距,則可以依據最大清晰度所對應到的焦距建構出待測物整體的三維形貌。同時,將待測物最清晰的像素取出重組為一高景深影像。

本研究發展基於尋焦演算法的多重焦點影像融合技術,與先前的研究不同的是,此方法加入高通濾波器以凸顯高頻區域,使得此方法能夠更精確的判斷對焦位置。像素只是灰階影像中某一位置的強度,一般來說,單一像素無法計算出清晰度 (sharpness),因此我們定義該點像素的清晰度為,利用目標像素周圍的鄰近像素灰階值所計算出的清晰度,而判定出最清晰像素所對應到之光焦度或距離資訊,將會被用於合成高景深影像以及樣品表面輪廓形貌的建構。多重焦點影像融合的影像為透過不同焦距或改變透鏡 focal power 所取得的影像,因此可將影像分為數層,本研究透過設定液態透鏡的 focal power 值改變系統焦距,因此每層影像皆對應到一 focal power 值。本論文融合多重焦點影像的步驟為使用高通濾波器至影像源,利用所建構之光學量測系統取得液態可變焦透鏡在不同 focal power 下的影像後,使用快速傅立葉轉換,將影像轉換至頻域,並進行高通濾波處理。計算每一像素的清晰度後使用尋焦演算法計算鄰近像素清晰度,並以此做為目標像素清晰度。以 Fabs_grad 為例,計算目標像素清清晰度方法為

其中 n 為影像的層數,I 為影像源並經過高通濾波處理,Sn (i, j) 為第 n 層影像,位置 (i, j) 之像素清晰度,c 為鄰近像素大小。比較同一位置,但不同 focal power 像素的清晰度,並找出最清晰像素以及其對應之 Focal Power。應用至整張影像,即可得到 focal power index D (x, y)。

其中 D 為 Focal Power Index,dn 為第 n 層影像所對應到之 Focal Power。

為了建構高景深影像以及三維形貌,將影像源設定為在不同 focal power 下的待測物影像,因此將影像源設為三維陣列 V = (x, y, dn),接著依 focal power index 確定位置 (x, y) 所對應到清晰度最大的像素並生成高景深影像,高景深影像 F 可表示為F(x, y, D (x, y))。影響高景深影像生成結果的參數為鄰近像素大小 c,以及高通濾波器半徑 r。圖 4 為本篇論文提出之多重焦距影像融合的方法圖。

圖 4. 為本文提出之多重焦點影像融合的方法圖。

多重焦距影像融合演算法所生成高景深影像的評估方法能夠評斷出何種方法以及參數下,所生成的高景深影像是最佳的。本研究所使用的評估方法為均方根誤差 (root-mean-square error) 簡稱 RMSE

(x, y) 為影像像素位置,W 以及 H 為影像的寬跟高,I(x, y) 為高景深影像,Ir (x, y) 為參考影像,參考影像的建立方式為利用人工分割的方式將影像分割,再將各區域最清晰的影像拼接,在下節會做詳細介紹。RMSE 方法是相關研究常用的評斷方法之一(7),它能夠代表兩張影像的相似性,因此我們將比較高景深影像與參考影像 Ir (x, y) 的 評估高景深影像的品質,若 RMSE 值越小則代表高景深影像品質越佳。

圖 5. 不同間距的矽晶片光柵 (a) 細緻度低 (b) 細緻度高。

三、實驗結果與討論

1. 尋焦演算法表現實驗結果

樣品表面的複雜度或細緻度也決定尋焦演算法的表現,本實驗將挑選 2 種晶圓 (wafer) 樣品,分別為細緻度高、低兩類進行實驗,並觀察尋焦演算法的表現,清晰度曲線也做過標準化的處理,每一曲線最小值皆為 0,最大值皆為 1。如圖 6、7,Focal Power 的值從 -3 到 3 分別對應該值的清晰度。藉由觀察下列尋焦演算法的清晰度曲線,可以看出樣品表面細節複雜度越高時,尋焦演算法的半高全寬 (FWHM) 解析度也會越佳,而準確度部分,大部分樣品經過演算法的尋焦後,也能將焦距設定調整至景深內。如表 2 為半高全寬解析度和影像處理時間。

圖 6. 細緻度低樣品清晰度曲線 (a) 演算法 1~6 (b) 演算法 7~12。

圖 7. 細緻度高樣品清晰度曲線 (a) 演算法 1~6 (b) 演算法 7~12。

表 2. 細緻度低及細緻度高樣品清晰度曲線之評估數據。

2. 距離-光焦度曲線 (Displacement-Focal Power Curve) 實驗

此實驗將可測得可變焦透鏡的光焦度 (focal power) 與待測物高度的關係。觀察晶圓樣品在不同位置時,清晰度曲線峰值及峰值所對應到的 focal power。將待測物位置紀錄為縱軸,清晰度曲線峰值所對應 Focal Power 紀錄為橫軸,最後利用曲線擬合方法計算出表達位置與 focal power 之關係的二次方程式。此曲線我們稱作距離-光焦度曲線 (displacement-focal power curve)。選用晶圓作為待測物是因為晶圓影像的細節相當多,影像細節部分愈多,愈利於進行影像尋焦的判別。根據 A Santos(4) 等人研究,在一般光學顯微鏡的應用中auto correlation演算法被評估為最佳的演算法,本實驗我們選用的尋焦演算法為 auto correlation。我們同時利用此實驗方法計算出 10 倍物鏡下,待測物位置與可變焦透鏡 focal power 之間的關係。如圖 8(a) 所示,我們可利用 DF Curve 從 focal power 計算出待測物的位置。由圖 8(b) 可以觀察到待測物的位置與 focal power 是呈現接近線性關係。在不同倍率物鏡的條件下,量測範圍以及精度都是不相同的,因此不同倍率的物鏡所對應到的 DF Curve 也不盡相同。

圖 8. (a) 10 倍物鏡下,待測物不同位置的清晰度曲線 (b) 位置與 focal power 之關係,黑色線為原始數據圖,紅色線為擬合曲線。

3. 多重焦點影像融合實驗

利用階梯鋁塊樣品作為待測物,觀察由本篇論文所提出多重焦點影像融合演算法的表現。

樣品與實驗步驟:此實驗所使用樣品為儀科中心提供階梯鋁塊樣品,該樣品為階梯形狀,其階梯高度為 50 至 100 mm 如圖 9,階梯樣品的表面高度落差大,因此就算是使用 10 倍放大率的透鏡,也難以拍攝出對焦良好的影像。本實驗所使用之物鏡放大倍率為 10 倍,圖片解析度為 640 × 512,取樣範圍為 0.8 dpt 至 1.8 dpt,取樣張數為 100 張影像。

由圖 9(b)(c) 可以看出因為攝影系統景深有限,因此無法在單張影像拍攝出品質良好的影像,但透過多重焦點影像融合技術能夠克服景深有限的問題,能夠從不同焦距的影像生成出高景深影像,如圖 9(d),所使用之參數為本文所得出的最佳參數,使用 Fabs_gradc = 28 的條件下。

圖 9. 階梯鋁塊以及系統所拍攝之影像 (a) 單接階梯寬度 500 mm 階梯鋁塊樣品 (b) 對焦在上方階梯區域影像 (c) 對焦在下方基座區域之影像 (d) 演算法生成高景深影像。

本篇論文使用的高景深影像質量評估的方法,首先以人工判別的方式將階梯鋁塊影像中,每一區域分割並標記,接著利用尋焦演算法判定每一區域最清晰的影像。將影像合成後我們稱其為參考影像(reference image),最後計算不同參數下,所生成影像與參考影像的 RSME 值做為評估的指標,輸入影像與參考影像的 RMSE 值越小,代表品質越佳。

圖 10. (a) 影像分割區域 (b) 不同區域尋焦演算法曲線 (c) 參考影像。

4. 參數 c 對多重焦點影像融合演算法之影響探討

c 為本研究所提出之演算法的一個重要參數,其定義為選定任一像素為中心,作出 (2c + 1) × (2c + 1) 二維矩陣並摺積,若參數 c 過小,所生成之高景深影像會有非常多的雜訊,尤其是在細節度較低的區域,比如曝光不足或是過度曝光的區域,但若參數 c 過大,仍然會惡化演算法結果,如圖 11(a)(b)。分別對應不同的參數 c

圖 11. 不同的 c 值所產生的影像 (a) c = 1 (b) c = 100。

本實驗將著重在不應用高通濾波器的情況下,所得出以不同尋焦演算法為基礎的多重焦點影像融合方法,在不同參數 c 的情況下,與參考影像的誤差關係,本節影像解析度皆為 640 × 512。

圖 12 為均方根誤差和參數 c 的關係曲線。由圖 12 可以看出大部分演算法在 c 值較小的時候 RMSE 值較大, 隨著 c 值增大,大部分的 RMSE 值也會隨之變小,但若 c 值過大 RMSE 值也會隨之增大。其中表現較為特別的有 FSML 演算法,該演算法 RMSE 值在 c = 60 附近較大,在深入探討後,發現該演算法在影像的邊界部分表現較差。如圖 12 以及表 3,最佳的演算法以及參數為 Fabs_grad 在參數 c = 28 時,達到最小的 RMSE 值。

圖 12. 參數 c 與 RMSE 誤差。

表 3. 未應用高通濾波器下,最佳參數 c 以及其對應到的 RMSE 值。

5. 形貌量測

本實驗利用 5 倍透鏡進行階梯寬度為 500 mm階梯鋁塊形貌的量測,形貌量測方法與多重焦距影像融合,兩者重點皆為最清晰像素的判別,而差別在於多重焦距影像融合著重於判別出最清晰像素以利生成高景深影像,形貌量測演算法著重於最清晰像素所對應到之可變焦透鏡光焦度,前文所提出之演算法生成的 focal power index D (x, y) 紀錄每一位置最清晰像素所對應到的 focal power,接著藉由 DF curve 將光焦度轉換為樣品的垂直高度資訊,進而繪製出形貌。

根據實驗結果,光焦度與距離之間的關係接近線性關係,因此能夠從 D (x, y) 觀察到樣品高度資訊,接著套入表 4 的 5 倍透鏡 displacement-focal power curve 的轉換方程式為 displacement = 33 (dpt)2 + 1301 dpt + constant,樣品形貌即可被建立,如圖 13(a)。

表 4.

圖 13. Fabs_grad 演算法以及參數 c = 28 所生成的階梯鋁塊形貌資訊 (a) Focal Power Index D (x, y) (b) 經 5 倍透鏡 DF curve 轉換方程式所計算出的物體形貌資訊。

6. 曲面樣品之量測實驗

為了測試基於可變焦透鏡之攝影系統方法是否能夠量測曲面樣品,本小節將呈現利用本篇論文所提出之方法進行圓柱曲面的量測結果,量測樣品的曲面直徑為 1.96 mm 如圖 14 所示。而圖 15 為不同焦距設定的圓柱樣品影像、高景深影像以及深度圖 (focal power index)。利用游標尺量測出圓柱樣品直徑後,以該直徑所繪製出的半圓形輪廓作為理論值,如圖16 (b)所示,而由本系統所量測出的實驗值則可與理論值做比較。本實驗所使用之參數為 Fabs_gradc = 28 取樣張數為 500,量測範圍為 0 至 1 dpt,所使用之物鏡倍率為 10 倍物鏡。

圖 14. 圓柱曲面樣品。

圖 15. 不同焦距的圓柱影像、高景深影像以及深度圖 (a) 上方區域在景深內 (b) 側邊區域在景深內 (c) 高景深影像 (d) 深度圖 (Focal Power Index D (x, y))。

圖 16. 樣品量測 (a) 圓柱樣品量測結果 (b) 實驗值與理論值比較,解析度限制較靠近邊緣的區域解析的較差,但大部分的實驗值與理論值吻合的良好。

四、結論

本篇論文利用尋焦演算法在可變焦攝影系統中,開發出初步電控尋焦功能,尋焦演算法配上可變焦透鏡,再利用粗取樣以及兩次細取樣的方法可以得到一定的修正,並找出攝影系統最佳的焦距設定。本研究利用尋焦演算法以及影像處理的方式建立出光焦度與垂直距離間的關係。基於尋焦演算法開發出多重焦點影像融合的功能,同時利用 RMSE 方法以及階梯鋁塊找出最佳的參數設定,提供不同演算法所需的時間以及不同參數下其 RMSE 值的變化,藉由該實驗找出相對最佳的參數以及演算法,由實驗結果可以得知最佳參數為利用 Fabs_grad 演算法在 c = 28,在實驗數據中最後呈現各種樣品的量測結果,可以看出此方法初步達成樣品形貌輪廓的建立,但解析度仍有些不足。

誌謝

感謝科技部 (MOST 106-2622-E-492-004 -CC3 及 107-2221-E-492 -024 -MY3) 提供研究經費上的支持。