應用 PZT 結合快速影像處理於微米等級 3D 形貌的顯微量測
3D Surface Profiling Measurement Based on PZT Using Binning Method in Microscopy
在非接觸式光學量測技術中，測量範圍會受到景深大小的限制。本研究藉由整合 PZT 平台與多重高度影像融合技術，可以精確的描繪出階梯樣本的高度形貌。研究架構由 PZT、顯微鏡和 CCD 相機所組成。當 PZT 移動固定距離時，CCD 相機會即時擷取一張圖像。在擷取多張樣本時，使用多重高度影像融合技術來重建三維形貌影像。並藉由影像濾波演算法去除多餘的影像雜訊。此外為了提高影像擷取的效率，使用 Binning 技術使相機降低取像所需時間，以加快整體實驗速度。
In the non-contact optical measurement techniques, the depth of field limits the range of the measurement. In this study, by integrating PZT stage and multiple-height image fusion, that can precisely define the height discontinuity of the step height sample. The system setup is composed of the PZT, the microscope, and the CCD camera. The CCD camera periodically captures one image when the PZT stage moves a fixed distance. After a lot of the images of the step height sample are captured, the multiple-height image fusion is used to reconstruct the 3D image surface profile, and the image filter is used to process image noise. In order to improve the speed of the capturing image process, the binning function is used.
一、前言
在非接觸式光學量測技術中，如果樣本遠離聚焦平面便會使圖像模糊。Di Guo(1) 等人提出了多重高度影像融合的研究。其方法主要可以分為兩種，多重尺度分解域及空間域。多重尺度分解域是先取得不同焦距的影像，透過拉普拉斯金字塔(2) 或小波轉換(3-4) 在不同尺度條件下進行分解後再重建。但在不同尺度下分解可能會造成像素位置判斷錯誤，使得生成的影像品質不佳。此外這類的演算法也較為複雜，需要花費較多的計算時間(1, 5)。
而如果是在空間域中進行多重高度影像融合的話，在 2006 年 Wei Huang 研究中所運用的方法為將影像切為多個區域，再用尋焦演算法計算不同焦距下，這些影像中清晰的部分，並且將這些部分合成為一張清楚的影像。這個方法能夠有效消除多重尺度分解域容易發生的影像惡化。
使用不同焦距下的影像合成待測物的形貌之方法稱為 Shape from Focus，這個方法最早是由 Sheer K. Nayar 在 1994 年(6) 所提出的。該研究是利用機械式平台調整高度以獲得待測物在多個焦距下的影像，接著使用 Shape from Focus 形成待測物的形貌。因為 Shape from Focus 方法需要的設備簡單，僅需要相機及可以達到調整焦距的功能之設備便能做到。而且此方法屬於被動式量測，所以到目前為止依然有諸多學者在研究且不斷進步中。大部分與 Shape from Focus 有關的研究都是使用電動式平台以獲得不同焦距的影像(6-9)，而本研究是採用 PZT 來達到移動平台的功用，以取得不同焦距的影像。
本篇文章部分內容曾發表於國際研討會及 Optical Review 期刊，本篇文章額外補充資訊後投稿本篇科儀新知(10-11)。本文是在空間域中使用多重高度影像融合技術進行實驗。本研究中藉由移動 PZT 平台取代移動 CCD 相機所得的景深調節功能。其優點是能更容易地建立實驗架構。本文採用 PZT 結合多重高度影像融合技術的顯微攝影系統。每當 PZT 移動固定距離時，便由結合 Binning 技術的 CCD 相機拍攝即時影像。再透過多重高度影像融合技術計算擷取的影像資訊以獲得三維表面形貌圖，最後使用影像濾波演算法消除表面雜訊。
二、實驗架設與理論背景
表面輪廓量測系統由顯微鏡、PZT 壓電平台、CCD 相機、可動式平台及物鏡所組成。PZT 壓電平台 (LPS710/M) 具有快速、精準的高度調節特性，其精度可達 2 nm。CCD 相機 (Hamamatsu ORCA-2) 為一感光耦合元件，它能將光的強度轉換為數位信號並以影像的方式儲存於電子設備，可於擷取圖像。該 CCD 的解析度為 1280 × 1024，最高幀數可達 115 fps。
圖 2 為實驗流程圖，首先將所有儀器初始化，例如 PZT、CCD 相機及顯微鏡。然後 PZT 和 CCD 相機的循環操作如下：當 PZT 移動固定距離時，CCD 相機即時拍攝 1280 × 1024 像素的圖像。同時紀錄 PZT 的移動距離及擷取的影像。PZT 作動範圍為沿 z 軸800 μm，而 CCD 相機則為擷取 400 張影像。即當 PZT 每移動 2 μm 時，CCD 相機便擷取一張影像。而 CCD 相機的 Binning 功能可加快相機擷取速率。在確認完成 400 張影像後使用多重高度影像融合技術重建三維表面形貌，最後使用影像濾波器消除表面輪廓上的雜值。
圖 1. 儀科中心可變焦光學量測系統架設。
圖 2. 實驗流程圖。
樣品一總高度為 1 mm，階梯分十層，每層為 0.1 mm 高，總寬度為 2 mm，階梯部分為 1 mm，每層寬 0.1 mm。
圖 3. 樣品外觀以及階梯塊側面圖。
三、尋焦演算法
一般來說影像越清晰意味著影像細節越多，透過尋焦演算法計算出來的數值，也就是清晰度 (sharpness) 就會越大，當影像處於對焦距離內且不改變取像範圍時，計算出來的清晰度便會是最大值。
1.1 絕對值梯度演算法：當第一個像素的強度值與像素座標 x 方向的下一個像素的強度值的差異大於某個設定值時，取絕對值後並納入計算，因此鄰近像素差異越大，計算出的數值也會越大，最後再將所有值進行加總，即是代表此張影像的清晰度。
x 代表在影像像素座標的水平位置，y 代表在影像像素座標的垂直位置，I(x, y) 為在 (x, y) 位置的像素強度值。
1.2 平方梯度演算法: 類似於絕對值梯度演算法，但是將差值平方，使計算出的梯度值對清晰度有更大的影響。
1.3 Brenner 演算法：類似於平方梯度演算法，但是其計算的是當前像素與水平方向間隔一個像素後的像素強度值差異，並且平方後加總。
1.4 Tenenbaum 梯度演算法: 該演算法利用索貝爾運算子對影像進行摺積，然後對梯度向量分量的平方求和。
索貝爾運算子對整張影像在水平及垂直方向上做摺積，它的作用是將邊界特徵凸顯出來， Sx 和 Sy 分別對水平邊界和垂直邊界有良好的濾波效果。一般而言，越清晰的影像，邊界也會越明顯。索貝爾水平運算子與索貝爾垂直運算子如下
2.1. Range algorithm(3)：此演算法計算最高像素強度和最低像素強度之間的差異。
2.2. Sum of modified Laplace 演算法：該演算法將影像用拉普拉斯運算子進行摺積後取絕對值並加總。
拉普拉斯運算子與索貝爾運算子相似，同樣能夠將邊界特徵凸顯出來，拉普拉斯水平運算子與拉普拉斯垂直運算子分別如下
2.3. Energy Laplace 演算法：該演算法將影像與能量拉普拉斯運算子進行摺積以計算二階導數，並將摺積結果的平方並加總。
2.4. Modified DCT 演算法：DCT(Discrete cosine transform)，Modified DCT 計算方法為，利用遮罩 M 對影像進行摺積。
2.5. Diagonal Laplacian 演算法(12)：與 FSum_of_modified_Laplace 類似，但是它同時計算了對角方向拉普拉斯運算子，也就是將對角線的變化也計算進清晰度
其中 Ld1 與 Ld2 為
3.1. 變異數演算法 (Variance algorithm)(3)：統計學中變異數是描述變量的離散程度，也就是各個變量與平均值之間差值的總和。
3.2. Auto Correlation 演算法(3)：
3.3. Tenengrad variance演算法(13)：
μT 為 T(x, y) 的平均值
3.4. Standard-deviation-based correlation 演算法(3)：
3.5. Auto Correlation 演算法：
4.1. Image power演算法(3)：此演算法將所有像素強度平方後加總。
4.2. Entropy algorithm 演算法(3)：此演算法建立在聚焦影像比失焦影像有更多的細節。
其中 pi = h(i)/H·W，即一張影像中有 i 像素強度的數量。
4.3. Threshold content 演算法(3)： 此演算法將大於設定值的像素強度進行加總。
4.4. Threshold pixel count 演算法(3)：此演算法計算影像中小於設定值的像素個數。
在圖 2 流程圖中的影像皆有透過多重高度影像融合技術進行計算。已知在對焦景深內的灰階影像具有最大的清晰度，而在焦點外的灰階影像清晰度則較小。多重高度影像融合技術能夠結合不同高度的影像，進而生成一張高景深影像。原理為待測物在不同焦點下具有不同的影像，藉由計算每一張影像的每一個像素清晰度並記錄下來進行比對，挑選出每一像素位置清晰度最大的像素資訊，即可將這些像素資訊重建成一高景深影像。此技術最重要的部分為判別影像的清晰與否。理論上像素只是灰階影像中某一位置的強度，並無法計算出清晰度。因此我們定義像素的清晰度為利用其周圍的像素灰階值計算出的清晰度。如此便能判斷出最清晰的像素對應到的高度，藉由此高度資訊便能形成樣品表面形貌。多重高度影像融合的影像為透過調整 PZT 不同高度所取得的影像。每一個高度的影像都使用尋焦演算法計算其中每一個像素的清晰度。
四、表面形貌圖之濾波
經由上述實驗得到的表面形貌圖在階梯交界處因為光線反射不足使得在判斷高度資訊時容易產生誤判，因此本研究利用後期處理的方式，對表面形貌圖進行雜訊處理，將階梯交界處大幅度跳動的高度資訊削減，甚至於清除。以下介紹一些進行雜訊消除的方法。
方法一：二維均值濾波
二維均值濾波的原理是用該像素點周圍的平均值替換圖像中的像素值。這具有消除不能代表其周圍環境像素值的效果。均值濾波通常被視為卷積濾波器。與其他卷積一樣，它是以中心為主的濾波，需決定計算平均值時要採樣的鄰域形狀和大小。通常使用 3 × 3 平方的參數，如下圖所示。
圖 4. 3 × 3二維均值濾波陣列。
而本實驗使用 5 × 5 的二維均值濾波陣列進行摺積，並且重複處理十次以達到較好的平均效果。
方法二：一維均值濾波
與均值濾波器相似，但是是將縱向與橫向像素分開處理，並且只針對具有高度變化的像素進行處理，如下圖所示。
圖 5. 1 × 3 一維均值濾波陣列。
本實驗使用先對縱軸像素以 1 × 5 的一維均值濾波陣列進行摺積，接著對橫軸以 5 × 1 的一維均值濾波陣列進行摺積，並且重複處理十次，以達到較好的平均效果。
方法三：中值濾波器
中值濾波是一種非線性數字濾波技術，最常應用於消除圖像或者信號中的雜訊。此濾波器的概念是對輸入的訊號進行採樣並且判別它是否代表此信號。藉由選擇奇數樣品數組成判別陣列，再將判別陣列中的數值進行排序，位於判別陣列中間的中值作為輸出。
中值濾波是影像處理中常用的步驟，它對於斑點雜訊和椒鹽雜訊來說特別有用，由這個特性來判斷階梯交界處的高度變化處也會有良好的效果。保存邊緣特性使它在不希望出現邊緣模糊的場合也很有用。以下為中值濾波的例子，x 為輸入訊號，y 為輸出訊號。
x = [2 80 5 6 3]
y[1] = Median[2 2 80] = 2
y[2] = Median[2 80 5] = Median[2 5 80] = 5
y[3] = Median[80 5 6] = Median[5 6 80] = 6
y[4] = Median[5 6 3] = Median[3 5 6] = 5
y[5] = Median[6 3 3] = Median[3 3 6] = 3
於是 y = [2 5 6 5 3]
其中 y 是 x 的中值濾波輸出。
以上可調整的條件為判別陣列的大小，上述例子判別陣列大小為 3。
四、實驗結果與討論
藉由多重高度影像融合系統取得不同高度的影像後，但進行影像疊合形成高景深影像，再透過取出不同高度資訊，便能夠得到表面形貌，我們取 400 張影像進行影像疊合，有對焦到階梯平面上的圖如下：
圖 6. 樣品對焦於不同高度平面 (a) 下層階梯(b)中層階梯 (c) 上層階梯。
圖 7. 樣品於四類演算法高景深影像 (a) Square gradient (b) Normalized variance (c) Range algorithm (d) Image power。
透過高景深影像可以看到多張不同高度影像的融合結果，且該高景深影像的階梯部分是清晰的。但是在階梯的交界處因為接近垂直而難以判斷高度，因此交界處都呈現模糊的狀態。
圖 8. 樣品於四類演算法高度資訊圖 (a) Square gradient (b) Normalized variance (c) Range algorithm (d) Image power。
高度資訊圖可以看出每個點的高度資訊，其中顏色越亮的部分代表高度越高。可以看到階梯高度層層分明，但是在階梯交界處依然有相同的問題。我們將四種演算法形成的高景深影像以及高度資訊圖進行比較，可以看到以 Square gradient 的效果最好，其呈現的成果與原圖最為接近。接著我們使用商用軟體 Helicon 的影像融合功能，與本研究的最佳結果進行比較，可以看出 Helicon 形成的高景深影像以及高度資訊圖在階梯面的部分都與我們相似，但是在階梯交界處的部分表現較佳，並沒有出現無法判斷的情況。
圖 9. Helicon (a) 高景深影像 (b) 高度資訊圖。
最後透過高度資訊圖可以做出表面形貌圖，如下圖所示，階梯部分十分平整，而階梯交界處則呈現不規則跳動的情形。而階梯截面圖可以看出高度的變化，以及階梯交界處的變化。
圖 10. (a) 表面形貌圖 (b) 階梯截面圖。
由上述實驗得到的表面形貌圖，在階梯交界處因為光線反射不足，使得在判斷高度資訊時容易產生誤差，因此本研究使用影像濾波器對表面形貌圖進行雜訊處理，將階梯交界處大幅度跳動的高度資訊削減甚至去除。
圖 11. (a) 二維均值濾波表面形貌圖 (b) 二維均值濾波階梯截面圖。
圖 12. (a) 一維均值濾波表面形貌圖 (b) 一維均值濾波階梯截面圖。
圖 13. (a) 中值濾波表面形貌圖 (b) 中值濾波階梯截面圖。
由三種方法比較的結果得出，二維均值濾波大幅度降低了階梯交界處的高度變化，但是階梯面比較細微的紋路也被消除掉了。而在一維均值濾波後的階梯交界處，雜訊沒有明顯的被消除，但是階梯面的紋路依然被保留著。而中值濾波則是將階梯交界處的雜訊完全消除且階梯面的紋路也都被去除，而尾端的變化則是來自於中值濾波在數值陣列邊界須補值的緣故，因為影像本身在底部剛好為階梯交界處，是處於雜訊的部分，導致再添入數值時都填入了雜訊值，進而影響輸出的結果出現該狀況，但其餘部分都幾乎把雜訊消除掉了。
五、結論
本篇論文利用多重高度影像融合技術開發出三維形貌量測系統，並結合 PZT 壓電平台取得最佳的高度設定。同時搭配 CCD 相機的 Binning 功能來加快量測系統的圖像取樣。在本研究的四類演算法中，以第一大類的 Square gradient 效果最好，推測原因可能是此演算法用於金屬表面的待測物時有較好的表現。如果能夠形成良好的高景深影像，也能同時取的良好的表面形貌圖。