[分析實務] 光學元件裂痕瑕疵量測 — 以radon轉換去除圖像雜點

Ben Hsu
10 min readSep 16, 2023

--

亞表面損傷 (subsurface damage) 是玻璃在經過磨銷後,於切割路徑上產生的細微裂痕,這種損傷會影響後續產品的品質,因此需要對其進行監控。本文概述亞表面損傷產生的影響,並說明如何利用圖像處理與圖像量測的技巧,進行瑕疵量測,降低人員投入的成本。

目錄

  1. 量測背景
  2. 現有的處理程序
  3. 圖像處理與量測
  4. 結論
  5. Reference

1. 量測背景

1.1 一項耗時的工作

研磨後的玻璃被放置在顯微鏡之下,一名工程師透過顯微鏡檢視玻璃切面是否有異常。這個檢視的動作需要豐富的工程經驗,以適應在不同光源、磨耗情境的成品變化。而量測完畢後,工程師將量測數值紀錄在紙上,再拿起下一個成品繼續量測。過程十分耗時,但對於光學製品而言,因為成品的細微裂痕將影響元件的光學性質,使觀測成為不可避免的步驟。如何簡化這個流程,就成為了一項重要的課題。

1.2 誰造成了光學成品的成敗 ?

玻璃在經削磨之後,在研磨路徑上會產生細微的裂痕,這是表面裂痕;但除此之外,也會有裂痕在玻璃表面的下方延伸,這種損傷稱為亞表面損傷(subsurface damage),而這些損傷會影響到後續產品的光學性質,因此了解產品的亞表面損傷狀況,並調整製程參數,將能有效改善產品品質。

磨蝕過程會使用indenter,對材料施加壓力進行切割,可參考圖1. [1]研磨剖面圖,圖上方的三角形即為indenter,而下方白色區域為玻璃 ,藍色為研磨過程產生的裂痕。圖1. 左為 indenter向下施壓的狀況,過程會使得玻璃產生由玻璃表面向下的裂痕,該裂痕稱作median crack,為我們的量測目標;圖1. 右為indenter收力時的狀況,此時會使median crack閉合,並產生圓弧狀較靠近玻璃表面的裂痕,稱為lateral crack。

圖1. 脆化材料的裂痕機制

圖2. [1] 上圖為與磨蝕方向平行的剖面圖,上方為玻璃表面,黃色部分為玻璃本體,由此剖面可以量測研磨方向所有Median crack的深度,實務圖片可見圖3 [2],圖形標記 Primary crack與Secondary 均為median crack。

圖2. 平行切割方向剖面與俯視圖
圖3. 玻璃切割剖面圖

2. 現有的處理程序

2.1 現有的量測方法 ?

一種常見衡量亞表面損傷的方式,是觀測玻璃表面的粗糙程度。而另一種方式,是透過量測成品的剖面裂痕長度。這種直接量測裂痕會有更高的精確度,但需要消耗人力。而如果能夠將這個量測的過程自動化,將能夠減輕技師的作業負擔。

2.2 自動量測會遭遇的問題

裂痕量測是瑕疵的量測,相較於有明確規格的量測 (如overlay長度),瑕疵量測並沒有可遵循的規則,也無法事先知道瑕疵的位置。並且,亞表面損傷分布於切割路徑的所有位置,差別僅在裂痕的深度大小。因此,如何忽略其他比較小的瑕疵,只專注於最大的瑕疵,也會是此次量測的重點項目。如圖3. ,圖像中除了Primary median crack外,還有材料本身的缺陷、雜訊因素干擾。

3. 圖像處理與量測

3.1 問題解析

量測圖像如圖4 [4],圖的上方黑色部分為非玻璃區;接著為玻璃表面,因為研磨的關係產生不平整的現象;圖像佔多數的灰色部分則為玻璃區。可以看到圖片中間有一條延伸至圖片底部的大裂縫,而目標量測,需要從玻璃表面向下量測至裂縫的最底部。

然而,由於拍攝的無法保證玻璃表面部傾斜,所以為了要準確的量測,第一件事情是需要找到玻璃表面,才不會產生量測誤差;第二件事情,圖像有凹陷的部分可能是材料缺陷或是其他類型Crack,此次目標為量測圖像中最深的裂痕,所以需要去噪並重構亞表面損傷,以下就兩項目標進行說明:

圖4. Median Crack 瑕疵量測圖

3.2 玻璃表面偵測

觀察圖5.左 [4],圖片中間玻璃區部分與非玻璃區有較大色差,可使用2步驟找到玻璃表面,分別為:1. 找尋玻璃邊緣;2. 建立迴歸線作為表面。

找尋玻璃表面:

這裡可以使用二值化或是邊緣偵測的方式,圖5.中 為使用Otsu進行二值化的結果,Otsu是一種自適應尋找切割閥值的方法,可以快速尋找切割閥值,但由於Otsu為以整張圖片的灰度值為評估依據,當色玻璃表面與玻璃區色澤較近時,可能就無法正確切割;圖5.右 為使用Gaussian濾波後,再使用Canny進行邊緣偵測,該算法是以雙閥值作為邊緣運算的依據,穩定性高。但由於Canny需要定義兩個閥值,使用上需要更多人工介入。但以圖5而言兩方法差異不大。

Otsu的說明可參考:link

圖5. 由左而右依序為 "玻璃研磨"、"玻璃表面Otsu二值化效果"、"玻璃表面Canny強化效果"

3.3 建立迴歸線作為表面

根據圖5.右的結果,取圖片每一column由上而下第一個灰度質為255的點作為玻璃表面估計位置,結果如圖6.左。圖6.左 表面並無太多雜訊,在沒有去噪的情況進行迴歸建模,結果如圖6.右,此表面可作為計算median crack長度的基準。

圖6. 左而右依序為 "玻璃表面估計"、"玻璃表面迴歸估計"

3.4 裂痕偵測

裂痕偵測的困難之處在於,裂痕型態、位置不固定,並且圖像可能帶有其他玻璃雜質,如圖7,量測目標為中間兩道由左上至右下的 median crack,下方有一個較大的玻璃瑕疵。為了要區分出目標裂痕與雜訊,需要先對圖像進行銳化或膨脹侵蝕去除雜質,再進行二值化 [3]。

但使用以卷積為基礎的方法去除雜訊 (侵蝕為指定kernal內取最小值) ,需要雜訊本身較量測目標來的小,但圖7. 下方玻璃雜質的寬度,與目標量測的median crack相去不遠,此時侵蝕就無法達到消除雜訊的目的 (圖7右仍有許多雜質)。

圖7. 玻璃剖面 與 玻璃剖面Otsu結果

提取線段特徵 — Radon transform

由於裂痕是一條線段,而玻璃雜質為塊狀點,此處選擇強化直線訊息對瑕疵圖像進行過濾,再進行二值化分析。常見的直線偵測方法,為 Hough 與 Radon transform (通常兩者為等價),此種轉換會將圖片從(x, y)座標平面投影至Radon座標平面(角度, 位移),而特定(角度, 位移)可解釋為在原始圖像上畫一條線,這條線的灰度值加總。在Radon座標上,將會強化線段特徵,弱化塊狀的特徵,此時就能過濾掉玻璃瑕疵。

圖8. 為將圖7.右 瑕疵Otsu轉換的結果進行Radon transform, 圖中橫軸為角度 0 到 180度,縱軸為偏移量-350 到 350。圖中有3處明顯的亮點,其中兩處位於(角度, 位移) = (40, 0),表示有兩個40度左右的線段通過圖形中心點,也就是目標的median crack。

圖8. Radon轉換

來看看Radon對玻璃瑕疵的弱化情形,我們將玻璃雜質單獨拉出 (圖9.左)進行radon轉換(圖9右.),此線段可對應至圖8.相同位置,但在圖8. 幾乎消失 (因為重點在線,三條median crack強度高,使得瑕疵的點在randon果不明顯,但去除median crack後,就能明顯看到瑕疵)。

圖9. 玻璃雜質二值化圖片(左)、玻璃瑕疵radon轉換(右)

過濾玻璃雜質

在Radon空間中,可以區分線段與非線段的特徵,因此強化空間中數值,再進行Radon 反轉換作為Mask,就能過濾掉雜質。對圖8.結果取平方,增強線段訊息,並進行反轉換,結果如圖10 (左).,對比於圖7.右 玻璃雜質均被去除。將圖10. 左 進行膨脹作為Mask (圖10. 中 ),對原圖進行過濾,如圖10.右。此時可以取得median crack最低點,與玻璃表面進行距離量測。

圖10. Radon反轉換(左)、篩選Mask(中)、Mask過濾結果(右)

4. 結論

瑕疵量測為製造過程中耗費人力但不可避免的程序,透過圖像量測可以節省量測時間。本文以玻璃亞表面損傷說明圖像強化、過濾的步驟與方法,以及去除玻璃雜質的方法。

Reference

[1] Chai, Peng, et al. “Study on damage of 4H-SiC single crystal through indentation and scratch testing in micro–nano scales.Applied Sciences 10.17 (2020): 5944.

[2] Guo, Xiaoguang, et al. “Mechanism of crack propagation for K9 glass.International Journal of Precision Engineering and Manufacturing 20.5 (2019): 815–825.

[3] Huapan Xiao, Shenxin Yin, Heng Wu, Hairong Wang, and Rongguang Liang, “Theoretical model and digital extraction of subsurface damage in ground fused silica,” Opt. Express 30, 17999–18017 (2022)

[4] Zhao, Peiyi, Lei Zhang, and Xianli Liu. “Crack Forms Sensitivity-Based Prediction on Subsurface Cracks Depth in Ultrasonic-Vibration-Assisted Grinding of Optical Glasses.Applied Sciences 11.16 (2021): 7553.

--

--