TFT-LCD Mura檢測

自動化工程處&元智大學機器視覺實驗室

Y.H. Tseng 2006.12.4

2

Outline• Mura 瑕疵

– Mura 影像的特性– Mura 類型– 解析度對 Mura 影像之影響– Mura 等級判定（JND）

• Mura 瑕疵偵測方法– Convolution filter (Filter design)– Statistical method (ANOVA,EWMA)– Backgroup estimation (LSD)

3

What is Mura- Mura 影像的特性

• Mura特性：– 通常不明顯不易偵測– 通常位於光源不均之背景上– 與背景之對比度低– 一般（如Otsu’s）之二值化方法無法將背景與Mura分離

4

What is Mura-Mura 類型• Blob Mura

– 小範圍集中區域– 相較背景亮暗皆有– Spot, particle

• Line Mura– 具有直線之特徵– 相較背景亮暗皆有– 通常橫跨整個面板

• Large area Mura– Rubbing Mura– Gap Mura– Gravity Mura

Rubbing mura

5

What is Mura- Mura types-Blob Mura images

6

What is Mura- Mura types-Line Mura images

7

What is Mura- Mura types- Large area Mura images

8

What is Mura-解析度對 Mura 影像之影響

9

Mura 等級判定-JND恰辨率

where C is the local contrast of a candidate area-mura and S is the size of a candidate area-mura.

10

• Mura 瑕疵偵測方法– Convolution filter (Filter design)– Statistical method (ANOVA,EWMA)– Backgroup estimation (LSD)

11

Convolution filter (filter design)應用獨立成份分析濾波器於Mura瑕疵檢測

–影像特性(瑕疵尺寸需小於濾波器大小)

瑕疵影像瑕疵影像無瑕疵影像

影像強化後雖然凸顯瑕疵但背景紋路與光源不均也同時被強化

無瑕疵強化影像 瑕疵強化影像 瑕疵強化影像

138

140

142

144

146

148

150

152

154

156

1 12 23 34 45 56 67 78 89 100 111 122 133 144 155 166 177 188 199

瑕疵一維灰階變化

136

138

140

142

144

146

148

150

152

1 12 23 34 45 56 67 78 89 100 111 122 133 144 155 166 177 188 199

無瑕疵一維灰階變化

12

應用獨立成份分析濾波器於Mura瑕疵檢測研究方法概述

‧本研究為利用濾波器作瑕疵檢測

(1)將濾波器與待測影像作旋積運算得到反應值(2)利用整張影像旋積後反應值的平均數與標準差設定

臨界值，凸顯瑕疵

‧濾波器的目的在使正常區域之反應値一致使瑕疵區域之反應値有明顯的變異

13

應用獨立成份分析濾波器於Mura瑕疵檢測濾波器之旋積運算

‧令 表示影像在 之灰階値

是一個大小為 之濾波器

則 與 之旋積可定義為：

),( yxf ),( yx

),( yxH nm×),( yxf ),( yxH

∑∑−

=

−

=

⋅++=1

0

1

0),(),(),(Q

m

i

n

jjiHjyixfyx

QQQQ KyxQK σµσµ +

15

應用獨立成份分析濾波器於Mura瑕疵檢測ICA設計濾波器-限制式之ICA 模型

• 限制式之ICA 模型

‧加入限制式的目的主要在於使設計的濾波器在無瑕疵區域能有更一致的反應值。

QQQQ KyxQK σµσµ +

17

應用獨立成份分析濾波器於Mura瑕疵檢測-實驗結果

18

應用ICA濾波器與小波轉換於Mura瑕疵檢測影像特性(1/2)

• 由於Mura有輝度不均以及對比度差異小的特性，且在視覺上不易辨識。

• 但是在一維訊號上，瑕疵訊號則較容易觀察。

正常影像 Mura影像

人眼視覺上差異極小

Mura

一維訊號 一維訊號

瑕疵較為明顯

19

• 因此將影像轉為一維訊號進行偵測。

• 故在一維訊號的觀察中，可發現Mura瑕疵在一維訊號線上有明顯的反應。

正常一維訊號通過Mura之一維訊號

Mura區域有明顯變化

應用ICA濾波器與小波轉換於Mura瑕疵檢測影像特性(2/2)

20

• 步驟一：(Detect defective line)– 先針對一維訊號進行檢測，主要判斷該一維訊號是否發生異常。

– 藉由此方式減少檢測所需要花費的時間。

• 步驟二：(Detect defect location)– 再針對步驟一中判定為異常之線段，進行瑕疵位置檢測，以找出正確瑕疵位置。

– 並藉由步驟二的檢驗，減少步驟一中的誤判率。

應用ICA濾波器與小波轉換於Mura瑕疵檢測檢測步驟

21

• 藉由ICA來針對正常一維訊號進行訓練並得到濾波器。

• 由於各正常之一維訊號有相同的趨勢，當一維訊號與濾波器進行旋積時，在正常訊號所得到的反應值會較低，而Mura訊號則會有異於正常的反應值。

應用ICA濾波器與小波轉換於Mura瑕疵檢測ICA訓練與反應

WXY =

Mura影像 (線段)

(反應值) 異常

Y：拆解後所得原始訊號

W: 反混合矩陣

X : 輸入之一維訊號

X矩陣

by row

水平一維訊號旋積反應值

22

應用ICA濾波器與小波轉換於Mura瑕疵檢測ICA檢測

• 在以統計製程方法SPC進行管制，超出管制界限之線段則視為異常線段，並做瑕疵位置偵測之檢驗。

(線段)

(反應值)

• ICA檢測結果

正常影像 無偵測到異常 Mura影像 偵測到異常

23

• 在SPC管制中，判定為正常線段，則不再檢驗，以減少檢測所需花費的時間。

• 其他超出SPC管制界限之異常線段，則進行瑕疵位置檢測。

• 若在ICA檢測方面發生誤判，可由瑕疵檢測的方法對異常線段進行二次檢驗，可減少誤判的發生。

應用ICA濾波器與小波轉換於Mura瑕疵檢測ICA檢測結果

24

• 小波轉換主要是利用小波基底與待測線段進行convolution(旋積)，並拆解出平滑區域與細節區域。

• 而在細節區域方面，由於小波轉換後，可突顯邊緣等細節差異，並找出細節所在區域。

• 而Mura在輪廓反應上並不明顯，因此利用小波轉換來突顯瑕疵差異，並偵測瑕疵所在位置。

應用ICA濾波器與小波轉換於Mura瑕疵檢測小波轉換(1/2)

25

• 小波轉換：– 偵測到異常線段在小波轉換後，細節部分反應如下

應用ICA濾波器與小波轉換於Mura瑕疵檢測小波轉換(2/2)

偵測到之異常線段 小波轉換後之異常線段

小波轉換

• 故小波轉換能有效突顯瑕疵差異，而轉換後之線段可使用SPC管制界限來判斷瑕疵位置。

26

• 將異常線段執行小波轉換，並進行SPC管制手法以及二值化方式，得到結果如下：

應用ICA濾波器與小波轉換於Mura瑕疵檢測小波轉換偵測結果

異常線段區域 偵測後結果

• 偵測結果可有效標識出瑕疵位置。

27

• 為了有效檢驗出瑕疵區域，將同時檢測水平一維訊號以及垂直一維訊號，並將水平檢測結果與垂直檢測結果進行聯集以得到最後檢驗結果。

應用ICA濾波器與小波轉換於Mura瑕疵檢測偵測結果

正常影像

Mura影像

偵測結果

偵測結果

判定為正常影像

判定為瑕疵影像

Mura影像 偵測結果

判定為瑕疵影像

28

• Mura 瑕疵偵測方法– Convolution filter (Filter design)– Statistical method (ANOVA, EWMA)– Back-group estimation (LSD)

29

變異數分析(ANOVA)• 將面板分為數個區塊，每個區塊包含數個量測值

• 實驗假設(變異數分析)-(1) Ho：µ 1=µ 2=µ 3=µ 4=µ 5=µ6=……..=µ n(2) Ha：至少有一個不同

30

ANOVA分析判定Mura

1 5 9 14 20 26 32 38 44 50 56 62 68 74 80 86 92 98 105 112 119 126 133 140

240

241

242

243

244

245

1 5 9 14 20 26 32 38 44 50 56 62 68 74 80 86 92 98 105 112 119 126 133 140

245

250

255

可觀察出各組數據無顯著差異不拒絕Ho：µ 1=µ 2,…,=µ n

可觀察出各組數據有顯著差異拒絕Ho：µ 1=µ 2,…,=µ n

無MURA

有MURA

• 二組模型透過殘差分析發現符合常態，獨立性與變異數齊一之假設。

箱型圖

箱型圖

31

ANOVA分析-偵測結果

• Mura位置示意圖

32

EWMA管制圖判定Mura• 利用EWMA（Exponentially Weighted Moving Average）管制圖具有偵測微量變動之能力，定義其上下管制界線，並作偵測。

0 50 100 150

240

241

242

243

244

Sample Number

EWM

A

EWMA Chart for NO MURA

X=242.1

3.0SL=243.9

-3.0SL=240.4

0 50 100 150

242

247

252

Sample Number

EWM

A

EWMA Chart for MURA

X=244.6

3.0SL=246.5

-3.0SL=242.7

(1)無Mura之EWMA管制圖 (2)有Mura之EWMA管制圖

( )nxUCL λλσ−

+=2

3 ( )nxLCL λλσ−

−=2

3

λ 為一平滑常數介於0與1之間

33

• Mura 瑕疵偵測方法– Convolution filter (filter design)– Statistical method (ANOVA)– Backgroup estimation (LS)

34

背景估計

• 估計出具有光源不均影響之背景– 一般用多項式估計背景點的模型

e.g.

– 再求得於原始影像差異最小之背景模型(利用LS求解)e.g.目標式: where

• 再利用估計出之背景與影像相減，獲得Mura 影像

原始 估計

35

背景估計

• 階段一：背景估計– 首先給予參數 ，表示region-mura在影像中佔了

%的區域。– 以window size的方式將原始影像分為許多子區塊– 將子區塊中的點 逐一由視窗資料中移除– 再使用最小平方迴歸法(Least-Squares regression method)對資料進行背景估計。

– 目標式

其中 為使用二階導數進行估計所得資料點

∑−Ψ

−−−=

P

yxfzWH

pJ lpxy ),(11)( )(

)(lpf−

αα

J. Y. LEE and S. I. Yoo ,”Automatic Detection of Region-Mura Defect in TFT-LCD”, 2004

p

36

背景估計

• 階段二：影像相減–將階段一最後估計出來的背景與原始影像進行相減，公式如下。

),()(* yxfzr hBxyxy −=

*xyr

xyz

),()( yxf hB

為原始影像減估計背景之結果

為原始影像

為估計之背景影像

37

實驗結果

• 測試影像以及實驗結果如下

Thanks!

獨立成分分析

40

濾波器之設計

‧本研究以獨立成份分析(Independent Component Analysis, ICA)來設計檢測用之濾波器。

‧獨立成份分析是一種用來找出隨機變數或訊號中隱藏因子的統計和分析方法。

41

獨立成份分析(ICA)介紹

SourcesObservations

s1

s2

x1

x2

Mixing matrix A

2221212

2121111

sasaxsasax

+=+=

雞尾酒派對問題：

42

獨立成份分析(ICA)介紹

• ICA的模型是由混合訊號(X)，以及獨立的潛在變數 (S)，和一個未知的混合矩陣(A)所組成

• 潛在變數間假設為獨立，即 與 為獨立且

SAX ×=

ii sAx ×=][ ],[ ii sSxX ==

is js ji ≠

43

獨立成份分析(ICA)介紹

• 為了估計獨立的潛在變數，必須經由反混合矩陣(De-mixing matrix) W對隨機變數 X 做重建以得到獨立成份(Independent components)，而獨立成份 Y 則被用來估計潛在變數 S，即：

當反混合矩陣 ，則 Y = S• 獨立成份間必須互為統計獨立

1−= AW

XWY ×=

iii syyY ⇒= , ][

44

獨立成份分析(ICA)介紹

Y

X

X

A

S

W

×

×

=

=

(混合矩陣)

(反混合矩陣)

1x

2x

1s

2s

1y 1x

2x2y

45

獨立成份分析(ICA)介紹

‧獨立成份分析方法可以分成兩個部份：

第一部份為利用獨立性量測準則當作目標函數

第二部份為搜尋最佳反混合矩陣，使目標函數達到最佳化的演算法

• ICA method=Objective function of independence +WOptimization algorithm for de-mixing matrix

46

ICA設計濾波器

‧本研究以ICA設計濾波器，並以粒子群演算法(Particle Swarm Optimization, PSO )作為搜尋最佳反混合矩陣 的最佳化方法，並在搜尋過程中加入限制式，而反混和矩陣的列向量，即為本研究中的濾波器。

‧加入限制式的目的主要在於使設計的濾波器在無瑕疵區域能有更一致的反應值。

W

47

ICA設計濾波器

• 背光板與TFT-LCD面板每個子影像具有自我相似性，只有位移不同。

• 每個子影像只有位移的不同，所以只有一個獨立的來源，因此利用獨立成份可以估計出一個最純的來源，其不包含光源和雜訊的影響。

• 利用ICA訓練濾波器，可以使每ㄧ個子影像經濾波後有相同且ㄧ致的反應。

48

• The Independence of ICs are measured by non-Gaussianity.

• The non-Gaussianity of ICs can be measured by kurtosis.

• Kurtosis

• For a Gaussian variable • Zero for a Gaussian variable, and greater than zero for non-

Gaussian random variables.

Independent Component Analysis (ICA)

224 ))((3)()( yEyEykurt −=

{ }2)( ykurtMaximize

0)())((3)( y, 224 =⇒= ykurtyEyE

49

S(original signals)X (observed signals)

matrix) mixing-(de W ×

X (observed signals) Y (IC matrix)

=

Independent Component Analysis (ICA)

IC3

IC2

IC1

ANOVA

51

實驗設備及其裝置(1/2)

• 實驗採用之設備為自動光學評價設備。(Flat Panel Display Measurement System-510 簡稱FPM-510)

52

實驗設備及其裝置(2/2)

• 光學量測儀器為輝度計(BM-5A)。• 量測範圍設定為1000個畫素(pixels)。• BM-5A鏡頭與LCD模組保持距離如圖。

BM-5A

量測距離(WD)

孔徑θ量測範圍:D

R

量測範圍= 1000pixels =πR2

顯示器模組

53

變異數分析(ANOVA) -檢測方式

• 實驗取用1024x768大小之影像，在X方向取16等分，Y方向取9等分，共144塊正方形。

• 每一區塊取上、下、左、右及中心等五點分別計算其輝度值。

• 再以量測數據進行變異數分析。

54

變異數分析(ANOVA)-實驗內容

• 144個區塊之位置圖

• 實驗假設---(1) Ho：µ 1=µ 2=µ 3=µ 4=µ 5=µ6=……..=µ 144(2) Ha：至少有一個不同

55

ANOVA分析-無Mura• 無Mura實驗數據殘差分析---

針對模型中的常態性,變異數齊一性與獨立性進行檢定

-4 -3 -2 -1 0 1 2 3 4

05

1015202530354045

Residual

Freq

uenc

y

Histogram of Residuals

0 100 200 300 400 500 600 700-5-4-3-2-1012345

Observation Number

Res

idua

l

I Chart of Residuals

7

7

77

77

6

Mean=-5.9E-15

UCL=4.374

LCL=-4.374

241.2 242.2 243.2-4-3-2-101234

Fit

Res

idua

l

Residuals v s. Fits

-3 -2 -1 0 1 2 3-4-3-2-101234

Normal Plot of Residuals

Normal Score

Res

idua

l

Residual Analysis

(1)常態性假設不顯著(但F-test具有Robust性質,且對於固定模式的影響較小,因此,可接受ANOVA模型所分析結果)

(2)可接受獨立性假設

(3)可接受變異數齊一的假設

56

ANOVA分析-無Mura• 無Mura實驗數據之一元變異數分析表及箱型圖---

可觀察出144組數據無顯著差異Analysis of Variance for Value, using Adjusted SS for Tests

Source DF Seq SS Adj SS Adj MS F PPosition 143 98.778 98.778 0.691 0.27 1.000Error 576 1451.660 1451.660 2.520Total 719 1550.438

1 5 9 14 20 26 32 38 44 50 56 62 68 74 80 86 92 98 105 112 119 126 133 140

240

241

242

243

244

245

57

ANOVA分析-Gap Mura• 有Mura實驗數據殘差分析---

針對模型中的常態性,變異數齊一性與獨立性進行檢定

(1)常態性假設不顯著(但F-test具有Robust性質,且對於固定模式的影響較小,因此,可接受ANOVA模型所分析結果)

(2)可接受獨立性假設

(3)可接受變異數齊一的假設

-5 0 5

0102030405060708090

100

Residual

Freq

uenc

y

Histogram of Residuals

0 100 200 300 400 500 600 700

-5

0

5

Observation Number

Res

idua

l

I Chart of Residuals

7

7

77

77

7

7

7

1

1

5

6

6

7

7

7

Mean=-3.3E-15

UCL=4.510

LCL=-4.510

244 249 254

-5-4-3-2-1012345

Fit

Res

idua

l

Residuals v s. Fits

-3 -2 -1 0 1 2 3

-5-4-3-2-1012345

Normal Plot of Residuals

Normal Score

Res

idua

l

Residual Analysis

58

ANOVA分析-Gap Mura• 有Mura實驗數據之一元變異數分析表及箱型圖---

可觀察出144組數據有顯著差異

Analysis of Variance for Value, using Adjusted SS for Tests

Source DF Seq SS Adj SS Adj MS F PPosition 143 6491.816 6491.816 45.397 15.79 0.000Error 576 1656.004 1656.004 2.875Total 719 8147.820

1 5 9 14 20 26 32 38 44 50 56 62 68 74 80 86 92 98 105 112 119 126 133 140

245

250

255 偵測為異常部分

59

ANOVA分析-偵測結果

• Mura位置示意圖

60

EWMA管制圖

• 指數加權移動平均值管制圖(Exponentially Weighted Moving Average, EWMA)

• 由於EWMA對於製程微量跳動之偵測較傳統管制圖(ex:蕭華特管制圖)更有效率。

• 利用EWMA管制來輔助判定LCD是否具有顯示不均之現象。

61

EWMA管制圖

• 運用管制圖判定– 利用EWMA管制圖偵測微量變動之能力，定義其上下管制界線，並作偵測。

( )nxUCL λλσ−

+=2

3 ( )nxLCL λλσ−

−=2

3

λ 為一平滑常數介於0與1之間

62

EWMA管制圖

• 運用管制圖判定-使用試誤法找出最佳λ值，當λ =0.8，EWMA管制圖如下：

0 50 100 150

240

241

242

243

244

Sample Number

EWM

A

EWMA Chart for NO MURA

X=242.1

3.0SL=243.9

-3.0SL=240.4

0 50 100 150

242

247

252

Sample Number

EWM

A

EWMA Chart for MURA

X=244.6

3.0SL=246.5

-3.0SL=242.7

(1)無Mura之EWMA管制圖 (2)有Mura之EWMA管制圖

63

EWMA管制圖-實驗結果• 運用管制圖判定-λ =0.2~1.0判斷的正確率明細表

143區塊/144區塊=99.3%144區塊/144區塊=100%1.0

144區塊/144區塊=100%144區塊/144區塊=100%0.8

142區塊/144區塊=98.6%144區塊/144區塊=100%0.6

140區塊/144區塊=97.2%144區塊/144區塊=100%0.4

132區塊/144區塊=91.7%144區塊/144區塊=100%0.2

有Mura之模組判斷正確率無Mura之模組判斷正確率λ值

註：(1)λ=0.2,0.4,0.6及1.0均無法做出完全正確之判斷(2) 只有λ=0.8時可完全做出正確的判斷(3) 當使用EWMA管制圖來判斷是否有Mura現象時,應取λ=0.8

64

變異數分析(ANOVA) -實驗結果

• 瑕疪偵測之流程。決定BM-5A量測範圍

計算BM-5A與量測模組間距離

決定模組之不良面積達多少以下是可被忽略的

決定量測模組上之區塊數目

利用BM-5A在模組上進行量測輝度值

決定分析方法

ANOVA,信賴區間=95% EWMA管制圖, λ值=0.8

判斷各區塊平均值是否有差異 判斷是否有點超出上管制界限

YES NO YES NO

有Mura 無Mura 有Mura 無Mura

背景估計

66

背景估計實驗方法(2/4)

• 階段一：背景估計(續)– 再依照 來對子區域影像進行判斷，小於判斷值則視為

1(白)，否則為0(黑)，並將各子區域影像合併為與原始影像相同大小之黑白影像。

– 針對該黑白影像使用median-filter濾除雜訊。– 在依照濾除雜訊後之黑白影像，與原始影像對照，將白色部分相對應的原始影像資訊移除。

– 最後再次以LS（最小平方法）進行背景估計。

)( pJ

67

背景估計實驗方法(4/4)

• 階段二：影像相減(續)–並計算 之平均值 與變異數 ，並將殘差值轉換為 ，判斷方式如下。

–由 值來對相減影像進行判斷，超過則視為瑕疵點。

*xyr µ 2σ *xyr

),( yxZ

TrTr

yxZxy

xy

≤−

>−=

σµσµ

/,/,

01

{),( **

T

分類

69