מריוס הרשקוביץ

תוכןתוכן

רקערקע•

שיטות ואלגוריתמיםשיטות ואלגוריתמים•

תוצאות תוצאות •

•Image binarization, image thresholdingImage binarization, image thresholding – – זהו השלב הראשון בעיבוד המסמך.זהו השלב הראשון בעיבוד המסמך.

•InputInput תמונת : תמונת : gray scalegray scaleOutputOutputתמונה בינארית : תמונה בינארית :

בשלב זה מחליטים לגבי כל פיקסל האם הוא שייך בשלב זה מחליטים לגבי כל פיקסל האם הוא שייך •לרקע או לטקסט.לרקע או לטקסט.

היכולות של אלגוריתמי הזיהוי בשלבים המאוחרים היכולות של אלגוריתמי הזיהוי בשלבים המאוחרים •יותר מושפעות מאיכות ההפרדה בין התווים לרקע יותר מושפעות מאיכות ההפרדה בין התווים לרקע

שמבוצעת בשלב זה. שמבוצעת בשלב זה.

דוגמאות לבעיות שפוגעות באיכות דוגמאות לבעיות שפוגעות באיכות המסמכיםהמסמכים

אותיות מודגשות בצבעים שוניםאותיות מודגשות בצבעים שונים•

כתמים על גבי המסמךכתמים על גבי המסמך•

איכות כתב נמוכהאיכות כתב נמוכה•

צללים על גבי המסמך בגלל רמת תאורה צללים על גבי המסמך בגלל רמת תאורה •נמוכה בזמן לכידת תמונת המסמך נמוכה בזמן לכידת תמונת המסמך

שימושיםשימושיםעיבוד אוטומטי של צ'קיםעיבוד אוטומטי של צ'קים•חיפוש מסמכים באינטרנטחיפוש מסמכים באינטרנט•זיהוי לוחיות רישויזיהוי לוחיות רישוי•זיהוי תויות על גבי דיסקיםזיהוי תויות על גבי דיסקים•עיבוד מפותעיבוד מפות••Video conferenceVideo conference זיהוי צורות וכתב בשרטוטים הנדסייםזיהוי צורות וכתב בשרטוטים הנדסיים•מערכות אוטומטיות למיון דואר מערכות אוטומטיות למיון דואר •

Global thresholdingGlobal thresholding

•thresholdthresholdאחיד לכל התמונה אחיד לכל התמונה הפרדה בין טקסט או אובייקט לבין הרקע תוך הפרדה בין טקסט או אובייקט לבין הרקע תוך •

שימוש במידע לגבי רמות האפור בכל התמונה שימוש במידע לגבי רמות האפור בכל התמונה בלבדבלבד

פיקסלים עם רמת אפור גדולה מה- פיקסלים עם רמת אפור גדולה מה- •thresholdthresholdשייכים לרקע שייכים לרקע

פיקסלים עם רמת אפור גדולה מה- פיקסלים עם רמת אפור גדולה מה- thresholdthresholdשייכים לטקסט שייכים לטקסט

Global thresholdingGlobal thresholding - - השגותהשגות

חפיפה בין ההיסטוגרמות של הרקע ושל חפיפה בין ההיסטוגרמות של הרקע ושל •הטקסטהטקסט

רקע לא אחיד בעל כמה רמות אפוררקע לא אחיד בעל כמה רמות אפור•

Global thresholdingGlobal thresholding Otsu’s methodOtsu’s method

על פי המקורות זאת השיטה המתקדמת ביותר על פי המקורות זאת השיטה המתקדמת ביותר • global thresholdingglobal thresholdingל- ל-

thresholdthresholdהשיטה מעריכה את טיב ה- השיטה מעריכה את טיב ה- • אופטימלי אופטימליthresholdthresholdובוחרת ובוחרת

Global thresholdingGlobal thresholding Otsu’s methodOtsu’s methodהמשך - המשך -

[[LL,…,,…,1,21,2]]רמות האפור בתמונה: רמות האפור בתמונה: •

•nnii מספר הפיקסלים עם רמת אפור – מספר הפיקסלים עם רמת אפור –ii

•N=nN=n11+n+n22+…n+…nLL סה"כ הפיקסלים בתמונה– סה"כ הפיקסלים בתמונה –

•ppii=n=nii/N/N

מחלקים את הפיקסלים לשתי קבוצות:מחלקים את הפיקסלים לשתי קבוצות:•CC00=[1,…,k]=[1,…,k] פיקסלים השייכים לטקסט או – פיקסלים השייכים לטקסט או –

לאובייקטיםלאובייקטיםCC11=[k+1,…,L]=[k+1,…,L]פיקסלים השייכים לרקע - פיקסלים השייכים לרקע -

Global thresholdingGlobal thresholding Otsu’s methodOtsu’s methodהמשך - המשך -

222222TBwTwB /,/k,/

211

200

2 www

211

200

2 )(w)(w TTB

מיקסום של אחת קריטריונים להערכת הטיב – הפונקציות הבאות

- השונות בתוך הקבוצות

i

L

iTT p)i(

1

22

- השונות בין הקבוצות

- השונות הכללית

Global thresholdingGlobal thresholding Otsu’s methodOtsu’s methodהמשך - המשך -

L

kiir wp)C(Pw

1011 1

k

iir p)C(Pw

100

k

ii

k

i

w/ip)C/iPr(i1

01

00

- הסתברות הופעת הקבוצה

k

ii

L

ki

w/ip)C/iPr(i1

11

11

- תוחלת הקבוצה

Global thresholdingGlobal thresholding Otsu’s methodOtsu’s methodהמשך - המשך -

01

200

1

20

20 w/p)i()C/i(P)i( i

k

ir

k

i

11

211

1

21

21 w/p)i()C/i(P)i( i

L

kir

L

ki

- שונות הקבוצה

שנותן *kלסיכום – בוחרים מקסימלי

Global thresholdingGlobal thresholding Otsu’s methodOtsu’s method – – תוצאות מהמאמר

Global thresholdingGlobal thresholding Otsu’s methodOtsu’s method – – הבטים נוספים

*

10 *

ה- המקסימלי ) ( מהווה מדד ליכולת ההפרדה בין הקבוצות ולסיבוכיות התמונהה- המקסימלי ) ( מהווה מדד ליכולת ההפרדה בין הקבוצות ולסיבוכיות התמונה•

כאשר יש שתי רמות אפור כאשר יש שתי רמות אפור 11 כאשר יש רמת אפור אחת בלבד בתמונה ו- כאשר יש רמת אפור אחת בלבד בתמונה ו-00 , , •בלבד בתמונהבלבד בתמונה

ככל ש יותר נמוך התמונה יותר מסובכת ככל ש יותר נמוך התמונה יותר מסובכת•

Recursive Global Recursive Global ThresholdingThresholding

22 טובה כאשר יש בתמונה שתי קבוצות ) טובה כאשר יש בתמונה שתי קבוצות )OtsuOtsuשיטת שיטת •peakspeaks בהיסטוגרמה(. כאשר יש בתמונה יותר משתי בהיסטוגרמה(. כאשר יש בתמונה יותר משתי

קבוצות השיטה מתקשה לפעולקבוצות השיטה מתקשה לפעול הינה הרחבה של השיטה הינה הרחבה של השיטה Recursive OtsuRecursive Otsu שיטת שיטת •

. . OtsuOtsuשל של שוב ושוב שוב ושוב OtsuOtsuהשיטה מפעילה את האלגוריתם של השיטה מפעילה את האלגוריתם של •

כאשר בכל פעם הפיקסלים שגבוהים מה- כאשר בכל פעם הפיקסלים שגבוהים מה- thresholdthreshold( והפיקסלים שנמוכים ( והפיקסלים שנמוכים 255255 הופכים לרקע ) הופכים לרקע )

נשארים נשאריםthresholdthresholdמה- מה- בתמונה או בתמונה או peakspeaksהתהליך ממשיך עד אשר אין יותר התהליך ממשיך עד אשר אין יותר •

עד שהאזורים הופכים קטנים מידי עד שהאזורים הופכים קטנים מידי

Recursive Global ThresholdingRecursive Global Thresholding- - המשךהמשך

מצא את הסטוגרמת התמונה המקורית

Otsuהשתמש בשיטת SP ו- thכדי לחשב את

SP<0.95

הפוך את הפיקסלים לרקעth שגדולים מה-

מצא את ההסטוגרמה של התמונה כולל הרקע הלבן

Otsuהשתמש בשיטת SP ו- thכדי לחשב את

SP<0.95התמונה מכילה את האוביקט האחרון

מצא את ההסטוגרמה של התמונה ללא הרקע הלבן

כן

כן

לא לא

Global thresholdingGlobal thresholding Otsu’s methodOtsu’s method RecursiveRecursive – –

תוצאות מהמאמר

Global thresholdingGlobal thresholding Otsu’s methodOtsu’s method RecursiveRecursive – –

סיכוםהשיטה פותרת את הבעיה של מספר רמות השיטה פותרת את הבעיה של מספר רמות •

אפור ברקעאפור ברקע

השיטה עדיין מתקשה לפעול כאשר יש השיטה עדיין מתקשה לפעול כאשר יש •התלכדות בין רמות האפור של הכתב והרקעהתלכדות בין רמות האפור של הכתב והרקע

Local thresholdingLocal thresholding

תכונות התווים אותם רוצים לזהותתכונות התווים אותם רוצים לזהות

התווים בעלי רמות אפור נמוכות יותר התווים בעלי רמות אפור נמוכות יותר •מהפיקסלים שבשכנותםמהפיקסלים שבשכנותם

השינויים ברמות האפור בתוך התו מוגבליםהשינויים ברמות האפור בתוך התו מוגבלים•

התווים הם דקים ובעלי עובי נמוך מערך מסוייםהתווים הם דקים ובעלי עובי נמוך מערך מסויים•

מקומי מקומי contrastcontrast הגבולות של התו הם בעלי הגבולות של התו הם בעלי •גדול יותר מזה של הרקעגדול יותר מזה של הרקע

Local thresholdingLocal thresholdingהמשך - המשך - האלגוריתםהאלגוריתם

threshold threshold בוחרים בוחרים FF בתמונה בתמונה ((x,yx,y))עבור כל פיקסל עבור כל פיקסל •(T(x,y))(T(x,y))::

T(x,y)=(FT(x,y)=(Fmaxmax(x,y)+F(x,y)+Fminmin(x,y))/2(x,y))/2

השווה לממוצע של הערך הגדול ביותר והערך הקטן השווה לממוצע של הערך הגדול ביותר והערך הקטן ..((x,yx,y)) מסביב לפיקסל מסביב לפיקסל r*rr*rביותר בסביבה ביותר בסביבה

rr הוא העובי של הקו הוא העובי של הקו

הקונטרסט המקומי מחושב על פי ההפרש בין הקונטרסט המקומי מחושב על פי ההפרש בין •המינימום והמקסימום המקומיים:המינימום והמקסימום המקומיים:

C(x,y)=FC(x,y)=Fmaxmax(x,y)-F(x,y)-Fminmin(x,y)(x,y)

Local thresholdingLocal thresholdingהמשך - המשך -

בינאריזציהבינאריזציה

•

•t = Otsu(C(x,y))t = Otsu(C(x,y))

otherwise

t)y,x(candT)y,x(fif)y,x(b

1

0

Local thresholdingLocal thresholding תוצאות – תוצאות – מהמאמרמהמאמר

Local thresholdingLocal thresholdingסיכום – סיכום –

יתרוןיתרון

השיטה פועלת גם כאשר הכתב הוא לא האובייקט השיטה פועלת גם כאשר הכתב הוא לא האובייקט •בעל רמת האפור הנמוכה ביותר בתמונהבעל רמת האפור הנמוכה ביותר בתמונה

חסרוןחסרון

מתקשה לפעול עם רקע המשתנה במהירותמתקשה לפעול עם רקע המשתנה במהירות•

Logical level techniqueLogical level techniqueWWקובעים את עובי הקוים - קובעים את עובי הקוים - •

משווים את הערך של כל פיקסל עם ערך הממוצע משווים את הערך של כל פיקסל עם ערך הממוצע •המקומי של ארבעה אזורים שכנים בגודל המקומי של ארבעה אזורים שכנים בגודל

((2W+12W+1))x(2W+1)x(2W+1)

רמות מכל רמות מכל TT אם הערך של הפיקסל הוא נמוך ב- אם הערך של הפיקסל הוא נמוך ב- •ארבעת האזורים, אז הוא שייך לכתבארבעת האזורים, אז הוא שייך לכתב

Logical level techniqueLogical level technique – – תוצאות מהמאמרתוצאות מהמאמר

Logical level techniqueLogical level technique – – תוצאות מהמאמרתוצאות מהמאמר

שיטות להערכת הטיב של שיטות להערכת הטיב של האלגוריתמיםהאלגוריתמים

שיטות סובייקטיביות:שיטות סובייקטיביות:•יכולת דחיית הרקעיכולת דחיית הרקעהמשכיות הקויםהמשכיות הקוים יכולות הזיהוי של אלגוריתמים מאוחרים המוזנים יכולות הזיהוי של אלגוריתמים מאוחרים המוזנים

של האלגוריתמי הבינאריזציה של האלגוריתמי הבינאריזציה outputoutputעל ידי ה- על ידי ה-

שיטות אובייקטיביות:שיטות אובייקטיביות:•זמן עיבודזמן עיבודזכרוןזכרוןמספר הפרמטריםמספר הפרמטריםסיבוכיות קביעת הפרמטריםסיבוכיות קביעת הפרמטרים

Otsu’s methodOtsu’s method

k = 81eta = 0.9790

Otsu’s methodOtsu’s method

k = 143eta = 0.7603

Recursive Otsu’s methodRecursive Otsu’s method

Recursive Otsu’s methodRecursive Otsu’s method

Local threshold methodLocal threshold method

Local threshold methodLocal threshold method

תמונה מקורית Otsu’s method

Local thresholding

Recursive Otsu

k = 206eta = 0.5125