Çoklu-Algılayıcılardan Alınan Görüntülerde Eşleştirme Yöntemlerinin Karşılaştırılması

Veysel Aslantaş, Emre Bendeş, Rifat Kurban, A. Nusret Toprak Erciyes Üniversitesi, Bilgisayar Mühendisliği Bölümü, 38039, Melikgazi, Kayseri, Türkiye

{ aslantas, ebendes, rkurban, antoprak} @erciyes.edu.tr

Özet—Görüntü eşleştirme farklı görüntüler in aynı bilgiyi içeren kısımlar ının çakıştır ılarak en uygun şekilde gerekli dönüşümler in yapılması işlemidir . Bu çalışmada çoklu algılayıcılardan elde edilen termal ve optik görüntüler in benzer lik, ilgin, izdüşümlü, polinomsal, doğrusal ve yerel ağır lıklandır ılmış or talama yöntemler i ile eşleştir ilmesi ve yöntemler in kıyaslaması yapılmıştır .

Anahtar Kelimeler-Çoklu-algılayıcılar, görüntü eşleştirme, dönüşümler, termal ve optik görüntüleme

I. GİRİŞ

Günümüz teknolojisinde birçok uygulama alanı bulunan görüntü işleme yöntemlerinin giriş verisi olan görüntüler, metotların uygulanabilmesi için ön işlemlere tabi tutulmaktadırlar. Görüntü eşleştirme de bu ön işlemler içerisinde sıklıkla ihtiyaç duyulan yöntemlerden birisidir. Aynı sahnenin veya nesnenin farklı zamanlarda, farklı perspektiflerde veya farklı algılayıcılar ile elde edilen veri kümeleri farklı koordinat sistemlerindedir [1]. Görüntü eşleştirme, farklı koordinatlardaki veri kümelerinin en uygun şekilde aynı koordinat sistemine dönüştürülmesi işlemidir.

Görüntü eşleştirme işleminde, iki veya daha fazla görüntünü giriş olarak alınmaktadır. Bu veriler hizalanarak üst üste bindirilmektedir. Genelde, görüntülerden birisi referans görüntü olarak adlandırılır. Bu görüntü, diğer eşlenmek istenen giriş görüntülerine taban teşkil edecektir. Giriş görüntüler, uzaysal dönüşümler uygulanarak referans görüntü ile aynı koordinat sistemine getirilir. Uzaysal bir dönüşüm, bir görüntüdeki pozisyonların diğer görüntüdeki yeni yerlerine eşleştirilmesini sağlar.

Eşleştirilecek görüntülerin elde edildiği kaynağa göre görüntü eşleştirme algoritmaları tek-modlu ve çok-modlu olarak ikiye ayrılmaktadır [2]. Tek-modlu görüntü eşleştirme yöntemlerinde bir sahneye ait aynı tür algılayıcılardan farklı yönelimlerle elde edilmiş görüntüler kullanılmaktadır. Çok-modlu görüntü eşleştirme yöntemlerinde ise giriş görüntüleri farklı algılayıcılarla elde edilmektedir. Farklı algılayıcılar ile elde edilen görüntüler genelde çakışık olarak elde edilemezler. Bu tür veriler görüntü birleştirme algoritmaları gibi birçok yöntemde kullanılmaktadır ve algoritmaların başarısı için görüntülerin eşleştirilmiş olması gerekmektedir [3].

Görüntü eşleştirme yöntemleri temelde iki adımdan oluşmaktadır. Şekil 1.’de görüntü eşleştirme yöntemlerinin temel adımları görülmektedir. İlk adımda referans ve giriş görüntüleri üzerinden aynı bölgeleri ifade eden kontrol

noktaları seçilmelidir. Nokta seçme esnasında noktaların görüntüye homojen olarak dağıtılması gerekmektedir. Ayrıca farklı dönüşüm işlemleri için kullanılması gereken minimum kontrol noktası sayısına dikkat edilmelidir. Elde edilecek noktalar eşleştirme işleminde referans alınacak noktalar olması sebebiyle önem arz etmektedir. Nokta çiftlerinde noktaların aynı bölgeyi ifade etmemesi eşleştirme yönteminin başarısını etkileyecektir. Tek-modlu görüntü eşleştirme için noktaların belirlenmesi SIFT ya da Harris gibi algoritmalarla gerçekleştirilebilir. Bu çalışmada kullanılan görüntü çiftlerinin (Tablo 1) aynı sahneye ait farklı algılayıcılardan elde edilen çok-modlu görüntü olmasından dolayı sahneden farklı içeriğe sahip sinyallerin toplanmıştır. Bu sebepten dolayı bu çalışmada kontrol noktaları elle belirlenmiştir.

Şekil 1. Görüntü eşleştirmenin adımları.

110

Kontrol noktaları belirlendikten sonra ikinci adımda dönüşüm yönteminin seçilmesi gerekmektedir. Bu yöntemler referans görüntü ile giriş görüntüsü arasındaki bağıntıyı kurmaktadır. Dolayısıyla görüntü eşleştirmenin temelini ifade eder. Bu çalışma literatürde sıklıkla kullanılan ve aşağıda verilen dönüşüm yöntemler değerlendirilmiştir.

• Benzerlik,

• İlgin,

• İzdüşümlü,

• Polinomsal,

• Doğrusal,

• Yerel ağırlıklandırılmış ortalama (YAO).

Bu çalışmada farklı algılayıcılardan elde edilen görüntülerin yukarıda belirtilen yöntemlerle eşleştirilmesi gerçekleştirilmiş ve sonuçlar karşılaştırılmıştır. Yapılan deneysel çalışmalar Matlab görüntü işleme aracı kullanılarak gerçekleştirilmiştir.

II. GÖRÜNTÜ ÇAKIŞTIRMA YÖNTEMLERI

A. Benzerlik dönüşümü:

Benzerlik dönüşümü, görüntüdeki nesnelerde bir değişikliğin olmadığı ancak kayma, dönüklük ve ölçekleme gibi dönüşümlerin kombinasyonlarından oluşan bozulmaların bulunduğu görüntülerde kullanılır. Yansımanın hariç tutulduğu dönüşüm, yansımasız benzerlik dönüşümü olarak isimlendirilmektedir. Dönüşüm sonrası düz çizgiler halen düz paralel çizgiler ise halen paralel kalmaktadır. En az üç kontrol noktası gerektirir [4].

B. İlgin dönüşüm:

Meyillendirmenin bulunduğu görüntüler üzerinde kullanılır. Paralel çizgiler dönüşüm işleminden sonra da birbirine paralel kalırlar. Ayrıca, dikdörtgenler paralel kenara dönüşür. En az üç kontrol noktası gerektirir [5].

C. İzdüşümlü dönüşüm:

Sahnede eğikliğin bulunduğu görüntülerde kullanılır. Düz çizgiler dönüşün sonrası düz kalır ancak paralel çizgiler ufuk noktasına yakınsar. En az dört kontrol noktası gerektirir.

D. Polinomsal dönüşüm:

Görüntüde eğim oluşmuş ise bu dönmüşüm kullanılır. Yüksek dereceli polinomlar daha iyi eşleştirme sağlamaktadır fakat sonuç referans görüntüden daha fazla eğim içerebilir. İkinci derece için en az altı, üçüncü derece için en az on, dördüncü derece için en az onbeş kontrol noktası gerekmektedir.

E. Doğrusal dönüşüm:

Görüntünün farklı bölgelerinde farklı bozulmalar bulunmakta ise bu dönüşüm metodu kullanılabilir. Bu dönüşümde kontrol noktaları kullanılarak Delaunay üçgenleme metoduyla elde edilen bölgelere ilgin dönüşümler uygulanmaktadır [6]. En az dört kontrol noktası gerekir.

F. Yerel ağırlıklandırılmış ortalama dönüşümü:

Bozulmalar yerel olarak dağıldığı ve doğrusal dönüşümün yetersiz kaldığı yerlerde kullanılabilir. En az altı kontrol noktası gerekir [7].

III. DENEYSEL SONUÇLAR

Yapılan deneysel çalışmalar görüntü birleştirme amaçlı elde edilmiş görüntü gurubu için yapılmış görsel ve sayısal sonuçlar verilerek değerlendirilmiştir.

A. Giriş Görüntüleri

Tablo 1.’de deneysel çalışmalarda kullanılan görüntüler verilmiştir. İlk satırda optik görüntüler ikinci satırda ise aynı sahneye ait termal görüntüler bulunmaktadır. Göründüğü üzere giriş görüntüleri farklı algılayıcılara sahip farklı mercek yapısında iki farklı kamera ile elde edilmiştir. Optik görüntüler Vivotek firmasının IP7330 gündüz/gece dış ortam kamerası ile, termal görüntüler ise Flir firmasının E60 endüstriyel tip el termal kamerası kullanılarak elde edilmiştir. Termal görüntüler işlemler boyunca referans görüntü olarak kullanılmıştır.

Tablo 1. Kullanılan görüntüler.

G1 G2 G3 G4

Opt

ik

Ter

mal

(ref

eran

s)

111

B. Görsel ve Sayısal Sonuçlar

Aynı sahneye ait termal ve optik görüntülerin çok-modlu görüntü eşleştirilmesine ait görsel sonuçlar Tablo 2.’de ki gibidir. Giriş verisi olarak kullanılan dört görüntü için Bölüm

II’de anlatılan yedi farklı görüntü eşleştirme yöntemiyle elde edilen eşleşik görüntüler tablo satırlarında verilmiştir. Termal görüntüler referans görüntü olduğundan optik görüntüler eşleştirme işleminde dönüşüme uğramıştır. Bu yüzden Tablo 2.’de dönüşüme uğramış optik görüntüler bulunmaktadır.

Tablo 2. Görüntü eşleştirme sonuçları.

G1 G2 G3 G4

İlgi

n

Y.

Ben

zerl

ik

Ben

zerl

ik

İzdü

şüm

lü

Pol

inom

sal

Doğ

rusa

l dön

üşüm

112

Ağı

rlık

land

ırılm

ış

ort

ala

ma

Görüntü eşleştirme işleminin ilk aşamasında referans görüntü ve eşleşecek görüntü üzerinde aynı olan noktaların belirlenmesi gerekmektedir. Şekil 2.’de ilgin yöntemi ile elde edilmiş G1 optik ve termal görüntülerinin üst üste gösterilmiş hali bulunmaktadır. Görüntüde + ile işaretlenen konum termal görüntü üzerindeki referans noktaları o ile işaretlenen konumlar ise sahnedeki aynı yerlerin optik görüntüdeki konumlarını göstermektedir.

Şekil 2. İlgin yöntemi ile eşleşen görüntüler

Şekil 2’de verilen eşleştirilmiş G1 görüntüsü için on tane referans noktası bulunmaktadır. Yöntemler için sayısal değerlendirmeler (1)’de verilen formüller vasıtasıyla hesaplanmıştır. Burada refx(n) referans resme ait n. kontrol noktasının x koordinatı iken gx(n)’de eşleşecek görüntüye ait n. kontrol noktasının x koordinatını ifade etmektedir. Bir görüntü çifti için hx x yönündeki hata miktarını, hy ise y yönündeki hata miktarını ifade etmektedir. Hata miktarları referans noktaları arasındaki farkların kareler toplamının kareköküdür. Toplam hata H değeri, x ve y yönündeki hataların toplamı olarak hesaplanmaktadır.

yx

N

nyyy

N

nxxx

hhH

ngnrefh

ngnrefh

+=

−=

−=

∑

∑

=

=

1

2

1

2

))()((

))()((

(1)

Tablo 3.’de yukarıdaki formüller yardımı ile hesaplanmış eşleştirme yöntemlerinin, kullanılan görüntülerdeki sayısal

değerlendirmesi görülmektedir. Bu değerler hata değerini gösterdiği için küçük değerli yöntem daha başarılı olarak yorumlanmaktadır.

Tablo 3. Yöntemlerin Sayısal Başarıları Yöntemler G1 G2 G3 G4

İlgin 18,0605 19,6637 39,9889 22,2804 Y. Benzerlik 18,3567 21,8527 43,0721 26,5213 Benzerlik 18,3567 21,8527 43,0721 26,5213 İzdüşümlü 15,6562 19,7132 31,2867 19,8936 Polinomsal 12,0077 15,2190 26,1719 18,3653 Doğrusal 2,8715 2,84E-14 8,53E-14 2,8315 Ağırlıklandırılmış 10,0708 12,2194 15,4268 10,5716

IV. SONUÇLAR

Bu çalışmada, dört adet termal ve optik algılayıcılardan elde edilen çoklu-algılayıcılı görüntü çiftleri üzerinde, yedi faklı yöntem ile çok-modlu görüntü eşleştirme işlemi yapılarak sonuçlar sayısal ve görsel olarak verilmiştir. Sonuçlara bakıldığında bazı yöntemler kontrol noktalarını üst üste çakıştırmakla birlikte kontrol noktaları arasında ki bölgelerde büyük bozulmalara sebep olmaktadır. Kullanılan bütün görüntüler için doğrusal dönüşüm yöntemine baktığımızda hata değerinin diğer yöntemlere göre daha küçük olduğu görülmektedir. Bunun anlamı referans resim ile giriş resmine ait referans noktalarının dönüşüm sonucunda daha iyi çakıştığı ve bu noktalar için koordinatsal farkın çok daha az olduğudur. Bununla birlikte çakıştırılmış görüntüler Tablo 2.’den görsel olarak incelendiğinde bu yöntem için fark edilebilir büyük bozulmaların oluştuğu görülmektedir. Görüntülerde kapı, kitaplık, bina kenarı gibi düz kısımlarda bu bozulmalar kolaylıkla görülebilir. Polinomsal, doğrusal, yerel ağırlıklandırılmış ortalama yöntemleri için Tablo 3.’de ki sayısal değerler ve Tablo 2.’de ki görsel değerler göz önünde bulundurulduğunda benzer sonuçların ortaya çıktığı görülmektedir. Bu yöntemler kontrol noktalarını diğer yöntemlere göre daha iyi çakıştırırken noktalar arasında büyük bozulmalara sebep olmaktadır ve görsel değerlendirmede olumsuz sonuçlar vermektedir. Bu durum polinomsal dönüşüm, doğrusal dönüşüm ve yerel ağırlıklandırılmış ortalama dönüşümü yöntemlerinin seçilen kontrol noktalarına bağımlılık gösterdiği yönünde yorumlanmaktadır.

TEŞEKKÜR

Bu çalışma 110E058 kodu ile TÜBİTAK tarilgindan desteklenmektedir.

113

REFERANSLAR

[1] L. G. Brown, "A survey of image registration techniques," ACM Comput. Surv., vol. 24, pp. 325-376, 1992.

[2] Wikipedia. (2008). Image registration. Available: http://en.wikipedia.org/wiki/Image_registration

[3] V. Aslantas and R. Kurban, "A comparison of criterion functions for fusion of multi-focus noisy images," Optics Communications, vol. 282, pp. 3231-3242, 2009.

[4] G. Arfken, Mathematical Methods for Physicists, 3rd ed. Orlando, FL: Academic Press, 1985.

[5] D. Steiner , M. E. Kirby, “Geometric referencing of LANDSAT images by affinetransformation and overlaying of map data,” Photogrammetria, 33, pp. 41–75, 1977

[6] Goshtasby, Ardeshir, "Piecewise linear mapping functions for image registration," Pattern Recognition, Vol. 19, 1986, pp. 459-46

[7] Goshtasby, Ardeshir, "Image registration by local approximation methods," Image and Vision Computing, Vol. 6, 1988, pp. 255-261.

114