SÜPER-ÇÖZÜNÜRLÜKLÜ DERĐNLĐK OLUŞTURMA

DEPTH MAP SUPER-RESOLUTION

Dr. Murat Gevrekci1, Dr. Kubilay Pakin 1

1ASELSAN Mikroelektronik, Güdüm ve Elektro-Optik Grubu,

Görüntü Đşleme Müdürlüğü mgevrekci@aselsan.com.tr, kpakin@mgeo.aselsan.com.tr

ÖZETÇE

Bu çalışmanın amacı uçuş zamanlı kameralar (UzK) kullanarak elde edilen derinlik bilgisinin çözünürlüğünü arttırmaktır. Değişken entegrasyon zamanlı data alımı ve konveks kümelere izdüşüm (KKĐ) tekniği kullanılarak çalışma hacmi içindeki derinlik hataları azaltılmaktadır. Önerilen teknik LIDAR tarzı görüntüleme yöntemlerine uygulanabilir niteliktedir. Algoritma performansı UzK ve gündüz kameralar üzerinde alınan görüntülerde sergilenmektedir.

ABSTRACT

The objective of this work is to increase the range resolution of time-of-flight (ToF) cameras. Our work aims to produce a super-resolution depth map and reduce the depth error within the whole work volume using a novel multi-exposure data acquisition technique and Projection Onto Convex Sets (POCS) reconstruction. The proposed methods will also be applicable to other imaging modalities which have the capability of acquiring range data, such as LIDAR (Light Detection and Ranging). Performance is demonstrated on using ToF and CCD camera jointly to increase both depth map and form high resolution point cloud.

1. GĐRĐŞ

Derinlik bilgisi oluşturma/algılama için farklı teknikler kullanılagelmiştir. Yapısal ışıklandırma (structured lightening), stereo görüntüleme ve lazer tarama bu tekniklerden bir kaçıdır. Stereo görüntüleme bu teknikler arasında en çok kullanılan olmasına rağmen dokusuz alanlardaki karşılık belirsizliği bozulmalara sebep olmaktadır. Yapısal ışıklandırma yöntemi ise saydam yüzeylerden yansıyan ışımalar karşısında yetersiz kalmaktadır. Bunun yanı sıra fazladan bir ışıldak gereksinimi yapısal ışıklandırma sistemine ayrı bir yük getirmektedir. UzK kameralar bahsedilen sorunlara çözüm için uygun bir adaydır. UzK kamera, derinlik haritasını gönderdiği yakın kızıl ötesi sinyal ile geri dönen sinyalin fazını ilişkilendirme suretiyle uçuş süresi hesaplamaktadır. UzK sistemlerinin uygulama alanları geniş bir yelpazede yer almaktadır. Üç boyutlu ortam oluşturma (SLAM), sağlık veya güvenlik amaçlı yürüyüş karakteri analizi uygulama alanlarından sadece bir kaçıdır. Bahsi geçen kameralar, göğüs kafesinin nefes alış verişi esnasındaki üç boyutlu hareketini takip yoluyla sağlık takibi için kullanılmaktadır [1]. Araba endüstrisi bu kameraları güvenli park, yaya güvenliği ve çarpışma uyarı

amaçları için hali hazırda kullanmaktadır. Bilgisayar makine etkileşimi, üç boyutlu ürün denetimi ve robotbilim UzK kameraların fayda sağladığı en önemli araştırma dalları arasında gelmektedir. En son teknoloji ürünü UzK sistemleri saniyede 100 çerçeve sağlayarak gerçek zamanlı derinlik ölçme imkânı sağlamaktadır. Hareketli ayna ve tarayıcı içermemeleri derli toplu bir yapı sağlamaktadır. Bahsedilen artılara rağmen düşük işaret gürültü oranı ve düşük çözünürlükleri çoğu uygulama için engel teşkil etmektedir. Var olan süper-çözünürlüklü derinlik çalışmalarının çoğu UzK’nın bir CCD kamera ile tümleyici bir şekilde kullanılması ilkesi üzerine kuruludur [2,3,4,5]. Düşük çözünürlüklü derinlik görüntüsü yüksek boyuta ölçeklenirken yapılan kabullenme derinlik haritasındaki değişimle renk imgesindeki kenarların ilintili olduğu faraziyesidir. Bu ilinti markov alanları (MRF) [2] veya çift taraflı (bilateral) filtreler [3,4,5] kullanılarak ifade edilebilir. Aydınlatma ve gölgelendirmedeki değişiklikler renkli imgede sahte kenarlar oluşmasına neden olarak bahsi geçen ilintiyi geçersiz kılabilir. Bu metodun bir diğer olumsuzluğu da gürültüden ötürü oluşan doku kopyalama hatalarının derinlik haritasına dâhil etmesidir. Fotometrik stereo ve gölgeleme yoluyla şekil bulma (shape from shading) metotları ise ortamın gradyan alanı bilgisinden yararlanmaktadır. Ne yazık ki gürültü ve aykırı değerler gradyan alanının tümlevini tanımsız yapmaktadır ki bu da oluşturulan şekilde bozulmalara neden olur. Yön bağımlı yayınım (anisotropic diffusion) ve ‘shapelets’ metodları makul gürültü seviyesi için gradyandan derinlik oluşumu için başarıyla kullanılmıştır [6,7]. Nehab et al. bağımsız olarak hesaplanan yüzey normal vektörleri ile derinlik datasını birleştirerek yüksek çözünürlüklü üç boyutlu yüzlem oluşturmaktadır [8]. Bu metot her kaynağın güvenilir yüksek frekans bileşenleri kullanılarak gerçekleştirilir. Sonuçları etkileyici olsa da normal yüzeyi hesaplamak ek bir algılayıcı gerektirdiği için sistem açısından derli toplu bir tasarım olmaktan çıkar. Normal yüzeyi ve derinlik bilgisini çakıştırabilmek de ilaveten zorluklar getirmektedir. Diğer kabul gören bir yaklaşım ise derinlik bilgisi veren tek bir algılayıcının ürettiği görüntü üzerinde çözünürlük artışı sağlamaktır. Tümleşik algılayıcı kullanan yaklaşımlarla karşılaştırıldığında bu yaklaşımın endüstriyel uygulamalar için daha uygun olduğu aşikârdır. Kil et al. lazer tarayıcısı kullanarak süper-çözünürlüklü derinlik bilgisi elde etmektedir [9]. Önerdikleri metot her bakış açısı için 100 tarama sağlayan bir lazer kullanmaktadır. Önerilen metot performansı farklı gürültü oranlarında verilmese de sonuçlar tarayıcı tabanlı sistemler için umut vericidir. Rajagapolan et al. [10] markov

2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU 2011)

502978-1-4577-0463-511/11/$26.00 ©2011 IEEE

alanlar (MRF) kullanarak komşu imgeciklerin ilintisinden faydalanarak kenar koruyucu bir filtreleme yöntemi geliştirmiştir. Önerilen bu metodun dışbükey olmaması sebebiyle karmaşık çözüm teknikleri gerektirmektedir ve de parametre seçimi algoritmanın dayanıklılığını azaltmaktadır. Rosenbush et al. [11] iki boyutlu süper-çözünürlük algoritmasını derinlik bilgisini kapsayacak kapsamda genişletmiştir. Đki boyutlu metoda ek olarak bu yaklaşımda bulandırma çekirdeği (blurring kernel) uzamsal düzlemde değişiklik göstermelidir ki derinlik yapısı korunabilsin. Farsiu et al. [12] tarafından geliştirilen çift taraflı değişim (bilateral total variation) süper çözünürlük metodunu derinlik haritasının süper çözünürlüğünde ilk kullananlar Schuon et al. [13] olmuştur. Bu metot pürüzsüz yüzeylerde merdiven tarzı bozulmalara yol açmaktadır. Schuon et al. [14] tarafından önerilen ‘lidarboost’ süper çözünürlük algoritmasında kullanılan ceza fonksiyonu temelde iki terim içermektedir: veriye olan benzerlik ve düzenlileştirme (regularization). Önerilen düzenlileştirme terimi uzaklık ağırlıklı gradyan kullanılarak farklı ölçeklerde yaklaşık olarak ifade edilir ki bu öznitelikleri koruyan bir düzlük (smoothness) sağladığı gibi dönmeye karşı da dayanıklılık getirir. Hâlihazırda önerilen birçok sayıda metot bulunmasına rağmen, var olan çözümler karmaşık derinlik oluşum düzeneğini göz ardı etmektedir. Yerel bulandırma çekirdeği ve çakıştırma parametrelerini hassas bir şekilde bulmak yüksek çözünürlüklü derinlik haritası oluşturmak için esas teşkil etmektedir. Bu çalışmada öneriyor olduğumuz yöntem görüntüleme hattını matematiksel olarak modellemekte ve konveks kümelere izdüşümü (KKĐ) tekniği kullanarak süper-çözünürlüklü derinlik oluşturulmaktadır. Buna ek olarak derinlik çözünürlüğünü arttırmak için elde edilen görüntülerde değişik integrasyon süreleri kullanılmaktadır ki bu da önerilen çalışmanın özgün yanlarından biridir. Ayrıca, bildiğimiz kadarıyla KKĐ metodu şimdiye kadar süper-çözünürlüklü derinlik oluşturmada kullanılmamıştır. Bölüm 2’de gerçek derinlik bilgisinin bozularak düşük çözünürlüklü hale dönüşümü matematiksel olarak modellenmektedir. Konveks kümelere izdüşümü yöntemi (KKĐ) ve hayata geçirme yöntemleri Bölüm 3’de sunulacaktır. Son bölümde ise gerçek UzK kamera ile alının görüntülerdeki süper-çözünürlük sonuçları gösterilmektedir. Bu çalışma 267107 nolu Avrupa Birliği Marie Curie IRG fonu tarafından desteklenmektedir. Sunulan proje kapsamında konveks küme oluşturma işlemi projenin ileri fazlarında ölçümleme tabanlı olarak gerçekleştirilecektir.

2. DERĐNLĐK GÖRÜNTÜSÜ OLUŞUM MODELĐ

Tek bir integrasyon zamanı kullanarak UzK’dan alınan görüntü istenilen hacmin ancak belirli bir kısmını algılayabilir. Düşük integrasyon zamanı yakındaki nesneleri algılamak için uygunken, uzaktaki nesneler için gürültüye sebep olur. Şekil 1-a’da düşük integrasyon zamanlı (10ms) bir çekim örneği görülmektedir. Uzaktaki nesneler için yüksek integrasyon zamanları kullanılmalıdır ki bu yakındaki nesneler için doymuşluğa (saturation) neden olabilir.

Şekil 1-b’de yüksek integrasyon zamanlı (50ms) bir çekim örneği görünmektedir. Yakındaki nesnelerin parlaklık değerlerinin belli bir eşik değerine yakınsadığına dikkat ediniz. Prensip olarak farklı integrasyon zamanlı görüntüler birleştirilerek hacmin içindeki gerçek derinlik ortaya çıkarılabilir. Bu tür çalışmalar iki boyutlu görüntülerde yüksek dinamik kontrast (HDR) görüntüleme adı altında yapılmaktadır[16]. Önerdiğimiz çatı bu prensibi derinlik bilgisine uygulanabilir hale getirerek gürültü ve doygunluktan kurtulmayı sağlamaktadır. Önerilen algoritma hacimdeki kontrastın yanı sıra çözünürlüğü de arttırmaktadır. Görüntü oluşumunu matematik olarak modellemenin detayları yazar tarafından detaylı bir şekilde sunulmuştur [15]. Derinlik oluşumu dâhili kamera parametreleri, nesne ve kamera hareketi, kamera optik-elektrik çevrim tablosu, ve integrasyon zamanının bir fonksiyonu cinsinden ifade edilebilir.

iii ηqHD += )( if α , Ni ,,1K=

(1)

Şekil 1: UzK farklı integrasyon zamanları kullanarak alınan düzeltilmemiş görüntüler. (a) 10 ms. (b) 50 ms.

1

2

3

4

5

6

x 10

1

2

3

4

5

6

x 10(a)

(b)

2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU 2011)

503

,burada iD düşük çözünürlüklü i numaralı görüntüyü temsil

eder. q yüksek çözünürlüklü derinlik ışınırlığına karşılık

gelmektedir. iH i numaralı görüntüye uygulanan doğrusal

nitelikteki geometrik çarpıtma, optik bulandırma, ve boyut küçültme işlemlerini gerçekleştiren matrislerinin tümünü

içermektedir. iα zamana bağımlı integrasyon süresini ifade

etmektedir. UzK sistemi algılayıcı dizilim üzerindeki her noktada gönderilen ve geri dönen yakın kızılötesi sinyal

arasındaki faz ilintisini hesaplar. )(⋅f foton-elektronik çevrim

fonksiyonu olup her algılayıcı noktasındaki faz ilinti değerini doğrusal olmayan bir biçimde uçuş zamanına çevirmektedir. Şu ana kadar derinlik oluşumunda kullanılan doğrusal modeller foton-elektronik çevriminin etkilerini göz ardı

etmektedir. Sistemdeki toplanır gürültü ise iη şeklinde ifade

edilir ve toplam görüntü sayısı ise N’le gösterilmektedir. Hali hazırda integrasyon zamanı 10ms ve 50ms ayrık değerleri sırayla seçilirken, zamanla kodlanmış bir dizi integrasyon

süresi seçilmesi planlamaktadır, örneğin Nααα ,,21 ,K

. Bu

tür dizisel olarak seçilen integrasyon süreli bir yaklaşım, hareketten kaynaklanan görüntü bulanıklaştırmayı önlemek amacıyla Raskar et al. [41] tarafından iki boyutlu görüntülerde kullanılmıştır.

3. SĐNYAL GERĐ ÇATIMI

Geri çatım işlemi için konveks kümelere izdüşüm (KKĐ) yöntemi kullanılmaktadır. KKĐ yöntemi başlangıçta süper-çözünürlüklü görüntü için bir tahminde bulunarak, bu tahmini döngüsel olarak yeniler. Döngülerde kullanılan kümeler sinyalin istenilen şekilde form almasına yöneliktir. Bu kısıtlama kümeleri yerel (uzamsal olarak değişken) veya tüm imge için genel olarak seçilebilmektedir [20]. UzK sistemi çalışılan hacimde uzamsal olarak değişken hatalar oluşturduğu için yerel kısıtlama kümesi süper-çözünürlüklü derinlik oluşturma için bir zarurettir. Düşük çözünürlüklü ve yüksek

çözünürlüklü görüntülerdeki imgecik koordinatları ),( 21 ll

ve ),( 21 nn olarak ifade edildiği takdirde, yüksek

çözünürlükteki görüntüyü yerel olarak bozan bulanıklaştırma

çekirdeği ),;,(h 2121 nnlli şeklinde yazılabilir. [15]

çalışmasında belirtildiği gibi foton-elektronik fonksiyon tersi

( )⋅−1f hesaplanabilir. Koyu yüzeylere atılan yakın kızıl ötesi

sinyaller soğurulduğu için UzK kamerasının sunduğu derinlik gözlemlenen cismin parlaklığına bağımlıdır. Bu bağımlılığı ortadan kaldırmak için çan eğrisi şeklinde bir güvenilirlik

fonksiyonu )(⋅iW seçilmelidir. Böylece gürültü ve

doygunluk içeren imgecikler elenebilir. Farklı integrasyon süreleri kullanıldığı için elenen imgeciğin uygun bir parlaklık düzeyinde kaydının yapılacağı açıktır. Bu bilgiler ışığında her imgecik için hata oranı aşağıdaki şekilde hesaplanabilir

( ) ( )),(),(

),;,(h),(),( 2121

1

,21212121

21

nnqWnnqf

nnllllDllr i

inniii

)

)

α

−

∑−=

(2)

Hesaplanan hata oranlarının en yakın kısıtlama kümesine izdüşümü alınarak süper çözünürlüklü görüntü yenilenir.

Görüldüğü gibi )(h ⋅i matrisi yüksek çözünürlük uzayındaki

bir noktayı düşük çözünürlükteki uzaydaki noktaya bulanıklaştırarak atamaktadır. Bahsi geçen koordinatların denkliğini bulmak için Harris öznitelikleri çıkarılarak, RANSAC algoritmasıyla imgeler arasındaki geometrik dönüşüm matrisi hesaplanır. Elimizdeki süper çözünürlüklü ışınırlık değeri döngüsel olarak şu şekilde yenilenebilir

( )

( )

<−

≤≤

>−

+

=

),(),(,),(),(

),(),(),(,0

),(),(,),(),(

),(),(

21212121

212121

21212121

2121'

llbllrforllrllb

llbllrllb

llbllrforllrllb

nnqnnq

liil

uil

uiiu

γ

γ

))

(3)

Burada tanımlanan genlik kısıtlama setleri sinyalin istenilen

değere ulaşmasını sağlamaktadır.

),( 21 llbu and

),( 21 llbl sırasıyla üst ve alt kümelerin sınırlarını

tanımlamaktadır. Şu anda bu sınırlar buluşsal olarak seçilse de, projenin gelecek safhalarında kalibrasyon tabanlı bulunacaktır. γ olarak ifade edilen adım boyu ise eşlenik gradyan yoluyla

bulunur.

Şekil 2: Đşlenmemiş düşük çözünürlüklü ve yüksek çözünürlüklü derinlik görüntüleri. (a,c) Düşük çözünürlüklü görüntü. (c,d) 2X faktörü kullanarak çözünürlük artış sonuçları.

(b) (c) (d) (a)

2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU 2011)

504

4. SONUÇLAR

Deneylerde Mesa SwissRanger 4000 UzK kamera kullanılmıştır. Yakın kızılötesi görüntünün modülasyon frekansı 30Mhz, görüntüyse 16 bitte ve 176x144 boyutundadır. Đlk deneyde çözünürlük artış oranı iki kat seçilmiştir. Ofis ortamında çekilen görüntülerin süper çözünürlük sonuçları Şekil 2 de işlenmemiş görüntülerle birlikte verilmektedir. Diğer deneyimizde ise UzK tarafından oluşturulan süper-çözünürlüklü nokta kümesinin renk bilgisi görüntüleme amaçlı olarak CCD kameradan alınmıştır. Gündüz kamerasından alınan bilgi çözünürlük artışına katkıda bulunmamıştır. Gündüz ve derinlik görüntüsü seçilen öznitelikler sayesinde çakıştırılmıştır. Şekil 2-a’da işlenmemiş derinlik bilgisiyle birleştirilen gündüz görüntüsü bulunmaktadır. Görüldüğü üzere, oluşan renk bulutundan detayları seçmek oldukça zordur. Süper-çözünürlüklü derinlik haritası ile gündüz görüntüsünün birleştirilmesiyle oluşan sonuc Şekil 2-b’de gösterilmektedir. CCD olarak Logitech Pro9000 internet kamerası kullanılmıştır.

5. KAYNAKÇA

[1] J. Penne , C. Schaller, J. Hornegger, T. Kuwert, Robust Real-Time 3D Respiratory Motion Detection Using Time-of-Flight Cameras, Computer Assisted Radiology and Surgery 2008 3 (2008) No. 5 pp. 427-431. [2] J. Diebel and S. Thrun. An application of Markov Random Fields to range sensing. In Advances in Neural Information Processing Systems 18, pages 291–298. 2006. [3] J. Kopf, M. Cohen, D. Lischinski, and M. Uyttendaele. Joint bilateral upsampling. ACM TOG, 26(3), 2007. [4] C. Schuldt, I. Laptev and B. Caputo, Recognizing Human Actions: A Local SVM Approach, In Proc. ICPR 2004, Cambridge, UK. [5] D. Chan, H. Buisman, C. Theobalt, S. Thrun, A Noise-Aware Filter for Depth Upsampling. ECCV Workshop on Multi-camera and Multi-modal Sensor Fusion 2008. [6] A. Agrawal, R. Raskar, R. Chelappa. Surface Reconstruction from gradient fields via gradient

transformation. International Journal of Computer Vision 2009 [7] Peter Kovesi, “Shapelets Correlated with Surface Normals Produce Surfaces”. 10th IEEE International Conference on Computer Vision. Beijing. pp 994–1001. 2005 [8] D. Nehab, S. Rusinkiewicz, J. Davis, R. Ramamoorthi. Efficiently Combining Positions and Normals for Precise 3D Geometry. ACM Transactions on Graphics (Proc. of ACM SIGGRAPH 2005). 24(3) [9] Y. Kil, B. Mederos, and N. Amenta. Laser scanner super-resolution. Eurographics Symposium on Point-Based Graphics, 2006. [10] A.N. Rajagopalan, A. Bhavsar, FrankWallhoff and G. Rigoll, "Resolution enhancement of PMD range maps," Annual Symposium of the German Association for Pattern Recognition (DAGM 2008), Munich, Germany, June 2008, pp. 304-313. [11] G. Rosenbush, T. Hong, R. D. Eastman "Super-resolution Enhancement of Flash LADAR Range Data" Proc. of SPIE -- Volume 6736 Unmanned/Unattended Sensors and Sensor Networks IV, Oct 2007 [12] S. Farsiu, D. Robinson, M. Elad, and P. Milanfar, “Fast and Robust Multi-frame Super-resolution”, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327-1344, October 2004. [13] S. Schuon, C. Theobalt, J. Davis, and S. Thrun. High-quality scanning using time-of-flight depth superresolution. CVPR ToF Workshop 2008, [14] S. Schuon, C. Theobalt, J. Davis, and S. Thrun. Lidarboost: Depth superresolution for ToF 3D shape scanning. In Proceedings of Conference for Vision and Pattern Recognition (CVPR), 2009. [15] M. Gevrekci, B. K. Gunturk, Image acquisition modeling for super-resolution reconstruction, IEEE Int. Conf. on Image Processing (ICIP), vol.2, pp.1058-1061, September 2005. [16] M. Gevrekci and B. K. Gunturk, Superresolution under photometric diversity of images, EURASIP Journal on Advances in Signal Processing, Special Issue: Super-Resolution Enhancement of Digital Video, 2007.

Şekil 3: CCD ve UzK kamera görüntülerinin çakıştırılmasıyla oluşan (a) düşük çözünürlüklü renk bulutu ve (b) süper-çözünürlüklü renk bulutu.

2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU 2011)

505