Upload
others
View
20
Download
0
Embed Size (px)
Citation preview
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve
Örneksiz ÖğrenmeGencer Sümbül ve Selim Aksoy
Bilgisayar Mühendisligi Bölümü Bilkent Üniversitesi, Ankara, Türkiye
[email protected], [email protected]
1
Ramazan Gökberk CinbişBilgisayar Mühendisligi Bölümü
Orta Dogu Teknik Üniversitesi, Ankara, Tü[email protected]
Bu çalışma TÜBİTAK 116E445 numaralı proje ve Bilim Akademisi BAGEP Ödülü ile desteklenmiştir.
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Taslak
● Giriş● Problem Tanımı● İlgili Çalışmalar● Yöntem (Örneksiz Öğrenme, Görüntü ve Sınıf Gösterimi)● Veri Kümesi ● Deneyler (Deney Düzeneği, Güdümlü Sınıflandırma, Örneksiz Öğrenme)● Sonuçlar ve Değerlendirme
2
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Giriş
● Uzamsal ve spektral çözünürlüğün artışı ile yeni ayrıntılar, yeni sınıflar○ Hedef sınıfların çeşitliliğinde ve benzerliğinde artış
● Geleneksel nesne tanıma: ○ Güdümlü öğrenme için dengeli ve az sayıda sınıflardan oluşan veri
bolluğu ○ UC Merced4, AID5 vb.○ Tarımsal, plaj, orman, yol, liman, park alanı, yerleşim alanı, nehir vb.
gibi görece kolay ayırt edilebilen kategoriler ○ Dengeli sınıflar
3
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Problem Tanımı - İnce Taneli Nesne Tanıma
● Çok çeşitli ve farklılıkları güç algılanan sınıflar
● Düşük sınıflar arası değişinti● Yüksek sınıf içi değişinti● Küçük örneklem büyüklüğü ve sınıf
dengesizliği● Uzamsal olarak dağıtık veriyi edinme
maliyeti● Alan uzmanları için bile zor bir problem
Çok sayıda alt kategori içerisinde nesne türünü tanımak
4
Sokak ağaçları türleri
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Problem Tanımı - Örneksiz Öğrenme
● Daha zor ama gerçekçi bir senaryo
● Hiçbir eğitim örneği bulunmayan kategoriler için tanıma modeli
● Eğitimde görülmeyen ve görülen sınıflar arasındaki ilişkiyi oluşturmak
için yeni yardımcı bilgi kaynakları
5
Hiçbir eğitim örneği bulunmayan sınıfları öğrenmek
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
İlgili Çalışmalar● Sınırlı ilgi
○ Li et. al., “Zero-Shot Scene Classification for High Spatial Resolution Remote Sensing Images", IEEE TGRS, 20171
○ Branson et. al., “From google maps to a fine-grained catalog of street trees”, ISPRS P&RS, 20182
○ Sumbul et. al., “Fine-grained object recognition and zero-shot learning in remote sensing imagery”, IEEE TGRS, 20183
● Sadece RGB görüntüleri üzerinde
6
Uzaktan algılanmış multispektral
görüntüler üzerinde yapılan ilk ince taneli
nesne tanıma ve örneksiz öğrenme
çalışması
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Örneksiz Öğrenme● Eğitim zamanı:
○ Yardımcı bilgi kaynaklarından gelen ek bilgiye ve eğitim örneklerine sahip sınıflar
● Test zamanı:○ Yardımcı bilgi kaynaklarından gelen ek bilgiye sahip ama eğitim
örneği bulunmayan sınıflar● Amaç, eğitim örneği bulunmayan sınıfları tanımak● Sınıflar için yardımcı bilgi kaynakları:
○ Elle etiketlenmiş nitelikler○ Sınıf isimlerinin metin gösterimleri○ Hiyerarşik gösterim○ ... 7
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Yöntem - Örneksiz Öğrenme
● Sınıf temsili vektörleri ile eğitimde görülen ve görülmeyen sınıflar arasında bilgi aktarımı
● Amacımız, verilen bir görüntüyü hedef sınıflardan birine eşleyen çift doğrusal yapıda ayırıcı bir uyumluluk fonksiyonu öğrenmek
○
○ : görüntü gösterimi
○ : sınıf gösterimi
8
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Yöntem - Örneksiz Öğrenme● Sınıfa ait sonsal olasılık dağılımı, uyumluluk
değerlerinin softmax sonucu olarak tanımlanmaktadır:
○
9
● Uyumluluk fonksiyonunun en büyük olabilirlik ilkesi ile öğrenilmesi amaçlanmaktadır:
○En iyileme problemi, eğitim örneklerinin öngörülen gerçek sınıf olasılıklarını en
büyükleyen W matrisinin bulunması olarakyorumlanabilir.
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Yöntem - Örneksiz Öğrenme
● Stokastik gradyan inişi (SGİ) tabanlı en iyileme
● SGİ yinelemeleri boyunca uyarlamalı öğrenme hızı
● Düzenlileştirme terimi yerine erken durdurma
10
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Yöntem - Görüntü Gösterimi● Piksel tabanlı spektral bilgileri ve uzamsal doku
içeriğini modelleyebilmek için derin evrişimsel sinir ağı● Eğitimde görülen sınıflar üzerinde eğitildikten sonra ilk
tam bağlantılı katmanın çıktısı olan 128 boyutlu vektör
11
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Yöntem - Görüntü Gösterimi● Uzamsal çözünürlüğü kaybetmemek adına biriktirme katmanı tercih
edilmemiştir.● Farklı filtre boyutlarına sahip mimariler denenmiş, en iyileri karşılaştırılmıştır.
○ 5 x 5, 5 x 5, 3 x 3○ 3 x 3, 3 x 3, 3 x 3
12
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Yöntem - Sınıf Gösterimi
● Hedef tema alanından topladığımız elle
etiketlenmiş nitelikler
● Güdümsüz dil modelleri kullanılarak
oluşturulmuş metin gösterimleri
● Bilimsel taksonomiye dayalı hiyerarşik gösterim
● Bu üç gösterim yöntemiyle üretilen vektörler art
arda eklenerek son gösterim vektörü
oluşturulmaktadır. 13
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Yöntem - Nitelik
● Florida Ağaçları bilgi metnine6 dayanarak 25 nitelik○ Yükseklik, yaprak şekli, çiçek rengi,
açıklık, taç türdeşliği, doku, yaprak düzeni, sonbahar rengi vs.
14
Nitelik Tipi Olası Değerler
Yükseklik {10-15, 15-20, 20-25, 25-30, ...}
Taç Türdeşliği {düzenli, düzensiz}
Yaprak Rengi {yeşil, mor}
... ….
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Yöntem - Metin Gösterimi
● Kelimeler ve onların bağlamları arasındaki ilişkiyi modelleyen güdümsüz
Word2Vec7 yaklaşımı
● Wikipedia makaleleri üzerinde eğitilmiş 1000 boyutlu bir gösterim modeli
üzerinden ağaç türlerinin yaygın adlarının kelime gösterimleri
● Her kategori için kelime vektörlerinin ortalaması
15
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Yöntem - Hiyerarşi
● Ağaç türleri arasındaki benzerlikleri bilimsel
sınıflandırmaya dayanarak ifade etmek
● Ağaç türlerinin konumu için ağaç-vektör
dönüşüm şeması8
16
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Veri Kümesi
● 40 sınıfa ait 48,063 sokak ağacının konum bilgisi ve isimlerinin
bulunduğu GIS verisi9
● WorldView-2 uydusundan çekilmiş 8 bantlı ve 1.84 metre uzamsal
çözünürlüğe sahip multispektral görüntü verisi
● Her ağaç için 4 x 4 boyutlu pencereler
17
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Deney Düzeneği
● Ayrık 3 sınıf kümesi○ Güdümlü Küme: 18 sınıf (en büyükler)
■ Evrişimsel sinir ağının eğitilmesi (güdümlü eğitim (%60), güdümlü sağlama (%20) ve güdümlü test (%20))
■ Örneksiz öğrenme modelinin eğitilmesi○ Örneksiz Öğrenme Sağlama Kümesi: 6 sınıf (en küçükler)
■ Örneksiz öğrenme modelinin parametrelerinin ayarlanması○ Örneksiz Öğrenme Test Kümesi: 16 sınıf (kalanlar)
■ Model performansının değerlendirilmesi18
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Güdümlü İnce Taneli Sınıflandırma Sonuçları
19
Düzgelenmiş Doğruluk (%)
Rastgele Tahmin 5.6
Rastgele Orman (RGB)3 15.8
Rastgele Orman (Multispektral) 21.3
Evrişimsel Ağ (RGB)3 34.6
Evrişimsel Ağ (Multispektral) Filtre: (5 x 5), (5 x 5), (3 x 3) 36.7
Evrişimsel Ağ (Multispektral) Filtre: (3 x 3), (3 x 3), (3 x 3) 39.0
❖ Sonuçlar güdümlü kümedeki 18 sınıfa aittir.
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
İnce Taneli Örneksiz Öğrenme Sonuçları
20
Düzgelenmiş Doğruluk (%)
Rastgele Tahmin 6.3
Örneksiz Öğrenme (RGB)3 14.3
Örneksiz Öğrenme (Multispektral) Filtre: (5 x 5), (5 x 5), (3 x 3) 14.7
Örneksiz Öğrenme (Multispektral) Filtre: (3 x 3), (3 x 3), (3 x 3) 15.2
❖ Sonuçlar örneksiz öğrenme kümesinde hiç eğitim örneği olmayan 16 sınıfa aittir.
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Farklı Sınıf Gösterimleri İçin Örneksiz Öğrenme Sonuçları
21
Nitelik Hiyerarşi Word2Vec Düzgelenmiş Doğruluk (%)
13.3
13.0
13.3
13.5
13.4
14.6
15.2
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Sonuçlar ve Değerlendirme
● RGB görüntüsü için kullanılan mimariyle elde edilen multispektral görüntü
gösteriminin örneksiz öğrenme sonucu ile yaklaşık 6 kat daha düşük uzamsal
çözünürlüğe rağmen aynı başarı yakalanmıştır.
● Multispektral görüntüye daha uygun filtre boyutu (3×3) tercih edildiği zaman,
başarının arttığı gözlemlenmiştir.
● Sınıf gösterimleri birbirini tamamlayıcı niteliktedir.
22
Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme
Kaynaklar1. A. Li, Z. Lu, L. Wang, T. Xiang and J. R. Wen, "Zero-Shot Scene Classification for High Spatial Resolution Remote Sensing Images," in
IEEE Transactions on Geoscience and Remote Sensing, vol. 55, no. 7, pp. 4157-4167, July 2017.2. S. Branson, J. D. Wegner, D. Hall, N. Lang, K. Schindler, and P. Perona, “From google maps to a fine-grained catalog of street trees,”
ISPRS J. Photogram. Remote Sens., vol. 135, pp. 13–30, January 2018.3. G. Sumbul, R. G. Cinbis, and S. Aksoy, “Fine-grained object recognition and zero-shot learning in remote sensing imagery,” IEEE Trans.
Geosci. Remote Sens., vol. 56, no. 2, pp. 770–779, February 2018.4. Y. Yang and S. Newsam, “Bag-of-visual-words and spatial extensions for land-use classification,” in Intl. Conf. Adv. Geogr. Inf. Syst.,
2010, pp. 270–279.5. G.-S. Xia, J. Hu, F. Hu, B. Shi, X. Bai, Y. Zhong, L. Zhang, and X. Lu, “AID: A benchmark data set for performance evaluation of aerial
scene classification,” IEEE Trans. Geosci. Remote Sens., vol. 55, no. 7, pp. 3965–3981, July 2017.6. University of Florida, Gainesville, FL, USA. (Oct. 2016). 680 Tree Fact Sheets: Trees by Common Name. [Online]. Available:
http://hort.ifas.ufl.edu/database/trees/trees_common.shtml7. T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean, “Distributed representations of words and phrases and their
compositionality,” in Adv. Neural Inf. Process. Syst., 2013, pp. 3111–3119.8. R. Mittelman, M. Sun, B. Kuipers, and S. Savarese, “A Bayesian generative model for learning semantic hierarchies,” Frontiers Psychol.,
vol. 5, p. 417, May 2014..9. City of Seattle, Department of Transportation. (2016, October) Seattle street trees. [Online]. Available:
http://web6.seattle.gov/SDOT/StreetTrees/.
23