Otomatik Savas Gemisi Tanıma Sistemi: Veri Seti,Öznitelik Gösterimi ve Sınıflandırma Analizi

Automatic Warship Recognition System : Dataset,Feature Representation and Classification Analysis

Yavuz Alper KaraEln. Sis. Müh.

Milli Savunma Üniversitesi, DEBIMyakara@dho.edu.tr

Ömer Kürsat UçarerElk.Eln.Müh.

Milli Savunma Üniversitesi, DHOu6015@dho.edu.tr

Batuhan GündogduElk.Eln.Müh.

Milli Savunma Üniversitesi, DHOmbgundogdu@dho.edu.tr

Özetçe —Savas gemilerinin sınıflandırılması, özellikle kriz vesavas anlarında anahtar rol oynamaktadır. Sivil gemilerinsınıflandırması konusunda literatürde birçok çalısmamevcutken, sivil gemilere kıyasla birbirlerine çok daha fazlabenzeyen savas gemileri için yapılan çalısmalar halenolgunluktan uzaktır. Bu çalısmada, savas gemilerinin optikkamera kayıtlarından imge isleme ve yapay ögrenme teknikleriile otomatik sınıflandırılmasını arastıran bir veri seti ve sistemsunulmaktadır. Çalısmada, gemi imgelerinden elde edilenverilerin Gradyan Yönelimlerinin Histogramı aracılıgı ileçıkarılan öznitelik vektörlerinin çesitli önislemelerdengeçirildikten sonra Destek Vektör Makineleri ilesınıflandırılması arastırılmıstır. Türk Donanmasında yer alan,görsel olarak birbirlerine benzeyen 9 savas gemisi sınıfına ait,çok farklı açı, mesafe, arka plan özelliklerine sahip gemiresimleriyle bir veri seti olusturulmus ve yapılan deneylerde,önerilen yaklasımın %83.8’lik bir validasyon basarımınaulastıgı görülmüstür.

Anahtar Kelimeler—Savas gemisi sınıflandırma, GradyanYönelimlerinin Histogramı, Destek Vektör Makineleri, ÖznitelikÇıkarımı

Abstract—Classification of warships plays a critical roleparticularly in crises and war times. While there are severalstudies in the literature regarding classification of civilian shiptypes, warship classification task is yet far from maturity, whichare significantly more similar to each other compared to civilianships. In this study, we present a dataset and propose a systemthat employs automatic classification of warships based on theiroptical images. Histogram of Oriented Gradients (HOG)features extracted from ship images were investigated afterseveral preprocessing steps which are then used in classificationwith Support Vector Machines (SVM). A dataset is composedbased on images of particularly similar 9 warship classes thatexist in the Turkish Navy and it has been shown that theproposed approach reaches 83.8% classification accuracy.

Keywords—Warship Classification, Histogram of OrientedGradients, Support Vector Machines, Feature Extraction

I. G IRIS

Her geçen gün kullanım alanları daha da genisleyen imgeisleme ve örüntü tanıma teknikleri gemi sınıflandırmada

askeri ve ticari nedenlerden dolayı da oldukça gündemdeolan bir konudur [1]. Bilinmeyen temasların yalnızca ticari veaskeri olarak sınıflandırılmalarıyla yetinilmeden tespit edilenaskeri gemilerin sınıf ve tip bakımından da sınıflandırılmaları,üzerlerinde tasıdıkları farklı özelliklere sahip silahların(satıhtan satıha atılan veya satıhtan havaya atılan güdümlümermiler ile her iki amaç için de kulanılabilen toplar vb.)kullanımları, gemilerin sahip oldukları cihaz özelliklerinebaglı olarak kullanım yeri ve amaçlarındaki farklılıklar askeriaçıdan kritik seviyede önem arz etmektedir. Savas gemisisınıflandırmaya yönelik literatürde dogrudan aynı özelliktebir çalısma yer almasa da, bu bildiride yer alan arastırmayabenzer çalısmalar bulunmaktadır. Gündogdu ve ark.evrisimsel sinir agları ve uzaklık metrigi ögrenme ile sivilgemi tipi ve sınıfı sınıflandırma üzerine çalısmıslardır [1].Liu ve ark. uydu resimleri üzerinden gemi sınıflandırmaproblemi için bir veri seti kazandırmıs ve sınıflandırmaanalizleri yapmıstır [2]. Oliveau ve Sahbi bir uzaktanalgılama yaklasımı olarak, gemi imgelerinin sınıflandırmasıiçin öznitelik ögrenimi problemini destek vektör makinası(SVM-support vector machine) ile sınıflandırma basarımınıincelemislerdir [3]. Bu bildirdeki çalısmada oldugu gibi,gemilerin görüntü ile algılanıp sınıflandırılması teknolojisiaskeri ve sivil alanda kullanılmaktadır. Fakat kontrast, denizyüzeyi ve bulutlar görüntünün algılanıp sınıflandırılmasındabir takım sorunlara neden olabilmektedir. Bu tür sorunlarayönelik yakın zamanda gerçeklestirilen bir çalısmada uzamsalpiramit havuzlama ile yaklasım incelenmistir [4]. Li ve WangSVM ile kızılötesi görüntülerde gemi türlerinin otonomolarak tanınmasını ele alan bir çalısma yapmıstır [5].Gemilere ve limanlara monte edilmis kameralar kullanılarakSVM ile gemi tipi ve sınıfı sınıflandırma üzerine çalısılmıstır.Kumlu ve Jenkins sınıflandırma dogrulugunu arttırmak içinveri setine sentetik görüntüler eklemenin etkileriniincelemistir [6]. Teutsch ve Krüger, yasa dısı göç, korsanlıkveya uyusturucu kaçakçılıgı gibi suç eylemlerinde kullanılanküçük teknelerin kızılötesi görüntülerini kullanarak SVM ilesınıflandırmasını arastırmıstır [7]. Ødegaard ve ark., digerbirçok imge sınıflandırma problemindeki en basarılı sonuçlarıveren evrisimsel sinir aglarının (convolutional neuralnetwork) gemi sınıflandırmada kullanılmasını incelemislerdir[8].

978-1-5090-6494-6/19/$31.00 c©2019 IEEE

Bu çalısmada, savas gemilerinin imge isleme ve yapayögrenme teknikleri ile otomatik sınıflandırılmasını arastıranbir veri seti ve sistem sunulmaktadır. Gemi imgelerindençıkarılan öznitelik vektörlerinin çesitli önislemelerdengeçirildikten sonra SVM ile sınıflandırılması arastırılmıstır.

II. METODOLOJI

Bu bölümde, gemi sınıflandırma problem çözümüneyönelik metodoloji, kullanılan veri setinin tanıtımı ve izlenenyöntemler takip eden alt maddelerde sunulacaktır.

A. Veri Seti

Türk Deniz Kuvvetleri envanterinde 8 ana sınıfta(fırkateyn, denizaltı vb.) 150’nin üzerinde savas gemisi yeralmaktadır. Bu çalısmada, sahip oldukları etkin savas güçlerive/veya yıllık seyir süreleri göz önüne alınarak 4 ana sınıf(fırkateyn, korvet, hücumbot ve karakol), ve birbirlerine çokbenzemesi dolayısıyla ayırt ediciligin testi niteliginde 9sınıflandırma kategorisine ayrılmıs (Bkz. Tablo-I), toplam 49Türk savas gemisi degerlendirmeye alınmıstır. Verimadenciligi asaması kapsamında, bahsedilen sınıflara aitsavas gemilerinin imgeleri açık kaynaklardan derlenerekislenmistir. Bununla birlikte, istihbarati nedenlerden dolayısavas gemilerine ait fotografların açık kaynaklarda bulunmasıkontrollü ve nispeten düsük sıklıkta oldugundan, madenciligigerçeklestirilen veri seti kısıtlı boyutlarda olabilmistir. Buçalısmada toplam 1483 imge toplanmıs olmasına karsınöznitelik vektörlerinin tanımlanmasını olanaksızlastırannedenlerden ötürü limanda baglı bulunan, üzerlerinde çesitlireklam yazıları yer alan ve gemi imgesinin büyük bölümününkadraj dısı kaldıgı imgeler elenerek 1172 imge üzerindeçalısmalar yapılmıstır. Veri setinden örnek imgeler Sekil-1’de,veri seti boyutu ve dagılımı Tablo-I’de yer almaktadır.

Sekil 1: Veri Setinden Örnek Resimler

B. Veri Önisleme ve Öznitelik Çıkarımı

Veri madenciliginin tamamlanmasının ardından toplananimgeler gemiyi bütünüyle içerecek ve merkeze alacak sekildediger gemi ve deniz araçları, bulutlar, arka plan gürültülerivb. inceleme dısı tutmak amacıyla kırpılmıstır. Manuel olaraktamamlanan bu islemlerin ardından sırasıyla asagıdakiadımlar uygulanmıstır.

1) Ön Filtreleme: Bu safhada, imgelerden sınıflandırmadafayda saglayacak ayırt edici bilgilerin elde edilmesiarastırılmıstır. Yüksek geçirgen (YG) ve alçak geçirgen (AG)olmak üzere iki sınıfta ele alınabilecek olan bu filtrelerden

Gemi Sınıfları Sınıftaki Imge SayısıGABYA Sınıfı Fırkateyn 313MEKO Sınıfı Fırkateyn 369

ADA Sınıfı Korvet 109BURAK Sınıfı Korvet 81

DOGAN Sınıfı Hücumbot 43KILIÇ Sınıfı Hücumbot 91

RÜZGAR Sınıfı Hücumbot 17YILDIZ Sınıfı Hücumbot 12

Yeni Tip Karakol Botu (YTKB) 137Toplam 1172

TABLO I: Veri Seti Boyutu ve Dagılımı

YG filtreler dogrudan kenar tespitine (edge detection)odaklanarak öznitelik çıkarımında arka plan bilgilerininbastırılmasını ve sadece gemi geometrisine ait çizgilerinbelirlenmesini saglamaktadır. Öte yandan AG filtreler iseyüksek frekans içeren gürültüleri ve ayrıntıları baskılarlar. Busayede özniteliklerin ayrıntıdan ziyade geminin genelsilüetine ait bilgileri çıkarması saglanmaktadır.

Ön islemeler ile gemi imgeleri üzerinde yapılan çesitlifiltre uygulamaları sonucunda elde edilen imgeler Sekil-2’deyer almaktadır.

Sekil 2: Önisleme ve Filtre Uygulamaları. AG filtre solda, YGfiltre sagda gösterilmistir.

2) Öznitelik Çıkarımı: Bu çalısmada gemi imgelerindenöznitelik olarak Gradyan Yönelimlerinin Histogramı(HOG-Histogram of Oriented Gradients) kullanılmıstır. Dalalve ark. [9] tarafından yaya tespiti amacıyla gelistirilenalgoritma yogun arka fonlarda dahi etkili olarakçalısmaktadır. Bu nedenle savas gemilerinin de otomatikolarak sınıflandırılması, söz konusu algoritma temel alınarakçalısılmıstır. Bu yöntem, imgeyi lokal histogramlar olaraktanımlama üzerine temellendirilmistir [9]. HOGtanımlayıcısının islem basamakları asagıda oldugu gibidir:

1) Imgenin gradyanlarının çıkarılması,2) Gradyanların yönelimlerinin olusturulması,3) Olusan histogramların blok blok normalize edilmesi

HOG algoritmasında bir imge, önceden belirlenen sayıdapiksellerden olusan hücrelere ayrılır. Daha sonra bu

hücrelerden olusan bloklar belirlenerek normalizasyonisleminin boyutu tespit edilmis olur. Imgenin 32 × 32’likhücrelerinden hesaplanan gradyenlerin histogramlarıSekil 3’te yer almaktadır.

Sekil 3: Ön isleme yapılmıs gemi imgesinde HOGözniteliklerinin görseli

Böylece, Ix × Iy boyutlarındaki bir imgeden, Cx × Cy

hücre ve Bx × By blok boyutlarında ve O oryantasyonayrıntısında çıkarılan HOG özniteliklerinin boyutu esitlik(1)’de verildigi gibi hesaplanabilmektedir. Sekil 4’te öznitelikvektör boyutunun çıkarımı gösterilmistir.

HOG =( IxCx

− (Bx − 1))( Iy

Cy− (By − 1)

)BxByO (1)

Sekil 4: HOG özniteliklerinin boyutunun açıklanması

3) Dekorelasyon ve Boyut Küçültme: Öznitelikvektörlerinin çıkarılmasından sonra veri setinin sıfır ortalamave birim varyansa sahip olacak sekilde z-normalizasyonugerçeklestirilmistir. Esitlik (1)’de sözü edilen bilesenleresliginde öznitelik vektörleri çıkarıldıgında öznitelik vektörboyutunun 24.336 oldugu görülmektedir. Bu öznitelikvektörlerinin büyük bir kısmı sınıflandırmaya dogrudan etkietmeyecek veya sınıflandırmayı olumsuz etkileyecek degerleriçermektedir. Bu nedenden dolayı Ana Bilesen Analizi(PCA-Principle Component Analysis) ile boyut küçültmeislemi yapılmıstır. Boyut küçültme isleminde kullanılanbilesen sayısının, bir sonraki bölümde açıklanacaksınıflandırma isleminde kullanılan çekirdek ile karsılastırmalıarastırması gerçeklestirilmistir.

C. Sınıflandırma

Sınıflandırma deneylerinde, farklı çekirdek (kernel)fonksiyonlarına tabi SVM sınıflandırıcılar incelenmistir [10].

Veri setinin %80’i egitim, %20’si dogrulama seti olarakayrılmıstır. Deney sonuçları, gelisigüzel olarak seçilen 10egitim-dogrulama veri seti kombinasyonu ile gerçeklestirilentestlerin ortalaması alınarak elde edilmistir. Böylelikle,çıkıntı(outlier) kombinasyonların deneysel bulgularıetkilemesinin önüne geçilmesi amaçlanmıstır.

III. DENEYSEL SONUÇLAR

A. Safha-1: Öznitelik Çıkarımı Parametreleri

Öznitelik vektörlerinin çıkarımı asamasında kullanılacakparametreleri belirlemek amacıyla binin üzerinde deneyyapılmıstır. Yapılan deneylerden dogruluk oranları temelalınarak, en iyi blok, hücre ve imge boyutu kombinasyonuarastırılmıstır. Deneysel sonuçların swarm plotları Sekil 5’tegösterilmistir.

Sekil 5: HOG çıkarımında hücre/blok ve imge boyutuparametreleri belirleme deneyleri sonuçlarının dagılımı. En iyiparametreler olarak Cx,y = 32, Ix,y = 512 ve Bx,y = 4belirlenmistir.

Sekil 5’te sol plotta hücre boyutu ile resim boyutu iliskisiverilmistir. 8 × 8 hücre boyutu seçildigi zaman deneylerinhemen hepsi %75 dogruluk oranının altında kalmıstır. Bununtemel nedeni ise özellikle arkaplandan kaynaklı gereksizverilerden öznitelik vektörlerinin çıkarılması ve bunlarüzerinden yorum yapılmaya çalısılmasıdır. Yine görüldügügibi hücre boyutu 64 × 64 yapıldıgı zaman çok fazla verikaybı olusması nedeniyle en yüksek dogruluk oranı olarak%71 elde edilmistir. Bu nedenlerden dolayı hücre boyutuolarak 32 × 32 seçilmistir. Benzer sekilde Sekil 5’te sagplotta blok boyutu ile resim boyutu arasındaki iliskisergilenmektedir. 4 × 4 blok boyutunun 2 × 2’ye oranla dahaiyi sonuç vermesinin temel nedeni ayrıntılarda yasanankayıplara karsın normalizasyonun daha iyi yapılıyorolmasından kaynaklanmaktadır. Boyut arttıkça normalizasyondaha iyi yapılıyor olsa da bu kez ayrıntılarda yasanankayıplar dogruluk oranı üzerinde ciddi olumsuz etkilereneden olmaktadır. Her iki tablodan da görülecegi gibi herdurumda en yüksek verim 512 × 512 resim boyutu ile eldeedilmektedir.

B. Safha-2: Önisleme Filtresi

Safha-1 sonucunda belirlenen uygun HOGözniteliklerinde kullanılmak üzere, bu safhada YG ve AGfiltre uygulamanın etkileri incelenmistir. YG filtre olarakPrewitt, Sobel ve Canny çekirdekleri [11], AG filtre olarakda Gauss filtresi [12] kullanılmıstır. Öznitelikparametrelerinin belirlenmesine dair gerçeklestirilen budeneylerde, filtrelerin sınıflandırmaya etkileri birbirleri ile ve

ön filtrelemesiz islem ile karsılastırılmıstır. Uygulananfiltreler ve elde edilen sonuçlar Tablo-II’de yer almaktadır.

Lineer Poly RBF SigmoidFiltre yok 0.7161 0.7638 0.8234 0.6042

Gauss (AG) 0.7260 0.7561 0.8378 0.5727Sobel (YG) 0.7136 0.7561 0.8246 0.6353

Prewitt (YG) 0.7140 0.7531 0.8242 0.6289

TABLO II: Çekirdek-Filtre Iliskisi Deney Sonuçları. Farklıfiltre tiplerinin uygulanan çekirdege göre katkı saglayabilecegigörülmüstür.

C. Safha-3 : Boyut Küçültme ve Sınıflandırma

Öznitelik çıkarımına dair gerçeklestirilen Safha 1 veSafha 2 deneylerinden sonra kullanılan çekirdek ile PCAbilesen boyutunun sınıflandırma dogruluguna etkisiincelenmistir. Çekirdeklerden en verimli oldugu gözlemlenenlineer ve rbf çekirdek uygulamalarına yönelik, PCA bilesenisayısının basarıma etkisi Sekil 6’da yer almaktadır.

Sekil 6: Çekirdek ile PCA Bileseni etkisi. RBF çekirdek düsükboyutlarda daha iyi basarım gösterirken, lineer modelde budurum tam terstir.

D. Sınıflandırma Basarımı Analizi

En iyi basarımın elde edildigi parametrelerde validasyonsetinin karısıklık matrisi incelendiginde basarımı düsürenhatalı sınıflandırmaların birbirlerine çok benzeyen ve digersınıflara kıyasla daha az egitim imgesi bulunan Yıldız,Dogan ve Rüzgar Sınıfı Hücumbotların birbirleri ile karıstıgıgözlemlenmistir. Karısıklık matrisinin ısı haritası Sekil 7’deyer almaktadır.

IV. TARTISMA VE GELECEK ÇALISMALAR

Bu çalısmada savas gemisi sınıflandırma problemi TürkDonanmasındaki gemilere göre incelenmis ve bir veri setineilave olarak sınıflandırma sistemi ortaya konmustur.Sınıflandırmada birbirine çok benzeyen gemi tiplerinin dahibasarı ile ayrıstırılabildigi, aynı tip gemilerin geneldebirbirlerine karıstıgı gözlemlenmistir. Bu durum, gelecek birçalısma olarak çoklu çözünürlüklü ve hiyerarsik birsınıflandırmanın (böl ve sınıflandır) basarımıarttırabileceginin isareti olarak degerlendirilebilir. Bunun yanısıra HOG’a ek olarak gradyen temelli LBP ve SIFT gibi

Sekil 7: Karısıklık Matrisi.

öznitelikler ve CNN performansı gelecek çalısma olarakarastırılabilir.

KAYNAKÇA

[1] E. Gundogdu, B. Solmaz, A. Koç, V. Yücesoy, and A. A. Alatan, “Deepdistance metric learning for maritime vessel identification,” in SignalProcessing and Communications Applications Conference (SIU), 201725th, pp. 1–4, IEEE, 2017.

[2] Z. Liu, L. Yuan, L. Weng, and Y. Yang, “A high resolution opticalsatellite image dataset for ship recognition and some new baselines.,”in ICPRAM, pp. 324–331, 2017.

[3] Q. Oliveau and H. Sahbi, “Attribute learning for ship categoryrecognition in remote sensing imagery,” in Geoscience and RemoteSensing Symposium (IGARSS), 2016 IEEE International, pp. 96–99,IEEE, 2016.

[4] N. Wang, B. Li, Q. Xu, and Y. Wang, “Automatic ship detection inoptical remote sensing images based on anomaly detection and spp-pcanet,” Remote Sensing, vol. 11, no. 1, p. 47, 2019.

[5] H. Li and X. Wang, “Automatic recognition of ship types frominfrared images using support vector machines,” in Computer Scienceand Software Engineering, 2008 International Conference on, vol. 6,pp. 483–486, IEEE, 2008.

[6] D. Kumlu and B. K. Jenkins, “Autonomous ship classification usingsynthetic and real color images,” in Image Processing: Machine VisionApplications VI, vol. 8661, p. 86610M, International Society for Opticsand Photonics, 2013.

[7] M. Teutsch and W. Krüger, “Classification of small boats in infraredimages for maritime surveillance,” in Waterside Security Conference(WSS), 2010 International, pp. 1–7, IEEE, 2010.

[8] N. Ødegaard, A. O. Knapskog, C. Cochin, and J.-C. Louvigne,“Classification of ships using real and simulated data in a convolutionalneural network,” in Radar Conference (RadarConf), 2016 IEEE, pp. 1–6, IEEE, 2016.

[9] N. Dalal and B. Triggs, “Histograms of oriented gradients for humandetection,” in Computer Vision and Pattern Recognition, 2005. CVPR2005. IEEE Computer Society Conference on, vol. 1, pp. 886–893,IEEE, 2005.

[10] V. N. Vapnik, “An overview of statistical learning theory,” IEEEtransactions on neural networks, vol. 10, no. 5, pp. 988–999, 1999.

[11] M. Hassan, N. E. A. Khalid, A. Ibrahim, and N. M. Noor, “Evaluationof sobel, canny, shen castan using sample line histogram method,” 2008International Symposium on Information Technology, vol. 3, pp. 1–7,2008.

[12] J.-S. Lee, “Digital image smoothing and the sigma filter,” Computervision, graphics, and image processing, vol. 24, no. 2, pp. 255–269,1983.