Upload
ferhat-ozgur-catak-phd
View
686
Download
1
Embed Size (px)
Citation preview
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Dagıtık Sistemler Için Mahremiyet Korumalı UçÖgrenme Makinesi Sınıflandırma Modeli
Ferhat Özgür Çatak 1
Ahmet Fatih Mustaçoglu 1
Ahmet Ercan Topçu 2
1TÜBITAK BILGEM
2Yıldırım Beyazıt Üniversitesi
24. IEEE Sinyal Isleme ve Iletisim Uygulamaları Kurultayı17 Mayıs 2016
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Içindekiler
1 GirisKonunun Önemi
2 Ön BilgilerUç Ögrenme MakinesiHomomorfik SifrelemePaillier Sifrelemesi
3 Mahremiyet Korumalı UÖM EgitimiKayan Noktalı SayılarDikey Bölümlenmis VeriMahremiyet Korumalı UÖM Algoritması
4 Benzetim SonuçlarıDeneysel KurulumSimülasyon Sonuçlar
5 SonuçSonuç
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Içindekiler
1 GirisKonunun Önemi
2 Ön Bilgiler
3 Mahremiyet Korumalı UÖM Egitimi
4 Benzetim Sonuçları
5 Sonuç
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Konunun Önemi
Konunun Önemi
Veri MahremiyetiI Makine ögrenme yöntemleri, kisisel hassas bilginin ifsa olması
konusunda oldukça yüksek risk içermektedir.
Bu çalısmanın en önemli katkıları su sekildedir:
I UÖM sınıflandırma algoritmasının egitiminde kullanılacak verikümesinin, birbirleriyle direk iletisimi olmayan partiler arasındasifreli paylasımı yapılmaktadır.
I Her bir parti sadece kendinde bulunan ve içerigine erismedigi sifrelialt veri kümesi için gizli katman çıktı matrisini yine sifreli olarakhesaplamaktadır.
I Istemci, partiler tarafından hesaplanan gizli katman çıktı matrislerinibirlestirerek nihai sınıflandırma modelini olusturmaktadır.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Içindekiler
1 Giris
2 Ön BilgilerUç Ögrenme MakinesiHomomorfik SifrelemePaillier Sifrelemesi
3 Mahremiyet Korumalı UÖM Egitimi
4 Benzetim Sonuçları
5 Sonuç
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Uç Ögrenme Makinesi
Uç Ögrenme Makinesi
Yinelemeli Güncelleme Olmadan ÖgrenmeI Gizli dügüm parametreleri rassal olarak olusturulabilir. Herhangi bir
hedef fonksiyon, f , ve rassal olusturulmus parametreler içinlimL→∞ ||f (x)− fL(x)|| = limL→∞ ||f (x)−∑L
i=1 βiG(ai , bi , x)|| = 0olasılıgının 1’e esit olması, βi seçilerek, ||f (x)− fL(x)||, ∀i ’ninminimize edilmesi ile saglanabilir.
I Gizli katman parametreleri için herhangibir ayarlamagerekmemektedir.
G.-B. Huang, et al., “Universal approximation using incremental constructive feedforward networks withrandom hidden nodes,” IEEE Transactions on Neural Networks, vol. 17, no. 4, pp. 879-892, 2006.
G.-B. Huang, et al., “Convex incremental extreme learning machine,” Neurocomputing, vol. 70, pp.3056-3062, 2007.
G.-B. Huang, et al., “Enhanced random search based incremental extreme learning machine,”Neurocomputing, vol. 71, pp. 3460-3468, 2008.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Uç Ögrenme Makinesi
Uç Ögrenme Makinesi
Sekil: Ileri Yayılımlı Yapay SinirAgları
Matematik Modeli
I N adet rassal seçilmis örneklem uzayı,(xi , ti ) ∈ Rn × Rm, "Ileri Yayılımlı YapaySinir Agları" için L adet gizli dügüm ve herbir gizli dügüm için çıktı fonksiyonuG(ai , bi , x) olmak üzere model su sekildeifade edilir:
L
∑i=1
βi G(ai , bi , xj ) = tj , j = 1, ...,N (1)
I (ai , bi ): gizli dügüm parametreleri
I βi : i . gizli dügüm ile çıktı dügümünübaglayan agırlık vektörü.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Uç Ögrenme Makinesi
Uç Ögrenme Makinesi
Matematik Modeli
∑Li=1 βiG(ai , bi , xj ) = tj , j = 1, ...,N ifadesi aynı sekilde Hβ = T ifade
edilebilir.
h(x1)...
h(xN)
=
G(a1, b1, x1) · · · G(aL, bL, x1)...
. . ....
G(a1, b1, xN) · · · G(aL, bL, xN)
N×L
(2)
β =
βT1...
βTL
L×m
ve T =
tT1...
tTN
N×m
(3)
H, sinir agının gizli katman çıktı matrisi, H matrisinin i . kolonu ise,x1, ..., xn girdilerinin i . gizli katman çıktılarını göstermektedir.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Uç Ögrenme Makinesi
Uç Ögrenme Makinesi
Üç Asamalı Ögrenme Modeli
D = {(xi , ti )|xi ∈ Rn, ti ∈ Rm, i = 1, · · · ,N} veri seti, gizli dügüm çıktıfonksiyonu G(a, b, x) ve L adet gizli dügüm olsun.
1 Rassal gizli dügüm parametrelerini atama islemi.(ai , bi ), i = 1, · · · , L.
2 Gizli katman çıktı matrisi, H, hesapla.
3 Çıktı agırlık vektörünü hesapla, β = HtT.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Uç Ögrenme Makinesi
Uç Ögrenme Makinesi
Belirgin Özellikler
I UÖM, basit matematik bilgisiyle, üç adımlı ögrenme algoritmasıdır.I UÖM’nin ögrenme hızı oldukça yüksektir.I Destek Vektör Makinesi veya Yapay Sinir Agları gibi geleneksel
ögrenme yöntemlerinin aksine, UÖM oldukça basit bir yöntemdir.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Homomorfik Sifreleme
Homomorfik Sifreleme
Homomorfik Sifreleme
Tanım Sifreli metinler üzerinde yapılan bazı matematikselislemlerin sonucunda elde edilecek olan sonucun, sifresiçözüldügünde elde edilecek olan sonuçla aynı isleminsifresiz metinler üzerinde yapılmasıyla elde edilensonucun aynı olmasını saglayan bir sifreleme türüdür.
Epk (x + y mod N) = Epk (x) · Epk (y)
Epk (x · y mod N) = Epk (x)y (4)
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Paillier Sifrelemesi
Paillier Sifrelemesi
Paillier Sifrelemesi
Bir sayının n. kalanının hesaplamanın zorlugu temel alınarakgelistirilmis olasılıksal asimetrik sifreleme algoritmasıdır.
Tanım Olası bütün sifresiz mesajlar M, anahtar çifti kümesiK = PK × SK , PK açık anahtar ve SK gizli anahtar.Iki açık metin m1 ile m2 ve sabit bir deger a için Denklem5’i karsılamaktadır.
Dsk (Epk (m1)× Epk (m1)) = m1 + m2
Dsk(Epk (m1)
a) = a×m1(5)
Paillier, Pascal. "Public-key cryptosystems based on composite degree residuosity classes."Advances in cryptology—EUROCRYPT’99. Springer Berlin Heidelberg, 1999.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Içindekiler
1 Giris
2 Ön Bilgiler
3 Mahremiyet Korumalı UÖM EgitimiKayan Noktalı SayılarDikey Bölümlenmis VeriMahremiyet Korumalı UÖM Algoritması
4 Benzetim Sonuçları
5 Sonuç
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Mahremiyet Korumalı UÖM Egitimi
Mahremiyet Korumalı UÖM Egitimi
Amaç Birden fazla parti (veya sunucu) arasında kendilerine aithassas verinin paylasılmadan ortaklasa UÖM egitiminigerçeklestirmek ve final sınıflandırma modelini eldeetmektir.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Kayan Noktalı Sayılar
Kayan Noktalı Sayılar
Kayan Noktalı SayılarSorun Önerilen yöntem, Paillier sifrelemesi kullandıgından sadece tamsayılar üzerinde islem
yapmaktadır.I Sınıflandırma algoritmaları genellikle kayan noktalı sayılar içeren veri kümelerine kullanmaktadır.
Çözüm Veri kümesinin yeni etki alanına göre eslestirilmesiI ConvertInteger : Rm → Zm x← ConvertInteger(x) where x ∈ Rm, x ∈ Zm
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Dikey Bölümlenmis Veri
Dikey bölümlenmis veri
x1,1 · · · x1,t−1 · · · x1,t · · · x1,n
x2,1 · · · x2,t−1 · · · x2,t · · · x2,n
......
......
......
...xm,1 · · · xm,t−1 · · · xm,t · · · xm,n
Party1 · · · Partyk
D =
Sekil: Dikey bölümlenmis veri kümesi D.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Mahremiyet Korumalı UÖM Algoritması
Mahremiyet Korumalı UÖM Algoritması - IstemciIlklendirme
Algoritma 1: Istemci Ilklendirme
Data: Veri kümesi: D ∈ Rm×n, Sunucu sayısı: k , Sifre anahtar uzunlugu:l , Gizli katman sayısı: nh
Result: Her bir sunucu, Ps, için sifreli alt veri kümesibeginD ←− normalize(D);// Açık ve gizli anahtarları üret ;Keypub,Keypriv ←− KeyGen(l) ;// Agırlık vektörlerini olustur ;w←− random(nh,m) where w ∈ Rnh×m ;b←− random(1,m) where b ∈ Rm ;for i ∈ k do
Rassal nitelik endeksi üreteren her bir sunucu Pi için alt verikümelerini olustur. ;Di
enc ←− encrypt(Di ,Keypriv );
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Mahremiyet Korumalı UÖM Algoritması
Mahremiyet Korumalı UÖM - Gizli Katman Çıktı Matrisi
Algoritma 2: Gizli katman çıktı matrisi hesaplamasıData:Result: Her bir parti Ps için sifreli alt gizli katman çıktı matrisi Hs
encbegin
for i ∈ k doJHKi ←− calcHiddenLayerMatrix(JDKi ,wi ,bi ) ;sendOutputLayerToClient(JHKi )
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Mahremiyet Korumalı UÖM Algoritması
Mahremiyet Korumalı UÖM - Sınıflandırma Modeli
Istemci: Her bir partinin hesaplamıs oldugu sifreli gizli katman çıktımatrisini JHiK gizli-anahtarı kullanarak açık metin halineçevirir.
global H elde edilir.
H kullanılarak β degerleri hesaplanarak sınıflandırmamodeli olusturulur.
β = H+T (6)
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Mahremiyet Korumalı UÖM Algoritması
Mahremiyet Korumalı UÖM - Genel Mimari
Istemci Ilklendirme
• Veri kumesi normalizasyonu
• Acık ve gizli anahtarları uretKeypub,Keypriv ←− KeyGen(l)
• Agırlık vektorlerini olustur
w←− random(nh,m)
b←− random(1,m)
• for i ∈ k
Dienc ←− encrypt(Di,Keypriv)
Parti0JHKi ← calcH(JDKi,wi,bi)
Parti1JHKi ← calcH(JDKi,wi,bi)
PartikJHKi ← calcH(JDKi,wi,bi)
Model Olusturma
• Hi ← decrypt(JHiK,Keypriv)
• global H elde edilir.
• H kullanılarak β degerlerihesaplanarak sınıflandırmamodeli olusturulur.
β = H+T (1)
w0,b0
JDK0,Keypub
w1,b1
JDK1,Keypub
wk,bk
JDKk,Keypub
JHK0
JHK1
JHKk
Sekil: Genel sistem mimarisi
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Içindekiler
1 Giris
2 Ön Bilgiler
3 Mahremiyet Korumalı UÖM Egitimi
4 Benzetim SonuçlarıDeneysel KurulumSimülasyon Sonuçlar
5 Sonuç
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Deneysel Kurulum
Deneysel Kurulum
Tablo: Kullanılan veri kümelerinin bilgileri.
Veri kümesi # Egitim # Sınıf # Öz nitelikionosphere 351 2 34
Sonar 208 2 60Breast Cancer 683 2 10
Australian 690 2 14
Sunucu tarafı Python multiprocessing kütüphanesi kullanılarak farklıprosesler olacak sekilde gelistirilmistir.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Simülasyon Sonuçlar
Simülasyon Sonuçları I
Ionosphere Sonar Breast-Cancer Australian
Tim
e in
ms
0
100
200
300
400
500
600
700
512 bit
1024 bit
Sekil: Veri kümeleri için sifreleme süreleri.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Simülasyon Sonuçlar
Simülasyon Sonuçları II
Ionosphere Sonar Breast-Cancer Australian
Tim
e in
se
co
nd
s
0
100
200
300
400
500
600
3
5
7
10
Sekil: 512-bit anahtar performans sonuç karsılastırması.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Simülasyon Sonuçlar
Simülasyon Sonuçları III
Ionosphere Sonar Breast-Cancer Australian
Tim
e in
se
co
nd
s
0
500
1000
1500
2000
2500
3000
3
5
7
10
Sekil: 1024-bit anahtar performans sonuç karsılastırması.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Simülasyon Sonuçlar
Sınıflandırma Sonuçları
Tablo: Veri kümeleri için sınıflandırma sonuçları.
Veri Kümesi Açık 512 bit 1024 bit
ionosphere 0.8613 0.7311 0.6598Sonar 0.7293 0.5976 0.5856Breast Cancer 0.9592 0.9433 0.9204Australian 0.8438 0.6877 0.6444
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Içindekiler
1 Giris
2 Ön Bilgiler
3 Mahremiyet Korumalı UÖM Egitimi
4 Benzetim Sonuçları
5 SonuçSonuç
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Sonuç
Sonuç
I Homomorfik özelliklere sahip Paillier sifrelemesini UÖMalgoritmasının gizli katman çıktı matrisi hesaplamasındakullanılması önerildi.
I Girdi matrisini parçalara ayırarak UÖM sınıflandırmasının egitimasamasından önce sifrelemektedir
I Sifreli alt veri kümeleri, her biri farklı bir partide olacak sekilde, H,hesaplaması dagıtık ve mahremiyet korumalı olarak yapılmaktadır.
I Anahtar uzunlugunun 2048 bit olacak sekilde hesaplanmasıI sigmoid ve tanh gibi farklı aktivasyon fonksiyonları için tasarımı
gerçeklestirilecektir.
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli
Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç
Sonuç
Sonuç
Tesekkürler
Ferhat Özgür Çatak TÜBITAK BILGEM
Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli