Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
OPTIMIZACIJA DELOVANJA IS PLADENJ Z UPORABO STROJNEGA UčENJA
dr. Tadej Justin, Medius d.o.o.
mag. Bernarda Kozelj, Ministrstvo za javno upravo 10.12.2018
2
Interoperabilnost
● Silosi
(so v glavah zaposlenih, Miran Varga, Finance)
● Interoperabilnost
● Gradniki
3 3
Gradniki
JEP logo?
Tadej Justin
2:19 PM Dec 3
A to imamo mi?
33Gradniki
4
Pladenj
Zmogljivost
● Asinhrono ali sinhrono ● Posamečno ali paketno ● Zagotovljen prenos --> autoresume ● Vzporedno poizvedovanje --> hitrost in velika prepustnost ● Abstrakcija je na nivoju postopka --> transparentnost
Prednosti uporabe
● certifikati ● odjemalski sistem kliče le en servis ● vir komunicira le s Pladnjem ● komunikacijski kanali so vzpostavljeni
● 11 odjemalskih sistemov
● 23 institucij / 37 podatkovnih virov
● Banke, DZU
5
Problematika interoperabilnih sistemov
IS Pladenj je tipičen interoperabilni
sistemi:
“Močna odvisnosti od zanesljivega
delovanja zunanjih informacijskih
virov.”
Na kaj moramo paziti pri razvoju
inteoprabilnih sistemov:
● možnost preobremenitev virov,
● odzivnost podatkovnih virov
predstavlja kritično točko
uspeha (SPOF),
● oglaševanje sistema,
● ...
Preverjanje podatkov za 200 000 vlagateljev paketno, kar prinesi 700.000 zahtevkov na 25 virov.
6
Zahtevek, postopek in poizvedba
7
Metrika
● Metrika odraža stanje sistema IS Pladenj in zunanjih informacijskih virov, na katere se
povezuje trenutni postopek.
● Metrika je odraz realnih poizvedb na zunanje informacijske vire in realnega delovanja sistema,
kjer se predvsem merijo latence med posameznimi podsklopi IS Pladenj.
8 *Justin, T. et all. (2018): ZASNOVA DINAMIČNEGA DUŠILNIKA PREPUSTNOSTI INTEROPERABILNIH INFORMACIJSKIH SISTEMOV Z UPORABO ALGORITMOV STROJNEGA UČENJA. V Digitalizacija in mi, zbornik 25. konference Dnevi slovenske inforamtike 2018, Ljubljana : Slovensko društvo Informatika
Zgoščen zapis stanja sistema - značilke
● Na podlagi metrike lahko izpeljemo značilne vrednosti sistema, ki odražajo zdravo (polno) ali
delovanje z zmanjšano zmogljivostjo, torej posameznim (metričnim) vzorcem pripišemo
razrede delovanje, ali pa kar aproksimacijo prepustnosti posameznega vira.
● Razrede opišemo z značilnimi vrednostmi z vnaprej določenem časovnem intervalu na
podlagi statističnih operacij nad metričnimi podatki, ki jih pogosto obravnavamo na področju
obdelave signalov.
● Za problem dušilnika IS Pladenj* smo izluščili 29 značilk sistema in 4 značilke, ki odražajo
stanje vsakega informacijskega vira.
Algoritem za
izračun značilk
9
* ŠENICA, D. (2018): Zasnova dinamičnega dušilnika v interoperabilnem sistemu : diplomsko delo
Komponenta za strojno učenje
● Podpora za strojno učenje razširjenih algoritmov strojnega učenja
● MOA - Massive Online Analysis - Inkrementalno učenje
● REST API
V okviru raziskovalnega dela smo opravili analizo, ki je pokazala da je optimalen razvrščevalnik za
problem razvrščanja v enega izmed treh razredov (semafor) HoeffdingTree. Še boljše rezultate smo
pridobili z algoritmov Random Forest, vendar pa ima precej večjo zahtevnosti izvajanja.*
10
Implementacija komponente dušilnik
Zaključek
● Dušenje zahtevkov zunanjih informacijskih sistemov in njihovih virov je optimizirano glede na
pretekle podatke, kar tudi določa maksimalno prepustnost sistema pri optimalnem delovanju
zunanjih informacijskih sistemov in virov.
● Avtomatična detekcija in prilagoditev prepustnosti zahtevkov, v kolikor se zunanjim informacijskih
sistemom spremeni odzivnost (povečanje ali zmanjšanje prepustnosti).
● Komponenta dušilnik je ločena od IS Pladenj in predstavlja samostojno komponento, ki omogoča
predikcijo prepustnosti za vsak informacijski vir posebej.
● Z strežnikom REDIS omogočamo hiter in robusten prenos podatkov med dvema sistemoma
● Open API (REST)
● Enostavna prilagoditev za poljuben interoperabilni sistem.
12
Hvala za pozornost!
Vprašanja?
Pripombe?
Predlogi?