Adaptív dinamikus szegmentálás idősorok indexeléséhez · I Tőzsde I Szenzorhálózatok I... Javítási ötlet I Eddig globálisan indexelték az idősorhalmazokat I Nem használtak

Adaptív dinamikus szegmentálás idősorok indexeléséhez

Adaptív dinamikus szegmentálás idősorokindexeléséhez

IPM-08irAREAE kurzus cikkfeldolgozás

Balassi Márton1

Englert Péter1Tömösy Péter1

1Eötvös Loránd Tudományegyetem – Informatikai Kar

2013. november 20.

Adaptív dinamikus szegmentálás idősorok indexeléséhez

Tartalom

Bevezetés

Módszerek

Eredmények

Összefoglalás

Adaptív dinamikus szegmentálás idősorok indexeléséhezBevezetés

Tartalom

Bevezetés

Módszerek

Eredmények

Összefoglalás


Feladat

Feladat

Idősorok hatékony szegmentálása

I Adatsorok hasonlósági kereséseI Dinamikus, adaptív indexelésI Empirikus eredmények


Feladat

Feladat




Feladat

Feladat




Motiváció

Motiváció

Széles alkalmazási terület

I Orvosi alkalmazásI TőzsdeI SzenzorhálózatokI . . .


Motiváció

Motiváció




Motiváció

Motiváció




Motiváció

Motiváció




Motiváció

Motiváció



Javítási ötlet

I Eddig globálisan indexelték az idősorhalmazokatI Nem használtak felülről korlátozó függvényeket


Motiváció

Motiváció



Javítási ötlet

I Eddig globálisan indexelték az idősorhalmazokatI Nem használtak felülről korlátozó függvényeket


Definíciók

Definíciók

IdősorA továbbiakban legyen adott n pozitív egész szám, valamintX = (x1, x2, . . . , xn) és Y = (y1, y2, . . . , yn) n hosszú, valósszámokból álló idősorok. Ezek halmaza legyen T S .


Definíciók

Definíciók

IdősorA továbbiakban legyen adott n pozitív egész szám, valamintX = (x1, x2, . . . , xn) és Y = (y1, y2, . . . , yn) n hosszú, valósszámokból álló idősorok. Ezek halmaza legyen T S .

TávolságX és Y euklideszi távolsága D(X ,Y ) =

√∑ni=1(xi − yi )2.


Definíciók

Definíciók

TávolságX és Y euklideszi távolsága D(X ,Y ) =

√∑ni=1(xi − yi )2.

Teljes illesztésLegyen adott Q ∈ T S és 0 < ε ∈ R. Keressük azokat az Sidősorokat, melyekre D(Q, S) ≤ ε. Ha a hasonlósági mérték azeuklideszi távolság, az idősorok pedig azonos hosszúságúak, eztteljes illesztésnek nevezzük.


Korábbi eredmények


Alulról korlátozó dimenziócsökkentésLétezik DLB(·, ·) függvény, melyre ha Si (i ∈ {1, 2}) idősorreprezentációja Si (i ∈ {1, 2}), akkor DLB(S1, S2) ≤ D(S1, S2).




Alulról korlátozó dimenziócsökkentésLétezik DLB(·, ·) függvény, melyre ha Si (i ∈ {1, 2}) idősorreprezentációja Si (i ∈ {1, 2}), akkor DLB(S1, S2) ≤ D(S1, S2).Ekkor ha DLB(Q, S) > ε, akkor az S által reprezentált idősorokatmár nem kell vizsgálnunk, ugyanis azok tényleges távolsága Q-tólbiztos, hogy ε-nál nagyobb.




Felhasznált módszerekI Dimenziócsökkentésre:

I diszkrét Fourier-transzformációtI szinguláris felbontásI diszkrét wavelet transzformációI . . .

I Indexelésre:I R-faI SAXI iSAX


















































A cikk fő eredményei


Eredmények

I Felülről korlátozó dimenziócsökkentésI DSTreeI Hisztogramkészítés




Eredmények





Eredmények


Adaptív dinamikus szegmentálás idősorok indexeléséhezMódszerek

Tartalom

Bevezetés

Módszerek

Eredmények

Összefoglalás


Bővített adaptív szakaszonként konstans approximáció

Adaptív szakaszonként konstans approximáció

APCAEgy X idősort (X1,X2, . . . ,Xm) szegmenseire bontjuk, ahol m ≤ nés ∀j ∈ {1, . . . ,m} : Xj = (xrj−1+1, . . . , xrj ) valamely0 = r0 < r1 < · · · < rm = n indexsorozatra.




APCAEgy X idősort (X1,X2, . . . ,Xm) szegmenseire bontjuk, ahol m ≤ nés ∀j ∈ {1, . . . ,m} : Xj = (xrj−1+1, . . . , xrj ) valamely0 = r0 < r1 < · · · < rm = n indexsorozatra.Egy Xj szegmens reprezentációja a (µj , rj) pár lesz, ahol

µj =

∑rjk=rj−1+1 skrj−rj−1

a szegmens értékeinek átlaga. X közelítőreprezentációja tehát X = ((µ1, r1), . . . , (µm, rm)).




IlleszkedésAzt mondjuk, hogy X és Y APCA reprezentációk illeszkednek, haaz előző bekezdés jelöléseivel az m és r0, . . . , rm értékeikmegegyeznek, vagyis:

X = ((µX1 , r1), . . . , (µ

Xm, rm)),

Y = ((µY1 , r1), . . . , (µ

Ym, rm)).




LemmaAdott két egyforma hosszú idősor, X és Y , valamint illeszkedőAPCA reprezentációik, X = ((µX

1 , r1), . . . , (µXm, rm)) és

Y = ((µY1 , r1), . . . , (µ

Ym, rm)).




LemmaAdott két egyforma hosszú idősor, X és Y , valamint illeszkedőAPCA reprezentációik, X = ((µX

1 , r1), . . . , (µXm, rm)) és

Y = ((µY1 , r1), . . . , (µ

Ym, rm)).

Ekkor:

D(X ,Y ) ≥

√√√√ m∑i=1

(ri − ri−1)(µXi − µY

i )2




EAPCAA szegmensek reprezentációját az értékek szórásával egészíti ki,és ennek segítségével egy pontosabb alsó korlátot, valamint egyfelső korlátot is definiál.




EAPCAA szegmensek reprezentációját az értékek szórásával egészíti ki,és ennek segítségével egy pontosabb alsó korlátot, valamint egyfelső korlátot is definiál.

X = ((µ1, σ1, r1), . . . , (µm, σm, rm)), ahol

σi =

√∑rij=ri−1+1 s2

j

ri − ri−1− (

∑rij=ri−1+1 sjri − ri−1

)2

értékek a reprezentált szegmens értékeinek szórása.




TételAdott két egyforma hosszú idősor, X és Y , valamint illeszkedőEAPCA reprezentációik, X = ((µX

1 , σX1 , r1), . . . , (µ

Xm, σ

Xm, rm)) és

Y = ((µY1 , σ

Y1 , r1), . . . , (µ

Ym, σ

Ym , rm)).




TételAdott két egyforma hosszú idősor, X és Y , valamint illeszkedőEAPCA reprezentációik, X = ((µX

1 , σX1 , r1), . . . , (µ

Xm, σ

Xm, rm)) és

Y = ((µY1 , σ

Y1 , r1), . . . , (µ

Ym, σ

Ym , rm)). Ekkor:

D(X ,Y ) ≥

√√√√ m∑i=1

(ri − ri−1)[(µXi − µY

i )2 + (σXi − σY

i )2],

D(X ,Y ) ≤

√√√√ m∑i=1

(ri − ri−1)[(µXi − µY

i )2 + (σXi + σY

i )2].


Korlátok idősorok halmazaitól vett távolságra


FeladatX idősor és Y1, . . . ,Yl egyforma hosszú idősorok esetén amin1≤j≤l D(X ,Yj) távolságot szeretnénk alulról becsülni.




JelölésLegyen X ,Y1, . . . ,Yl mind egyforma hosszú, továbbá legyenek

X = ((µX1 , σ

X1 , r1), . . . , (µ

Xm, σ

Xm, rm)),

Y1 = ((µY11 , σY1

1 , r1), . . . , (µY1m , σY1

m , rm)),

. . . ,

Yl = ((µYl1 , σ

Yl1 , r1), . . . , (µ

Ylm , σ

Ylm , rm))

az X ,Y1, . . . ,Yl idősorok illeszkedő EAPCA reprezentációi.




JelölésJelölje az Y1, . . . , Yl halmazban i. szegmens minimális ésmaximális átlagát µmin

i = min1≤j≤l µYji és µmax

i = max1≤j≤l µYji ,

szórását pedig σmini = min1≤j≤l σ

Yji és σmax

i = max1≤j≤l σYji .




TételAdott X ,Y1, . . . ,Yl egyforma hosszú idősorok és illeszkedőX , Y1, . . . , Yl EAPCA reprezentációik. Ekkor:




Tétel

min1≤j≤l

D(X ,Yj) ≥

√√√√ m∑i=1

(ri − ri−1)(LBµi + LBσ

i )2,

max1≤j≤l

D(X ,Yj) ≤

√√√√ m∑i=1

(ri − ri−1)(UBµi + UBσ

i )2.




Tétel

min1≤j≤l

D(X ,Yj) ≥

√√√√ m∑i=1

(ri − ri−1)(LBµi + LBσ

i )2,

max1≤j≤l

D(X ,Yj) ≤

√√√√ m∑i=1

(ri − ri−1)(UBµi + UBσ

i )2.

Ahol LBµi , LBσ

i ,UBµi ,UBσ

i elemi függvényei a{µi ; σi}{min;max ;X} halmaz elemeinek.




KövetkezményHa az illeszkedő EAPCA reprezentációval adott idősorokhalmazától vett távolságot szeretnénk alulról becsülni, ahhoz eléga szegmensek átlagainak és szórásainak minimumát ésmaximumát számon tartanunk.


DSTree

DSTree

ReprezentációAz EAPCA szegmenseket meghatározza jobb végpontjuk, vagyis(r1, . . . , rm), ahol 0 < r1 < r2 < · · · < rm = n.


DSTree

DSTree

ReprezentációAz EAPCA szegmenseket meghatározza jobb végpontjuk, vagyis(r1, . . . , rm), ahol 0 < r1 < r2 < · · · < rm = n.

FinomításAdott SG1 = (r1, . . . , rm) és SG2 = (r ′1, . . . , r

′m′) szegmentálásokra

SG2 egylépéses finomítása SG1-nek, ha m′ = m + 1, és∃i0 : 1 ≤ i0 < m, hogy 1 ≤ i ≤ i0 esetén ri = r ′i , i0 < i eseténpedig ri = r ′i+1. Jelölése: SG1 ≺1 SG2. A reláció tranzitív lezártjaa finomítás reláció.


DSTree

DSTree

KonstrukcióBináris fával dolgozunk, egy csúcs a részfájába tartozó idősorokegy indexe.


DSTree

DSTree

KonstrukcióBináris fával dolgozunk, egy csúcs a részfájába tartozó idősorokegy indexe. Minden csúcsban tároljuk a következő információkat:

I A csúcs által meghatározott részfában található idősorok Cszámát.

I Az SG = (r1, . . . , rm) szegmentálását a csúcs által indexeltidősoroknak.

I A felső és alsó korlát számításához felhasználható aggregáltZ = (z1, . . . , zm) információt, aholzi = (µmin

i , µmaxi , σmin

i , σmaxi ).


DSTree

DSTree





i , µmaxi , σmin

i , σmaxi ).


DSTree

DSTree





i , µmaxi , σmin

i , σmaxi ).


DSTree

DSTree





i , µmaxi , σmin

i , σmaxi ).

A levelek tárolnak egy mutatót egy legfeljebb ψ (levélkapacitás)idősort tároló fájlra, a belső csúcsok tárolják a hasítási stratégiát.


DSTree

Példa DSTree-re


DSTree

Beszúrás DSTree-be


DSTree

Hasítási startégiák

Vízszintes hasítás (H-split)

Függőleges hasítás (V-split)


DSTree

Hasítási startégiák

Vízszintes hasítás (H-split)A szegmentálás nem változik, az utódok szegmentálása ugyanazmarad, csak kétfelé osztjuk őket.

Függőleges hasítás (V-split)A szegmentálás finomodik, a szülő csúcs szegmentálásánakugyanazt az egylépéses finomítását fogja tartalmazni mindkétutód.


DSTree

Műveletek

Hasonlósági keresés

Hisztogram készítés


DSTree

Műveletek

Hasonlósági keresésA heurisztikus hasonlósági keresés a beszúrás mintájára megnézi,hogy melyik levélbe kerülne a lekérdezés Q idősora, majd azebben a levélben tárolt minden idősorra kiszámítja annak Q-tólvett távolságát, és visszaadja a legközelebbit.

Hisztogram készítésA csúcsokban a Q-tól vett távolságra számított alsó és felsőkorlát, valamint a csúcs által indexelt idősorok száma alapján,azok összesítésével tudunk becslést adni adotttávolság-intervallumon belül levő idősorok számára.

Adaptív dinamikus szegmentálás idősorok indexeléséhezEredmények

Tartalom

Bevezetés

Módszerek

Eredmények

Összefoglalás


A cikk eredményei

Tesztspecifikáció

Alternatív módszerek

I Piecewise Aggregate Approximation (PAA) & R-faI iSAX2.0


A cikk eredményei

Tesztspecifikáció




A cikk eredményei

Tesztspecifikáció



Tesztadatok

I SzintetikusI Valódi


A cikk eredményei

Tesztspecifikáció



Tesztadatok

I SzintetikusI Valódi


A cikk eredményei

TesztspecifikációInputgenerálás

I Véletlen bolyongás, a [−5, 5]-ből egyenletesen véletlenkezdőponttal, valamint a [0, 2]-ből egyenletesen véletlenlépéshosszal.

I Normális eloszlással generálódnak az idősor pontjai. Aközéppont a [−5, 5]-ből, szórása pedig a [0, 2]-ből kerülegyenletesen véletlenül kiválasztásra.

I Az előző módszerrel generálunk legalább 3, legfeljebb 10idősort, majd ezeket konkatenáljuk.

I Több szinuszfüggvény összekeveréséből mintavételezéssel. Afüggvények periódusa a [2, 10]-ből, amplitúdója a [2, 10]-ből,átlaga pedig a [−5, 5]-ből egyenletesen véletlen.


A cikk eredményei







A cikk eredményei







A cikk eredményei







A cikk eredményei

Indexméret összehasonlítása a szintetikus (felül) ésvalódi (alul) adathalmazokon


A cikk eredményei

Keresés hatékonysága szintetikus (felül) és valódi (alul)adathalmazokon


A cikk eredményei

APCA (M) és EAPCA (M+SD) alsó korlát értékekösszehasonlítása


A cikk eredményei

Skálázhatóság összehasonlítása


A cikk eredményei

Keresési idő összehasonlítása


Saját implementáció

Implementáció

DSTree implementációA cikk alapján megvalósítottuk az adatszerkezetet és műveleteit.

I Feltöltünk egy DSTree-t idősorokkalI Keresünk közöttük egy új idősorhoz hasonlót



Implementáció

DSTree implementációA cikk alapján megvalósítottuk az adatszerkezetet és műveleteit.Illusztráljuk ezt a következő példán:




Implementáció





Implementáció





Idősorok

1 2 3 4 5 6 7

12

34

56

78

1.ts

Time

Var

iabl

e

1 2 3 4 5 6 71

23

45

67

8

2.ts

Time

Var

iabl

e

1 2 3 4 5 6 7

12

34

56

78

3.ts

Time

Var

iabl

e

1 2 3 4 5 6 7

12

34

56

78

4.ts

Time

Var

iabl

e

1 2 3 4 5 6 7

12

34

56

78

5.ts

Time

Var

iabl

e

1 2 3 4 5 6 7

12

34

56

78

6.ts

Time

Var

iabl

e



DSTree felépítése















Heurisztikus keresés

1 2 3 4 5 6 7

12

34

56

78

6.ts

Time

Var

iabl

e



Heurisztikus keresés

Adaptív dinamikus szegmentálás idősorok indexeléséhezÖsszefoglalás

Tartalom

Bevezetés

Módszerek

Eredmények

Összefoglalás


Összefoglalás

Útravaló

I Adaptív, dinamikus szegmentálással jelentősen javítani leheta keresési időn

I Érdemes lehet áttérni EAPCA reprezentációraI DSTree-t fontos tovább vizsgálniI Standard tesztadatok hiánya


Összefoglalás

Útravaló




Összefoglalás

Útravaló




Összefoglalás

Útravaló




Köszönetnyilvánítás

Köszönjük a figyelmet!

Documents

Adaptív dinamikus szegmentálás idősorok indexeléséhez · I Tőzsde I Szenzorhálózatok I... Javítási ötlet I Eddig globálisan indexelték az idősorhalmazokat I Nem használtak