1. Minera de secuencias de datosAutor: Manuel Martn Salvador 9 de diciembre de 2011utoresX vuis wF de gmpos y ilvi eid I

2. P 3. ndice1. Introduccin 52. Los datos 5PFIF euenis de dtos F F F F F F F F F F F F F F F F F F F F F F F F F F SPFPF gmios de onepto F F F F F F F F F F F F F F F F F F F F F F F F F T3. Algoritmos de clasicacin de secuencias de datos 8QFIF eprendizje online F F F F F F F F F F F F F F F F F F F F F F F F F FVQFPF wenismos de olvido F F F F F F F F F F F F F F F F F F F F F F F FWQFQF xonom de mtodos de prendizje F F F F F F F F F F F F F F FIHQFRF ivluin del proeso de prendizje F F F F F F F F F F F F F F FII4. Aplicaciones 145. Revisin de mtodos de aprendizaje con disparadores15SFIF elgoritmos on detein de mio F F F F F F F F F F F F F F F F IS SFIFIF hhw @hrift hetetion wethodA F F F F F F F F F F F F F F FIS SFIFPF ihhw @irly hrift hetetion wethodA F F F F F F F F F F IV SFIFQF wtodo de uifer F F F F F F F F F F F F F F F F F F F F F F F IV SFIFRF ehsx @edptive indowingA F F F F F F F F F F F F F F FIWSFPF elgoritmos on ventn de entrenmiento F F F F F F F F F F F F FPP SFPFIF wtodo de ulinkenerg F F F F F F F F F F F F F F F F F F F PQ SFPFPF psr @unipied snstne eletion lgoritrmA F F F F F F F PR6. Aportaciones 26TFIF woreirrorswoving F F F F F F F F F F F F F F F F F F F F F F F F F F PTTFPF wxwoving F F F F F F F F F F F F F F F F F F F F F F F F F F F F F FPVTFQF wovingeverge F F F F F F F F F F F F F F F F F F F F F F F F F F F FPW7. MOA (Massive Online Analysis)34UFIF il entorno F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F QRUFPF qenerin de seuenis de dtos F F F F F F F F F F F F F F F F FQSUFQF wtodos de lsi(in F F F F F F F F F F F F F F F F F F F F F F FQWUFRF wtodos de evluin F F F F F F F F F F F F F F F F F F F F F F F FQW UFRFIF roldout F F F F F F F F F F F F F F F F F F F F F F F F F F F F QW UFRFPF snterleved estEhenErin @o requentilA F F F F F F F F RHQ 4. 8. Experimentacin 41 VFIF gonjuntos de dtos reles F F F F F F F F F F F F F F F F F F F F F FRI VFPF fter de prues F F F F F F F F F F F F F F F F F F F F F F F F F F RP VFQF esultdos F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F RQ9. Conclusin y trabajo futuro 5710.Bibliografa59 R 5. 1. Introduccinin este trjo vmos trtr el prolem del prendizje utomtio soreseuenis de dtosF in un entorno lsio se dispone de un se de dtosomplet y esttiD y el ojetivo es prender un modelo que represente lo ms(elmente posile dihos dtosF in mioD undo en lugr de disponer de todoslos dtos l tiempoD estos vn llegndo de tnto en tntoD en un seueni dedtosD priori de longitud in(nitD tenemos que ordr el prolem del prenEdizje de diferente mnerF il prolem diverge n ms undo l distriuinde los dtos que se v reiiendo vr lo lrgo del tiempo y por tnto se heneesrio justr el modelo durnte todo el proesoFor elloD en primer lugr ser neesrio onretr este onepto de dtos queonstituye l entrd un nuevo sistem de prendizje que se desrie en lein PF e ontinuinD se estleen los requerimientos de ulquier lgoEritmo de lsi(in sore seuenis de dtos y l estrutur generl de mose ord este prolem en l litertur @ein QAF v miner de seuenisde dtos tiene un grn mpo de pliin omo se muestr en l ein RFentes de explir nuestrs propuests en l ein TD se he un revisin delos trjos ms destdos en l detein de mios de onepto @einSAF r l prte experimentl h sido neesrio estleer un mro de trjoque puede ser refereni pr futurs experimentiones y se h utilizdo prrelizr el estudio omprtivo de los diferentes mtodos seleiondos @einVAF odo ello h sido desrrolldo dentro un entorno softwre que trj sorelsi(in on seuenis de dtosD que se explir en l ein UF pinlEmenteD de l prte experimentl se extren onlusiones y se estleen nuevosojetivos pr trjos futuros en l ein WF2. Los datos2.1. Secuencias de datoshdo un prolem de un dominio determindoD un seueni de dtos @datastream A est ompuest por un serie de instnis que llegn l sistem disreEinD de un en un o en pquetes de tmo regulr o vrileF vs instnisque omponen ls seuenis de dtos en un prolem orientdo l lsi(EinD suelen estr formds por un onjunto de vriles oservds x1 , ..., xn yun lse y F in prinipio ests seuenis tienen un tmo ilimitdo y demses posile que el prolem presente mios en l distriuin suyente lolrgo del tiempo que se re)ejen en l seueniD por lo que no se pueden usrlos enfoques trdiionles de miner de dtosF il entorno de trjo neesriopr operr on seuenis de dtos dee umplir ierts restriiones frzIHXIF xo se pueden lmenr todos los dtos en memoriF olo se permite registrr un peque ntidd de instnisD mientrs que el resto se vn eliminndo un vez proesdsFPF v veloidd on l que se reien los dtos impli que el proesmiento dee herse en tiempo relFS 6. QF v distriuin de los dtos puede vrir en el tiempoD de mner que los dtos ntiguos se vuelven irrelevntes pr l etp tulFv restriin I impli limitr el tmo de l memori utilizd durnte elprendizjeD mientrs que l P limit el tiempo de proesmiento de d muesEtrF in quellos entornos en los que ls seuenis de dtos sen evolutivs@presenten miosAD hy que tener en uent l restriin Q en el proeso deprendizje e inorporr mtodos de detein de mios que permitn evoluEionr el modeloF2.2. Cambios de conceptohdo un prolem de un dominio determindoD se denomin mio de onepto@concept drift A l situin que se produe undo los dtos de un seuenipsn de tener un distriuin de proilidd S1 otr distriuin S2 Ddonde S1 y S2 son de orgenes diferentes @ver pigur IAF iste tipo de seuenisde dtos se suelen denominr evolutivs o dinmisD frente ls esttisD queno presentn mios de oneptoFpigur IX epresentin visul de un mio de onepto grdul lo lrgo deltiempo liIHv nturlez del mio de onepto es impredeileD por lo que no se trt demios on periodiidd onoidD si no que l suposiin prinipl undo seord este prolem es l inertidumre sore el futuroF il mio de oneptose puede dr por tres uss ureWWXIF gmio en ls proiliddes priori de ls lses P (c1 ), . . . , P (ck )PF gmio en ls distriuiones de proilidd ondiionds P (X|ci )D i = 1, . . . , kT 7. QF gmio en ls proiliddes posteriori P (ci |X)D i = 1, . . . , kgomo ejemplos de mio de onepto se pueden onsiderr los orreos sur@spam AD que intentn vrir su ontenido pr sltrse los (ltros de orreoD o levoluin de l slud de un piente l inluir un nuevo medimentoFe pueden enontrr en l litertur frzIH hst seis tipos de mios soreun vrile lo lrgo del tiempoD tl y omo se puede oservr en l pigur PFv primer gr( @Sudden A muestr un mio ruptoD en el que mi elvlor de l lse de form instntneF vs siguientes gr(s muestrn miosque se produen ms lentmenteF v difereni entre inrementl y grdul rEdi en si min los vlores de ls vriles o ien l distriuin de l lseDunque hitulmente se usn omo sinnimosF in l (l de jo tenemos lprimer gr( @Recurring A on un mio temporl y que vuelve su estdonorml trs un intervlo de tiempoF v siguiente gr( @Blip A represent unevento exepionl y no dee trtrse omo un mio de oneptoF v ltimgr( @Noise A muestr mios letoriosD los que llmremos ruido y tmEpoo deen onsiderrse omo un mio en l distriuinF in l litertur loms freuente es enontrrse on trjos que onsidern tn solo los miosruptosD grdules o inrementlesFFpigur PX ipos de mios U 8. 3. Algoritmos de clasicacin de secuencias de datosvos lsi(dores de seuenis de dtos deen ser pes de prender de losdtos de form inrementl en vez de por lotes @batch A y reionr nte losmios de oneptoF emos requisitos se onsiguen plindo aprendizajeonline y mecanismos para olvidar los dtos que y no son relevntesF3.1. Aprendizaje onlineil prendizje onlineD tmin llmdo prendizje inrementlD se entr en elproesmiento de instnis de form seuenil trtndo de que el lsi(dorentrendo se tn preiso omo si se huiese entrendo on todo el onjuntode dtos l vez @en batch AF n uen lgoritmo de prendizje online deertener ests uliddes frzIHXIF snrementlX el lgoritmo dee ser pz de leer y proesr dtos lo lrgo del tiempo sin tener que disponer de todos los dtos desde el prinipioFPF rtr d instni en un psdX el lgoritmo solo puede relizr un letur sore los dtos y luego lierr el espioFQF vimitin de tiempo y memoriX d vez que se proese un ejemplo dee herse en el menor tiempo posile y l ntidd de memori neesri pr el proesmiento dee ser onstnteFRF il lgoritmo dee proporionr un modelo ompleto en ulquier instnte de tiempoF in un so idelD el lsi(dor entrendo inrementlmente hst un instnte t dee ser equivlente l mismo entrendo de form trdiionl on tods ls instnis disponiles hst el instnte tFr stisfer ests restriiones de poos dtos l vez y disponiilidd delmodelo en ulquier instnteD se suelen plir tnis de resumen los dEtos tles omo sliding windows @ventns deslizntesAD sampling @muestreoA osketching @esozoAD lguns de ls ules se onsiderrn en este trjoFvs priniples diferenis entre el proeso de lsi(in on todos los dtosen un modo trdiionl y un proeso de lsi(in pr seuenis de dtosse pueden ver modo de resumen en el gudro IF Tradicional Secuencialxmero de psds wltiplen iempo de proesmientoslimitdoestringido so de memori slimitdoestringido ipo de resultdo reiso eproximdogonepto isttio ivolutivogudro IX gomprtiv de miner de dtos trdiionl frente l miner deseuenis de dtos qqHU V 9. in generlD el proeso de prendizje puede verse omo en l pigur QFpigur QX roeso de prendizje inrementl en el instnte t liIHF3.2. Mecanismos de olvidosnorporr menismos de olvido es un speto que tiene espeil inters enseuenis evolutivsD y que existe un modelo ntes y otro distinto despus dedetetrse el mioF or tntoD un lsi(dor dee ser pz de reionrnte un mio de onepto y olvidr quello que y no se relevnteD omolos dtos que son de oneptos ntiguosF il prinipl prolem es mo serqu dee olvidrF v soluin ms senill es ir olvidndo pultinmente losdtos ntiguos y usr un ventana on los ejemplos ms reientes pr entrenrel lsi(dorF isto permite dems mntener reduido el nmero de instnisneesris pr el entrenmientoF iste primer enfoque de ventns de tmoonstnte en los dtos ms reientesD present un ompromiso entre estiliddy )exiiliddD y que si l ventn es demsido peque reionr rpido los miosD pero l vez jr l preisin porque est entrenndo on poosdtosF in mioD si l ventn es muy grndeD el lsi(dor ser ms estlepero trdr ms en detetr los mios uunHVFytro enfoque onsiste en justr el tmo de l ventn de prendizje undose detete un mio de onepto pr trtr de enontrr un equilirio entrepreisin y )exiiliddF istos mtodos funionn mejor undo hy miosrusosFn enfoque lterntivo onsiste en ponderr ls muestrs on un peso que irdisminuyendo lo lrgo del tiempo pr vrir l in)ueni de ls mismsdurnte el proesoF iste enfoque se denomin fading factor @ftor de olvidoAF W 10. r nuestros mtodos vmos usr ventns de tmo (jo y que nos filitnl interpretilidd de los resultdosF3.3. Taxonoma de mtodos de aprendizajee ontinuin presentmos un posile lsi(in de mtodos de prendizjede seuenis de dtos evolutivsD propuest en liIHFIF Algoritmos de aprendizaje con disparadores (Learner with triggers)X dependen de un sel que indi que es neesrio tulizr el modeloFa A Deteccin de cambio (Change detectors) X son los ms freuentes enl iliogrfF istos mtodos funionn mejor en entornos on mEios rusos en los que se suele reonstruir el modelo por ompletoen vez de tulizrloF vo ms omn es monitorizr los dtosD losprmetros del lsi(dor o l slid del lgoritmo de prendizjeFHVD qwgHRD fqdgep+ HTin el supuesto de que ls seuenis de dtos sen esttis @sinmiosAD ls tnis de detein de mios tmin pueden serutilizds pr detetr diferenis signi(tivs respeto l modeloque se est entrenndo y se trtr de ompletr el nterior prllegr un modelo mejor justdoFb A Ventana de entrenamiento (Training windows) X estos mtodos sesn en heurstis pr justr el tmo de l ventn de entreEnmientoF uWTD rhHID fwHVc A Muestreo adaptativo (Adaptive sampling) X sndose en l relEin entre l instni de prue y unos prototipos prede(nidos oien el histrio de instnis entrendsD se seleion un onjuntode entrenmiento deudoF HVD ruHVPF Algoritmos de aprendizaje evolutivos (Evolving learners)X estos mE todos tulizn el modelo de form grdul y no requieren de un detetor de mios de oneptoFa A Conjuntos adaptativos (Adaptive ensembles) X son los ms populEresD y simente ominn l slid de distintos lsi(dores delonjunto pr dr un deisin (nlF uwHUD tHQD xuHIb A Ponderacin de instancias (Instance weighting) X estos lgoritmosno ominn regls de deisinD sino que l dptilidd se onsiguemodi(ndo el onjunto de entrenmientoF tiliz ides de boostingDdndo ms importni quells instnis ml lsi(dsF uoyHHDHVD gHRc A Espacio de caractersticas (Feature space) X estos mtodosD prEximos l selein de rterstisD onsiguen l dptiliddseleionndo de form dinmi ls rterstis empleds prl lsi(inF porHTD qgHTD eerHVd A Dependientes del modelo (Base model specic) X estos mtodos sedptn modi(ndo los prmetros del modelo que estn usndoFxnpwHUD ureWWD vWW IH 11. 3.4. Evaluacin del proceso de aprendizajeegn vrios utores qHWD hy tres spetos importntes tener en uent l hor de evlur lgoritmos de prendizje de seuenis de dtosX Espacio oupdo en memori lo lrgo del proeso de prendizjeF Tiempo de proesmiento de un muestr @esto puede limitr l freuenE i de reepin de los dtosAF oder de generalizacinX efetividd del modelo l representr el onE epto suyente de los dtosFxosotros nos vmos oupr nimente de evlur y omprr lgoritmospor el ltimo riterioD segn su efetividd durnte l lsi(inF in emrgounque no trtmos de minimizr onsumo de memoriD ni tiempo de proeEsmientoD s se respetn los requerimientos de prendizje onlineD de un solpsd sore los dtos y que ls muestrs no se umuln tods en memoriFxuestro propsito por tnto esD evlur lgoritmos propios y jenos por l efeEtividd del modelo prendidoD pr poder estleer ompriones y rnkingsde los mismos y extrer onlusiones sore los modelos prendidosFvos mtodos de evluin de lgoritmos de prendizje en thD prendensore un onjunto de entrenmiento @training A y utilizn un onjunto de testindependiente sore los que estimr l proilidd de error holdoutF in el sode no disponerse de mosD se estim l proilidd de error del modelo oteEnido prtir del onjunto de trining medinte tnis de vlidin ruzdy sus vrintes @leaving-one-out A o bootstrapF in emrgoD en el ontexto de seEuenis donde los dtos son potenilmente in(nitosD l vlidin ruzd y lsestrtegis de muestreo no son plilesF edemsD el heho de que los oneptosde ls seuenis de dtos puedn mir en el tiempo tiene impliiones enls tnis de evluinFe neesitn por tnto nuevs estrtegis de evluinF il prinipl prolemonsiste en monitorizr l evoluin del proeso de prendizjeF xos enontrmoson dos lterntivsXIF HoldoutX omo en su homlogo en thD se trt de un onjunto de test que se pli l modeloD pero en este so extrdo intervlos regulresD pr estimr ls tss de errorD lo que es deudo pr seuenis dinE misF ry que (jr freueni y nhur del onjunto de test sore l seueniF e trt de un estimdor no sesgdoD pues l moverse lo lrgo de l seueni no d lugr sorejusteFPF PrequentialX tmin onoido omo test-then-train fuHWF il trmino prequentil proviene de reditive equentil hwVRF il error del modelon se estim sore l seueni de dtosX S = i=1 L(yi , yi ) donde L es l funin de prdid trs her prediho l lse de form orret o inorretF e onoe que este estimdor es pesimistD es deirD en ls misms ondiionesD l estrtegi holdout v dr mejores vloresF il error estimdo on prequentil v estr in)uenido por los errores que se hyn podido ometer l prinipio de l seueni de dtosF or elloD se hn usdo menismos de olvido tles omoX II 12. a A Ventanas temporales (time window): en lugr de mntener un lulo de ls tss de xito umuldo desde el iniio de l seueniD se reliz est estimin pril sore un ventn de tmo k D (jo @ (jr prioriAD que se v desplzndoF iste menismo onverge ms rpidmente l mtodo holdoutF b A Factores de olvido (fading factor): se introdue un ftor de olvido pr que l in)ueni de d error en l estimin vy deyendo onforme ument l distniF he est mnerD podemos lulr el L +S error prequentil omo Ei = Bi = nii+Bi1 donde S1 = L1 y ni S ii1 es el nmero de ejemplos usdos pr lulr Li F in el so de que = 1 impli que no hy olvidoF iste menismo tiene l ventj de que requiere po memoriD y que solo requiere lmenr el vlor nterior y el tulD frente l uso de ventns donde se tienen que lmenr k vlores de prdidFemos menismos estn muy reliondosD y por ende sus prmetrosFesD pr vlores jos de k y de D ls estimiones hehs son ms orto plzo y omo onseueni ls osiliones de ls estimiones sonmyoresF or otro ldoD pr vlores ltos de k @myor ventnA y de @ernos IAD vn intervenir ms dtos en ls estimiones de loserroresFin nuestr experimentin hemos usdo l estimin prequentil y que es lms extendidD deido que no se exluye ningn dto en el entrenmientoD yse evl puntulmente on d muestr de l seueniD por lo que se otienede un estimdor no sesgdoFe l hor de omprr el rendimiento que presentn dos lgoritmos @e y fAfrente l mism seueni de dtos podemos usr el estdstio Qi (A, B) = 1S Alog 1Si D donde Si y Si son los vlores de l funin de prdid umuEB A Bildos de d lgoritmoF il vlor de Qi es til pr ompror ls diferenisentre mos lgoritmosD de mner que si el lgoritmo e present un mejoromportmiento que el fD vmos otener vlores positivosD mientrs que enso ontrrio otendremos vlores negtivosD y si son igules ser eroFil prolem de ests medids es que evoluionn lo lrgo del tiempo y esposile que visulmente no podmos reonoer qu mtodo es mejor que otroy que uno se puede omportr mejor en un prte de l seueniD mientrsque otro lo hg en otr osinF or elloD pr dr un vlor (nl en nuestrexperimentin hemos usdo omo medid el re jo l urv @egA delos vlores otenidos on l estrtegi prequentil desde el iniio de l seuenihst que (nlizF he est mnerD si tenemos dos lgoritmos @e y fAD de(nimosNAU CA = i=0 ni (1 Ei ) donde ni es el nmero de ejemplos usdos prAlulr Ei y N el nmero de vlores de Ei disponiles @dem pr fAF hiremos AAque e es mejor que f si AU CAAU CB Fytro speto interesnte evlur en el so de que trjemos on seuenissinttis on mios de oneptos onoidos es el nmero de drifts orretEmente detetdosD los flsos positivosD los flsos negtivosD s omo l distnitrnsurrid desde que se produe un mio hst que se detetF il lulo deest distni v ser diferente dependiendo del tipo de mio que presente lIP 13. seueniD y que hy que tener en uent que los mios grdules se produen lo lrgo de un ventn donde se entremezln muestrs de mos oneptosFv distni se lul entre el punto de drift rel y el drift detetdo mserno lF in so de her ms de un drift detetdoD se lul l distnidel primero y el resto se onsidern flsos positivosF i el mio es grdulDel punto de mio rel onsidermos que orresponde on l ot inferior delintervlo de mioF e puede ver un ejemplo en l pigur RFCambios Abruptos Cambios Graduales0 1020 30 40 500 10 2030 40 50 Instancias Instanciaspigur RX in l gr( de l izquierd semos que hy P mios ruptos enPH y RH @lnes rojs ontnusAF il mtodo plido h detetdo Q drifts enPSD QH y RP @lnes zules disontnusAF hiremos que h detetdo dos driftsorretmente @en los puntos PS y RPA y un flso positivo @QHAF v distni lprimer drift ser de 25 20 = 5 y l segundo de 42 40 = 2F or otro ldoD enl gr( de l dereh hy P mios grdules que tienen lugr en ISD PS yQSD RSF in este so diremos que h detetdo dos drifts orretmente @IS yRPA y dos flsos positivos @PI y QHAF v distni l primer drift ser 15 15 = 0y l segundo 42 35 = 7FIQ 14. 4. Aplicacionese ontinuin presentmos distints res de pliin pr el prendizjeo l lsi(in de seuenis de dtos on mios de oneptoF odos ellostienen en omn l )ueni onstnte de nuevos dtos y un posile evoluinde los oneptos en el tiempoF Monitorizacin y controlX en ls pliiones de monitorizin y onE trol se trjn on ntiddes de dtos muy grndes que neesitn proeE srse en tiempo relF e pueden diferenir dos tipos de tresX prevenin y protein frente tquesD o monitorizin on propsitos de gestinF eguridd informtiX detein de intrusosF vfWW etor (nnieroX prevenin de frudesF honHR rnsporteX gestin del tr(oF wthHW osiionmientoX rstreo intertivoF vpuHU sndustriX monitorizin de proesos de produinF yq+ HV Informacin y asistencia personalizadaX ests pliiones orgnizn o personlizn un )ujo de informinF esisteni personlX (ltrdo de informinF qgwHU er(les de lientesX segmentin de lientesF vrgHV snforminX orgnizin de doumentosF fvHT Toma de decisionesX ests pliiones no neesitn que ls deisiones sen en tiempo relD pero s que su respuest se preis y que los ostes de ometer un error pueden ser muy ltosF etor (nnieroX prediin de morosiddF HU fiomediinX efetos de medimentos en pientesF gHV Inteligencia articial y robticaX el mio de onepto en ests pliE iones se suele deer mios en el entornoF istems mviles y rotiosX diseo de roots pes de dptrsel entornoF wqHW istems inteligentesX soluiones pr domtiF gHW elidd virtulX diseo de videojuegos y simuldoresF gww+ HSIR 15. 5. Revisin de mtodos de aprendizaje con dis- paradoresn vez expuesto el ontexto en el que se desrroll el trjoD vmos relizrun estudio detlldo sore el prolem onreto del prendizje on disprEdoresD en espeil los dos primeros prtdos que nomrmos en l txonomXutilizndo deteccin de cambio y ventanas de entrenamientoFhlimmer y qrnger presentron en IWVT el prolem del prendizje inremenEtl sore dtos on ruido y puliron el lgoritmo eqqi qVTF hesdeque introdujeron el trmino onept driftD h hido tres pios de inters enl investiginX en IWWV on un ediin espeil de l revist Machine Lear-ning huWVD en PHHR on un espeil en l revist Intelligent Data AnalysisuHU y el terero omenz en PHHU omo resultdo de l ontinu produinde seuenis de dtos en l industri y que omo se h detlldo nteriormenteprosigue n en l tuliddF5.1. Algoritmos con deteccin de cambioin el so de seuenis dinmis de dtosD el propsito de estos lgoritmos esdetetr un mio de onepto en los dtos que vn llegndo y visr l lgoritEmo de prendizje que indue el modelo de que dee tulizr o reonstruir sumodelo pr justrse mejor los nuevos dtosF or otro ldo si se trjn onseuenis esttis de dtosD el ojetivo de estos lgoritmos es tivr el proesode prendizje pr justrse mejor l porte de dtos diionlesF vo hitules que los lgoritmos de detein de mios ten priori sore los dtosDesto esD (ltren l seueni de dtos y tiven los proesos de prendizje @muEhos ms pesdos omputionlmenteA on l llegd de nuevos oneptosF nlgoritmo de detein de mios puede fetr l rendimiento del lsi(dorFv form de proeder de un detetor de mios es relizr un test estdstiEo que ompruee si el error del lsi(dor o l distribucin de l lse semntienen onstntes en el tiempoFvos primeros tests propuestos pr trtr on seuenis numris fueron gEw @Cumulated Sum A gSR y qwe @Geometric Moving Average A oSWFil primero de ellos lnz un sel de lrm si l medi de los dtos de enEtrd es signi(tivmente distint de eroD mientrs que qwe omprue sil medi ponderd de los ejemplos de un ventn es myor que un determiEndo umrlF r seuenis on estruturs ms omplejs se hn propuestotests omo el de Kolmogorov-SmirnovF e ontinuin veremos lgunos de losmtodos de detein de mio ms reientes que pueden plirse ulquierlgoritmo de miner sore seuenis de dtosF5.1.1. DDM (Drift Detection Method)qm et lF qwgHR presentn el mtodo de detein de mio @hhwAque monitoriz l ts de error usndo un Shewhart P-ChartD un herrmientIS 16. estdsti de ontrol de liddD uyos prinipios se sn en l distriuininomilFe die que un vrile X sigue un distriuin inomil si umple ls siEguientes ondiionesXIF gd oservin es l relizin de un vrile letori de fernoulli on dos posiiliddes @xito o flloA y un prmetro p @proilidd de flloAFPF vs diferentes oserviones son independientes entre sFQF il nmero de oserviones n es (joFhe est mner podemos otener l medi y l desviin tpi de l distriuE p(1p)in omo = p y = n Fi n 30D l distriuin se puede semejr un xorml y plir los lmitesde ontrol del EghrtXCL @genter vineAX UWL @pper rning vimitAX + D on 03UCL @pper gontrol vimitAX + 3 @proximdmenteD el WWFU 7 de lsoserviones deern estr en este umrlAistos lmitesD sirven pr de(nir unos niveles de ontrolD omo puede oservrseen l pigur SF v lne entrl gv represent l medi de l ulidd que seest midiendoF i en lgn momento se soreps el lmite v se estlee unnivel de viso @warning AD indindo de est mner que es posile que se vy produir un mio de oneptoF i sigue l tendeni y soreps el lmitegvD se estlee el nivel de mio de(nitivo @drift AF vs instnis reiidsen el intervlo que trnsurre desde que se tiv el nivel de viso y hst el quese tiv nivel de drift se lmenn en un memori orto plzoD y se usrnpr reonstruir o tulizr el modelo undo se neesrioF i se h disprdoel nivel de viso y el vlor ontroldo vuelve desenderD situndose lrededorde l lne entrl gv @l mediAD se die que se h produido un fls lrmy se reinii l memori orto plzoFr justr dinmimente estos vlores undo l medi no es un onstnteDomo en un entorno prequentialD se estleen pmin y smin omo l medi y desEviin tpi menores hst el momentoF gd vez que lleg un nuevo ejemploDse tulizrn estos vlores si pi + sipmin + smin F in est situinD el nivelde viso @warning A se lnzr undo pi + si pmin + 2 smin D mientrs queel nivel de mio de(nitivo @drift A se dr en pi + si pmin + 3 smin F in lpigur T podemos ver un ejemplo gr(o del juste de estos lmitesFIT 17. 11.0UCLUWL Quality characteristic10.0CL LWLLCL 9.0 3 69 1215 Samplepigur SX vmites de ontrol de Shewhart P-ChartF vos puntos de l gr( estntodos en los lmites de lo esperdoD slvo el punto II que super el lmite vde visoD pero se trt de un fls lrmFpigur TX Eghrt on juste dinmioF v ulidd que se mide qu es l tsde errorD por lo que niveles por dejo de l medi signi( que el lsi(dores orreto @no hy mios de oneptoAD de mner que no es neesrio tenerlmites de ontrol inferiores omo hemos visto nteriormente en l pigur SFgsHViste mtodo se puede usr on ulquier lsi(dorD y los mismos utores loinorporron l AdPreqFr4SL @dptin dinmi de k-Dependence BayesianClassiers A gqHTF vos niveles de mio dn lugr distintos grdos de jusEte del modeloX un viso impli l tulizin prmtri o de estruturD IU 18. mientrs que un drift supone un mio en el modelo on un umento en lomplejidd del modeloF5.1.2. EDDM (Early Drift Detection Method)v propuest de fenEqr et lF fqdgep+ HT es similr l mtodo hhwDpero en vez de ontrolr l ts de errorD monitoriz l distancia entre erroresde clasicacin @nmero de instnis orretmente lsi(ds de formonseutivAFe denot pi adistni medi entre dos errores y si adesviin tpiFe de(nen pmax y smax omo vlores mximos y se tulizn undo pi +2si pmax + 2 smax d vez que llegn nuevos dtosFil mtodo omienz funionr despus de que se hyn produido QH erroresde lsi(inF iste es el mnimo nmero de vlores neesrios pr estimrl distriuin de ls distnis entre errores y poder her omprionesF heest form pmax + 2 smax represent el WS 7 de l distriuinFsndo estos vloresD se justn dos umrles de ontrolXAviso @warning AX (pi + 2 si )/(pmax + 2 smax ) donde = 0,95F vsinstnis se vn lmenndo pr ser onsiderds por el lgoritmo deprendizje en el so de drse por de(nitivo el mio de oneptoFCambio denitivo @drift AX (pi + 2 si )/(pmax + 2 smax ) donde = 0,90F e reprende un nuevo modelo usndo ls instnis que se hnido lmenndo durnte el nivel de viso previoF min se reiniin losvlores de pmax y smax Fi psdo el nivel de viso se vuelve l normlidd @esto esD l funin sorel distni entre errores regres niveles inferiores l lmite de visoAD se eliEminn l seueni de instnis lmend hst el momento y se ontinejeutndo el mtodoFvos vlores de y se (jn d ho trs relizr diferentes experimentosF5.1.3. Mtodo de Kiferil mtodo de uifer et lF ufdqHR no solo trt de detetr el mio deoneptoD si no tmin de unti(rloD de mner que se pued desriir lnturlez del mismoF r elloD utilizn un medid de distni entre dosdistriuiones de dtos P1 y P2 D de ls que l menos se dispondr de n puntosde d un pr poder relizr un detein de mioFe present un nuevo mtodo @ver elgoritmo IAD que estim l distriuin deproilidd de dos ventns W1 e W2 sore l seueni de dtosD donde W1es un ventn de tmo m1 n (jd en el instnte c0 D mientrs que W2 esun ventn de tmo m2 n que se desplzr lo lrgo de l seueniDomenzndo en c0 + m1 D de mner que no se solpen ls muestrs entre msventnsF gundo l distni entre l distriuin de dtos de W1 y l de W2IV 19. es myor que un ierto umrl D se estle c0 l instnte tulD se reiniilizn ls ventns y se noti( que se h produido un mio de onepto en el instnte c0 F v elein del prmetro de(nir el equilirio entre sensiilidd y roustez de l deteinD por lo que vlores pequeos sern pes de detetr mios ruptosD pero se tendr ms riesgo de detetr flsos miosF v funin de distni dee ser deud pr unti(r el grdo de mio y de un form intuitivF in el rtulo ufdqHR se pueden onsultr ls nuevs propuests de medids de distni entre dos distriuiones de dtosF Algorithm 1 wetElgortimo de uifer pr detetr mios de oneptoF il uso de l vrile i permite ejeutr hst k lgoritmos on diferentes prmeE tros de form prlelF I f o r i = 1...k do P c0 0 Q W indow1,i f i r s t m1,i p o i n t s from time c0 R W indow2,i next m2,i p o i n t s i n strem S end f o r T w h i l e not t end o f strem do U f o r i = 1...k do V l i d e W indow2,i y I p o i n t W i f distance(W indow1,i , W indow2,i )i thenIHc0 u r r e n t timeII eport hnge t time c0IP g l e r l l windows nd qyy s t e p IIQ end i fIR end f o rIS end w h i l e 5.1.4. ADWIN (Adaptive Windowing) eF fifet y F qvld fqHUD que tmin hn prtiipdo en el desrrollo de ihhwD presentn el mtodo ehsxD que us un ventn desliznte W pr monitorizr l ts de error del modelo y poder detetr miosF e difereni del mtodo de uiferD explido nteriormenteD est ventn solo ontiene vlores inrios @ierto o fllo en l prediin de d instniA y dems se modi( su tmo de form dinmiF wientrs no hy ningn mio de onepto en l distriuin de los dtosD l ventn ree hst el momento en que se detete un mioD que disminuyeF v ide de l detein onsiste enX undo dos suventns su(ientemente grndes de W tienen medis su(ientemente distintsD se puede onluir que los vlores esperdos de d suventn sen diferentesF vos vlores su(ienE temente se preisrn undo se esoj el test estdstio y depender del nivel de on(nz (0, 1)F il test estdstio utilizdo pr omprr ls distriuiones de ls suventns W0 y W1 D omprue si l difereni de ls medis de ms suventns es myor un determindo umrl cut @ver elgoritmo PAF IW 20. Algorithm 2 elgoritmo ehsxI s n i t i l i z e indow WP f o r eh t0Q do W W xt @ i F e F D dd xt t o t h e hed o f AR r e p e t hrop e l e m e n t s from t h e t i l o f WS u n t i l |W0 W1 |cut h o l d sTf o r e v e r y s p l i t o f W i n t o W = W0 W 1U output W il vlor de cutpr un prtiin W0 W1 de W se lul de l siguienteformX en n0 y n1 ls longitudes de W0 y W1 respetivmenteF v longitud de W es n = n0 + n1 F en W0 y W1 ls medis de los vlores en W0 y W1 respetivmenteF W0 y W1 sus vlores esperdosF r grntizr el rendimiento del mtodo de(nimosX m= 11/n0 +1/n1 @medi rmni de n0 y n1 A = n@pr evitr prolems on mltiples hiptesisA il umrl se lur omocut = 1 2m ln F 4e puede ver un ejemplo del funionmiento de este mtodo en el gudro PF it se mntiene onstnte en W D l proilidd de que se reduz l ventn enel instnte t es omo muho de D on lo que se limitan los falsos positivosFuponiendo que pr lgun prtiin de W en W0 y W1 D tenemos que |W0 W1 |2 cut F intonesD l ventn W se reduir l tmo de W1 D o menorDon proilidd 1 D por lo que se limitan as los falsos negativosFPH 21. W0 W1 W0 W1 |W0 W1 | mcut|W0 W1 | cut [1] [01010110111111] 1/1 10/140.28570.9333 0.8617No[10][1010110111111] 1/2 10/130.26921.7333 0.6323No [101] [010110111111] 2/3 9/12 0.08332.40.5374No[1010][10110111111]2/4 9/110.31812.9333 0.4861No [10101] [0110111111]3/5 8/100.2 3.3333 0.4560No[101010][110111111]3/6 8/9 0.38883.60.4387No [1010101] [10111111]4/7 7/8 0.30353.7333 0.4308No[10101011][0111111]5/8 6/7 0.23213.7333 0.4308No [101010110] [111111]5/9 6/6 0.44443.60.4387S[1010101101][11111]6/10 5/50.4 3.3333 0.4560No [10101011011] [1111]7/11 4/40.36362.9333 0.4861No[101010110111][111]8/12 3/30.33332.40.5374No [1010101101111] [11]9/13 2/20.30761.7333 0.6323No[10101011011111][1] 10/14 1/10.28570.9333 0.8617Nogudro PX ijemplo del funionmiento de ehsxF entn tulX W =[101010110111111]F = 1F el herse detetdo un mioD l ventn disEminuir su tmo pr el prximo instnte de tiempoFil prolem de este mtodo es que es omputionlmente ostoso porque tieneque ompror tods los posiles pres de suventns de W F r mejorrloDlos utores presentron un nuev versin llmd ehsxP ms e(iente entiempo y memoriFADWIN2 (Adaptive Windowing 2)r reduir el oste omputionl de ehsxD en vez de mntener un ventnW en memoriD tiene un estrutur de dtos ompuest por uos @buckets Aque lmenn vlores inriosF gd uo dee ontener un poteni de P deI9sF e (j un prmetro M omo el mximo nmero de uos on el mismotmoD pr ontrolr s l ntidd de memoriF e puede ver un ejemplo enel gudro QF PI 22. uponemos un ventn de tmo W = 14 on vlores inrios @ierto y fllode lsi(inA y est ser su estrutur en form de uosXguosXIHIHIHI IHI II I IgontenidoX R P P I IgpiddX U Q P I Ivleg un nuevo elementoXguosXIHIHIHI IHI II I I IgontenidoX R P P I I IgpiddX U Q P I I Ieniendo en uent que M = 2D es neesrio omprimir dos de los tres ltimosuosD y que tienen el mismo ontenidoFguosXIHIHIHI IHI II II IgontenidoX R P PP IgpiddX U Q PP Ihespus de omprimir dos uosD nos enontrmos de nuevo on que tenemostres uos on el mismo ontenidoD por lo que volvemos omprimirF he estform se estrn formndo ls suventnsFguosXIHIHIHI IHIII II IgontenidoX RRP IgpiddX USP Ii se detet un mioD se elimin el uo ms ntiguoXguosXIHIII II IgontenidoXRP IgpiddXSP I gudro QX ijemplo de funionmiento de ehsxPv e(ieni hor es de O(M log(W/M )) plrs de memoriD y el tiempo deproesmiento por d ejemplo es O(log W ) en el peor so y O(1) en el mejorFytiene l ntidd de I9s de tods los uos en O(1)F gon ello el nmero desuventns evlur disminuye y se plin los tests ms rpidmente lsseuenis en los uosF5.2. Algoritmos con ventana de entrenamientoil uso de ventns permite limitr el nmero de instnis que se prendensimultnementeD demsD sirven pr eliminr quellos dtos que son de onEeptos ntiguosF il proedimiento sio de ventn desliznte que se us enminer de seuenis de dtos se puede ver en el elgoritmo QF gd nuevinstni se de l ventnD y undo el lsi(dor se tuliz utilizls instnis de dih ventn pr el prendizjeF il speto lve de estoslgoritmos reside en mo se de(ne este tipo de ventnsFil enfoque ms simple es usr un ventn de tmo (jo e inluir solo losejemplos ms reientes de l seueni de dtos y desehr por l prte msntiguF ehor ienD se present un ompromiso l hor de esoger el tmode l mismF i l ventn es de pequeo tmoD el lsi(dor ser pzde justrse rpidmente los miosD pero perder preisin en periodos deestiliddF il proeso de prendizje se s en poos dtos y por tntoD estr PP 23. sujeto ms osilionesF in mioD si se esoge un tmo grnde ourrir loontrrioD el proeso de prendizje es ms inmune mios menores o ruidoDpero por el ontrrio tiene ms ineriD por tnto ser ms lento l hor dedptrse los miosF or est rznD se propusieron distintos mtodos dejuste dinmio de l nhur de l ventnFAlgorithm 3 elgoritmo sio on ventnI intrd X S X s e u e n i de d t o sPW X ventn de e j e m p l o sQ l i d X C X l s i f i d o r o n s t r u i d o on l o s d t o s de WRS i n i i l i z r ventn W YT pr t o d o s l o s e j e m p l o s xi en S XUW W xi YV e l i m i n r e j e m p l o s n t i g u o s de W s i e s n e e s r i o YW r e o n s t r u i r o t u l i z r C usndo W Y5.2.1. Mtodo de Klinkenbergil mtodo de ulinkenerg et lF uWV est orientdo l lsi(in de douEmentos por lotes @batch A en entornos mintes @onsider mios grdules yruptosAD y fue uno de los primeros en monitorizr diversos indidoresD onreEtmente l preisin @accuracy AD l espei(idd @precision A y l exhustividd@recall AFr justr l ventn de entrenmiento en primer lugr se lul l medi yl desviin tpi pr d uno de los indidores @e a euryD e aell y re a reisionA en se los M ltimos lotesD y ontinuin seutiliz l siguiente heurstiXi lguno de los indidores exede de su medi vees su desviintpiD se die que se h slido de su intervlo de on(nz y h ourridoun mioFr onoer l nturlez del mio @ruso o grdulAD se ompruesi el indidor en el instnte t h experimentdo un d del vlor delmismo en el instnte t 1 i el mio es rusoD se redue l ventn de entrenmiento lmnimo @B a I thAF i el mio es grdulD se redue l ventn en se un prmetro de(nido prioriFin el elgoritmo R se detll en pseudodigo l heursti empledF i hourrido un mio rusoD es deirD se veri( l primer ondiin @lnes P RA y se redue l ventn l mnimo @I thAF in otro soD si el miodetetdo es grdul @se umple l segund ondiinD que r ls lnes T PQ 24. VA l ventn se redue l tmo 100 %F he no detetrse ningn mioD el tmo de l ventn ree un lote msF Algorithm 4 reursti de ulinkenerg pr justr el tmo de l ventn de entrenmientoF I ro edure heterminexewindowize @ |Wt | D M D D D A P i f ((AcctAvgM (Acc) StdErrM (Acc)) and (Acct Acct1 )) or Q ((RectAvgM (Rec) StdErrM (Rec)) and (Rect Rect1 )) or R ((P rectAvgM (P rec) StdErrM (P rec)) and (P rect P rect1 )) Sthen |Wt+1 | := |B| Y T else i f (AcctAvgM (Acc) StdErrM (Acc) or U(RectAvgM (Rec) StdErrM (Rec) or V(P rectAvgM (P rec) StdErrM (P rec) Wthen |Wt+1 | := max(|B|, |Wt | |Wt |) YIH else |Wt+1 | := |Wt | + |B| YII return |Wt+1 | Y 5.2.2. FISH (uniFied Instance Selection algoritHm) sF lioit propuso un nuev fmili de lgoritmos llmd psr liIHD que us similriddes de tiempo y espio entre instnis pr justr dinmiE mente l ventn de entrenmientoF r explirlo podemos srnos en el siguiente ejemplo ilustrtivo de l pigur UF e trt de un prolem de lsiE (in inri @puntos lnos y negrosA en el que ls fuentes de generin de dtos vrn lo lrgo del tiempo de form grdul on l rotin de un hiperplnoF r un ierto re @irunfereni rojAD vemos que l lse orreE t en d instnte es diferenteF iste ejemplo muestr que l similridd en un dominio del prolem dinmio depende del tiempo y del espioF pigur UX ijemplo de rotin de hiperplnoF szquierdX fuente iniil IF gentroX fuente P trs rotr RSF herehX fuente Q trs rotr WHF v utor propuso seleionr los ejemplos de l ventn de entrenmiento E sndose en un medid de distni Dij que se de(ne de est formXPR 25. (s)(t)Dij = a1 dij + a2 dijdonde d(s) es l distni en el espioD d(t) l distni en el tiempo y a1 , a2son los oe(ientes de ponderinF r dos ejemplos xi , xj D l utor proponel distni eulde omo distni en el espio y el nmero de ejemplos quelos seprn omo distni en el tiempoF weree l pen destr que si a2 = 0Dl medid se onvierte en un selein de instnisD mientrs que si a1 =0D tenemos un ventn uyos pesos disminuyen on el tiempoF e esogernquells instnis on myor vlor de distni pr omponer l ventn deentrmientoFv fmili de lgoritmos est ompuest porX psrIX el tmo de l ventn de entrenmiento se (j prioriF psrPX el tmo de l ventn de entrenmiento se just de form dinmiD pero los pesos a1 , a2 se (jn prioriF psrQX idntio psrPD slvo que los prmetros a1 , a2 se reluln dinmimente lo lrgo del tiempoF PS 26. 6. Aportacionesin primer lugr vmos de(nir el mro de nuestro trjoF gomo hemosomentdo nteriormenteD estmos en un entorno inrementl @ver pigur VAF ind instnte t tenemos un seueni de dtos etiquetdos X H = (X1 , ..., Xt )Don l que se onstruye un lsi(dor Lt F gundo lleg un nuev instniXt+1 hy que predeir su lse yt+1 Fmos trjr on seuenis de dtos que inluyen mios de oneptoFgd instni Xt es generd por un origen St F wientrs este origen se mntenEg onstnte diremos que el onepto no h midoD pero undo St = St+1 Dnuestro propsito es detetr diho mio en el instnte ms prximo l puntoen que se produjo en l seueniF pigur VX vs instnis de dtos se proesn de form inrementl liIHFr nuestrs diferentes propuestsD nos hemos sdo en l heursti del mtoEdo hhw de qm en el que se utiliz l herrmient Shewhart P-Chart plidsore distints uliddesF in primer lugr se estlee un nivel de viso @war-ning A que undo se tive v empezr lmenr instnis en un memori orto plzoD s omo un nivel de mio @drift AD que forzr que se reprendel lsi(dor on los ejemplos lmendos en dih memoriF he est mnerse onsigue que nte un mio de oneptoD el lsi(dor olvide informinntiud y prend on instnis que perteneen l nuevo oneptoFe ontinuin vmos presentr diferentes lterntivs que hemos plntedosiguiendo estos supuestos de trjo y de ls que se llevron o su impleEmentin y experimentinF6.1. MoreErrorsMovingr nuestr primer propuestD que hemos denomindo woreirrorswovingDse trt de monitorizr los errores de lsi(inF r ello ontmos on unhistrio Hi = {ein , . . . , ei } on los n ltimos resultdos de lsi(in en elinstnte ti @ei = 0 en so de iertoD ei = 1 en so de flloAF mos estleerel siguiente supuestoX si se produe un mio de oneptoD el lsi(dor v ver deteriordo su rendimiento y que no ser pz de lsi(r orretmentelos nuevos dtosF v tre de detein que proponemos es ontrolr el nmero PT 27. de errores de lsi(in que se vn produiendo lo lrgo del tiempoD hiendouso del histrio Hi Fneje ci = j=0 |ej Hi l ts de error del histrio en el instnte de tiemponti F in d instnte de tiempoD se omprue si ci1ci @se h inrementdoel nmero de errores en el histrioA y en este so se die que h ourridoun empeormiento e inrementmos el ontdor de empeormientosF in soontrrioD si ci1ci D quiere deir que se h reduido el nmero de errores en elhistrioD por lo que se onsiderr un mejor y se reiniiliz H el ontdorde empeormientos onseutivosF in el so de que se mnteng el vlor de cDes deirD si ci1 = ci D el ontdor de empeormientos se mntiene on el vlornterior que tuvieseF odemos ver un representin gr( de los vlores quetom ci lo lrgo del tiempo en l pigur WF pigur WX epresentin de l ts de error del histrio @naWAFetumos segn l siguiente heurstiXi se produen k empeormientos onseutivosD tivremos el nivel de viEso @warning A y omenzremos lmenr ls instnis en un memori orto plzoF @U W L = k Ai se produen k + d empeormientos onseutivosD tivremos el nivel demio @drift AF e ontinuinD se reiniiliz el histrio y los diferentesontdores @de erroresD instnis y empeormientosAD s omo l memori orto plzoF @U CL = k + dAin el momento en el que ourr un mejorD se estlee el nivel de norEmliddF e reiniiliz el ontdor de empeormientos y l memori orto plzoF @CL = 0An ejemplo ilustrtivo se puede ver en l pigur IH donde k = 2 y d = 2FPU 28. 10memoria a driftcorto plazo detectadowarningactivadoEmpeoramientosUCL=k+d5 UWL=k0 CL=0 10 20 30 4050 Instanciaspigur IHX Eghrt pr woreirrorswovingF in l instni QVD se h detetdoun mio de onepto porque se h superdo el umrl gvF in ls instnEis PH y SHD l produirse un mejor del rendimiento se vuelve l nivel denormlidd y se reiniiliz el ontdor de empeormientosFr l ejeuin de este mtodo hy que de(nir los vlores de los prmetrosnD k y d prioriF6.2. MaxMovingn nuev propuestD denomind wxwovingD trt de monitorizr ls tss dexito del lsi(dorF ist sd en l siguiente suposiinX mientrs el origendel onepto se mnteng onstnteD el lsi(dor v mejorr su preisin lo lrgo del tiempo @mientrs sig reiiendo instnisAD pero en el momento enque se produz un mio @drift AD ls tss de xito empezrn empeorr yque el modelo tul no predeir orretmente l lse de ls nuevs instnisFfsndonos en estoD mntenemos un histrio Hi = {ain , . . . , ai } on ls nltims tss de xito umulds desde el ltimo mioF e ai = 1 Nii lets de xito umuld hst el instnte ti D donde ei y Ni son el nmero deerrores de lsi(in y el nmero de instnis proesds hst el instnteti D respetivmenteF e mi = mx{aj |aj Hi } l mejor ts de xito del histE ario en el instnte ti F wientrs se estn lsi(ndo instnisD ompromos simi1mi D y si es sD onsidermos que se est mejorndo l ts de xito uEmuldF in so ontrrioD en el que el nuevo mximo es menor que el nteriorDdiremos que h empeordo e inrementmos un ontdor de empeormientosFi mi1 = mi D es deirD el mximo en el histrio nterior y el tul no hmioD mntenemos el vlor que y tuviese el ontdor de empeormientosFil uso del mximo sore el histrio Hi de tmo nD nos permite mortigurls peques osiliones del tipo ai1aiai+1 D so en el que l ts dexito omienz desenderD pero luego remont rpidmenteF e puede ver unrepresentin gr( de los distintos vlores que tom mi lo lrgo del tiempoen l pigur IIF PV 29. Mximo del histrico de tasas de xito1.00.80.6Max. Accuracy0.40.20.00 10000 20000 3000040000 50000Instancespigur IIX epresentin de ls mejores tss de xito umulds en el hisEtrio lo lrgo del tiempoF vs ds del rendimiento se deen mios deoneptoFv ulidd que vmos ontrolr en el Eghrt es el nmero de empeormienEtosD de mner que podmos detetr undo el modelo y no es deundopr los dtos que se estn reiiendo y es neesrio reprenderF gonsidermosl siguiente heurstiX i se produen k empeormientos onseutivosD tivremos el nivel de viE so @warning A y omenzremos lmenr ls instnis en un memori orto plzoF @U W L = k A i se produen k + d empeormientos onseutivosD tivremos el nivel de mio @drift AF e ontinuinD se reiniiliz el histrio y los diferentes ontdores @de erroresD instnis y empeormientosAD s omo l memori orto plzoF @U CL = k + dA in el momento en el que ourr un mejorD se estlee el nivel de norE mliddF e reiniiliz el ontdor de empeormientos y l memori orto plzoF @CL = 0Ar l ejeuin del detetor wxwoving es neesrio estleer priori losvlores de los prmetros n, k y dF6.3. MovingAveragers relizr diversos experimentos on los dos mtodos nterioresD nos dimosuent de que se produn muhos flsos positivosD es deirD se detetn mEios inexistentes en l seueni de dtosF isto se de que ls dos funionesmonitorizds presentn muhs osiliones @gr(s en dientes de sierrAPW 30. que en osiones ern tomds errnemente omo miosF r intentr pElir este defetoD plimos el mtodo estdstio de ls medis mviles @movingaverage A que onsiste en rer series de promedios ddo un onjunto de puntosFin nuestro soD queremos promedir ls tss de xito usndo un ventn desuvizdo de tmo m pr que l gr( presente un omportmiento onmenos osiliones @ver ejemplo de l pigur IPAFOriginalMoving Average (100)100 10080 8060 60 AccuracyAccuracy40 4020 200 005000 1000015000 20000 0 5000 1000015000 20000 Instances InstancesMoving Average (500)Moving Average (1000)100 10080 8060 60 AccuracyAccuracy40 4020 200 005000 1000015000 20000 0 5000 1000015000 20000 Instances Instancespigur IPX v primer gr( @rri izquierdA es l originlD mientrs que enel resto se represent en rojo l medi mvil simpleD weD on suvizdo demaIHHD SHH y IHHHD respetivmente plido sore los vlores de l lne gris@originlAFfsimente hy dos tipos de medis mvilesXIFMedia mvil simple (SMA)X que se lul omo l medi ritmti dels ltims m oservionesF st = m1 m1xt +xt1 +xt2 ++xt(m1)n=0 xtn =m =xt xtmst1 +mPFMedia mvil ponderada (WMA)Xse lul utilizndo un onjuntode m pesos @que en totl sumn IA que se plin d oservinFm1st = n=0 wn xtn = w0 xt + w1 xt1 + + wm1 xt(m1)in nuestro mtodo solo hemos usdo el primer tipo @weAD unque pr untrjo futuro ser interesnte pror el segundo @weAD de mner que sejusten los pesos pr drle ms importni los oserviones ms reientesF QH 31. vs oserviones promedir en nuestro mtodo wovingeverge vn ser ls tss de ierto umulds de ls m ltims muestrsF e l hor de detetr mios hemos plntedo dos heurstis diferentes que trtn de rterizr dos tipos de mios en los dtosX grdules y ruptosF v primera heurstica es deud pr mios grdulesD que onsider que se h produido un empeormiento si stst1 y funion de l siguiente mner @ver ejemplo en gudro RAXi durnte k vees onseutivs h empeordo l ts promedidD tivEmos el nivel de viso @warning A y omenzmos lmenr ls instnisreiids en un memori orto plzoFi se produen k+d empeormientos onseutivosD tivremos el nivel demio @drift AFin el momento en el que ourr un mejorD se estlee el nivel de norEmlidd y se eliminn ls instnis de l memori orto plzoF Instancias Prediccin 0 1 001110 00000 1 1Tasa de acierto 0/1 1/2 1/31/42/53/6 4/7 4/8 4/94/10 4/11 4/12 0/1 1/2 2/3Media mvil- -0.27 0.36 0.32 0.380.49 0.52 0.50 0.44 0.40 0.36- -0.38Empeoramientos 0 0 001000 12340 0 0NivelNNNNNNN NNWWD N NN gudro RX ijemplo de funionmiento de l primer heursti del mtodo woE vingevergeF v (l de prediin ontiene I si se h ertdo o H si h flldoF v ts de ierto es l umuld desde el prinipio @o desde el ltimo drift detetdoAF v medi mvil se reliz on m = 3 ltims tss de iertoF il nivel de wrning @A se tiv undo hy k = 2 empeormientos onseutivos y el de drift @hA undo hy R @d = 2AD en otro so se enuentr en normlidd @xAF in so de trtrse de mios rusos entre oneptos muy distintosD l ts de ierto no dee progresivmenteD si no de form drstiD por lo que on l heursti nterior otendrmos flsos negtivos l no detetrse medinte empeormientos suesivosF or elloD implementmos un segunda heurstica sd en el slto o difereni en los vlores de ls tss de xito pr poder detetr est d de rendimiento @ver ejemplo en gudro SAF sgul que ntesD se monitoriz l ts de ierto umuld promedid de ls m ltims muestrsD pero dems mntenemos un histrio de tmo n on estos vlores promediosF ehorD pr d instnte de tiempo t:e otiene smax omo el mejor vlor del histrioD s omo l ts deierto promedid tul st Fi l difereni entre st y smax super un ierto umrl uD tivremos elnivel de viso @warning AF wientrs que si super un umrl v D tivremosel nivel de mio @drift AF e dee umplir que uv F istos vlores reEpresentn el porentje de d de rendimiento frente smax y tomrnvlores entre H y IFQI 32. i no se d ninguno de estos dos sosD se estlee el nivel de normliddF Instancias Prediccin0 1 001110 0000 1 1Tasa de acierto0/1 1/2 1/31/42/53/64/74/8 4/94/10 4/11 0/1 1/2 2/3Media mvil - -0.27 0.36 0.32 0.38 0.49 0.520.50 0.44 0.40- -0.38Mx. media mvil- - -- 0.36 0.38 0.49 0.520.52 0.52 0.50- - -Diferencia- - -- 0.040000.02 0.08 0.10- - -NivelN NNNNNNN NWD N NNgudro SX ijemplo de funionmiento de l segund heursti del mtodo woEvingevergeF v (l de prediin ontiene I si se h ertdo o H si h flldoFv ts de ierto es l umuld desde el prinipio @o desde el ltimo driftdetetdoAF v medi mvil se reliz on m = 3 ltims tss de iertoF ilhistrio neesrio pr lulr el mximo est ompuesto por n = 3 ltimsmedis mvilesF il nivel de wrning @A se tiv undo l difereni es myoro igul que u = 5 % y el de drift @hA undo es myor o igul que v = 10 %D enotro so se enuentr en normlidd @xAFpinlmente ominmos ms heurstis en el mtodo wovingeverge prpoder detetr ulquier de los dos mios meniondosF r ello se deetener en uent el solpmiento de los niveles de viso y de mio de d unde ls heurstisF en 1 y 2 los niveles de visoD 1 y 2 los niveles de drifty 1 y 2 los niveles de normlidd de ls heurstis I y P respetivmenteFhe(nimos pues los niveles de nuestr heurstica hbrida omoX IF xivel de normliddX H = 1 2 !1 !2 !1 !2 F PF xivel de viso @warning AX H = 1 2 F QF xivel de mio @drift AX H = 1 2 Fin el elgoritmo S se puede ver el pseudodigo de este mtodoFQP 33. Algorithm 5 elgoritmo woving everge rrido I 1 a 2 a 1 a 2 a pevi Y P u r y a I e r r o r s G numsnstnes Y Q window F dd @ u r y A Y GG remove o l d e s t i f window F s i z e m R i f window F s i z e aa mX S u r r e n t e u r y e v e r g e a window F v e r g e @ A T U GG e g i n f i r s t h e u r i s t i GG V i f urrenteuryeverge ` previouseuryeverge X W o n s e u t i v e h r o p s CCY GG worseIH else i f u r r e n t e u r y e v e r g e b p r e v i o u s e u r y e v e r g e XII o n s e u t i v e h r o p s a H Y GG e t t e rIP else XIQ o n s e u t i v e h r o p s a o n s e u t i v e h r o p s Y GG smeIRIS previouseuryeverge a urrenteuryeverge YITIU if o n s e u t i v e h r o p s b kCd XIV 1 a iYIW else i f o n s e u t i v e h r o p s b k XPH 1 a iYPI GG end o f f i r s t h e u r i s t i GGPPPQ h i s t o r y F dd @ u r r e n t e u r y e v e r g e A GG remove o l d e s t i f h i s t o r y F s i z e nPR i f h i s t o r y F s i z e aa n XPS GG e g i n s e o n d h e u r i s t i GGPT d i f f e r e n e a h i s t o r y F mx @ A u r r e n t e u r y e v e r g e YPU if differene b vXPV 2 a iYPW else i f d i f f e r e n e b u XQH 2 a iYQI GG end s e o n d h e u r i s t i GGQPQQ if or 2 X 1QRreturn hsp YQS else i f 1 or 2 XQTreturn exsxqYQU else XQVreturn xywevYel igul que en los mtodos nterioresD los vlores de n, kD d, u y v hy que(jrlos prioriFQQ 34. 7. MOA (Massive Online Analysis)r evlur nuestrs propuests y relizr un omprtiv on lgunos de losmtodos desritos nteriormente se h utilizdo el entorno de desrrollo wye@wssive ynline enlysisA fuHWD fruIHF wye es un softwre desrrollEdo en l niversidd de ikto @xuev elndA pr relizr experimentosde lsi(in y lustering on seuenis de dtosF ist reliondo on elproyeto ien onoido iue fpr+ IH @de miner de dtos trdiionlAFmin est implementdo en tv y tiene lieni qvF intre otrs utiliEddesD proporion muestrs y seuenis de dtos y que ontiene un uenolein de generdores de seuenis de dtosF edemsD inluye lgoritmos delsi(in y grupmiento @lusteringAD s omo vrios mtodos de evluEinF in este prtdo exlusivmente vmos detllr l prte de lsi(iny de generdoresD que son ls que hemos usdo en l sein experimentl deltrjoF7.1. El entornov form de utilizr wye es medinte l ejeuin de tres @tasks AF ists tEres se pueden lnzr tnto trvs de un interfz gr(D omo por lne deomndos y muhs de ells se pueden endenr @ver pigur IQAF vs trespriniples son de prendizje y evluinD unque hy otrs tiles omo geEnerr un seueni de dtos que dems se puede gurdr en epp @formtoutilizdo por iue muy omn en miner de dtosAFpigur IQX plujo de trjo en wyev interfz gr( de wye permite utilizr los mtodos de miner de dtostrdiionl @en modo thA de iueF isto result espeilmente til promprr el prendizje online on un prendizje th omo refereniF edeEmsD nos permite lnzr vris tres de form simultne y ver l evoluinde d unD pudiendo detener ulquier de ells en ulquier momentoF inl pigur IR podemos ver un ejemplo de l ventn prinipl de l pliindurnte l ejeuin de un tre de lsi(inFQR 35. pigur IRX entn prinipl de wyeF ijeuin de un tre de evluin@requentilA de un mtodo de lsi(in @roedingreeA on detein demio @ihhwA sore un seueni de dtos generd por ieqenertorF inl prte superior se puede ver l tre ejeutd y en l prte inferior l slidde l mism intervlos de IHHH instnis @de(nido previmenteAF7.2. Generacin de secuencias de datosgomo y indimosD un rtersti muy til de wye es l posiilidd degenerr seuenis de dtos prtir de diversos generdores que inorpor pordefeto y que listmos ontinuinF STAGGER Concepts GeneratorX vos oneptos de eqqi qVT onformn un estndr en l evluin de lsi(dores en entornos on seuenis de dtos on mios de oneptoF il plntemiento originl present un serie de ejemplos on tres triutosX color {green, blue, red} shape {triangle, circle, rectangle} size {small, medium, large} v seueni de dtos se divide en tres oneptosX en los primeros RH ejemplosD el onepto es color = red size = smallY en los siguientes RH QS 36. ejemplosD el onepto es color = green shape = circleY por ltimoD losRH ejemplos (nles se onstruyen on el onepto size = medium size =largeF istos oneptos se pueden oservr de form visul en l pigurISF e h usdo en xIIuWTfr+ HWqwgHRuwHUFpigur ISX isulizin de los oneptos eqqi uwHUSEA Concepts GeneratorX iste onjunto de dtos rti(il presentEdo en xuHI est ompuesto por utro loques de dtos on diferentesoneptosF vos dtos onstn de tres triutos y un lse inriF vlsi(in se reliz solo on dos triutosD mientrs que el terero esirrelevnteD siguiendo est funinX f1 + f2 D donde f1 y f2 son losdos primeros triutos y es un umrl que se just pr d unode los loques de dtos siguiendo este orden {9, 8, 7, 9,5}F he est forEmD l seueni de dtos se de(ne omo l unin onseutiv de SEA9 DSEA8 D SEA7 y SEA9,5 D donde d onjunto onst de IPSHH instnisDpresentndo un mio ruso entre d oneptoF is posile dems inEorporr un porentje de ruido por medio del prmetro nF e h usdoen fr+ HWuwHUqHWFRandom RBF GeneratorX in est seueniD se gener un nmero (jode entroides @lsesA de form letori y ontinuin se ren nuevosejemplos eligiendo ulquier de estos entroides de mner que igner de los mismosF v distni l entroide se otiene de form letoride un distriuin qusin uy desviin tpi viene determindpor el entroideF olo se utilizn triutos numriosF rr introduir unmio de onepto se desplzn los entroides en el espio indindo elnmero k de entroides desplzr y l veloidd s on l que lo vn herF e h usdo en fr+ HWFLED GeneratorXist seueni de dtos fpyVR onst de PR triEutos inriosD IU de los ules son irrelevntesF il ojetivo es predeir eldgito mostrdo en un disply vih de U segmentos en el que d triuEto tiene un IH 7 de posiiliddes de estr invertidoF e puede inluir unQT 37. mio de onepto indindo el nmero d de triutos on miosF eh usdo en xIIfr+ HWFWaveform GeneratorX ist seueni de dtos prei tmin enfpyVRF il ojetivo es diferenir entre Q lses diferentes de ondsDdonde d un de ls ules se h generdo por un ominin deP o Q onds sesF ixisten dos versiones de este prolemX wvePI onPI triutos numrios on ruido y wveRH on IW triutos extr irreElevntesF ixiste l posiilidd de introduir mios en un determindonmero d de triutos pr forzr un mio de oneptoF e h usdo enxIIfr+ HWqHWFFunction Generator (Agrawal)X iste onjunto de funiones se presenten esWQ y h sido usdo pr ompror l eslilidd en lgoritmosde prendizje on roles de deisinF v seueni de dtos se puedegenerr en se IH funiones diferentes on W triutos desritos en elgudro T @T numrios y Q tegriosA y un lse inriD de mnerque simul un hipotti pliin de onesin de prstmos nEriosF eunque es un uen form de generr seuenis on mios deoneptos deido l vriedd de sus funionesD en l iliogrf de deEtein de drifts solo hemos enontrdo que se h usdo en fr+ HWFAtributo DescripcinValoressalarySueldoEntre 20000 y 150000commision ComisinSi salary 75000 comission = 0, en otro caso, entre 10000 y 75000ageEdad Entre 20 y 80elevel Nivel educativo Entre 0 y 4 (categrico)carMarca del cocheEntre 1 y 20 (categrico) zipcodeCdigo postalEntre 1 y 9 (categrico)hvalue Valor de la vivienda Entre 0.5k100000 y 1.5k100000 donde k depende de zipcodehyears Edad de la vivienda Entre 1 y 30 loan Valor del prstamoEntre 0 y 500000 gudro TX hesripin de los triutos de egrwlRotating HyperplaneX vs seuenis de dtos generds por medio deun hiperplno rottorio se usron iniilmente en rhHIF n hiperplnoen un espio dEdimensionl es el onjunto de puntos en x que stisfe dd i=1 wi xi = w0 = i=1 wi donde xi es l iEsim oordend de xF vosejemplos myores o igules que w0 son etiquetdos omo positivosD y elresto omo negtivosF r introduir un mioD str on mir elpeso de un triuto wi = wi + d D donde d es el mio que se pli y l proilidd de que se produz diho mioF vos hiperplnos sontiles pr simulr mios de oneptosD porque permiten modi(r lorientin y l posiin del hiperplno de un mner suve justndoel peso de d triutoF e h usdo en xIIfr+ HWfqHUFin l pigur IT se puede oservr l interfz de wye pr generr seuenisde dtos y lmenrls en (heros eppF QU 38. pigur ITX snterfz pr generr un seueni de IHHH dtos usndo el generdoreqqiFi nuestro propsito es disponer de seuenis on mio de oneptoD un sEpeto interesnte es l posiilidd de inorporr mios ontroldos1 F r ellose pueden utilizr los generdores omentdos nteriormente y ominrlos meEdinte un funin sigmoide @ver pigur IUA que determin el mio de unorigen de dtos otroF gomo prmetros de l funin podemos de(nir el moEmento t0 en el que suede el mioD s omo justr l rusquedd on l quese produe por medio de D o ienD l longitud del mismo usndo W F hurnteeste intervlo se vn mezlr en l seueni de dtos instnis de mosoneptosF ytr posiilidd es generr vris seuenis de dtos de form inEdependiente y luego juntrls de form onseutiv en un sol seueniF1 De cara a la experimentacin es fundamental saber cuntos cambios, en qu momento yel tiempo de cambio producido en la secuencia de datos, para luego llevar a cabo evaluacionesy comparaciones entre mtodos. QV 39. pigur IUX punin sigmoide f (t) = 1/(1 + es(tt0 ) ) F gunto myor se Dmenor ser W y el mio ser ms rusoFfuHW7.3. Mtodos de clasicacinvos priniples mtodos de lsi(in online que se enuentrn y impleEmentdos en wye sonX xive fyesD xive fyes wultinomil wxWVD heEision tumpD roeding ree rhHID roeding yption ree ruHUD fgEging yzHSD foosting yzHSD fgging using ehsx fqHUD fgging usingedptiveEize roeding rees fr+ HWD ereptronD qhX tohsti qrdienthesentD egsos gHUD ereptron tking of estrited roeding reesfprIH y veverging fgging frIHF edems de estosD tmin nos perEmite inorporr los lgoritmos desde iue s omo ominr ulquier deellos on un mtodo de detein de mioF7.4. Mtodos de evaluacin7.4.1. Holdoutin el prendizje en thD lo hitul es utilizr vlidin ruzdD pero omoy se h indido en l ein QFR es invile usr este mtodo pr el prendiEzje por seuenis de dtos y que se vuelve muy ostosoF or elloD en fuHWpropusieron usr el mtodo holdout que us un onjunto de entrenmiento yotro de testFin wye podemos de(nir d unto se evl el modelo entrendoF rseuenis de dtos sin mio de oneptoD podemos usr siempre el mismoonjunto de testD pero en so de que se un seueni on drift es neesrioque el onjunto de test se tulie on el tiempo y que si no podrmos estrevlundo on instnis que perteneen un distriuin de dtos distint l entrendF v implementin de wye solo ontempl tulmente el usode onjuntos de test esttiosD por lo que no es indido pr evlur seuenison miosF QW 40. 7.4.2. Interleaved Test-Then-Train (o Prequential)ytro mtodo diferente onsiste en evlur el modelo on d nuev instniy luego usrlo pr el entrenmientoF ist tni se puede usr tnto prseuenis de dtos on mios y sin mios de oneptoF il inonveniente deeste mtodo es que l omienzo de l evluin es prole que otengmospeores resultdos deido que el modelo no est todv ien entrendoF in lpigur IV podemos ver un ejemplo de un ventn de on(gurin de wyepr estleer l evluinFegn el estudio relizdo por qm et lF qHW este mtodo es ms indidopr seuenis de dtosFpigur IVX entn de on(gurin pr un tre de evluinF il mtodo deprendizje es roedingree on detein de mio ihhwF v seueni dedtos de IHHFHHH instnis se gener medinte ie qenertorF v evluinse reliz en un entorno prequentil y se vn mostrr ls tss de xito uEmulds d IFHHH instnis proesdsF n ejemplo de l slid por pntllde l ejeuin puede verse en l pigur IRFRH 41. 8. Experimentacinr ompror l e(i de los mtodos propuestosD hemos relizdo un expeErimentin sore diferentes seuenis de dtosF gomo el propsito es evlurlos diferentes mtodos de detein de miosD se hn preprdo seuenistnto on mios rusos omo on mios grdulesD dems de vris seEuenis on dtos reles disponiles en httpXGGmoFsFwiktoFFnzGdtsetsGy que se hn utilizdo en l literturFv evluin se h relizdo medinte l estrtegi prequentilD en l que selsi(n y luego se entrenn d un de ls instnis de l seueni onformese vn reiiendoF r poder her un omprtiv entre los distintos mtoEdosD se h (jdo omo lgoritmo de lsi(in el xivefyes y se h luldoel egD re jo l urv de tss de xito umulds desde el prinipio del ejeuinF ytros dtos luldos hn sido el nmero de mios detetdosorretmente e inorretmente @flsos positivos y flsos negtivosAD s omol distni medid en nmero de instnis desde que semos que se produeel mio de onepto hst que (nlmente se detetF in el so de ls seuenEis de dtos relesD no podemos lulr est distniD y que desonoemosuntos mios presentn y undo se produenF8.1. Conjuntos de datos realesElectricity Market (ELEC)iste es uno de los onjuntos de dtos reles ms utilizdos en detein dedriftsF e trt de un seueni de dtos (nit ompuest por RSFQIP instnisDdonde d muestr represent un periodo de QH minutos on vlores de lofert y demnd de l energ eltri de un iudd eustrlinD donde lospreios vrn segn l demndF il vlor de l lse se re(ere l vriindel preio on respeto l medi de ls ltims PR horsF e h usdo enfr+ HWqwgHRfqHUfqdgep+ HTuwHUFForest Covertype (Forest)iste onjunto de dtos ontiene vlores sore el tipo de suelo forestl en regionesde istdos nidosF ist ompuesto por SVIFHIP instnis on SR triutos y UlsesF e h usdo en xIIfr+ HWFPoker-Hand (Poker)iste onjunto est ompuesto por IFHPSFHIH instnisD donde d muestrrepresent un mno de S rts esogids de un rj on SP rtsF gdrt se desrie on dos triutos @plo y vlorAD por lo que en totl hr IHtriutosF v lse desrie l mno de pker y onst de IH posiles vloresFry que tener en uent que el orden de ls rts es importnteF e h usdoen fqHU fr+ HWF r nuestr experimentin hemos utilizdo l versinnormlizd disponile en l we de wyeD de mner que no import el ordenRI 42. de ls rts l hor de formr un mno y dems se hn elimindo vlores repetidosD por lo que en totl onst de VPWFPHI instnisF 8.2. Batera de pruebas vs seuenis de dtos sinttis que se hn generdo medinte el softwre wyeD s omo ls seuenis reles desrits en el prtdo nteriorD se preE sentn en el gudro UFNombreInstanciasAtributos Clases DriftsTipo drift STAGGER120 3 22 AbruptoSEA 50.0003 23 AbruptoSEA Noise (20% ruido) 50.0003 23 AbruptoLED5.000 24 10 1 AbruptoLED Gradual5.000 24 10 1Gradual (w = 500, atributos=7) Waveform 10.000 21 31 AbruptoWaveform Gradual10.000 21 31Gradual (w = 500, atributos=10)Agrawal 30.0009 29 AbruptoElec45.3128 2 DesconocidoDesconocido Forest581.012 54 7 DesconocidoDesconocido Poker 829.201 10 10DesconocidoDesconocidogudro UX gonjuntos de dtos utilizdos en l experimentin no de los hndips de nuestros mtodos es l neesidd de estleer unos prmetros de entrd que vn in)uir en el resultdo de l detein de los mios de oneptoF r poder relizr un omprtiv en iguldd de ondiE iones entre los distintos mtodosD en primer lugr hemos ejeutdo un ter de prues on diferentes prmetros @ver gudro VA sore lguns de ls seE uenis de dtos sinttis presentds en el gudro U pr intentr lolizr quellos onjuntos de prmetros que mejor se omportn en tods ls situioE nesF MtodoDrift WarningVentana HistricoTotal MoreErrorsMoving {2, 4, 8, 16}drift/2 {4,8,16,32}-16 MaxMoving{2, 4, 8, 16}drift/2 {4,8,16,32}-16MovingAverage1{2, 4, 8, 16}drift/2 {4,8,16,32}-16MovingAverage2{0.04, 0.08, 0.16} drift/2 {4,8,16,32} {4,8,16,32} 48 MovingAverageH H1={2, 4, 8, 16} drift/2 {4,8,16,32} {4,8,16,32}192H2={0.04, 0.08, 0.16} gudro VX fter de prues pr el juste de prmetros pinlmente hemos detetdo que hy iertos prmetros que son los que mejor funionn en generl pr d mtodoF in emrgoD en el so del lgoritmo wovingeverge hridoD no hemos podido dentrnos por un slo onjunto deRP 43. prmetros y que ls diferenis trs plir uno u otro en ls seuenis dedtos de l experimentin ern stntes signi(tivsD por lo que deidimosquedrnos on los dos onjuntos de prmetros que mejor se omportn yplirlos l resto de seuenis @en ls tls de resultdos se muestr solo elque mejor se omport en d soAFin el gudro W se presentn los prmetros on los que se hn relizdo los exEperimentosF edems de nuestros mtodosD tmin hemos inorpordo el hhwy ihhw que y estn implementdos en wyeD s omo un ejeuin sinutilizr mtodo de detein de mios pr poder preir l mejor de renEdimientoFMtodo Drift Warning Ventana Histrico NoDetection -- -- MoreErrorsMoving4 2 8 - MaxMoving 8 4 4 -MovingAverage1 4 2 32-MovingAverage2 0.04 0.02 432 MovingAverageH2 y 0.04 1 y 0.02 324 16 y 0.168 y 0.08 416 DDM3 2 --EDDM0.900.95--gudro WX fter de prues pr l experimentin8.3. Resultadose ontinuin se presentn los resultdos de l ejeuin de los mtodos sorels distints seuenis de dtos presentds nteriormenteF gd un de lstls ontiene por (lsX AUCXel re jo l urv de tss de xito umulds normlizd entre el nmero de instnisD de mner que el intervlo de l medid omprende vlores entre H y IHHF Drifts (c/f)X el nmero de mios de onepto orretmente detetdos frente los flsos positivosF Distancia a DriftX el nmero de instnis desde que se produjo el mio de onepto hst que se h detetdo relmenteF i ontiene el vlor xyD se trt de un flso negtivoF in el so de l seueni egrwl se h luldo l medi de l distni los mios pr evitr inluir W (ls y filitr l leturF por olumnsX NDX sin detein de mioMA1Xwovingeverge @heursti IA MEX woreirrorswoving MA2Xwovingeverge @heursti PA MAXXwxwovingMAHXwovingeverge @heursti hridA DDMXmtodo de tF qm et lF EDDMX mtodo de qrEfen et lF RQ 44. STAGGERMtodosNDME MAXMA1 MA2MAHDDMEDDMAUC72,382 80,812 77,212 80,129 81,007 80,673 81,787 73,830 Drifts (c/f )-2/02/02/02/02/02/01/0 Distancia a Drift 1- 6169 436 NO Distancia a Drift 2- 818 11 717 86gudro IHX esultdos de l evluin de los distintos mtodos sore l seEueni eqqipigur IWX ss de ierto umulds en prequentil pr l seueni eqEqi RR 45. LED Mtodos NDME MAX MA1 MA2 MAH DDMEDDM AUC 83,505 94,933 94,839 94,878 93,937 94,988 94,83994,825Drifts (c/f ) -1/01/01/01/01/01/0 1/0 Distancia a Drift 1- 513 9 115 14 1412gudro IIX esultdos de l evluin de los distintos mtodos sore l seEueni vihpigur PHX ss de ierto umulds en prequentil pr l seueni vihRS 46. LED GradualMtodosNDME MAX MA1 MA2 MAH DDMEDDMAUC83,283 91,331 92,004 90,301 92,422 92,337 92,48391,525 Drifts (c/f )-1/21/31/41/11/01/1 1/1 Distancia a Drift 1-447192 7 315194 5091gudro IPX esultdos de l evluin de los distintos mtodos sore l seEueni vih qrdulpigur PIX ss de ierto umulds en prequentil pr l seueni vihqrdulRT 47. SEA Mtodos NDME MAX MA1 MA2 MAH DDMEDDM AUC 92,201 93,069 92,212 90,607 92,117 93,723 94,23893,969Drifts (c/f ) - 2/0 1/0 3/334 0/22/13/63/7 Distancia a Drift 1-7.232 NO 21NO 1.575 698 944 Distancia a Drift 2- NONO89NO NO 627 1.352 Distancia a Drift 3-61 10.032 18 NO 246181415gudro IQX esultdos de l evluin de los distintos mtodos sore l seEueni iepigur PPX ss de ierto umulds en prequentil pr l seueni ieRU 48. SEA NoiseMtodosNDME MAX MA1 MA2 MAH DDMEDDMAUC77,256 74,382 76,124 70,238 76,252 75,558 78,12976,920 Drifts (c/f )- 3/128 3/62 3/460 0/19 3/943/0 2/10 Distancia a Drift 1-268701 89NO 1.966 2.493 NO Distancia a Drift 2-861 1.348 146NO 1.969 1.4826.473 Distancia a Drift 3- 58 2.15819NO14 3.8631.570gudro IRX esultdos de l evluin de los distintos mtodos sore l seEueni ie xoisepigur PQX ss de ierto umulds en prequentil pr l seueni iexoiseRV 49. Agrawal Mtodos NDMEMAXMA1 MA2MAH DDMEDDM AUC63,369 72,072 72,814 69,608 71,499 72,863 69,59071,268Drifts (c/f )-9/79 8/35 9/285 8/51 9/30 6/38/33 Distancia media - 25,33 231,38 58,67 372,13 144 348,17 374,75a drifts(1 NO)(1 NO)(3 NO)(1 NO)gudro ISX esultdos de l evluin de los distintos mtodos sore l seEueni egrwlpigur PRX ss de ierto umulds en prequentil pr l seueni egrwlRW 50. WaveformMtodosNDME MAXMA1 MA2MAHDDMEDDMAUC77,541 79,244 79,792 76,798 79,078 78,462 79,912 78,938 Drifts (c/f )-1/23 1/81/58 1/11/24 1/01/4 Distancia a Drift 1-181 1.841 204372 1.050 121350gudro ITX esultdos de l evluin de los distintos mtodos sore l seEueni veformpigur PSX ss de ierto umulds en prequentil pr l seueni veEform SH 51. WaveformGradualMtodosNDME MAXMA1 MA2MAHDDMEDDMAUC77,528 79,029 79,611 79,532 79,031 78,302 79,671 79,981 Drifts (c/f )-1/24 1/10 1/57 1/11/24 1/11/6 Distancia a Drift 1-150156 3 637 156 332551gudro IUX esultdos de l evluin de los distintos mtodos sore l seEueni veform qrdulpigur PTX ss de ierto umulds en prequentil pr l seueni veEform qrdul SI 52. Elec Mtodos NDME MAX MA1 MA2 MAHDDM EDDM AUC76,195 87,087 84,908 86,776 85,890 86,688 82,58385,740 Drifts-349165635579832143 203gudro IVX esultdos de l evluin de los distintos mtodos sore l seEueni ilepigur PUX ss de ierto umulds en prequentil pr l seueni ileSP 53. Forest MtodosNDME MAX MA1 MA2 MAHDDM EDDM AUC 67,006 87,828 85,589 88,474 87,898 88,421 86,60685,012 Drifts -4.905 2.615 7.939 7.819 9.505 4.6342.416gudro IWX esultdos de l evluin de los distintos mtodos sore l seEueni porestpigur PVX ss de ierto umulds en prequentil pr l seueni porest SQ 54. Poker Mtodos NDME MAXMA1 MA2 MAH DDM EDDM AUC59,103 79,826 78,041 79,877 80,421 80,779 65,84678,120 Drifts-7.179 3.759 12.474 14.457 16.558 433 4.863gudro PHX esultdos de l evluin de los distintos mtodos sore l seEueni okerpigur PWX ss de ierto umulds en prequentil pr l seueni oker SR 55. Resumen de resultadosr poder sr onlusiones sore los resultdosD hemos tomdo omo refeEreni l medid de eg otenid trs plir d mtodo ls diferentesseuenisF esimismo hemos grupdo los resultdos segn el tipo de seueniy otenido l medi de ls posiiones de d mtodo ordends de myor menor vlor de egF Secuencias con cambios abruptosX en el gudro PI se puede preir que si ien los que ms vitoris otienen son hhw y werD el mejor vlor medio lo otiene el mtodo woreirrorswovingF enlizndo ms en detlle ls tls de resultdos nterioresD podemos ver que woreirrorswoving es un mtodo muy retivo pz de detetr los mios de onepto rpidmente l luz de ls distnis orts l drift @ver gudros IQ y ISAD esto permite visr pronto l modelo suyente que es neesrio reprender on los dtos del nuevo oneptoF Secuencia NDMEMAX MA1MA2 MAH DDM EDDM STAGGER826 4 53 17 SEA645 8 73 12 LED824 3 71 56 Waveform 832 6 47 15Agrawal 832 6 41 75 Media 7,6 2,8 3,8 5,4 5,4 3 35gudro PIX osiin de d mtodo segn el eg pr d seueni de dtoson mios ruptos Secuencias con cambios gradualesXen este so podemos ver en el gudro PP que los mtodos hhw y ihhw son los que mejor se omportn en ests situionesF uizs l us de que nuestrs propuests no sen mejores puede deerse que en el juste de prmetros que se reliz iniilmente solo se tuvieron en uent seuenis on mios ruptos y en estos sos l on(gurin plir pudier ser diferenteD y que si nlizmos ls tls de resultdos de ests seuenis nos dmos uent de que s detetn los mios orretmente pero el prinipl prolem es que se dn ms flsos positivos que en sus ompetidoresF Secuencia NDMEMAX MA1 MA2 MAH DDMEDDMLED Gradual8 64 7 2 3 15 Waveform Gradual8 63 4 5 7 21Media8 6 3,5 5,5 3,55 1,53gudro PPX osiin de d mtodo segn el eg pr d seueni de dtoson mios grdules Secuencias con ruidoX solo hemos tenido l oportunidd de experimenE tr on un seueni de dtos on ruidoD por lo que quizs no se demE sido signi(tivD pero quermos destr que slvo en hhwD el resto SS 56. de mtodos otienen un peor resultdo que sin utilizr un lgoritmo de detein de miosF enlizndo el gudro IR podemos ver que el exeso de flsos positivos deido sensiilidd l ruido son los que mermn los resultdosF uizs on un juste de prmetros ms deudo l ruido se podrn otener mejores resultdosF Secuencia NDMEMAXMA1MA2 MAH DDMEDDM SEA Noise2 7 5 84 613gudro PQX osiin de d mtodo segn el eg pr d seueni de dtoson ruido Secuencias con datos realesX en el gudro PR se dest que el mtodo wovingeverge on l primer heursti y l hiridin es el que mejor se omportF il desonoimiento del nmero de miosD s omo su posiinD nos impide nlizr ms detlldmente los resultdosF Secuencia NDMEMAXMA1MA2 MAH DDMEDDMElec8 1 6 24 375 Forest 8 4 6 13 257 Poker8 4 6 32 175 Media8 3 62 3 2 6,35,7gudro PRX osiin de d mtodo segn el eg pr d seueni de dtosreles ST 57. 9. Conclusin y trabajo futuroe lo lrgo de este trjo hemos presentdo l miner de seuenis de dtos ysus diferenis frente l miner de dtos trdiionlD s omo los mpos de lindustri en los que es neesrio plir este tipo de lgoritmosF no de los retos los que se enfrentD es l lsi(in de seuenis de dtos donde se puedenproduir mios de oneptoD por lo que hemos presentdo un txonom delos mtodos existentes y hemos orddo lgunos de ellos ms en detlleFrtiendo de ls propuests ms reientes en l litertur de mtodos de deEtein de mios en prendizje on disprdoresD hemos heho vris porEtiones sds uns en monitorizr ls tss de xito de lsi(in y otroen tss de erroresF r (nlizrD hemos relizdo un estudio experimentl pEr ompror l e(i de nuestros mtodos on respeto los dos mtodosde refereni jenos implementdos en el softwre wyeD que tmin hemospresentdo en el trjoFhe r relizr l experimentinD uno de los prolems que nos enontrmos l hor de her ompriones entre lgoritmos de detein de drift de lliterturD dems de l no disponiilidd del digo fuenteD es que no se usnls misms mtris o mtodos de evluin ni trjn sore ls mismsseuenis de dtosD ni los mismos onjuntos de testF or elloD hemos tenidoque estudir ls diferentes tnis de evluin y sentr ls ses pr lexperimentinFil nlisis de los resultdos gloles de rendimiento de nuestrs propuests hpuesto de mni(esto que unque nuestros mtodos son ompetitivos respeto los mtodos de refereniD son sensiles los vlores de los prmetros estleEidos prioriF or ello se he neesrio estudir un form de estimr priorilos prmetros de ejeuin s omo permitir que se dpten dinmimentedurnte el proesmiento de ls seuenisFTrabajos futurosgomo primer ojetivoD y meniondo es prtir de ls seuenis de erroresy iertos iniiles dds por un lsi(dor elorr lgn menismo de estiEmin los prmetros priori de nuestros mtodosF isto esD estimr vlores denhur de ventnD nivel de wrning y driftD respetivmente los prmetros nDk y d y diionlmente grdo de suvizdo mD y porentje de d u y v prel mtodo hridoFytro ojetivo es el de desrrollr un lgoritmo de prendizje inrementlD Esdo en redes yesins senills por rzones de e(ieniD que permit miospriles del modeloF que en ls seuenis reles los mios no son siemprerusosD y en so de serloD no suponen un mio rdil del modeloD sino quese mntiene prte del modelo nterior on lguns lterionesF vos mtodostules de lsi(in sore seuenis on detetores de drifts desehn elmodelo nterior y prenden uno nuevo desde ero on instnis provenientesdel nuevo oneptoFor ltimoD trtr de rterizr l esl del mio de onepto pr inorEporrlo en nuestro mtodo de detein de driftF isto esD no slo informr delSU 58. mio en un punto determindoD sino de qu tipo de mio se trt y onqu grdo se produeF isto ser til en primer lugrD pr plir distintos meEnismos de olvido independientemente del lgoritmo de prendizjeF in sode trtrse de un mio rusoD se olvid el modelo nterior y se prende onl porin de seueni lmend desde que se tiv del nivel de visoF inemrgo si el mio es grdulD hr que desehr de l porin de seuenEi lmend @donde se entremezln muestrs del ntiguo y nuevo oneptoAquells muestrs que perteneen l ntiguo oneptoD pr umentr el xito enel prendizje del nuevo modeloD til sore todo si el mio se detet prontoFin segundo lugrD tmin podr ser til omo menismo de detein implEito nuestro lgoritmo de lsi(in sore redes yesinsD de form que ellgoritmo detetr l porin del modelo que se vier fetdF SV 59. 10. BibliografaReferenciaseerHV g engnostopoulosD x w edmsD nd h t rndF heidingwht to oserve nextX dptive vrile seletion for regressionin multivrite dt stremsF sn WeatherD volume PD pges WTI!WTSF egwD PHHVFesWQ F egrwlD F smielinskiD nd F wmiF htse miningX performne perspetiveF IEEE Transactions on Knowledge andData EngineeringD S@TAXWIR!WPSD IWWQFfpr+ IH emo foukertD iie prnkD wrk e rllD qeorey rolEmesD fernhrd fhringerD eter eutemnnD nd sn r ittenFiueX ixperienes with tv ypenEoure rojetF Journalof Machine Learning ResearchD IIXPSQQ!PSRID PHIHFfprIHelert fifetD iie prnkD qeo rolmesD nd ferhrd fhrinEgerF eurte ensemles for dt stremsX gomining restritedroeding trees using stkingF sn 2nd Asian Conference onMachine Learning (ACML2010)D pges I!ITD PHIHFfpyVRv freimnD t r priedmnD e ylshenD nd g t toneF Classi-cation and Regression TreesD volume IW of Statistics/ProbabilitySeriesF dsworthD IWVRFfqHUelert fifet nd F qvldF verning from timeEhnging dtwith dptive windowingF sn In SIAM International Conferenceon Data MiningD PHHUFfqdgep+ HT wF fenEqrD tF del gmpoEvilD F pidlgoD elert fifetD F qvldD nd F worlesEfuenoF irly drift detetion metE hodF sn Fourth International Workshop on Knowledge Discovery from Data StreamsD pges UU!VTF giteseerD PHHTFfruIHelert fifetD qeo rolmesD ihrd uirkyD nd fernhrd fhEringerF wye X wssive ynline enlysisF Journal of MachineLearning ResearchD IIXITHI!ITHRD PHIHFfr+ HW elert fifetD qeo rolmesD fernhrd fhringerD ihrduirkyD nd ird qvldF xew ensemle methods for evolEving dt stremsF sn Proceedings of the 15th ACM SIGKDDinternational conference on Knowledge discovery and data mi-ning - KDD 09D pges IQW!IRVD xew orkD xew orkD eDPHHWF egw ressFfrIH elert fifetD qeo rolmesD nd fernhrd fhringerF veverEging fgging for ivolving ht tremsF Machine Learning andKnowledge Discovery in DatabasesD @IAXIQS!ISHD PHIHFfuHW elert fifet nd ihrd uirkyF ht strem miningF ehnileport eugustD niversity of iktoD PHHWFSW 60. fuHW elert fifet nd ihrd uirkyF wssive ynline enlysisF eEhnil eport eugustD niversity of iktoD PHHWFfvHThvid w flei nd tohn h vertyF hynmi topi modelsFsn Proceedings of the 23rd international conference on Machinelearning ICML 06D numer ID pges IIQ!IPHF egw ressD PHHTFfwHV r fh nd wrus e wloofF ired verners for gonepthriftF sn Proceedings of the 2008 Eighth IEEE InternationalConference on Data MiningD pges PQ!QPF heprtment of gomEputer ieneD qeorgetown niversityD siii gomputer oietyshingtonD hgD eD PHHVFfrzIH hriusz frzezinskiF Mining data streams with concept driftF hhthesisD oznn niversity of ehnologyD PHIHFgsHV qF gstilloF edptive lerning lgorithms for fyesin networklssi(ersF AI Commun.D pges VU!VVD PHHVFgqHTqldys gstillo nd too qmF en edptive requentil verEning prmework for fyesin xetwork glssi(ersF KnowledgeDiscovery in Databases PKDD 2006D RPIQXTU!UVD PHHTFgww+ HS hrryl ghrlesD w wxeillD w welisterD w flkD e wooEreD u tringerD t uklihD nd e uerrF lyerEgentred qmehesignX lyer wodelling nd edptive higitl qmesF sn Pro-ceedings of DiGRA 2005 Conference Changing Views-Worlds inPlayD volume PVSD pges PVS!PWVF giteseerD giteseerD PHHSFgHRpng ghu nd grlo nioloF pst nd vight foosting for edpEtive wining of ht tremsF sn In PAKDDD volume QHSTD pgesPVP!PWPF pringer erlgD PHHRFhwVR e hwidF ttistil heoryX he requentil epprohFJournal of the Royal Statistical Society AD IRU@PAXPUV!PWPD IWVRFhonHR teve honohoF irly detetion of insider trding in option mrEketsF sn Proceedings of the 2004 ACM SIGKDD internationalconference on Knowledge discovery and data mining KDD 04Dpge RPHF egw ressD PHHRFhuWV homs qF hietterihD qerhrd idmerD nd wiroslv uutFpeil issue on ontext sensitivity nd onept driftF MachineLearningD QP@PAD eugust IWWVFporHT qeorge pormnF kling onept drift y temporl indutivetrnsferF sn Proceedings of the 29th annual international ACMSIGIR conference on Research and development in informationretrievalD pges PSP!PSWF egw ressD PHHTFqqHUw qer nd too qmF tteEofEtheErt in dt strem miEningF sn ECMLD PHHUF TH 61. qwgHR too qmD edro wedsD qldys gstilloD nd edro odriE guesF verning with hrift hetetionF Machine LearningD pges PVT!PWSD PHHRFqHW too qmD quel estioD nd edro ereir odriguesF ssE sues in evlution of strem lerning lgorithmsF sn Proceedings of the 15th ACM SIGKDD international conference on Know- ledge discovery and data mining - KDD 09D pge QPWD xew orkD xew orkD eD PHHWF egw ressFqgwHU usn quhD wiro perettD ervind ghndrmouliD nd elesE sndro wirelliF ser ro(les for ersonlized snformtion eE essF Articial IntelligenceD RQPIXSR!VWD PHHUFrhHIqeo rultenD vurie penerD nd edro homingosF wining timeEhnging dt stremsF sn Proceedings of the seventh ACM SIGKDD international conference on Knowledge discovery and data mining KDD 01D volume I of KDD 01D pges WU!IHTF egw ressD PHHIFufdqHR hniel uiferD hi fenEdvidD nd tohnnes qehrkeF heteting ghnge in ht tremsF sn Proceedings of the Thirtieth in- ternational conference on Very large data basesD pges IVH!IWID PHHRFureWWwFqF uellyD hFtF rndD nd xFwF edmsF he impt of hnE ging popultions on lssi(er performneF sn Proceedings of the fth ACM SIGKDD international conference on Knowledge discovery and data miningD volume QPD pges QTU!QUIF egwD IWWWFuwHU t io uolter nd wrus e wloofF hynmi eighted wjoE rity X en insemle wethod for hrifting goneptsF Journal of Machine Learning ResearchD VXPUSS!PUWHD PHHUFuoyHHs uoyhevF qrdul porgetting for edpttion to gonept hriftF sn Proceedings of ECAI 2000 Workshop Current Issues in Spa- tioTemporal ReasoningD pges IHI!IHTF giteseerD giteseerD PHHHFuWV lf ulinkenerg nd sngrid enzF edptive snformtion pilteE ringX verning hrifting goneptsF Articial IntelligenceD IWWVFuunHVvudmil s uunhevF glssi(er insemles for heteting gonE ept ghnge in treming htX yverview nd erspetivesF sn In 2nd Workshop SUEMA 2008 (ECAI 2008)D numer tulyD pE ges S!WD PHHVFvfWW errn vne nd grl i frodleyF emporl sequene lerning nd dt redution for nomly detetionF ACM Transactions on Information and System SecurityD P@QAXPWS!QQID IWWWFvrgHVxel vthiD tephen rilesD nd vii gprF kxx gpX temE porl soil networkF sn erl uD herek q fridgeD fmshd wosherD nd prneso iiD editorsD Information Systems JournalD pges PPU!PQRF egwD PHHVF TI 62. vpuHU v vioD h ttersonD h poxD nd r uutzF verning nd inE ferring trnsporttion routinesF Articial IntelligenceD IUI@SE TAXQII!QQID PHHUFwxWV endrew wllum nd uml xigmF e gomprison of ivent wodels for xive fyes ext glssi(tionF Dimension Con- temporary German Arts And LettersD USPXRI!RVD IWWVFwthHW too wendes woreirD grlos oresD elipio w torgeD nd torge preire he heF he iet of rying rmeters nd pousing on fus rvel ime reditionF sn hnruk heermunkongD foonserm uijsirikulD xik geroneD nd u fo roD editorsD Advances in Knowledge Discovery and Data Mining Proceedings of the 13th PacicAsia Conference on Knowledge Discovery and Data Mining PAKDD 2009D volume SRUT of Lecture Notes in Articial IntelligenceD pges TVW!TWTF pringerD PHHWFxuHI F xik treet nd ongeog uimF e treming insemle elE gorithm @ieA for vrgeEle lssi(tionF sn Proceedings of the seventh ACM SIGKDD international conference on Know- ledge discovery and data miningD pges QUU!QVPF egw ressD PHHIFxnpwHU w xezD pidlgoD nd worlesF verning in invironments with nknown hynmisX owrds more oust gonept verE nersF Journal of Machine Learning ResearchD VXPSWS!PTPVD PHHUFyzHSx g yzF ynline fgging nd foostingF sn 2005 IEEE Interna- tional Conference on Systems Man and CyberneticsD volume QD pges PQRH!PQRSF giteseerD seeeD PHHSFgSRi geF gontinuous snspetion hemesF BiometrikaD RI@IGPAXIHH!IISD IWSRFruHUfernhrd fhringerD qeorey rolmesD nd ihrd uirkyF xew options for hoeding treesF sn AI 2007: Advances in Arti- cial IntelligenceD volume RVQHD pges WH!WWF pringer ferlin G reidelergD PHHUFruHVwjid ourkshniD ttr rshemiD nd wohmmdrez unE gvriF sing gellulr eutomt to smprove ht trem glsE si(tionF sn AICCSA08 Databases and Data Mining TrackD PHHVFwqHWwihel t roopioD tne wullignD nd qreg qrudiF verning terrin segmenttion with lssi(er ensemles for utonomous root nvigtion in unstrutured environmentsF Journal of Field RoboticsD PT@PAXIRS!IUSD PHHWFgHW ris shidi nd hine t gookF ueeping the esident in the voopX edpting the mrt rome to the serF IEEE Tran- sactions on Systems Man and Cybernetics Part A Systems and HumansD QW@SAXWRW!WSWD PHHWF TP 63. oSW oertsF gontrol hrt tests sed on geometri movingvergesF TechnometricsD RP@IAXPQW!PSHD IWSWFHU vikumr nd viF fnkrupty predition in nks nd(rms vi sttistil nd intelligent tehniques E e reviewF Euro-pean Journal Of Operational ResearchD IVH@IAXI!PVD PHHUFqVTterey g hlimmer nd ihrd r qrngerF snrementl lerEning from noisy dtF Machine LearningD I@QAXQIU!QSRD IWVTFuHUwrtin holz nd lf ulinkenergF foosting glssi(ers forhrifting goneptsF Intelligent Data AnalysisD II@IAXI!RHD PHHUFvWW xdeem ehmed yedD run viuD nd uh uy ungF rndlingonept drifts in inrementl lerning with support vetor mEhinesF sn Proceedings of the fth ACM SIGKDD internationalconference on Knowledge discovery and data mining KDD 99Dpges QIU!QPIF egw ressD IWWWFHVfi u nd iEhong henF wodeling onept drift from theperspetive of lssi(ersF 2008 IEEE Conference on Cyberneticsand Intelligent SystemsD pges IHSS!IHTHD PHHVFgHU hi hlevEhwrtzD orm ingerD xti reroD nd endrewgotterF egsosX riml istimted suEqredient ylver forwF CorpusD PXVHU!VIRD PHHUFtHQ uenneth y tnleyF verning gonept hrift with gommitteeof heision reesF Computer Science Department University ofTexasD @gdAXI!IUD PHHQFgHVe symlD w ehenizkiyD gunninghmD nd eppo uuEronenF hynmi integrtion of lssi(ers for hndling oneptdriftF Information FusionD W@IAXST!TVD PHHVFxIIerismy iveknndn nd ju xedunhezhinF wining dEt strems with onept drifts using geneti lgorithmF ArticialIntelligence ReviewD QT@QAXITQ!IUVD perury PHIIFyq+ HV ng ju tsviD ylufemi e ymitomuD too qmD xiEtesh ghwlD wohmed wedht qerD nd euroop qnEgulyF unowledge disovery from sensor dt @ensoruhhAFACM SIGKDD Explorations NewsletterD IH@PAXTVD PHHVFqgHT frent enerstrom nd ghristophe qirudEgrrierF emporlht wining in hynmi peture pesF sn Sixth InternationalConference on Data Mining ICDM06D numer wyD pges IIRI!IIRSF seeeD PHHTFuWTqerhrd idmer nd wiroslv uutF verning in the resenEe of gonept hrift nd ridden gontextsF Machine LearningDHIXTW!IHID IWWTF TQ 64. HV ngD uD nd huF goneptul equivlene for ontrst mining in lssi(tion lerningF DataKnowledge Enginee- ringD TU@QAXRIQ!RPWD PHHVFliIH sndre lioiteF Adaptive Training Set FormationF hh thesisD ilnius niversityD PHIHFliIH sndre lioiteF verning under gonept hriftX n yverviewF ehnil reportD PHIHFHVeng hngD ingqun huD nd ong hiF gtegorizing nd mining onept drifting dt stremsF sn Proceeding of the 14th ACM SIGKDD international conference on Knowledge disco- very and data mining KDD 08D volume HVpgesD pges VIP!VPHF egw ressD PHHVF TR