Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
IntroducciónalosAlgoritmosEvolutivosydeInteligencia
Colectiva
Dr. Efrén Mezura-Montes [email protected]
http://www.uv.mx/personal/emezura SNAIC-ENAIC
04 de septiembre de 2018
CA: Investigación y Aplicaciones de la Inteligencia Artificial
CentrodeInvestigaciónenInteligenciaArtificialUniversidadVeracruzana
1
IntroducciónalCI
• Eléxitodelainteligenciaartificial(IA)sehacuestionado
• ¿LapruebadeTuringrealmenteessuficienteparaconsideraraunacomputadoracomo“inteligente”?
• La“pruebadelcuartochino”pareceestablecercomoimposiblequeunacomputadorasea“inteligente”
• LastécnicasdeIAsuelentrabajarbajounenfoque“top-down”
2
¿QuéesentonceselCómputointeligente?
• En2004,laIEEENeuralNetworkSocietycambiósunombreporIEEEComputationalIntelligenceSociety
• Inicialmente,elCómputoInteligente(CI)sedefiníacomolacombinacióndelalógicadifusa,redesneuronalesyalgoritmosgenéticos
3
¿QuéesentonceselCómputointeligente?
• Unadefiniciónmásampliaeslasiguiente:
– “Elestudiodemecanismosadaptativosparagenerarofacilitarelcomportamientointeligenteenambientescomplejos,inciertosycambiantes”.
• ElCIseaplicatradicionalmentedeforma“bottom-up”.
4
¿QuéesentonceselCómputointeligente?
• LosparadigmasdelCIson:– Redesneuronales– Algoritmosevolutivos– Inteligenciacolectiva– Sistemasinmunesartificiales– Sistemasdifusos.
• Sialgrupodeparadigmasseleagreganlosmétodosprobabilísticos,aláreaseleconocecomo“Cómputosuave”.
5
ParadigmasdelCI
6
Redesneuronales(RNs)
• LasRNsestáninspiradasenelcerebrobiológico
• Elcerebrobiológicoesunsistemacomplejo,nolinealyparalelo.
• Launidaddeprocesamientoeslaneurona• Semanejandiferentestiposdeaprendizajeyarquitecturasderedesneuronales
• Lasaplicacionesprincipalessecentranenelreconocimientodepatrones
7
Algoritmosevolutivos(AEs)
• LosAEsemulanlaevolucióndelasespeciesylasupervivenciadelmásaptoenalgoritmosdebúsquedaenespacioscomplejos
• Existenvariosparadigmasquesediferencianporlaformaderepresentarsoluciones,susoperadoresymecanismosdeselecciónyreemplazo
• Lasaplicacionesprincipalessecentranenproblemasdeoptimización
8
Inteligenciacolectiva(IC)
• LaICemulacomportamientossocialesdeorganismossencillosdondeemergeciertoniveldeinteligencia
• Lacomunicaciónentreindividuoseselmecanismoclaveenesteparadigma
• Lasaplicacionessecentranenproblemasdeoptimización,clasificación,agrupamiento,robótica,entreotros
9
Sistemasinmunesartificiales(SIAs)
• LosSIAsemulanelaltoniveldeadaptación,paralelismoydistribucióndelsistemainmunenatural
• Utilizanelaprendizaje,lamemoriaylarecuperaciónasociativa
• Lasaplicacionessecentranenlaoptimización,elreconocimientoyclasificacióndetareas
10
Sistemasdifusos(SDs)• LosSDsutilizanlalógicadifusa(unageneralizacióndelalógicabooleana)paradefinirconjuntosquereflejanconmayorcertezalassituacionesdelmundoreal
• LastareasquerealizalaSDssecentranenelrazonamientoaproximadoyelmodeladodelsentidocomún
• Lasaplicacionessecentran,principalmente,eneldiseñodecontroladores,peroestaáreaessensibleacombinarseconotrosparadigmasdelCI
11
¿Interdisciplinario?
12
Introducción• Laideadesimularlaevolucióndentrodeunacomputadoranoesnueva
• Dehecho,derivadasdelamismaidea,sehangeneradodiversasáreasdentrodelacomputación
• LosAlgoritmosEvolutivos(EAsporsussiglaseninglés)agrupanaaquellosbasadosenfenómenosrelacionadosconlaevolucióndelasespeciesylasupervivenciadelmásapto
• Acontinuaciónsepresentaunaperspectivahistórica,escritaporDeJong(2006)
13
Losprimerosaños• En1930,Wrightsugiriólautilidaddevisualizarunsistemaevolutivoqueexploralospicosdefuncionesmultimodalesmedianteclustersalrededordeellos(visiónhacialaoptimización)
• Friedman(1956)evolucionócircuitosdecontrolpararobots(visiónhaciaelmecanismodecontrolderetroalimentación)
• Friedberg(1959)propusouna“máquinaqueaprende”yqueevolucionaconjuntosdeinstruccionesdelenguajedemáquina(visiónhacialaprogramaciónautomática)
14
Loscatalíticos1960’s
• Tresgruposdefinieronlaformadeestecampoemergente:
• EnlaU.T.deBerlín,RechenbergySchwefelformularonideassobrecómounprocesoevolutivopuedeusarsepararesolverproblemasnuméricosdeoptimizacióncomplejos.Deestasideassurgeun
paradigmaconocidocomo“EstrategiasEvolutivas”
15
Loscatalíticos1960’s
• EnUCLAFogelvisualizóalaevolucióncomounmedioparaalcanzarlasmetasdelaIA,porloqueevolucionóagentesinteligentesrepresentadoscomomáquinasdeestadofinito.Deellosederivóelparadigmaconocidocomo“ProgramaciónEvolutiva”
16
Loscatalíticos1960’s
• EnlaU.deMichigan,Hollandvióaunprocesoevolutivocomolaclaveeneldiseñoeimplementacióndesistemasadaptativosrobustos,capacesdelidiarconunambientecambianteeincierto.Remarcólanecesidaddelossistemasdeauto-adaptarsealinteraccionarconelambiente.Susideasoriginaronlos“Planesreproductivos”,mejorconocidoscomoelparadigmadelos“AlgoritmosGenéticos”
17
Loscatalíticos1960’s
• Estosparadigmas,másquereflejarfielmentelosprocesosevolutivos,sonmodelos“ideales”deevoluciónorientadosalaresolucióndeproblemas
• Sinembargo,unanálisisformaldesufuncionamientoesaltamentecomplejo(serequieredesimplificarelmodelo)
18
Losexplorativos1970’s
• Derivadodelaspropuestasdeladécadaprevia,dosaspectosquedaronsinresolver:– Caracterizarlaimplementacióndelosparadigmas– Entendersuaplicabilidad
• Enestadécadaseavanzóenestosdostemasvía:– Estudiosempíricos– Teoría
19
Losexplorativos1970’s
• Seestablecenconello,tresEAs:– Programaciónevolutiva– Estrategiasevolutivas– Algoritmosgenéticos
• Evolutionaryprogramming(EP)seconcentróenmodelosconreproducciónprincipalmenteasexualyreemplazoprobabilístico,siendoparámetroscríticoseltamañodepoblaciónyelporcentajedereproducciónasexual
20
Losexplorativos1970’s
• Evolutionstrategies(ES)secentraronenlaoptimizaciónnumérica(númerosreales),losmodelosiniciales(1+1)-ESy(1+λ)-ESusaronreproducciónasexualusandounadistribuciónGaussianayreemplazodeterminístico.Sinembargo,loquedistinguealasESeselprocesodeadaptaciónoauto-adaptacióndesusparámetrosrelativosalamutación.
21
Losexplorativos1970’s
• GeneticAlgorithms(GAs)promovieronalgoritmos“independientesdelaaplicación”,medianteunarepresentacióndecadenasdebits,usointensivodereproducciónsexual,reemplazogeneracionalyselecciónbasadaenaptitud.Los“teoremasdelosesquemas”conformancontribucionesanivelteóricodeldesempeñodelosGAs.
22
Losexplotativos1980’s
• Delos1970’semergióunacoleccióndeEAscanónicosconampliaaplicabilidadydesempeñoaltamentecompetitivo
• Enlos1980’sseamplióladiversidaddeaplicacionesysegeneraronvariantesdeEAsespecíficasparaotrosdominios
23
Losexplotativos1980’s• (μ+λ)-ES,(μ,λ)-ES• Selecciónproporcional,representacionesalternativasydecepciónenGAs
• Conocimiento“a-priori”delproblema(P.Ej.Operadoresespeciales)
• Ademásdelaoptimización,surgendominiosdeaplicacióncomolossistemasclasificadores,redesneuronales,redesdetareas,códigoenLisp
• EAsparalelos• Surgenlosprimeroscongresos:ICGA’85,87y89,PPSN’90,FOGA’90
24
Losunificadores1990’s
• Haciafinalesdelos1980’s,eltrabajodecadaEAsehacíaporseparado
• Elsurgimientodelosprimeroscongresospermitióeltrabajodecolaboraciónydiferenciación,ademásdelacuñamientodeltérmino“CómputoEvolutivo,EC”ydeliniciodetrabajosdelprimerjournal“EvolutionaryComputation”delMITpress
• CruzamientodemecanismosentreEAs
25
ElsigloXXI,expansiónmadura
• Setienen3journalsdeprestigio:– EvolutionaryComputation– IEEETransactionsonEvolutionaryComputation– GeneticProgrammingandEvolvableMachines
• Conferenciasdealtonivel– CEC– GECCO– PPSN– FOGA
26
ElsigloXXI,expansiónmadura
• Muchotrabajoporhacer:– Aplicacionesdealtoimpacto– Estudiosteóricos– Ajustedeparámetros– Co-evolución– SinergiasconMachineLearningyAgentSystems– Consolidacióndelárea
27
¿PorquéEC?
• Labúsquedadesolucionadoresdeproblemasestareadelacienciadelacomputación
• Lossolucionadores“naturales”porexcelenciason:– Elcerebrohumano(quiencreólarueda,ciudades,laguerra,etc.)
– Elprocesoevolutivo(quiencreóelcerebrohumano)
28
¿PorquéEC?
• Porotrolado,serequieredesolucionadoresaplicablesaunaampliagamadeproblemas,sinrequerirgrandescambiosparaproblemasespecíficos,quedevuelvanbuenassolucionesenuntiemporazonable
29
¿PorquéEC?
• Finalmente,sepuedeutilizarlasimulacióndelaevoluciónparagenerarprocesosdifícilesderealizarfísicamente,ademásdequeestetipodesimulacionespuedenayudaraentenderfenómenosnaturales
30
Tiposdeproblemas
• Optimización– Consisteenencontrarlaentradaadecuadaparalasalidaqueseespecifique
• Ejemplo:Diseñoóptimodepiezamecánica
31
Tiposdeproblemas
• Modelado– Dadaslasentradasylassalidas,sepretendeencontrarelmodeloqueproporcioneelcomportamientoindicado
• Ejemplo:Reconocimientodecaracteres
32
Tiposdeproblemas
• Simulación– Latareaconsisteenprocesarlassalidascorrespondientesapartirdeunconjuntodeentradasconocidasyunmodeloestablecido
• Ejemplo:Circuitoelectrónicoparafiltrado
33
Unejemplo
• Diseñodeunapiezatubular• Variables
• Largo(l)• Diámetro(d)• Grosor(g)
• Condiciones
• Objetivo• Minimizarelpeso
cm5cm1cm50cm10cm1000cm100
≤≤
≤≤
≤≤
gdl
32
35.02
),,( gldgdlf +⎟⎠
⎞⎜⎝
⎛=π
34
¿Cómosolucionarlo?
• Probarcombinaciones– l=100,d=10,g=1– l=100,d=10,g=2– l=100,d=10,g=3– l=100,d=10,g=4– l=100,d=10,g=5– .– .– .
32
35.02
),,( gldgdlf +⎟⎠
⎞⎜⎝
⎛=π
35
¿Cuántassolucioneshay?
• Sol.de“l”XSol.de“d”XSol.de“g”• 901X41X4=147764soluciones• Siagregamos2decimalesdeexactitudacadasolución…– (901X102)X(41X102)X(4X102)=1.44X1011– ≈147,764,000,000soluciones
cm5cm1cm50cm10cm1000cm100
≤≤
≤≤
≤≤
gdl
36
Otroejemplo
• Diseñoderutasparaempresasdemensajería
37
¿Cómoloresolvemos?
• Grafodirigido
E
F
B
C
DA
G
18
8
20
6
24
10
40
30 15
30
12
17 10
38
¿Cuántassolucioneshay?
• Encontrarunapermutaciónquerepresenteelrecorridodeunconjuntodeciudadesdetalformaquetodasseanvisitadasunasolavez,minimizandoladistanciarecorrida.
• Elespaciodebúsquedacrecedeacuerdoalnúmerodeciudades:(n-1)!/2
39
¿Cuántassolucioneshay?
• Paran=10,hay181,000solucionesposibles.• Paran=20,hay10,000,000,000,000,000solucionesposibles.
• Paran=50hay100,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000solucionesposibles.
• Hay1,000,000,000,000,000,000,000litrosdeaguaenelplaneta(aproximadamente).
40
Losproblemasconlosproblemasdelmundoreal[Michalewicz.2004]
• Elnúmerodesolucionesposiblespuedellegaraserprohibitivoparaunabúsquedaexhaustiva
• Elproblemaesmuycomplicadoysólosepuedenutilizarmodelossimplificadosdelmismo
• Lafunciónobjetivopuedevariarconrespectoaltiempo
• Lassolucionesestánaltamenterestringidas
41
Clasificacióndeproblemas
• Optimización– Optimizaciónparamétrica– Optimizaciónconrestricciones– Optimizacióndeestructurasdedatos
• Satisfacciónderestricciones• AprendizajedeMáquina• Programaciónautomática• Optimizacióndinámica
42
Técnicasclásicas
• LaInvestigacióndeoperacioneseslapartedelasmatemáticasqueofreceyaplicatécnicaspararesolverproblemasdeestetipo– Programaciónlineal– Programaciónentera– Programaciónnolineal– Programacióndinámica– Tomadedecisionesmulticriterio
43
Ventajas
• Sonlaprimeraopciónpararesolverunproblemadebúsqueda/optimización
• Silascaracterísticasdelproblemaseajustanalascondicionesrequeridasporelmétodo,puedengarantizarencontrarlamejorsolución
• Elcostocomputacionalpuedeserbajoencondicionesadecuadas
44
Desventajas
• Enalgunosproblemasnopuedenseraplicadasopuedentardarmuchotiempoendevolverunasoluciónaceptable
• Puedenestancarseensolucionesóptimaslocales
• Laaplicaciónpuederequerirlatransformacióndelproblemaoriginal
• Algunosmétodosdistandesersencillosdeentendery/oaplicar
45
¿QuéesunEA?
• Esunalgoritmoquebasasufuncionamientoenlaevoluciónnaturaldelasespeciesylasupervivenciadelmásaptoenunmedioambientecomún
46
¿QuéesunEA?
• Elmodelogeneralescomosigue:– Setieneunapoblacióndeindividuos– Lainfluenciadelambienteoriginalaselecciónnatural(funcióndecalidadoaptitud)
– Losindividuosmejoresadaptadosasuambientesonelegidosparareproducciónytienenaltasprobabilidadesdesobrevivirparalasiguientegeneración
– Lareproducciónserealizamedianteoperadoresdevariación(cruzaymutaciónprincipalmente)
47
Algoritmoevolutivo
www.hedweb.com/animimag/horses-gallop.htm allthecritters.files.wordpress.com/2007/03/snow-horses.jpg
Selección de Padres
www.hickerphoto.com/data/media/186/
www.briarwoodminis.com
www.best-horse-photos.com/Wild-Horses.html
Operadores de variación
Población de hijos
www.hedweb.com/animimag/horses-gallop.htm
Reemplazo
48
¿QuéesunEA?
• Características:– EAssonbasadosenpoblaciones(manejanvariassolucionessimultáneamente
– EAsutilizanlacombinacióndesolucionesparamezclarsuinformaciónygenerarnuevassoluciones
– EAssonestocásticos
49
DefinicióndeInteligencia[http://lema.rae.es/drae/?val=inteligencia]
• Capacidaddeentenderocomprender.• Capacidadderesolverproblemas.• Conocimiento,comprensión,actodeentender.• Sentidoenquesepuedetomarunasentencia,undichoounaexpresión.
• Habilidad,destrezayexperiencia.• Tratoycorrespondenciasecretadedosomáspersonasonacionesentresí.
• Sustanciapuramenteespiritual.
¿Cuáleselanimalmásinteligente?
Tomadade:http://blog.elhogarprovegan.org/2013/04/23/la-inteligencia-del-pulpo/Tomadade:http://curiosoanimal.blogspot.mx/2010/08/delfin.html
Tomadade:http://animalesenextinciongaway.blogspot.mx/2013/08/chimpance-comun-pan-troglodytes.htmlTomadade:http://juanm.net/portfolio/ilustracion-3d/hormiga_3d-1/
¿Cuáleselanimalmásinteligente?• Aunahormiganoseleconsiderainteligente…
• AunacoloniadehormigasSITomadade:http://www.nextnature.net/2013/07/what-ant-colony-networks-can-tell-us-about-what%E2%80%99s-next-for-digital-networks/
¿Yporqué?
Tomadade:http://www.clarkpest.com/blog/bid/39646/San-Diego-Pest-Control-Officials-Remove-Large-Balboa-Park-Beehive
Tomadade:http://www.coralreefphotos.com/big-school-of-fish-schooling-fish-school-of-bogas/
Inteligenciacolectiva
Comunicación Experiencia
Comportamiento emergente
Paradigmas
• Optimizaciónmediantecúmulosdepartículas[Kennedy&Eberhart,1995]
• Coloniadehormigas[Dorigoetal.,1994]
Tomadade:http://www.mirror.co.uk/news/uk-news/flock-of-thousands-of-birds-combines-in-one-832332
Tomadade:http://matungomalarriau.blogspot.mx/2010/11/el-hormiguero.html
Nuevosalgoritmosbio-inspirados
• ArtificialBeeColony(ABC)[KarabogaandBasturk,2003]
• BacterialForagingOptimization(BFO)[Passino,2002]
• Sistemainmuneartificial(AIS)[NunesdeCastro,2002]
• Cuckoosearch[Yang&Deb,2009]
http://photos-from-my-life.blogspot.com/2006/10/bee-swarm.html
ComponentesdeunEA
1. Representacióndesoluciones2. Funcióndeaptitud(ocalidad)3. Poblacióndesoluciones4. Mecanismodeseleccióndepadres(oselección
asecas)5. Operadoresdevariación(cruzay/omutación)6. Mecanismodereemplazo(odeselecciónde
sobrevivientes)
57
Representacióndesoluciones
• Eslaligaconelmundoreal• Larepresentaciónpuedehacerseanivel
– Genotipo(espaciogenotípico)– Fenotipo(espaciofenotípico)
• Ambosespaciospuedensermuydiferentes• Solución,fenotipooindividuosonsinónimos
58
Funcióndeaptitud(ocalidad)
• Definelamejoradelassoluciones• Representalatareaaresolverse(problema)• Representaelambienteenelquesemuevenlosindividuos
• Asignaunamedidadecalidadalassolucionesdelapoblación
• Sedefine,usualmente,enelespaciofenotípico• Seleconocetambiéncomofuncióndeaptitudypuedeserequivalentealafunciónobjetivo
59
Poblacióndesoluciones
• Agrupaasolucionespotencialesalproblema• Esunconjuntodegenotipos• Eslaunidaddeevolución• Laselecciónyelreemplazotrabajansobreella• Ladiversidadenlapoblaciónescríticaeneldesarrollodelprocesoevolutivo
• Enella,larelación:1genotipoà1fenotipoà1valordeaptituddebeprevalecer
60
Mecanismodeseleccióndepadres
• Elrolquetieneestemecanismoeseldedistinguirentreindividuosconsiderandosucalidad,prefiriendo,enprincipio,alosmejores
• Unindividuoseconsideraunpadresihasidoseleccionadoparaaplicárseleunoperadordevariaciónconlaintencióndegenerardescendencia
• Juntoconelmecanismodereemplazo,tienenlafuncióndepromovermejorasenlacalidaddelassoluciones
61
Mecanismodeseleccióndepadres
• EnEC,laseleccióndepadresesusualmenteprobabilística,porloqueindividuosconunaaltacalidadtendránunagranprobabilidaddeserpadres,noasílosindividuosconunacalidadbaja
• ¿Tienesentidomanteneraindividuosconunapobrecalidad?
62
Operadoresdevariación
• Sufunciónescrearnuevosindividuosapartirdelosyaexistentes
• Sedividenconbaseensuaridad
63
Operadoresdevariación
• Lamutaciónesunariayseaplicaaungenotipoparaobtenerunaversión“ligeramente”modificada.
• Lamutaciónesestocástica(cambiosinguía)• Tienelaresponsabilidaddemantenerpositivalaprobabilidaddegenerarcualquiersoluciónenelespaciodebúsqueda
• Suaplicaciónseasociaconunparámetro
64
Operadoresdevariación
• Larecombinación(ocruza)esn-aria(n≥2)• Combinainformaciónde2omássolucionesenundescendientecomún
• Esestocástica• Sumotivaciónpartedelaideadecombinarcaracterísticasdeseablesde2omássoluciones(eléxitolomuestralanaturaleza)
• Suaplicaciónseasociaconunparámetro
65
Mecanismodereemplazo
• Suroleseldedistinguirentreindividuosconbaseensucalidadparamantenereltamañodepoblaciónfijo
• Seutilizadespuésdelaaplicacióndelosoperadoresdevariación
• Usualmenteesdeterminista
66
InicioytérminodelfuncionamientodeunEA
• Usualmentesegeneralapoblacióninicialdesolucionesdemaneraaleatoria
• Demaneraalternativa,sepuedenusarmétodosespecialesparasesgarlascaracterísticasdelosindividuosiniciales
67
InicioytérminodelfuncionamientodeunEA
• Diversoscasossedistinguenparaterminarelprocesoevolutivo: – Cuandosehaalcanzadolasoluciónbuscada(seasumequeseconoceysepuedeusarunapequeñatoleranciaε>0)
– TiempomáximodeusodeCPU– Númeromáximodeevaluaciones– Cuandolamejoraenelvalordeaptitudnocambiaenunperiododetiempo
– Cuandoladiversidaddelapoblaciónestápordebajodeunlímitepermitido
68
¿CómosecomportaunEA?
69
¿CómosecomportaunEA?
70
¿CómosecomportaunEA?
71
Convergencia
72
Inicialización¿conapoyo?
73
AgotaralEA…
74
¿QuétanbuenoesunEA?
75
Ejemplo:Problemadelas8reinas
• SepuederesolverconmétodostradicionalesdeIA
• ¿CómoresolverloconunEA?
76
Ejemplo:Problemadelas8reinasRepresentación PermutacionesRecombinación Cortar-y-llenar-cruzadoProbabilidadderecombinación 100%Mutación Intercambio(swap)Probabilidaddemutación 80%Seleccióndepadres Best-twooutof5randomReemplazo Replace-worstTamañodepoblación 100Númerodedescendientes 2Inicialización RandomCondicióndeparo Solucióno10,000evaluaciones77