Redes Neurais Artificiais

1

Prof. Dr.Mauro Roisenberge-mail: [email protected]

Prof. Dr. Mauro Roisenberg - CPGCC - INE - UFSC

IntroduIntroduo ao Estudo das o ao Estudo das Redes Neurais ArtificiaisRedes Neurais Artificiais

ObjetivosObjetivos Oferecer ao aluno uma introduOferecer ao aluno uma introduo o

abordagem da IA conexionista, abordagem da IA conexionista, descrevendo caracterdescrevendo caractersticas de sticas de funcionamento, formas de aprendizado e funcionamento, formas de aprendizado e aplicaaplicaes tes tpicas. Vpicas. Vrios modelos de redes rios modelos de redes sero estudados, seguindosero estudados, seguindo--se o uso de se o uso de softwares de simulasoftwares de simulao.o.



SSmulamulaIntroduIntroduo o -- Inteligncia Artificial SimbInteligncia Artificial Simblica e lica e Conexionista.Conexionista.HistHistrico das Redes Neurais Artificiais.rico das Redes Neurais Artificiais.Nomenclatura BNomenclatura Bsica, o Neurnio Biolsica, o Neurnio Biolgico e gico e Reviso de Reviso de lgebra Linear.lgebra Linear.Tipos de Redes, Arquiteturas, CaracterTipos de Redes, Arquiteturas, Caractersticas e sticas e AplicaAplicaes.es.Modelos BModelos Bsicos: sicos: PerceptronPerceptron, , AdalineAdaline, , MadalineMadaline..

2



SSmula mula -- continuacontinuaooModelos BModelos Bsicos: sicos: MultiMulti--layerlayer PerceptronPerceptron e e Regra de Aprendizado Regra de Aprendizado BackBack--PropagationPropagation..Redes Redes CounterpropagationCounterpropagation..MemMemrias Associativas: rias Associativas: HopfieldHopfield e BAM.e BAM.Redes de Redes de KohonenKohonen..Redes ARTRedes ARTRedes Recorrentes.Redes Recorrentes.



BibliografiaBibliografiaFreemanFreeman, James A. & , James A. & SkapuraSkapura, David M., David M.

Neural Neural NetworksNetworks: : AlgorithmsAlgorithms, , ApplicationsApplications andandProgrammingProgramming TechniquesTechniques. . AddisonAddison--WesleyWesleyPublishingPublishing, 1992., 1992.

HaykinHaykin, Simon, SimonNeural Neural NetworksNetworks: a : a comprehensivecomprehensive foundationfoundation. IEEE . IEEE

PressPress, 1994., 1994.

Barreto, Jorge M.Barreto, Jorge M. Inteligncia Artificial: No limiar do sInteligncia Artificial: No limiar do sculo XXI. culo XXI.

EdiEdies, 1997.es, 1997.



BibliografiaBibliografiaKovKovcscs, , ZsoltZsolt LaszloLaszlo

Redes Neurais Artificiais: fundamentos e aplicaRedes Neurais Artificiais: fundamentos e aplicaes. es. CollegiumCollegium CognitioCognitio, 1997. , 1997.

RumelhartRumelhart, D.; , D.; HintonHinton, G. & Williams, R., G. & Williams, R.LearningLearning InternalInternal representationrepresentation byby ErrorError PropagationPropagation. .

In: In: ParallelParallel DistributedDistributed ProcessingProcessing: : explorationsexplorations in in thethe microstructuremicrostructure of of cognitioncognition -- Vol 1. MIT Vol 1. MIT PressPress, , 1986.1986.

ArbibArbib, Michael A. (Ed), Michael A. (Ed)thethe handbookhandbook of of BrainBrain TheoryTheory andand Neural Neural NetworksNetworks. .

MIT MIT PressPress, 1995., 1995.

3


Origens da Inteligncia Origens da Inteligncia ArtificialArtificial

O que O que Inteligncia Artificial?Inteligncia Artificial?I I proposepropose to to considerconsider thethe questionquestion, , CanCan machinesmachinesthinkthink?? ThisThis shouldshould beginbegin withwith definitionsdefinitions of of thethe meaningmeaningof of thethe termsterms machinemachine andand thinkthink.. A. TuringA. Turing, , ComputingComputing MachineryMachinery andand IntelligenceIntelligence, 1950, 1950

Se queres discutir comigo, define primeiro teus termos.Se queres discutir comigo, define primeiro teus termos.DescartesDescartes


O que O que Inteligncia Artificial?Inteligncia Artificial?

O QUE O QUE INTELIGNCIA?INTELIGNCIA?BinetBinet: : Inteligncia Inteligncia julgar bem, compreender bem, julgar bem, compreender bem, raciocinar bemraciocinar bem..TearmanTearman: : A capacidade de conceituar e de A capacidade de conceituar e de compreender o seu significadocompreender o seu significado..HelmHelm: : A atividade inteligente consiste na compreenso A atividade inteligente consiste na compreenso do essencial de uma situado essencial de uma situao e numa resposta reflexa o e numa resposta reflexa apropriadaapropriada..PiagetPiaget: : AdaptaAdaptao ao ambiente fo ao ambiente fsico e socialsico e social..



A INTELIGNCIA A INTELIGNCIA SS HUMANA?HUMANA? Em um primeiro momento, a inteligncia era Em um primeiro momento, a inteligncia era

geralmente associada a uma caractergeralmente associada a uma caracterstica stica unicamente humana, de representaunicamente humana, de representao de o de conhecimentos e resoluconhecimentos e resoluo de problemas, o de problemas, refletindo um ponto de vista altamente refletindo um ponto de vista altamente antropocntrico. Mas, ainda assim, nantropocntrico. Mas, ainda assim, ns, humanos, s, humanos, no compreendemos a nno compreendemos a ns mesmos, como s mesmos, como funciona nossa funciona nossa intelignciainteligncia e nem mesmo a e nem mesmo a origem de nossos pensamentos. origem de nossos pensamentos.

4



Hoje em dia, para muitos pesquisadores, a idHoje em dia, para muitos pesquisadores, a idia ia de inteligncia passou a ser associada com a idde inteligncia passou a ser associada com a idia ia de sobrevivncia. de sobrevivncia.

CarneCarne: : Talvez a caracterTalvez a caracterstica bstica bsica de um sica de um organismo inteligente seja sua capacidade de organismo inteligente seja sua capacidade de aprender a realizar vaprender a realizar vrias funrias funes em um es em um ambiente dinmico, tais como sobreviver e ambiente dinmico, tais como sobreviver e prosperarprosperar. .

FogelFogel: : inteligncia pode ser definida como a inteligncia pode ser definida como a capacidade de um sistema de adaptar seu capacidade de um sistema de adaptar seu comportamento para atingir seus objetivos em comportamento para atingir seus objetivos em uma variedade de ambientesuma variedade de ambientes..



DefiniDefinies de IAes de IA um ramo da cincia da computaum ramo da cincia da computao ao mesmo o ao mesmo

tempo recente (oficialmente nasceu em 1956) e tempo recente (oficialmente nasceu em 1956) e muito antigo (lmuito antigo (lgica de Aristgica de Aristteles)teles)

AtAt mesmo a origem do termo mesmo a origem do termo cercada de cercada de mistmistrio rio -- John John McCarthyMcCarthy, criador do termo em , criador do termo em 1956 no tem certeza de no haver ouvido o 1956 no tem certeza de no haver ouvido o termo anteriormente.termo anteriormente.


O que O que Inteligncia Artificial?Inteligncia Artificial?Elaine Elaine RichRich: : IA IA o estudo de como fazer os o estudo de como fazer os computadores realizarem coisas que, hoje em dia so computadores realizarem coisas que, hoje em dia so feitas melhores pelas pessoasfeitas melhores pelas pessoas..WinstonWinston: IA : IA o estudo das ido estudo das idias que permitem aos ias que permitem aos computadores serem inteligentescomputadores serem inteligentes..CharniakCharniak andand McDermottMcDermott: IA : IA o estudo das faculdades o estudo das faculdades mentais atravmentais atravs da utilizas da utilizao de modelos o de modelos computacionaiscomputacionais..BellmanBellman: : IA IA o estudo e simulao estudo e simulao de atividades que o de atividades que normalmente assumimos que requerem inteligncianormalmente assumimos que requerem inteligncia..Russell Russell andand NorvigNorvig: : IA IA o estudo e implementao estudo e implementao de o de agentes racionaisagentes racionais..(um agente racional (um agente racional algo que procura atingir seus algo que procura atingir seus objetivos atravobjetivos atravs de suas crens de suas crenas.)as.)

5



O objetivo central da IA O objetivo central da IA simultaneamente tesimultaneamente terico rico -- a criaa criao de o de teorias e modelos para a capacidade teorias e modelos para a capacidade cognitiva cognitiva -- e pre prtico tico -- a implementaa implementao o de sistemas computacionais baseados de sistemas computacionais baseados nestes modelos.nestes modelos.


As duas abordagens da IAAs duas abordagens da IA

IA SimbIA Simblicalica Um sistema simbUm sistema simblico lico capaz de capaz de

manifestar um comportamento inteligente.manifestar um comportamento inteligente. O comportamento inteligente global O comportamento inteligente global

simulado sem considerar os mecanismos simulado sem considerar os mecanismos responsresponsveis por este comportamento.veis por este comportamento.


PrincPrincpios da IA Simbpios da IA SimblicalicaA estratA estratgia fundamental que sustentou boa parte do gia fundamental que sustentou boa parte do sucesso inicial da IA Simbsucesso inicial da IA Simblica, se deve lica, se deve proposta proposta conhecida como conhecida como PhysicalPhysical SymbolSymbol SystemsSystems HypothesisHypothesis, , de de NewellNewell e Simon. e Simon. PhysicalPhysical SymbolSymbol SystemsSystems -- NewellNewell & Simon(1976)& Simon(1976)

A A physicalphysical symbolsymbol systemsystem consistsconsists of a set of of a set of entitiesentities, , calledcalled symbolssymbols, , whichwhich are are physicalphysical patternspatterns thatthat cancan occuroccur as as componentscomponents of of anotheranothertypetype of of entityentity calledcalled anan expressionexpression ((oror symbolsymbol structurestructure))thethe systemsystemalsoalso includesincludes a a collectioncollection of processes of processes thatthat operateoperate onon expressionsexpressions to to produceproduce otherother expressionsexpressions: processes of : processes of creationcreation, , modificationmodification, , reproductionreproduction andand destructiondestruction. A . A physicalphysical symbolsymbol systemsystem is a is a machinemachinethatthat producesproduces throughthrough time time anan evolvingevolving collectioncollection ofof symbolsymbolstructuresstructures..SuchSuch a a systemsystem existsexists in a in a worldworld ofof objectsobjects widerwider thanthan justjustthesethese symbolicsymbolic expressionsexpressions themselvesthemselves

6


As duas abordagens da IAAs duas abordagens da IA

IA ConexionistaIA Conexionista Se for construSe for construdo um modelo do um modelo

suficientemente preciso do csuficientemente preciso do crebro, este rebro, este modelo apresentarmodelo apresentar um comportamento um comportamento inteligente. Se apenas uma pequena parte inteligente. Se apenas uma pequena parte do cdo crebro for reproduzida, a funrebro for reproduzida, a funo o exercida por esta parte emergirexercida por esta parte emergir do do modelo.modelo.


IA ConexionistaIA ConexionistaAs origens das redes neurais artificiais As origens das redes neurais artificiais remontam no desejo de construir artefatos remontam no desejo de construir artefatos capazes de exibir comportamento inteligente.capazes de exibir comportamento inteligente.


Fases HistFases Histricasricas

poca Prpoca Pr--HistHistrica (atrica (at 1875 quando 1875 quando CamilloCamillo GolgiGolgi visualizou o neurnio)visualizou o neurnio) Objetivo: Objetivo:

Criar seres e mecanismos apresentando Criar seres e mecanismos apresentando comportamento inteligente.comportamento inteligente.

Metodologia e Conquistas:Metodologia e Conquistas:Mecanismos usando mecnica de preciso Mecanismos usando mecnica de preciso desenvolvida nos autmatos, mecanismos desenvolvida nos autmatos, mecanismos baseados em teares, etc.baseados em teares, etc.

LimitaLimitaes:es:Complexidade dos mecanismos, dificuldades de Complexidade dos mecanismos, dificuldades de construconstruo.o.

7



poca Antiga (1875poca Antiga (1875--1943 1943 -- Neurnio de Neurnio de McCullochMcCulloch & & PittsPitts)) Objetivo: Objetivo:

Entender a Inteligncia Humana.Entender a Inteligncia Humana.

Metodologia e Conquistas:Metodologia e Conquistas:Estudos de psicologia e neurofisiologia. Estudos de psicologia e neurofisiologia. Nascimento da psicanNascimento da psicanlise.lise.

LimitaLimitaes:es:Grande distncia entre as conquistas da psicologia Grande distncia entre as conquistas da psicologia e da neurofisiologia.e da neurofisiologia.



poca Romntica (1943poca Romntica (1943--1956 1956 -- Reunio Reunio no no DarthmouthDarthmouth CollegeCollege)) Objetivo: Objetivo:

Simular a Inteligncia Humana .Simular a Inteligncia Humana .

Metodologia e Conquistas:Metodologia e Conquistas:InspiraInspirao na Natureza, Nascimento da o na Natureza, Nascimento da CibernCiberntica. Primeiros mecanismos imitando o tica. Primeiros mecanismos imitando o funcionamento de redes de neurnios. Primeiros funcionamento de redes de neurnios. Primeiros programas imitando comportamento inteligente.programas imitando comportamento inteligente.

LimitaLimitaes:es:LimitaLimitaes das capacidades computacionais.es das capacidades computacionais.


Fases HistFases Histricasricaspoca Barroca (1956poca Barroca (1956--1969 1969 -- Livro Livro PerceptronsPerceptrons)) Objetivo: Objetivo:

Expandir ao MExpandir ao Mximo as aplicaximo as aplicaes da IA tanto es da IA tanto usando a abordagem simbusando a abordagem simblica quanto a lica quanto a conexionista.conexionista.

Metodologia e Conquistas:Metodologia e Conquistas:PerceptronPerceptron. Primeiros sistemas especialistas . Primeiros sistemas especialistas usando a abordagem simbusando a abordagem simblica.lica.

LimitaLimitaes:es:Dificuldades em tDificuldades em tcnicas de aprendizado de redes cnicas de aprendizado de redes complexas. complexas. SubestimaSubestimao da complexidade o da complexidade computacional dos problemascomputacional dos problemas..

8


Fases HistFases Histricasricaspoca das Trevas (1969poca das Trevas (1969--1981 1981 -- Anuncio Anuncio dos Computadores de Quinta Gerados Computadores de Quinta Gerao)o) Objetivo: Objetivo:

Encontrar para a IA aplicaEncontrar para a IA aplicaes pres prticas. Simular a ticas. Simular a Inteligncia Humana em situaInteligncia Humana em situaes pres pr--determinadas.determinadas.

Metodologia e Conquistas:Metodologia e Conquistas:Sistemas Especialistas. Sistemas Especialistas. Formalismos de Formalismos de representarepresentao de conhecimento adaptados ao tipo o de conhecimento adaptados ao tipo de problemade problema..

LimitaLimitaes:es:SubestimaSubestimao da quantidade de conhecimento o da quantidade de conhecimento necessnecessria para tratar mesmo o mais banal ria para tratar mesmo o mais banal problema de senso comum.problema de senso comum.


Fases HistFases HistricasricasRenascimento (1981Renascimento (1981--1987 1987 -- Primeira Primeira Conferncia Internacional em Redes Conferncia Internacional em Redes Neurais)Neurais) Objetivo: Objetivo:

Renascimento da IA SimbRenascimento da IA Simblica e Conexionista.lica e Conexionista.

Metodologia e Conquistas:Metodologia e Conquistas:Sistemas de regras, representaSistemas de regras, representao da incerteza, o da incerteza, popularizapopularizao do Prolog. Alguns pesquisadores o do Prolog. Alguns pesquisadores criando condicriando condies para a fase seguinte no que diz es para a fase seguinte no que diz respeito respeito s Redes Neurais. s Redes Neurais.

LimitaLimitaes:es:IA SimbIA Simblica e Conexionista evoluindo lica e Conexionista evoluindo separadamente. separadamente.


Fases HistFases Histricasricaspoca Contempornea (1987poca Contempornea (1987--...)...) Objetivo: Objetivo:

Alargamento das aplicaAlargamento das aplicaes das Redes Neurais es das Redes Neurais Artificiais (Artificiais (RNAsRNAs).).

Metodologia e Conquistas:Metodologia e Conquistas:Redes Diretas como Redes Diretas como aproximadoraproximador universal. Bons universal. Bons resultados em problemas malresultados em problemas mal--definidos. definidos.

LimitaLimitaes:es:Falta de um formalismo e de uma profunda Falta de um formalismo e de uma profunda ananlise matemlise matemtica sobre as capacidades das tica sobre as capacidades das Redes Neurais. Falta de estudos sobre Redes Neurais. Falta de estudos sobre computabilidadecomputabilidade e complexidades neurais.e complexidades neurais.

9


ComputaComputao o BaeadaBaeada em em InstruInstrueses

Arquiteturas Arquiteturas VonVon--NeumanNeuman, M, Mquinas Hiperquinas Hiper--CCbicas, bicas, MMquinas quinas SistSistlicaslicas, , DataData--flowflow..Se baseiam na execuSe baseiam na execuo de instruo de instrues para es para realizarealizao do processamento desejado.o do processamento desejado.Adotam uma abordagem Adotam uma abordagem algoralgortimicatimica para a solupara a soluo o de problemas.de problemas.CBI CBI -- Computadores Baseados em InstruComputadores Baseados em Instrueses..A abordagem algorA abordagem algortmica para solutmica para soluo de o de problemas pode ser extremamente eficiente problemas pode ser extremamente eficiente desde que se conhedesde que se conhea exatamente a seqa exatamente a seqncia ncia de instrude instrues a serem executadas para es a serem executadas para resoluresoluo do problema.o do problema.


ComputaComputao o NeuralNeuralEExistem uma sxistem uma srie de problemas que os seres vivos, rie de problemas que os seres vivos, e os seres humanos em particular, parecem resolver e os seres humanos em particular, parecem resolver de maneira inata.de maneira inata.O processamento de imagens, o reconhecimento da O processamento de imagens, o reconhecimento da fala, a recuperafala, a recuperao de informao de informaes de maneira es de maneira associativa, a filtragem adaptativa de sinais, o associativa, a filtragem adaptativa de sinais, o aprendizado de novos fatos e idaprendizado de novos fatos e idias, etc.ias, etc.Se o cSe o crebro dos seres vivos parece ser rebro dos seres vivos parece ser adequado para resolver os problemas no adequado para resolver os problemas no algoralgortmicos, deve se buscar uma abordagem tmicos, deve se buscar uma abordagem que procure se inspirar no funcionamento do que procure se inspirar no funcionamento do ccrebro para solurebro para soluo dos problemas.o dos problemas.


IA SimbIA Simblica X IA Conexionistalica X IA ConexionistaConhecimento representado por regras (ou outra Conhecimento representado por regras (ou outra estrutura similar) que podem ser facilmente tratadas estrutura similar) que podem ser facilmente tratadas e analisadas.e analisadas.Permite a explicaPermite a explicao do processo que levou a uma o do processo que levou a uma determinada resposta.determinada resposta.FFcil insercil insero de novos conhecimentos obtidos a o de novos conhecimentos obtidos a partir do especialista ou atravpartir do especialista ou atravs de ms de mtodos todos automautomticos de aquisiticos de aquisio de conhecimento.o de conhecimento.

10


IA SimbIA Simblica X IA Conexionistalica X IA ConexionistaNecessidade de se trabalhar com conhecimentos Necessidade de se trabalhar com conhecimentos completos e exatos sobre um determinado problema.completos e exatos sobre um determinado problema.Dificuldade de explicar todos os conhecimentos Dificuldade de explicar todos os conhecimentos relativos ao problema atravrelativos ao problema atravs de regras simbs de regras simblicas.licas.Dificuldade para tratar informaDificuldade para tratar informaes imprecisas ou es imprecisas ou aproximadas, e valores numaproximadas, e valores numricos (dados ricos (dados quantitativos).quantitativos).

Exemplo: regular a temperatura da Exemplo: regular a temperatura da gua do banho.gua do banho.


IA SimbIA Simblica X IA Conexionistalica X IA ConexionistaOutro Exemplo:Outro Exemplo:Conhecimento TeConhecimento Tericorico AND(A,B) = if A=0 AND(A,B) = if A=0

thenthen AND=0AND=0elseelse if B=0if B=0

thenthen AND=0AND=0elseelse AND=1AND=1

Conhecimento EmpConhecimento Empricorico A B AND0 0 00 1 01 0 01 1 1


IA SimbIA Simblica X IA Conexionistalica X IA ConexionistaA B AND0 0 00 1 01 0 01 1 1

A

B

w1

w2

ANDw1=1w2=1 =2

A.w1+B.w2

11


Interesses em usar Redes Interesses em usar Redes NeuraisNeurais

PsicPsiclogoslogosEsto vendo possibilidades de construir redes Esto vendo possibilidades de construir redes neurais artificiais e ver aparecer neurais artificiais e ver aparecer comportamentos emergentes tais como o comportamentos emergentes tais como o aprendizado de novos conceitos, ajudando a aprendizado de novos conceitos, ajudando a compreenso dos mecanismos do aprendizado.compreenso dos mecanismos do aprendizado.

NeurofisiologistasNeurofisiologistasEsto interessados em ver as Esto interessados em ver as RNAsRNAs como como metmetfora cerebral e, por simulafora cerebral e, por simulao, melhorar o o, melhorar o conhecimento dos mecanismos cerebrais. conhecimento dos mecanismos cerebrais. (estudar a capacidade de memoriza(estudar a capacidade de memorizao, por o, por exemplo).exemplo).



Cientistas CognitivosCientistas CognitivosSe empenham em usar as redes neurais Se empenham em usar as redes neurais artificiais para um melhor conhecimento dos artificiais para um melhor conhecimento dos mecanismos envolvidos no processo cognitivo mecanismos envolvidos no processo cognitivo (qual o melhor m(qual o melhor mtodo de aprendizado?).todo de aprendizado?).

EngenheirosEngenheirosOlham as Olham as RNAsRNAs como um caminho para, como um caminho para, implementando estas redes em circuitos implementando estas redes em circuitos eleltricos, ter computadores realmente paralelos tricos, ter computadores realmente paralelos e distribue distribudos.dos.Muitos encontraram no aprendizado de Muitos encontraram no aprendizado de RNAsRNAsum campo para aplicar o que se conhece da um campo para aplicar o que se conhece da teoria da otimizateoria da otimizao.o.



Cientistas de ComputaCientistas de ComputaooEncontraram um novo paradigma de Encontraram um novo paradigma de programaprogramao e uma arquitetura distribuo e uma arquitetura distribuda. da. Explorar este paradigma, analisando suas Explorar este paradigma, analisando suas capacidades e complexidades computacionais, capacidades e complexidades computacionais, desenvolvendo tdesenvolvendo tcnicas de programacnicas de programao, o, aplicaaplicaes, etc. es, etc. um DESAFIO.um DESAFIO.

12


Novo Paradigma de Novo Paradigma de ProgramaProgramaoo

Equivalncia das Equivalncia das RNAsRNAs com Mcom Mquinas quinas de Turing.de Turing.(uma RNA sem perif(uma RNA sem perifricos seria um computador com ricos seria um computador com

CPU e memCPU e memria, sem entradas e saria, sem entradas e sadas)das)Toda RNA pode ser simulada em um CBI.Toda RNA pode ser simulada em um CBI.Como toda RNA pode implementar circuitos Como toda RNA pode implementar circuitos AND, OR e NOT, AND, OR e NOT, posspossvel construir um CBI vel construir um CBI com ajuda de uma RNA.com ajuda de uma RNA.


Novo Paradigma de Novo Paradigma de ProgramaProgramaoo

Paradigmas de ProgramaParadigmas de Programao:o: Imperativa (PASCAL, C, BASIC).Imperativa (PASCAL, C, BASIC). Declarativa (PROLOG).Declarativa (PROLOG). Funcional (LISP).Funcional (LISP). Conexionista.Conexionista.

ProgramaProgramao por exemplos,o por exemplos,Capacidade de generalizaCapacidade de generalizao,o,Usa analogia com problemas anteriormente Usa analogia com problemas anteriormente resolvidos,resolvidos,No necessita de algoritmo explNo necessita de algoritmo explcito,cito,No necessita de descriNo necessita de descrio do problema,o do problema,Baseada na adaptabilidade!Baseada na adaptabilidade!


Fundamentos BiolFundamentos BiolgicosgicosEventuallyEventually a a sciencescience of of thethe nervousnervous systemsystembasedbased uponupon directdirect observation observation ratherrather thanthaninferenceinference willwill describedescribe thethe neural states neural states andandeventsevents whichwhich imediatelyimediately precede precede instancesinstances of of behaviorbehavior. . WeWe willwill knowknow thethe precise precise neurologicalneurologicalconditionsconditions whichwhich imediatelyimediately precede, precede, saysay, , thetheresponseresponse: : No, No, thankthank youyou..

B. F. Skinner, B. F. Skinner, ScienceScience andand humanhumanbehaviorbehavior, 1953, pg. 28, 1953, pg. 28

13


Fundamentos BiolFundamentos Biolgicosgicos

A razo da importncia da plausibilidade A razo da importncia da plausibilidade biolbiolgicagica

Redes Neurais Artificiais se inspiram nas redes Redes Neurais Artificiais se inspiram nas redes biolbiolgicas e formam um dos paradigmas da gicas e formam um dos paradigmas da Inteligncia Artificial Inteligncia Artificial -- O Conexionismo.O Conexionismo.Procura imitar a arquitetura do cProcura imitar a arquitetura do crebro e rebro e espera ver o comportamento inteligente espera ver o comportamento inteligente emergir.emergir.


Fundamentos BiolFundamentos BiolgicosgicosA razo da importncia da plausibilidade A razo da importncia da plausibilidade biolbiolgicagica

Em muitos casos, quando o que se deseja Em muitos casos, quando o que se deseja obter um sistema com alto grau de obter um sistema com alto grau de adaptabilidade, uma inspiraadaptabilidade, uma inspirao biolo biolgica tnue gica tnue pode ser suficiente. Exemplos: reconhecimento pode ser suficiente. Exemplos: reconhecimento de caracteres, previses financeiras, de caracteres, previses financeiras, classificaclassificao de padres, controle de processos.o de padres, controle de processos.Entretanto, se o objetivo Entretanto, se o objetivo modelar um modelar um processo de aprocesso de ao motora ou processo o motora ou processo cognitivo, plausibilidade biolcognitivo, plausibilidade biolgica se torna gica se torna essencial.essencial.


Fundamentos BiolFundamentos BiolgicosgicosA CA Clulalula

A cA clula lula composta basicamente de composta basicamente de gua, gua, eletreletrlitos, protelitos, protenas, lipnas, lipdios e dios e carbohidratoscarbohidratos. . Sua configuraSua configurao to tpica pica dividida em duas dividida em duas partes: npartes: ncleo e citoplasma. cleo e citoplasma.

NNcleo: controla as reacleo: controla as reaes ques qumicas e a micas e a reprodureproduo.o.

Citoplasma: Citoplasma: onde as organelas esto dispersas.onde as organelas esto dispersas.

Dividindo o meio intracelular do meio Dividindo o meio intracelular do meio extracelular existe a membrana citoplasmextracelular existe a membrana citoplasmtica. tica.

14


Fundamentos BiolFundamentos BiolgicosgicosO Sistema NervosoO Sistema Nervoso

Controla as reaControla as reaes res rpidas do corpo, como pidas do corpo, como uma contrauma contrao muscular (funo muscular (funo motora), o motora), geralmente como resposta a algum estgeralmente como resposta a algum estmulo mulo recebido (funrecebido (funo o sensorasensora).).Recebe informaRecebe informaes dos sensores, combina es dos sensores, combina estas informaestas informaes com as informaes com as informaes es armazenadas para produzir uma resposta.armazenadas para produzir uma resposta. organizado hierarquicamente.organizado hierarquicamente.

Medula da coluna vertebral: ato reflexo.Medula da coluna vertebral: ato reflexo. CCrebro:rebro:

Bulbo, MesencBulbo, Mesencfalo, Hipotfalo, Hipotlamo, Tlamo, Tlamo, Cerebelo.lamo, Cerebelo.CCrtex.rtex.


Fundamentos BiolFundamentos BiolgicosgicosO CO Crebrorebro

Composto por Neurnios Composto por Neurnios (10(1055 na mosca da fruta, 5x10na mosca da fruta, 5x1066 no rato e 10no rato e 101111 no homem)no homem)

O CO CrebroHumanorebroHumanoMassa: 1Massa: 1--2kg no adulto 2kg no adulto -- 2% do peso2% do peso

20% do peso do rec20% do peso do recmm--nascido.nascido.Usa 20% do oxignio, 25% da Usa 20% do oxignio, 25% da glucoseglucose, 15% , 15% do fluxo de sangue.do fluxo de sangue.

O CO CrtexrtexO tamanho do cO tamanho do crtex separa os humanos das rtex separa os humanos das outras espoutras espcies.cies.

(5cm(5cm22 no rato, 500 cmno rato, 500 cm22 no chimpanzno chimpanz e 2000cme 2000cm22 no homem)no homem)3x103x101010 neurnios no cneurnios no crtex humano.rtex humano.101033 a 10a 1044 sinapses por neurnio.sinapses por neurnio.


Fundamentos BiolFundamentos BiolgicosgicosO CO Crebrorebro

Coluna Vertebral

Cerebelo

Crtex

Tlamo

Hipotlamo

Bulbo

15


Fundamentos BiolFundamentos BiolgicosgicosEsquema Simplificado de um NeurnioEsquema Simplificado de um Neurnio


Fundamentos BiolFundamentos BiolgicosgicosO NeurnioO Neurnio Possui um corpo celular, axnio e diversas Possui um corpo celular, axnio e diversas

ramificaramificaes (dendritos).es (dendritos). Os dendritos so Os dendritos so dispositivos de entradadispositivos de entrada que que

conduzem sinais das extremidades para o corpo conduzem sinais das extremidades para o corpo celular.celular.

O axnio (geralmente 1) O axnio (geralmente 1) o o dispositivo de sadispositivo de sadadaque transmite um sinal do corpo celular para a que transmite um sinal do corpo celular para a suas extremidades.suas extremidades.

As extremidades do axnio so conectadas com As extremidades do axnio so conectadas com dendritos de outros neurnios pelas sinapses.dendritos de outros neurnios pelas sinapses.


Fundamentos BiolFundamentos BiolgicosgicosO Funcionamento do NeurnioO Funcionamento do Neurnio A membrana citoplasmA membrana citoplasmtica de uma ctica de uma clula nervosa lula nervosa

permite o transporte de eletrpermite o transporte de eletrlitos que modificam litos que modificam o potencial elo potencial eltrico entre as partes externas e trico entre as partes externas e internas da cinternas da clula. lula.

Esta diferenEsta diferena de potencial provoca um trem de a de potencial provoca um trem de pulsos de freqpulsos de freqncia gerado pela cncia gerado pela clula nervosa lula nervosa (neurnio) atrav(neurnio) atravs do axnio para os dendritos, s do axnio para os dendritos, que se ligam a outras cque se ligam a outras clulas.lulas.

Ante um estAnte um estmulo de amplitude e duramulo de amplitude e durao o definida, definida, codificada a informacodificada a informao que o que posteriormente posteriormente decodificada por dendritos. decodificada por dendritos.

16


Fundamentos BiolFundamentos BiolgicosgicosO Funcionamento do Neurnio O Funcionamento do Neurnio -- A SinapseA Sinapse Sinapse: Sinapse: a ligaa ligao entre a terminao entre a terminao o axnicaaxnica e e

os dendritos e que permite a propagaos dendritos e que permite a propagao dos o dos impulsos nervosos de uma cimpulsos nervosos de uma clula a outra. As lula a outra. As sinapses podem ser sinapses podem ser excitatexcitatriasrias ou inibitou inibitrias. rias.

As sinapses As sinapses excitatexcitatriasrias cujos cujos neuroneuro--excitadoresexcitadoresso os so os ons sons sdio permitem a passagem da dio permitem a passagem da informainformao entre os neurnios e as sinapses o entre os neurnios e as sinapses inibitinibitrias, cujos rias, cujos neuroneuro--bloqueadoresbloqueadores so os so os ons ons potpotssio, bloqueiam a atividade da cssio, bloqueiam a atividade da clula, lula, impedindo ou dificultando a passagem da impedindo ou dificultando a passagem da informainformao.o.


Fundamentos BiolFundamentos BiolgicosgicosO Funcionamento do Neurnio O Funcionamento do Neurnio -- O Potencial O Potencial de Ade Aoo ConcentraConcentraes diferentes de Naes diferentes de Na++ e Ke K-- dentro e dentro e

fora das cfora das clulas provocam diferenlulas provocam diferena de potencial.a de potencial. EstimulaEstimulao elo eltrica, qutrica, qumica, calor, etc. pode mica, calor, etc. pode

perturbar a membrana do neurnio alterando este perturbar a membrana do neurnio alterando este potencial.potencial.

ApAps um certo tempo as coisas voltam ao normal s um certo tempo as coisas voltam ao normal devido ao mecanismo de transporte ativo. No devido ao mecanismo de transporte ativo. No entanto a onda de variaentanto a onda de variao de tenso se propaga.o de tenso se propaga.

Na regio junto Na regio junto sinapse o potencial de asinapse o potencial de ao o libera libera neurotransmissoresneurotransmissores, provocando uma , provocando uma perturbaperturbao na membrana do neurnio seguinte, o na membrana do neurnio seguinte, e o fenmeno continua.e o fenmeno continua.


Uma Breve Reviso de Uma Breve Reviso de lgebra lgebra LinearLinear

DefiniDefinies Iniciaises Iniciais Estrutura MatricialEstrutura Matricial

Matrizes so geralmente representadas como arranjos Matrizes so geralmente representadas como arranjos retangulares de nretangulares de nmeros escalares.meros escalares.A matriz A, m x n, possui m linhas e n colunas. A notaA matriz A, m x n, possui m linhas e n colunas. A notao o AAij utilizada para referenciar o nutilizada para referenciar o nmero da mero da ii--simasima linha, linha, jj--simasima coluna de A.coluna de A.

4 2 -51 0 -8A=

A13=-5

17



DefiniDefinies Iniciaises IniciaisUma matriz n x 1 Uma matriz n x 1 geralmente chamada de VETOR.geralmente chamada de VETOR.Uma matriz com o mesmo nUma matriz com o mesmo nmero de linhas e colunas mero de linhas e colunas chamada de MATRIZ QUADRADA.chamada de MATRIZ QUADRADA.Uma matriz Uma matriz NULA se possui todos os elementos igual a NULA se possui todos os elementos igual a 0.0.Uma matriz Uma matriz DIAGONAL se for quadrada e possuir os DIAGONAL se for quadrada e possuir os elementos da diagonal principal diferentes de 0 e os elementos da diagonal principal diferentes de 0 e os restantes iguais a 0.restantes iguais a 0.Uma matriz diagonal Uma matriz diagonal chamada ESCALAR se todos os chamada ESCALAR se todos os elementos da diagonal forem iguais.elementos da diagonal forem iguais.Uma matriz Uma matriz chamada IDENTIDADE ou UNIDADE se for chamada IDENTIDADE ou UNIDADE se for escalar com elementos da diagonal igual a 1.escalar com elementos da diagonal igual a 1.



DefiniDefinies Iniciaises Iniciais

41V=

4 -51 -8A=

0 0 0 00 0 0 0Z=

4 00 -8D=

5 00 5E=

1 00 1I=



DefiniDefinies Iniciaises IniciaisA TRANSPOSTA de uma matriz A m x n A TRANSPOSTA de uma matriz A m x n denotada por denotada por AATT. A. ATT uma matriz n x m cujas elementos so:uma matriz n x m cujas elementos so:

(A(ATT))ijij = = AAjijiA transposta de um vetor coluna A transposta de um vetor coluna chamada de VETOR chamada de VETOR LINHA.LINHA.

2 3 41 5 6A=

2 13 54 6

AT=

18



DefiniDefinies Iniciaises Iniciais Soma de MatrizesSoma de Matrizes

Somar duas matrizes A e B resulta em uma matriz cujos Somar duas matrizes A e B resulta em uma matriz cujos elementos so a soma dos correspondentes elementos de elementos so a soma dos correspondentes elementos de A e B: Se C = A + B, ento A e B: Se C = A + B, ento CCijij = = AAijij + + BBijij

2 3 41 5 6A=

4 -3 02 1 5B=

6 0 43 6 11C=A+B=



DefiniDefinies Iniciaises Iniciais MultiplicaMultiplicao de Matrizeso de Matrizes

Multiplicar uma matriz A m x n por uma matriz B n x p Multiplicar uma matriz A m x n por uma matriz B n x p resulta em uma matriz C m x p cujos elementos so resulta em uma matriz C m x p cujos elementos so C = AB, entoC = AB, ento

2 34 15 2

A= 4 0 1 -21 2 3 5B=

2.4+3.1 2.0+3.2 2.1+3.3 2.-1+3.54.4+1.1 4.0+1.2 4.1+1.3 4.-2+1.55.4+2.1 5.0+2.2 5.1+2.3 5.-2+2.5

C=AB=

=

=n

jjkijik BAC

1 11 6 11 1117 2 7 -322 4 11 0

C=



DefiniDefinies Iniciaises Iniciais MultiplicaMultiplicao de Matrizeso de Matrizes

Dada uma matriz quadrada A n x n, verificaDada uma matriz quadrada A n x n, verifica--se a seguinte se a seguinte propriedade: A.I = I.A = Apropriedade: A.I = I.A = AA matriz quadrada A n x n A matriz quadrada A n x n chamada INVERSchamada INVERSVEL se VEL se existir uma matriz denotada por Aexistir uma matriz denotada por A--11 que satisfaz: A.Aque satisfaz: A.A--11 = = AA--11.A = I.A = ISe ASe A--11 existir, ela existir, ela chamada matriz INVERSA. Se Achamada matriz INVERSA. Se A--11 no no existir, A existir, A chamada matriz SINGULAR.chamada matriz SINGULAR.

19



DefiniDefinies Iniciaises Iniciais Determinante de uma MatrizDeterminante de uma Matriz

Determinante de uma matriz quadrada Determinante de uma matriz quadrada um num nmero mero associado associado matriz dada pela definimatriz dada pela definio recorrente o recorrente seguinte:seguinte:dada uma matriz quadrada A n x n, chamadada uma matriz quadrada A n x n, chama--se se DETERMINANTE de A e indicamos |A| ou DETERMINANTE de A e indicamos |A| ou detdet A, ao A, ao nnmero dado por:mero dado por:

a) Se n=1 ento |A| = aa) Se n=1 ento |A| = a1111

b) Se n>1 entob) Se n>1 ento

onde Aonde A1j1j a a submatrizsubmatriz obtida da matriz A eliminando a obtida da matriz A eliminando a linha 1 e a coluna jlinha 1 e a coluna jdetdet A = 0 se e somente se A no A = 0 se e somente se A no inversinversvelvel..

=

+=n

j

jjj AaA1

,111 ||.)1(||


Redes Neurais ArtificiaisRedes Neurais ArtificiaisOrigensOrigens

NeurnioNeurnio Modelo Modelo

SimplificadoSimplificado Modelo SimuladoModelo Simulado CaracterCaractersticas sticas

BBsicassicasAdaptaAdaptaooRepresentaRepresentao de o de Conhecimentos Conhecimentos baseada em baseada em conexesconexes


Circuitos Neurais e Circuitos Neurais e ComputaComputaoo

O Modelo de O Modelo de McCullochMcCulloch & & PittsPitts (1943)(1943) O CO Crebro como um Sistema Computacionalrebro como um Sistema Computacional 5 Suposi5 Suposies Bes Bsicassicas

A atividade de um neurnio A atividade de um neurnio um processo tudo ou nada.um processo tudo ou nada.Um certo nUm certo nmero fixo (>1) de entradas devem ser mero fixo (>1) de entradas devem ser excitadas dentro de um perexcitadas dentro de um perodo de adiodo de adio latente para o latente para excitar um neurnio.excitar um neurnio.O O nico atraso significativo nico atraso significativo o atraso o atraso sinsinpticoptico..A atividade de qualquer sinapse inibitA atividade de qualquer sinapse inibitria previne ria previne absolutamente a excitaabsolutamente a excitao do neurnio.o do neurnio.A estrutura das interconexes no muda com o tempo.A estrutura das interconexes no muda com o tempo.

20


O Modelo de O Modelo de McCullochMcCulloch& & PittsPitts Comportamento da Rede Neural pode ser Comportamento da Rede Neural pode ser

expresso por predicados.expresso por predicados. NotaNotao:o:

NiNi(t): Asser(t): Assero que o o que o ii--simosimo neurnio dispara no tempo t.neurnio dispara no tempo t.

NiNi(t): Asser(t): Assero que o o que o ii--simosimo neurnio NO DISPARA no neurnio NO DISPARA no tempo t.tempo t.

Circuitos encontrados no SNCCircuitos encontrados no SNC

i-simoneurnio

conexo excitatriaconexo inibitria

1 2 N2(t)=N1(t-1)


O Modelo de O Modelo de McCullochMcCulloch& & PittsPitts Circuitos encontrados no SNCCircuitos encontrados no SNC1

N3(t)=N1(t-1) ou N2(t-1) DISJUNO2

3

1

N3(t)=N1(t-1) e N2(t-1) CONJUNO2

3

1

N3(t)=N1(t-1) e N2(t-1)2

3


O Modelo de O Modelo de McCullochMcCulloch& & PittsPitts ExemploExemplo1

a

3

2

b

4

N3(t)=N1(t-1) ou Na(t-1)

Na(t-1)=Nb(t-2) e N2(t-2)

Nb(t-2) = N2(t-3)

N3(t)=N1(t-1) ou(N2(t-3) e N2(t-2))

N4(t) = N2(t-1) e Nb(t-1)

N4(t) = N2(t-1) e N2(t-2)

21


O Modelo de O Modelo de McCullochMcCulloch& & PittsPitts ConseqConseqnciasncias++

CombinaCombinao dos neurnios implementa qualquer funo dos neurnios implementa qualquer funo o llgica gica -- Rede Neural como Computador Digital.Rede Neural como Computador Digital.

--No explica como so formadas as topologias das Redes No explica como so formadas as topologias das Redes Neurais.Neurais.No explica como acontece o aprendizado.No explica como acontece o aprendizado.Rede Neural sRede Neural s funciona corretamente se todos os funciona corretamente se todos os elementos funcionarem corretamente.elementos funcionarem corretamente.


Uma forma de aprendizado no Uma forma de aprendizado no Modelo de Modelo de McCullochMcCulloch& & PittsPitts

O Aprendizado de O Aprendizado de HebbHebb (1949)(1949) Base para todas as outras regras de aprendizadoBase para todas as outras regras de aprendizado

Quando um axnio de um neurnio A estQuando um axnio de um neurnio A est prprximo o ximo o suficiente para excitar um neurnio B, e repetidamente ou suficiente para excitar um neurnio B, e repetidamente ou persistetementepersistetemente toma parte do disparo de B, ento, ocorre toma parte do disparo de B, ento, ocorre um certo processo de crescimento ou mudanum certo processo de crescimento ou mudana metaba metablica lica em uma das 2 cem uma das 2 clulas, de forma que a eficincia de A em lulas, de forma que a eficincia de A em contribuir para o disparo de B contribuir para o disparo de B aumentado (aumentado (forfora do a do contato contato sinsinpticoptico).).

Experimento de Pavlov Experimento de Pavlov ASOM

CVISOB SALIVAO


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisNeurnio Artificial, NNeurnio Artificial, N ou ou ProcessingProcessing ElementElement--PEPEUm Primeiro ModeloUm Primeiro Modelo

i-simoneurnio

Entradas(dendritos) Sada

(axnio)

wijxj

=j

jiji xwnet .

Pesos Sinpticos

22


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisO PERCEPTRON : Frank O PERCEPTRON : Frank RosenblattRosenblatt (1958)(1958)

A conectividade desenvolvida nas redes biolA conectividade desenvolvida nas redes biolgicas contgicas contm m um grande num grande nmero aleatmero aleatrio de elementosrio de elementos..No inNo incio, o cio, o PerceptronPerceptron no no capaz de distinguir padres e capaz de distinguir padres e portanto ele portanto ele gengenrico.rico.Pode ser treinado.Pode ser treinado.Com o tempo foiCom o tempo foi--se notando que a capacidade de se notando que a capacidade de separabilidadeseparabilidade era dependente de era dependente de certas condicertas condies de es de contornocontorno dos padres de entrada.dos padres de entrada.


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisO PERCEPTRON : Frank O PERCEPTRON : Frank RosenblattRosenblatt (1958)(1958)

Retina

...

x1

x2

xn

w1

w2

wn

wixi

condiode limiar(threshold)


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisO PERCEPTRON : Frank O PERCEPTRON : Frank RosenblattRosenblatt (1958)(1958)x1

x2

x1

x2

w1

w2 sada net=x1.w1+x2.w2

sada=f(net)=1 se net 0 se net <

w1.x1+w2.x2= EQUAO DE UMA RETAEQUAEQUAO FUNDAMENTAL DO PERCEPTRONO FUNDAMENTAL DO PERCEPTRON

23


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisO PERCEPTRON : ExemplosO PERCEPTRON : Exemplos

Determinar w1, w2 e Determinar w1, w2 e para que o para que o PerceptronPerceptron aprenda a aprenda a funfuno OU Lo OU Lgico (OR)gico (OR)

x1x1 x2x2 OROR00 00 0000 11 1111 00 1111 11 11

x1

x2

x1

x2

w1



x2

x1(0,0)

(0,1) (1,1)

(1,1)

Possvel soluo: w1=w2= = 1



Determinar w1, w2 e Determinar w1, w2 e para que o para que o PerceptronPerceptron aprenda a aprenda a funfuno E Lo E Lgico (AND)gico (AND)

x1x1 x2x2 OROR00 00 0000 11 0011 00 0011 11 11

x1

x2

x1

x2

w1



x2

x1(0,0)

(0,1) (1,1)

(1,1)

Possvel soluo: w1=w2=1 = 2



Determinar w1, w2 e Determinar w1, w2 e para que o para que o PerceptronPerceptron aprenda a aprenda a funfuno OUo OU--EXCLUSIVO LEXCLUSIVO Lgico (XOR)gico (XOR)

x1x1 x2x2 OROR00 00 0000 11 1111 00 1111 11 00

x1(0,0)

(0,1) (1,1)

(1,1)

CONCLUSO: O PERCEPTRON CONCLUSO: O PERCEPTRON CAPAZ DE CAPAZ DE DISTINGUIR APENAS PADRES LINEARMENTE DISTINGUIR APENAS PADRES LINEARMENTE SEPARSEPARVEIS!!!VEIS!!!

24


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisO PERCEPTRON : O PERCEPTRON : MinskyMinsky e e PapertPapert (1969)(1969)

CONCLUSO: O PERCEPTRON CONCLUSO: O PERCEPTRON CAPAZ DE CAPAZ DE DISTINGUIR APENAS PADRES DISTINGUIR APENAS PADRES LINEARMENTE SEPARLINEARMENTE SEPARVEIS!!!VEIS!!!Isto causou um Isto causou um traumatrauma na comunidade na comunidade cientcientfica e levou ao corte de verbas para as fica e levou ao corte de verbas para as pesquisas em Redes Neurais Artificiais.pesquisas em Redes Neurais Artificiais.Se colocarmos mais uma camada de Se colocarmos mais uma camada de neurnios podemos resolver esta limitaneurnios podemos resolver esta limitao. o. Mas como achar os pesos?Mas como achar os pesos?Na Na poca no se sabia como.poca no se sabia como.


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisO PERCEPTRON : O PERCEPTRON : MinskyMinsky e e PapertPapert (1969)(1969)

x1 1

2

w11

w12

sadax1

x2 x2

w11w12

w21w22

w11=w12=w21=w22=11=0,42=1,2 = 0.5


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisO ALGORITMO DE APRENDIZADO DO O ALGORITMO DE APRENDIZADO DO PERCEPTRON : O ADALINE PERCEPTRON : O ADALINE -- WidrowWidrow e e HoffHoff(1960)(1960) x1

x2x3

x4

x5

xn

w1w2w3

wn

y -1

+1sada sign(y)

ADALINE ADAptive LInear NEuronADAptive LINear Element

ALC Adaptive Linear Combiner

25


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisO ADALINE O ADALINE -- WidrowWidrow e e HoffHoff (1960)(1960) FormulaFormulao Vetorialo Vetorial

w0w0 x0x0w1w1 x1x1

W =W = w2w2 X =X = x2x2...... ......wnwn xnxn

y = WT.X

Suponha que temos um conjunto de vetores de entrada {X1, X2, ..., XL}, cada um com seu valor de sada correto (desejado) {d1, d2, ..., dL}.O Mtodo de Aprendizado procura achar os pesos de forma a minimizar a diferena entre a sada desejada e a sada obtida com o vetor de entrada.


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisO ADALINE O ADALINE -- WidrowWidrow e e HoffHoff (1960)(1960)

A Regra de A Regra de HebbHebbIdealizada por Idealizada por HebbHebb, a id, a idia bia bsica sica que se duas que se duas unidades so ativadas simultaneamente, suas unidades so ativadas simultaneamente, suas interconexes tendem a se fortalecer. Se interconexes tendem a se fortalecer. Se ii recebe o recebe o sinal de sasinal de sada de da de jj, o peso , o peso WijWij modificado de modificado de acordo com :acordo com :

onde onde ((lambdalambda) ) uma constante de proporcionalidade uma constante de proporcionalidade representando a taxa de aprendizado e representando a taxa de aprendizado e aiai e e ajaj so so ativaativaes (ou saes (ou sadas) das unidades das) das unidades ii e e jjrespectivamente. Alguns autores representam respectivamente. Alguns autores representam alternativamente a matriz alternativamente a matriz WijWij por por WjiWji..


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisO ADALINE O ADALINE -- WidrowWidrow e e HoffHoff (1960)(1960)

A Regra Delta A Regra Delta -- Erro MErro Mdio Quadrdio Quadrtico tico MMnimo (LMS) nimo (LMS) -- WidrowWidrow--HoffHoff

uma variante da Regra de uma variante da Regra de HebbHebb, introduzida por , introduzida por WidrowWidrow--HoffHoff. A diferen. A diferena quanto a de a quanto a de HebbHebb que que possui uma sapossui uma sada desejada da desejada djdj. Assim, o peso ser. Assim, o peso serproporcional proporcional sasada.da.Sendo Sendo ajaj e ai os ne ai os nveis de ativaveis de ativaes das unidades j e i es das unidades j e i respectivamente, a variarespectivamente, a variao dos pesos o dos pesos ::

26


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisComo Minimizar o Erro MComo Minimizar o Erro Mdio Quadrdio Quadrticotico ExemploExemplo

FunFuno OR: k=4o OR: k=4x1x1 x2x2 OROR00 00 0000 11 1111 00 1111 11 11

XXkk ddkk

1 11

1 01

1 10

0 00

44

13

22

11

=

=

=

=

=

=

=

=

dX

dX

dX

dX


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisComo Minimizar o Erro MComo Minimizar o Erro Mdio Quadrdio Quadrticotico Erro MErro Mdio Quadrdio Quadrticotico

Erro para o Erro para o kk--simosimo vetor de entradavetor de entradaEEkk = = ddkk -- yykk desejado desejado -- obtidoobtido

Erro MErro Mdio Quadrdio Quadrticotico

WXdWXXWd

XWdE

XWy

ydE

EL

E

Tkk

Tkk

Tk

kT

kk

kT

k

kkk

L

kkk

>=>=>==< =

2

)( logo

mas

)( ento

1

2

22

221

22


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisComo Minimizar o Erro MComo Minimizar o Erro Mdio Quadrdio Quadrticotico Erro MErro Mdio Quadrdio Quadrticotico

022

0

PARBOLA.DA FUNDO oencontrar significa Quadrtico MdioError do oMinimiza

Parbola uma de Equao2

2

22

>=>=

27


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisA Regra Delta A Regra Delta -- Erro MErro Mdio Quadrdio Quadrtico tico MMnimo (LMS) nimo (LMS) -- WidrowWidrow--HoffHoff DeterminaDeterminao dos Conjunto de Pesos W, o dos Conjunto de Pesos W,

pelo Mpelo Mtodo da Descida Mais todo da Descida Mais ngreme ngreme ((SteepestSteepest Descente)Descente)

MMtodo Iterativotodo IterativoEscreveEscreve--se W como uma funse W como uma funo do o do tempotempo..

Vetor de pesos iniciais W(0)Vetor de pesos iniciais W(0) Vetor de pesos no Vetor de pesos no passopasso ou ou tempotempo t W(t)t W(t)


Modelos de Neurnio ArtificiaisModelos de Neurnio ArtificiaisDeterminaDeterminao dos Conjunto de Pesos o dos Conjunto de Pesos W, pelo MW, pelo Mtodo da Descida Mais todo da Descida Mais ngreme (ngreme (SteepestSteepest DescentDescent))

11--ComeComear especificando valores aleatar especificando valores aleatrios rios para os pesos.para os pesos.

22--Aplicar um vetor de entrada Aplicar um vetor de entrada XXkk..33--Determinar o erro Determinar o erro EEkk(t) utilizando W(t).(t) utilizando W(t).

EEkk22(t) = ((t) = (ddkk -- WWTT(t)(t)XXkk))22

44--Supor que ESupor que Ekk22(t) (t) uma aproximauma aproximao razoo razovel vel para o para o ErrorError MMdio Quadrdio Quadrtico



55--Calcular o gradiente do erro, isto Calcular o gradiente do erro, isto a a diredireoo em que derivada em que derivada maior.maior.

kkkk

kk

Tkk

kT

kk

XEXtEWEXtWdtE

XtWdtE

2)).((2

))((2)(

))(()(

2

22

=

=

=

=

28



66--Atualizar o Vetor de Pesos.Atualizar o Vetor de Pesos.

kT

kk

kk

k

XtWdE

XEtWtW

tEtWtW

)(com

2)()1(

)()()1( 2

=

+=+

=+



77--Repetir os passos de 2 a 6 atRepetir os passos de 2 a 6 at o erro alcano erro alcanar ar um valor suficientemente pequeno.um valor suficientemente pequeno.


O PerO Perodo odo NegroNegroMinskyMinsky e e PapertPapert -- 1969 1969 -- Livro Livro PerceptronsPerceptrons. O . O PerceptronPerceptron (ou o (ou o AdalineAdaline) ) incapaz de incapaz de classificarclassificarcorretamente padres no linearmente separcorretamente padres no linearmente separveis.veis.A A maioriamaioria dos problemas so dos problemas so no linearmente no linearmente separseparveisveis..Apesar do descrApesar do descrdito gerado sobre a dito gerado sobre a rea da rea da neurocomputaneurocomputaoo, entre 1969 e 1982 os estudos , entre 1969 e 1982 os estudos neste campo continuaram, ainda que englobadas neste campo continuaram, ainda que englobadas em outras linhas de pesquisa, como processamento em outras linhas de pesquisa, como processamento adaptativo de sinais, reconhecimento de padres, adaptativo de sinais, reconhecimento de padres, modelamentomodelamento biolbiolgico, etc. Este trabalho, ainda gico, etc. Este trabalho, ainda que silencioso, construiu as bases necessque silencioso, construiu as bases necessrias para rias para que o desenvolvimento das redes neurais pudesse que o desenvolvimento das redes neurais pudesse continuar de forma consistente.continuar de forma consistente.

29


O RenascimentoO RenascimentoEm 1974, Paul Em 1974, Paul WerbosWerbos conseguiu o maior progresso conseguiu o maior progresso em termos de redes neurais desde o em termos de redes neurais desde o perceptronperceptron de de RosenblattRosenblatt: ele lan: ele lanou as bases do algoritmo de ou as bases do algoritmo de retroretro--propagapropagaoo ("("backpropagationbackpropagation"), que permitiu "), que permitiu que redes neurais com mque redes neurais com mltiplas camadas ltiplas camadas apresentassem capacidade de aprendizado. Em apresentassem capacidade de aprendizado. Em 1982, David 1982, David ParkerParker desenvolveu um mdesenvolveu um mtodo similar, todo similar, de forma aparentemente independente. Contudo, a de forma aparentemente independente. Contudo, a potencialidade deste mpotencialidade deste mtodo tardou a ser todo tardou a ser reconhecida.reconhecida.


O RenascimentoO RenascimentoOs primeiros resultados da retomada do Os primeiros resultados da retomada do desenvolvimento sobre redes neurais foram desenvolvimento sobre redes neurais foram publicados em 1986 e 1987, atravpublicados em 1986 e 1987, atravs dos trabalhos s dos trabalhos do grupo PDP (do grupo PDP (ParallelParallel andand DistributedDistributed ProcessingProcessing), ), onde ficou consagrada a tonde ficou consagrada a tcnica de treinamento por cnica de treinamento por backpropagationbackpropagation..


Redes Neurais ArtificiaisRedes Neurais ArtificiaisOs Tempos ModernosOs Tempos Modernos

Elementos BElementos Bsicos sicos de um Neurnio de um Neurnio ArtificialArtificial Uma Abordagem Uma Abordagem

Unificada.Unificada. Terminologia Terminologia

BBsica.sica.

30


Elementos BElementos Bsicos de um sicos de um Neurnio ArtificialNeurnio Artificial

A evoluA evoluo das pesquisas no campo da abordagem o das pesquisas no campo da abordagem conexionista levou ao desenvolvimento de uma conexionista levou ao desenvolvimento de uma infinidade de modelos de neurnios artificiais, de infinidade de modelos de neurnios artificiais, de topologias de interconexo destes neurnios e topologias de interconexo destes neurnios e algoralgortmostmos para aprendizado.para aprendizado.Um trabalho que procurasse apresentar de maneira Um trabalho que procurasse apresentar de maneira extensiva todos os modelos de neurnios, de extensiva todos os modelos de neurnios, de topologias e de topologias e de algoralgortmostmos de aprendizado, de aprendizado, certamente ocuparia vcertamente ocuparia vrios volumes e milhares de rios volumes e milhares de ppginas.ginas.

Abordagem Unificada Abordagem Unificada -- Modelo FormalModelo Formal



DefiniDefinies de Sistemas Dinmicos Aplicados ao es de Sistemas Dinmicos Aplicados ao Neurnio ArtificialNeurnio ArtificialA partir da definiA partir da definio de Sistemas Dinmicos, podemos o de Sistemas Dinmicos, podemos definir um Neurnio Artificial (NA) como um sendo um definir um Neurnio Artificial (NA) como um sendo um Sistema Dinmico onde:Sistema Dinmico onde:

. : ; :

;);(}{

;;

); (}{;

YUXTXXTT

Xf

YU

fT

n

n

=

=

Conjunto TempoConjunto dos Valores de EntradaConjunto das Funes de EntradaConjunto dos Valores de SadaConjunto das Funes de SadaConjunto de EstadosFuno de Transio de EstadosFuno de Sada



DefiniDefinies de Sistemas Dinmicos Aplicados ao es de Sistemas Dinmicos Aplicados ao Neurnio ArtificialNeurnio Artificial A partir da definiA partir da definio formal para a representao formal para a representao o

de um neurnio artificial de um neurnio artificial posspossvel descrever o vel descrever o funcionamento de diversos modelos de neurnios, funcionamento de diversos modelos de neurnios, bastando particularizar os parmetros que definem bastando particularizar os parmetros que definem o sistema. Particular ateno sistema. Particular ateno sero ser dada dada escolha escolha da funda funo de transio de transio de estados o de estados e na fune na funo de o de sasada da e na maneira de combinar os valores de e na maneira de combinar os valores de entrada dos neurnios.entrada dos neurnios.

31



Modelo de Neurnio ArtificialModelo de Neurnio Artificial

ENTRADAS

...

COMBINAODAS ENTRADAS

W U(t)

net FUNODE

ATIVAO

Possvel Dinmica

ativao FUNODE

SADA

sada



Modelo de Neurnio ArtificialModelo de Neurnio Artificial As EntradasAs Entradas

As entradas de um neurnio podem ser as saAs entradas de um neurnio podem ser as sadas de das de outros neurnios, entradas externas, um outros neurnios, entradas externas, um biasbias ou qualquer ou qualquer combinacombinao destes elementos.o destes elementos.

A CombinaA Combinao das Entradas o das Entradas -- O O NetNetO somatO somatrio de todas estas entradas, multiplicadas por rio de todas estas entradas, multiplicadas por suas respectivas forsuas respectivas foras de conexo as de conexo sinsinpticaptica (os pesos), (os pesos), dd origem ao chamado "net" de um neurnio.origem ao chamado "net" de um neurnio.

=

=n

j

jiji tuwtnet1

)()(wijwij um num nmero real que representa a mero real que representa a conexo conexo sinsinpticaptica da entrada do da entrada do iisimosimoneurnio com a saneurnio com a sada do da do jjsimosimo neurnio.neurnio.

A conexo A conexo sinsinpticaptica conhecida como conhecida como excitatexcitatriaria se se wwijij>0 ou inibit>0 ou inibitria ria caso caso wwijij

32




A FunA Funo de Sao de Sada da Essencialmente, qualquer funEssencialmente, qualquer funo conto contnua e nua e monotonicamentemonotonicamente crescente tal que crescente tal que pode ser utilizada como funpode ser utilizada como funo de sao de sada na modelagem da na modelagem neural.neural.

Existem, no entanto, uma sExistem, no entanto, uma srie de funrie de funes mais es mais comumente utilizadas como funcomumente utilizadas como funes de saes de sada em da em neurnios. Estas funneurnios. Estas funes so:es so:

A FunA Funo Linearo Linear A FunA Funo o SigmoidalSigmoidal ou Logou Logsticastica A FunA Funo Tangente Hiperbo Tangente Hiperblicalica

]1,1[)( e xyx




A FunA Funo de Sao de Sada da A FunA Funo Linearo Linear

A FunA Funo o SigmoidalSigmoidal ou Logou Logstica stica -- FunFuno UNIPOLAR mais o UNIPOLAR mais utilizada.utilizada.

onde k onde k um fator de escala positivo.um fator de escala positivo.

axxy =)(

exy

kx+=

11)(



Modelo de Neurnio ArtificialModelo de Neurnio Artificial A FunA Funo de Sao de Sada da

A FunA Funo Tangente Hiperbo Tangente Hiperblica lica -- A FunA Funo BIPOLAR mais o BIPOLAR mais utilizada.utilizada.


Confuso na Nomenclatura Confuso na Nomenclatura -- CUIDADO!!!CUIDADO!!!Na literatura muitas vezes sNa literatura muitas vezes s apresentado o apresentado o neurnio estneurnio esttico e portanto muitas vezes se tico e portanto muitas vezes se confunde a funconfunde a funo de ativao de ativao com a funo com a funo de o de sasada. Tambda. Tambm m comum encontrarmos o termo comum encontrarmos o termo funfuno de transfernciao de transferncia. .

kx

kx

eekxxy

+

==11)tanh()(

33



Modelo de Neurnio ArtificialModelo de Neurnio Artificial A FunA Funo de Sao de Sada da

A FunA Funo Tangente Hiperbo Tangente Hiperblica lica -- A FunA Funo BIPOLAR mais o BIPOLAR mais utilizada.utilizada.


Confuso na Nomenclatura Confuso na Nomenclatura -- CUIDADO!!!CUIDADO!!!Na literatura muitas vezes sNa literatura muitas vezes s apresentado o apresentado o neurnio estneurnio esttico e portanto muitas vezes se tico e portanto muitas vezes se confunde a funconfunde a funo de ativao de ativao com a funo com a funo de o de sasada. Tambda. Tambm m comum encontrarmos o termo comum encontrarmos o termo funfuno de transfernciao de transferncia. .

kx

kx

eekxxy

+

==11)tanh()(



Algumas ObservaAlgumas Observaes sobre a Dinmica do es sobre a Dinmica do NeurnioNeurnio DecaimentoDecaimento Passivo de Primeira Ordem.Passivo de Primeira Ordem. Taxa de Taxa de DecaimentoDecaimento.. NNvel Residual.vel Residual.


Topologias Das Redes Neurais Topologias Das Redes Neurais Como os Neurnio se ConectamComo os Neurnio se Conectam

Depende da forma como os Neurnios se Depende da forma como os Neurnios se conectam para formar uma conectam para formar uma RedeRede de de neurnios.neurnios.Redes Diretas Redes Diretas -- FeedforwardFeedforwardRedes Recorrentes Redes Recorrentes -- FeedbackFeedback

34


Topologia das Redes NeuraisTopologia das Redes Neurais

Redes Neurais Diretas Redes Neurais Diretas -- FeedforwardFeedforward As redes diretas so aquelas cujo grafo As redes diretas so aquelas cujo grafo

no tem ciclos. no tem ciclos. FreqFreqentemente entemente comum representar comum representar

estas redes em camadas e neste caso so estas redes em camadas e neste caso so chamadas redes de camadas.chamadas redes de camadas.



Redes Neurais Diretas Redes Neurais Diretas -- FeedforwardFeedforward Neurnios que recebem sinais de excitaNeurnios que recebem sinais de excitao o

so chamados de camada de entrada ou so chamados de camada de entrada ou primeira camada. primeira camada.

Neurnios que tem sua saNeurnios que tem sua sada como sada como sada da da rede pertencem a camada de sada rede pertencem a camada de sada ou da ou ltima camada.ltima camada.



Redes Neurais Diretas Redes Neurais Diretas -- FeedforwardFeedforward Rede Direta com 3 CamadasRede Direta com 3 Camadas

u1

u2

un

v

v

v

1

2

l

y

y

y

1

2

m

Camada de Entrada

Camada Intermediria

Camada de Sada

35



Redes Neurais Recorrentes Redes Neurais Recorrentes -- com com RealimentaRealimentao o -- FeedbackFeedback Redes com "feedback" so aquelas cujo grafo de Redes com "feedback" so aquelas cujo grafo de

conectividade contconectividade contm pelo menos um ciclo. m pelo menos um ciclo.

Por esta razo Por esta razo McCullochMcCulloch chamouchamou--as de "as de "networksnetworkswithwith cyclescycles", ou redes com ciclos. ", ou redes com ciclos.

Duas destas redes tem particular importncia: as Duas destas redes tem particular importncia: as redes propostas por redes propostas por HopfieldHopfield e as redes bie as redes bi--direcionais.direcionais.



Redes Neurais Recorrentes Redes Neurais Recorrentes -- com com RealimentaRealimentao o -- FeedbackFeedbacku

u

u

1

2

n

y

y

y

1

2

n

z-1z-1

z-1

(0)

(0)

(0) y

y

y

1

2

n

(k+1)

(k+1)

(k+1)

(k)

(k)

(k)


Topologia das Redes NeuraisTopologia das Redes NeuraisRede Direta com Neurnios EstRede Direta com Neurnios Estticosticos Topologia de Rede Neural mais Topologia de Rede Neural mais popularpopular

atualmente.atualmente. TambTambm chamada dem chamada de

Rede Rede FeedForwardFeedForwardMultiMulti LayerLayer PerceptronPerceptronRede Rede BackBack PropagationPropagation (erradamente)(erradamente)

36


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisUm neurnio Um neurnio considerado ser um elemento considerado ser um elemento adaptativo. Seus pesos adaptativo. Seus pesos sinsinpticospticos so so modificmodificveis dependendo do algoritmo de veis dependendo do algoritmo de aprendizado.aprendizado.


Aprendizado de Redes NeuraisAprendizado de Redes Neurais Por exemplo, alguns, dependendo do sinal de Por exemplo, alguns, dependendo do sinal de

entrada que recebem, tem seus valores de saentrada que recebem, tem seus valores de sada da associados a uma resposta diante de um associados a uma resposta diante de um aprendizado supervisionado por uma espaprendizado supervisionado por uma espcie de cie de "professor"professor..

Em alguns casos o sinal do "professor" no estEm alguns casos o sinal do "professor" no estdispondisponvel e no hvel e no h informainformao de erro que possa o de erro que possa ser utilizada para correser utilizada para correo dos pesos o dos pesos sinsinpticospticos, , assim o neurnio modificarassim o neurnio modificar seus pesos baseado seus pesos baseado somente no sinal de entrada e/ou sasomente no sinal de entrada e/ou sada, sendo o da, sendo o caso do aprendizado nocaso do aprendizado no--supervisionado. Um supervisionado. Um neurnio neurnio considerado ser um elemento considerado ser um elemento adaptativo. Seus pesos adaptativo. Seus pesos sinsinpticospticos so modificso modificveis veis dependendo do algoritmo de aprendizado.dependendo do algoritmo de aprendizado.


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisAprendizado SupervisionadoAprendizado Supervisionado Neste caso, o "professor" indica explicitamente um Neste caso, o "professor" indica explicitamente um

comportamento bom ou ruim. comportamento bom ou ruim. Por exemplo, seja o caso de reconhecimento de caracteres e Por exemplo, seja o caso de reconhecimento de caracteres e

para simplificar seja reconhecer entre um A e um X. para simplificar seja reconhecer entre um A e um X. EscolheEscolhe--se uma rede direta, com dois neurnios na camada se uma rede direta, com dois neurnios na camada

de sade sada, uma ou vda, uma ou vrias camadas internas e um conjunto de rias camadas internas e um conjunto de neurnios na camada de entrada capaz de representar com neurnios na camada de entrada capaz de representar com a preciso desejada a letra em questo. a preciso desejada a letra em questo.

ApresentamApresentam--se estas letras sucessivamente a uma retina se estas letras sucessivamente a uma retina artificial constituartificial constituda de uma matriz de elementos fotoda de uma matriz de elementos foto--senssensveis, cada um ligado a um neurnio da rede neural veis, cada um ligado a um neurnio da rede neural artificial direta (artificial direta (feedforwardfeedforward). ).

37


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisAprendizado SupervisionadoAprendizado Supervisionado ObservaObserva--se qual dos dois neurnios de sase qual dos dois neurnios de sada estda est mais mais

excitado. Se for o que se convencionou representar a letra excitado. Se for o que se convencionou representar a letra que for apresentada nada deve ser corrigido, caso contrque for apresentada nada deve ser corrigido, caso contrrio rio modificamodifica--se os valores das conexes se os valores das conexes sinsinpticaspticas no sentido de no sentido de fazer a safazer a sada se aproximar da desejada. da se aproximar da desejada.

Foi exatamente isto que Foi exatamente isto que RosenblattRosenblatt fez com o seu fez com o seu PerceptronPerceptron. Como a cada exemplo apresentado uma . Como a cada exemplo apresentado uma correcorreo o introduzida depois de observar a saintroduzida depois de observar a sada da rede, da da rede, este este um caso de aprendizado supervisionado.um caso de aprendizado supervisionado.


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisAprendizado NoAprendizado No--SupervisionadoSupervisionado aquele que para fazer modificaaquele que para fazer modificaes nos valores es nos valores

das conexes das conexes sinsinpticaspticas no usa as informano usa as informaes es sobre a resposta da rede, isto sobre a resposta da rede, isto se a resposta estse a resposta estcorreta ou no. correta ou no.

UsaUsa--se por outro lado um esquema, tal que, para se por outro lado um esquema, tal que, para exemplos de coisas semelhantes, a rede responda exemplos de coisas semelhantes, a rede responda de modo semelhante.de modo semelhante.


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisO Aprendizado O Aprendizado BackpropagationBackpropagation Estrutura da Rede:Estrutura da Rede:

Rede Direta Rede Direta MultiMulti--camadacamada com Neurnios Estcom Neurnios Estticos.ticos.

Modo de Treinamento: Modo de Treinamento: Supervisionado.Supervisionado.

SoluSoluo para superar o problema do aprendizado o para superar o problema do aprendizado da classificada classificao de padres noo de padres no--linearmente linearmente separseparveis:veis:

UtilizaUtilizao de uma camada intermedio de uma camada intermediria de neurnios, ria de neurnios, chamada Camada Intermedichamada Camada Intermediria (ou Escondida ria (ou Escondida -- ""HiddenHiddenLayerLayer"), de modo a poder implementar superf"), de modo a poder implementar superfcies de cies de deciso mais complexas.deciso mais complexas.

38


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisO Aprendizado O Aprendizado BackpropagationBackpropagation Desvantagem em utilizar esta camada escondida:Desvantagem em utilizar esta camada escondida:

O aprendizado se torna muito mais difO aprendizado se torna muito mais difcilcil. A caracterA caracterstica principal da camada escondida stica principal da camada escondida que que seus elementos se organizam de tal forma que cada seus elementos se organizam de tal forma que cada elemento aprenda a reconhecer caracterelemento aprenda a reconhecer caractersticas sticas diferentes do espadiferentes do espao de entrada, assim, o algoritmo de o de entrada, assim, o algoritmo de treinamento deve decidir que caractertreinamento deve decidir que caractersticas devem ser sticas devem ser extraextradas do conjunto de treinamento.das do conjunto de treinamento.AtAt o ino incio dos anos 70 nenhum algoritmo de cio dos anos 70 nenhum algoritmo de aprendizado para estas redes aprendizado para estas redes multimulti--camadascamadas havia sido havia sido desenvolvido.desenvolvido.Nos anos 80, um algoritmo chamado Nos anos 80, um algoritmo chamado RetroRetro--propagapropagaooou ou BackpropagationBackpropagation, veio fazer renascer o interesse geral , veio fazer renascer o interesse geral pelas redes neurais.pelas redes neurais.


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisO Aprendizado O Aprendizado BackpropagationBackpropagation Foi desenvolvido de maneira independente por Foi desenvolvido de maneira independente por

vvrios pesquisadoresrios pesquisadores Em 1974, Em 1974, WerbosWerbos descobriu o algoritmo enquanto descobriu o algoritmo enquanto

desenvolvia sua tese de doutorado em estatdesenvolvia sua tese de doutorado em estatstica stica e o chamou de "Algoritmo de Realimentae o chamou de "Algoritmo de Realimentao o Dinmica".Dinmica".

ParkerParker em 1982 redescobriu o algoritmo e em 1982 redescobriu o algoritmo e chamouchamou--o de "Algoritmo de Aprendizado Lo de "Algoritmo de Aprendizado Lgico". gico".

Foi com o trabalho de Foi com o trabalho de RumelhartRumelhart, , HintonHinton e e Williams do grupo PDP ("Williams do grupo PDP ("ParallelParallel DistributedDistributedProcessingProcessing") do MIT, que em 1986 divulgou e ") do MIT, que em 1986 divulgou e popularizou o uso do popularizou o uso do BackpropagationBackpropagation para o para o aprendizado em redes neurais.aprendizado em redes neurais.


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisO Aprendizado O Aprendizado BackpropagationBackpropagation O algoritmo O algoritmo BackpropagationBackpropagation hoje em dia a hoje em dia a

ttcnica de aprendizado supervisionado mais cnica de aprendizado supervisionado mais utilizada para redes neurais unidirecionais utilizada para redes neurais unidirecionais multimulti--camadascamadas com neurnios estcom neurnios estticos. ticos.

39


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisO Aprendizado O Aprendizado BackpropagationBackpropagation Basicamente, a rede aprende um conjunto prBasicamente, a rede aprende um conjunto pr--

definido de pares de exemplos de entrada/sadefinido de pares de exemplos de entrada/sada da em ciclos de propagaem ciclos de propagao/adaptao/adaptao.o.

Depois que um padro de entrada foi aplicado Depois que um padro de entrada foi aplicado como um estcomo um estmulo aos elementos da primeira mulo aos elementos da primeira camada da rede, ele camada da rede, ele propagado por cada uma propagado por cada uma das outras camadas atdas outras camadas at que a saque a sada seja gerada. da seja gerada. Este padro de saEste padro de sada da ento comparado com a ento comparado com a sasada desejada e um sinal de erro da desejada e um sinal de erro calculado para calculado para cada elemento de sacada elemento de sada.da.


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisO Aprendizado O Aprendizado BackpropagationBackpropagation O sinal de erro O sinal de erro ento ento retroretro--propagadopropagado da da

camada de sacamada de sada para cada elemento da camada da para cada elemento da camada intermediintermediria anterior que contribui diretamente ria anterior que contribui diretamente para a formapara a formao da sao da sada.da.

Cada elemento da camada intermediCada elemento da camada intermediria recebe ria recebe apenas uma porapenas uma poro do sinal de erro total, o do sinal de erro total, proporcional apenas proporcional apenas contribuicontribuio relativa de o relativa de cada elemento na formacada elemento na formao da sao da sada original.da original.


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisO Aprendizado O Aprendizado BackpropagationBackpropagation Este processo se repete, camada por camada, atEste processo se repete, camada por camada, at

que cada elemento da rede receba um sinal de que cada elemento da rede receba um sinal de erro que descreva sua contribuierro que descreva sua contribuio relativa para o o relativa para o erro total.erro total.

Baseado no sinal de erro recebido, os pesos das Baseado no sinal de erro recebido, os pesos das conexes so ento atualizados para cada conexes so ento atualizados para cada elemento de modo a fazer a rede convergir para elemento de modo a fazer a rede convergir para um estado que permita a codificaum estado que permita a codificao de todos os o de todos os padres do conjunto de treinamento. padres do conjunto de treinamento.

40


Aprendizado de Redes NeuraisAprendizado de Redes NeuraisO Aprendizado O Aprendizado BackpropagationBackpropagation Utiliza o mesmo princUtiliza o mesmo princpio da Regra Deltapio da Regra Delta

a minimizaa minimizao de uma funo de uma funo custo, no caso, a soma o custo, no caso, a soma dos erros mdos erros mdios quadrdios quadrticos sobre um conjunto de ticos sobre um conjunto de treinamento, utilizando a ttreinamento, utilizando a tcnica de busca do gradientecnica de busca do gradiente--descendente.descendente.

TambTambm m chamado muitas vezes de Regra Delta chamado muitas vezes de Regra Delta Generalizada ("Generalizada ("GeneralizedGeneralized DeltaDelta--RuleRule").").

A modificaA modificao principal em relao principal em relao a Regra Delta foi a o a Regra Delta foi a utilizautilizao de funo de funes contes contnuas e suaves como funnuas e suaves como funo de o de sasada dos neurnios ao invda dos neurnios ao invs da funs da funo de limiar lo de limiar lgico.gico.Como as funComo as funes de saes de sada passaram a ser derivda passaram a ser derivveis, veis, isto permitiu a utilizaisto permitiu a utilizao da busca do gradienteo da busca do gradiente--descendente tambdescendente tambm para os elementos das camadas m para os elementos das camadas intermediintermedirias.rias.


Algoritmo Algoritmo BackpropagationBackpropagation

1

i

n

x

x

x

k1

ki

kn

1

j

p

lm

1

bias bias

wjih

jhnet

kjh

1

1

1 1

1

1

fjh net

kjh( )

wpjo

ponet

kpo fp

o netkpo( )

Camada deEntrada

Camada Escondida

Camada deSada

...

......

...

...

...


Algoritmo Algoritmo BackpropagationBackpropagationPrincPrincpios Bpios Bsicossicos Suponhamos que tenhamos um conjunto de P pares de Suponhamos que tenhamos um conjunto de P pares de

vetores (vetores (XX11,,YY11), (), (XX22,,YY22), ..., (), ..., (XXPP, , YYPP), no nosso conjunto de ), no nosso conjunto de treinamento e que so exemplos de um mapeamento treinamento e que so exemplos de um mapeamento funcional definido como:funcional definido como:

Desejamos treinar a rede de modo que ela consiga aprender Desejamos treinar a rede de modo que ela consiga aprender uma aproximauma aproximao da forma:o da forma:

mn YXXY = , : )(

mn YXXYO == , : )(

41


Algoritmo Algoritmo BackpropagationBackpropagationEtapasEtapas 1. Aplicar um vetor de entrada do conjunto de 1. Aplicar um vetor de entrada do conjunto de

treinamento e propagar attreinamento e propagar at a saa sadadaUm vetor de entrada Um vetor de entrada XXkk=[=[xxk1k1 xxk2k2 ... ... xxknkn]]TT do conjunto de do conjunto de treinamento treinamento apresentado apresentado camada de entrada da camada de entrada da rede. Os elementos de entrada distribuem os valores rede. Os elementos de entrada distribuem os valores para os elementos da camada escondida. O valor do net para os elementos da camada escondida. O valor do net para o para o jjsimosimo elemento da camada escondida vale:elemento da camada escondida vale:

onde onde wwjiji o peso da conexo entre o o peso da conexo entre o iisimosimo elemento da elemento da camada de entrada e o camada de entrada e o jjsimosimo elemento da camada elemento da camada escondida escondida hh. .

hjki

n

i

hji

hkj xwnet +=

=1


Algoritmo Algoritmo BackpropagationBackpropa

Redes Neurais Artificiais - Departamento de Informática e ...mauro/ine6103/slide/CursoRedesNeurais.pdf · Redes Neurais Artificiais ... Introdução - Inteligência Artificial Simbólica

Text of Redes Neurais Artificiais - Departamento de Informática e...

REDES NEURAIS ARTIFICIAIS NA MODELAGEM DIGITAL: …

Introdução à redes neurais artificiais

Introdução às Redes Neurais Artificiais - Apostila

Redes Neurais Prof. Alex F. V. Machado. Redes Neurais Artificiais (RNA)

Redes neurais artificiais - IA Expert Academy

Http:// Redes Neurais Artificiais Christiano Lima Santos Redes Neurais Artificiais

1997 Redes Neurais Artificiais Mini-Curso

1 - Introdução à Inteligência Artificial - (09) Redes Neurais Artificiais Introdução à Inteligência Artificial Redes Neurais Artificiais Introdução à Inteligência

AULA02 Redes Neurais Artificiais. REDES NEURAIS ARTIFICIAIS (RNA) Uma RNA é composta de um número de unidades (neurônios artificiais) interconectadas,

Redes Neurais Artificiais - GitHub Pages

Capitulo 3 redes neurais artificiais

REDES NEURAIS ARTIFICIAIS: UMA APLICAÇÃO NA …

IMPLEMENTAÇÃO DIGITAL DE REDES NEURAIS ARTIFICIAIS …

RNA - Redes neurais artificiais

NOÇÕES DE REDES NEURAIS ARTIFICIAIS

Introdução Às Redes Neurais Artificiais

160277 redes neurais artificiais

Redes Neurais Artificiais Teoria e Aplicacoes.sorackalves.uv

SNP33D90 REDES NEURAIS ARTIFICIAIS - …sinop.unemat.br/site_antigo/prof/foto_p_downloads/fot_13112aula_01... · REDES NEURAIS ARTIFICIAIS ... Curso de Bacharelado em Engenharia Elétrica

Redes Neurais Artificiais - UTFPR

Redes Neurais Artificiais - Uma Introdução Prática

Redes Neurais Artificiais: Rede Hopfield e Redes …jsilva/monografia_RNA.pdf · Redes Neurais Artificiais: Modelo Hopfield e Redes Estocásticas 6 Marvin Minsky e Seymour Papert

REDES NEURAIS ARTIFICIAIS APLICADAS EM APRENDIZAGEM …

Redes Neurais Artificiais - educapes.capes.gov.br

Redes Neurais Artificiais (RNA): Introdução

APLICABILIDADE DE REDES NEURAIS ARTIFICIAIS PARA …

Redes Neurais Artificiais no Diagnóstico Médico - Andre

Redes Neurais Artificiais - UFSCmauro.roisenberg/ine6103/slide/... · Redes Neurais Artificiais Súmula Introdução - Inteligência Artificial Simbólica e Conexionista. Histórico

Introdução às Redes Neurais Artificiais

Documents

Redes Neurais Artificiais - Departamento de Informática e ...mauro/ine6103/slide/CursoRedesNeurais.pdf · Redes Neurais Artificiais ... Introdução - Inteligência Artificial Simbólica

Text of Redes Neurais Artificiais - Departamento de Informática e...