Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de...

Redes Neuronales Artificiales

3 - Perceptrones

Redes Neuronales Artificiales

3 - Perceptrones

Dr. Juan José Flores RomeroDivisión de Estudios de Posgrado

Facultad de Ingeniería Eléctricajuanf@zeus.umich.mx

http://lsc.fie.umich.mx/~juan/http://lsc.fie.umich.mx/~juan/Materias/ANN

Curso Redes Neuronales Artificiales

Curso Redes Neuronales Artificiales

CONTENIDO

IntroducciónAprendizajePerceptrones mono-nivelPerceptrones multi-nivelOtras Arquitecturas

Separación LinealPerceptrones Monocapa

Separación LinealPerceptrones Monocapa

Condición crítica de clasificación:

n

iiixw

1

θ

Para 2-D:

θ2211 xwxw

Despejando:

21

2

12

θw

xww

xTutorial Matlab:

ch 2 – 1ch 2 – 2ch 3 – 1

Separación LinealHyperplanos

Separación LinealHyperplanos

Separación Lineal

Enfoque Vectorial

Separación Lineal

Enfoque Vectorial

Condición crítica de clasificación: θxw

AprendizajeFalso Negativo

AprendizajeFalso Negativo

Conjunto de Entrenamiento: {v,t}

Supongamos que t=1, pero y=0Necesitamos que w apunte en dirección de vCon cambios no muy bruscos

vww α

AprendizajeFalso PositivoAprendizaje

Falso Positivo

Ahora supongamos que t=0, pero y=1Necesitamos que w apunte en dirección de -vCon cambios no muy bruscos

vww α

AprendizajeGeneralización

AprendizajeGeneralización

ii vt-yw

vt-yww

αΔ

α

t=1, y=0 vww α

t=0, y=1 vww α

Repeatpara cada (v, t)

y=f(v)if yt

calcular w’until y=t para todo el TS

Tutorial Matlab: ch 4 – 1ch 4 – 2

Clasificadores con +2 Clases

Clasificadores con +2 Clases

Clasificadores con +2 Clases

Clasificadores con +2 Clases

Clases linealmente separables

Separables por hyperplanos

Clases No Separables Linealmente

Clases No Separables Linealmente

Clases No Separables Linealmente

Clases No Separables Linealmente

Tutorial Matlab: ch 11 – 1

Regla DeltaRegla Delta

lerror tota

salida de neuronas #

ppatrón k, neuronaen error

αΔ

αΔ

1

1

2

j

e

ee

M

e

yde

ydXw

w

ew

P

pp

p

M

kpkpkp

pkpkji

ji

pji

Regla Delta - MulticapaRegla Delta - Multicapa

iji

iii

iii

iiji

aw

ingErr

OTErr

ingErraw

j

j

αΔ

)(

)(αΔ

BACKPROP:La neurona oculta j es responsable de parte del error i

jkkj

ii

jijj

Iw

wing

αΔ

)(Δ

Algoritmo BackPropagation

Algoritmo BackPropagation

LearningLearning

Tutorial Matlab: ch 10 – 3ch 11 – 2ch 11 – 3

Overfitting – Demasiadas Neuronas

Overfitting – Demasiadas Neuronas

Overfitting – Mala Generalización

Overfitting – Mala Generalización

Mínimos LocalesMínimos Locales

MomentoMomento

)(βΔ)(α)1(Δ

)(α)1(Δ

j

j

twtatw

tatw

jiiji

iji

• Si el incremento en t es positivo y en t+1 también, el paso en t+1 es mayor

• Si en t el incremento es positivo y en t+1 es negativo, el paso en t+1 es menor

• Si el incremento en t es positivo y en t+1 también, el paso en t+1 es mayor

• Si en t el incremento es positivo y en t+1 es negativo, el paso en t+1 es menor