Variantes de BACKPROPAGATION

• 1. . Variantes deBackpropagation

2.

• Tcnicas Heursticas y de optimizacin Numrica

3. Tcnicas de Acelerar el algoritmo de Retropropagacin.

• Tcnicas Heursticas

• • Momento

• • Razn de aprendizaje variable

• Tcnicas de optimizacin numrica

• • Algoritmo de gradiente conjugado

• • Algoritmo de Levenberg-Marquardt

4. SDBP Mtodo del GradienteDescendente 5. Caractersticas del algoritmode Retropropagacin.

• El mejor avance en RNA

• Permite entrenar redes multicapa

• Aproximacin de un algoritmo de Gradiente Descendente

• SDBP es una generalizacin de LMS

• SDBP es equivalente LMS para red lineal monocapa

• SDBP Se utiliza entre 80% a 85%

6.

• La superficie de error de una red monocapa lineal tiene un solo mnimoy una curvatura constante

• La superficie de error en una multicapa puede tener varios mnimos locales y la curvatura puede variar ampliamente en diferentes regiones.

7. Error cuadrticovs.w 1 1,1yw 2 1,1 w 1 1,1 w 2 1,1 w 1 1,1 w 2 1,1 8. Ejemplo de Convergencia w 1 1,1 w 2 1,1 9. Inconvenientes delalgoritmo Bsico (SDBP)

• Algoritmo de entrenamiento muy lento

• Tiempo de entrenamiento grande (das e inclusosemanas)

• La razn de aprendizaje es pequea.

• 0.05