Click here to load reader

Variantes de BACKPROPAGATION

  • View
    3.045

  • Download
    3

Embed Size (px)

DESCRIPTION

Técnicas Heurísticas y de optimización Numérica

Text of Variantes de BACKPROPAGATION

  • 1. . Variantes deBackpropagation

2.

  • Tcnicas Heursticas y de optimizacin Numrica

3. Tcnicas de Acelerar el algoritmo de Retropropagacin.

  • Tcnicas Heursticas
    • Momento
    • Razn de aprendizaje variable
  • Tcnicas de optimizacin numrica
    • Algoritmo de gradiente conjugado
    • Algoritmo de Levenberg-Marquardt

4. SDBP Mtodo del GradienteDescendente 5. Caractersticas del algoritmode Retropropagacin.

  • El mejor avance en RNA
  • Permite entrenar redes multicapa
  • Aproximacin de un algoritmo de Gradiente Descendente
  • SDBP es una generalizacin de LMS
  • SDBP es equivalente LMS para red lineal monocapa
  • SDBP Se utiliza entre 80% a 85%

6.

  • La superficie de error de una red monocapa lineal tiene un solo mnimoy una curvatura constante
  • La superficie de error en una multicapa puede tener varios mnimos locales y la curvatura puede variar ampliamente en diferentes regiones.

7. Error cuadrticovs.w 1 1,1yw 2 1,1 w 1 1,1 w 2 1,1 w 1 1,1 w 2 1,1 8. Ejemplo de Convergencia w 1 1,1 w 2 1,1 9. Inconvenientes delalgoritmo Bsico (SDBP)

  • Algoritmo de entrenamiento muy lento
  • Tiempo de entrenamiento grande (das e inclusosemanas)
  • La razn de aprendizaje es pequea.
  • 0.05