Cap1.2007-ANN - inf.utfsm.clhallende/bajadas/Redes/Cap1.2007-ANN.pdf · Aspectos teóricos de las...

Preview:

Citation preview

  • ��

    ��������������������������

    ��������������

    ��������� ��� !��"# ��

    �����������������������

    ���� �����������

    �������"

    $ ���"�"�

    %!�&�" '$ ($)����������$�$�*'

    $ �����������������+�������!#��"�

    ,����"��-.**$�/.0*������$11*

    ,�������"��1.**$�0.0*����$11*

    ���� �����������

    � Introducción: Diversas aproximaciones a las redes neuronales artificiales ;Biológica ;Estadística; Computacional etc

    � Redes Neuronales Artificiales FANNN: Modelo formal; Aspectos constructivos: Arquitecturas ; Algoritmos Aprendizaje ;Evaluación del desempeño.

    � Aspectos teóricos de las ANN. Aproximación universal, convergencia.

    � Sistemas Neuro-borrosos para la extracción de reglas.� Redes neuronales probabilísticas. Redes Neuronales

    Bayesianas. � Máquinas de aprendizaje, métodos de Kernel,

    máquinas de vector soporte � Aplicaciones de las ANN en regresión, pronósticos,

    clasificación, reconocimiento de formas, etc.

    ���������"

    ���� �����������

    ��2��"

    � ��2�2 , 3���������������������������

    ������������������ ���,��4��""3��55)

    � ��������6�����3�7�����������������������

    ���������������������83�,��4��""3��55' �

    � 9�"��:�� 3�7����������������� ���������83�����������4��""�;����3��55/

    � ��:��

  • �1

    ���� �����������

    ������������������������������������

    ����������

    ����������

    ����������

    �������������

    ����������

    ����������

    ����������

    �������������

    ����������

    � �� ���� �����������

    �����������������������

    ���������

    ��������������

    ����������

    ��� � ���������!"���������

    � ��

    ���� �����������

    ��#:!�������� �������=����

    � Combinación:

    – Ciencias Cognitivas y lógica

    – Ciencias de la Computación– Neurociencia (Fisiología neuronal)– Neuro-computación– Estadística Computacional

    Creación de Máquinas que puedan aprender de los datos (Machine Learning)

    ���� �����������

    �����������"�

    �������������������(

    � ,����� ��=����#��� ��":����� �������������

    �����#:����#����� �����" ��!����" 2���+=���" B��C.��������������� B���:����&� �������

    ��!���C�

  • �0

    ���� �����������

    �#F=���" ��������2��

    � 4�"�������#�""������#�=��:�

    � �!���������#�=��������"��������#�=��=�B,��C

    � ,�:"�����2������;

  • �-

    ���� �����������

    ���@�"���������=����+�

    � P!� �"������=����+�Q������+��������&����"����������

    ���:��#�������"��!��!����H!�������R� B�������#��=��C�

    !��#!���

    � ��#���!�������Q������&�"����!�������������#����"�

    ��������������"���:���"������#2��"��"��!��!����"�

    �!������!�����#:����������!:���

    � ��#��"�2���"��!��"�"��#����=����&���!������Q��!�����

    "������"���#�����:��������!��#!�������"�=��������+��

    :���;�"�������������=!���!��#!�����!�&�

    B������"���O�������55)C

    ���� �����������

    4����"���� ���#�����

    �����2F"��� ���:����"�#����� H!���:�"��

    #R���:��" �������"

  • �/

    ���� �����������

    El perceptron

    El “perceptron” procesador desarrollado F. Rosenblatt ( 1958),

    x1

    xn

    w1

    wnT z

    B = {0,1} or B = {-1,1}

    x1,..., xn, z ∈ B

    T�G*;>

    �G*;>

    ��

    ��

    ��

    ��

    =⇔;> with x0=1 and w0= -T© cm

    wi, T ∈ �

    ���� �����������

    Rosenblatt‘s Theorem

    “A perceptron can learn what it can do”

    � ��

    ���� �����������

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    CCBBCCBB

    �CB�

    *

    44

    4

    �������

    �����

    ��

    =

    −=�=

    ��#�

    1����#��

    0

    3������& $���

    ���

    ���� �����������

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    ���������������

    ��������

    ��

    ##

    #

    =

    −=�=�

    *

    ��#�

    1

    ����#��

    0

    -1

    3������& $���

    ���

    ���� �����������

    CCB��;:B�

    �CCB�B�

    >>;CB� *�

    ��

    44

    4

    −+=

    −=�=

    � ��

    ��#�

    1����#��

    0

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    3������& $���

    ���

    ���� �����������

    �!������" �������&���+�

    � 7����%� �����#���%� ���8�����(

    � $����%����������2���9�

    ���� −+

    =�

    �CB

    *C�BT >−=≡ ����

    ���

  • �'

    ���� �����������

    ��!����" ��#� �!������"

    � ��"���!����" ����"���#�� !�� ������� ����������

    �B�C����������#:� �����!�� "�M�� ���"������������� ��

    B�B�CC

    � *������%� �����#���%� ������%� ��:��(�

    � ;�����������:��.

    ��

    ��

    ��

    ��� U=�

    ��

    ��

    ���� �����������

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    ���������������

    ������ �

    ##

    #

    =

    −=�=

    *

    ��#�

    1

    ����#��

    0

    -1

    3������& $���

    ���

    ���� �����������

    �!������" �������&���+�

    � 6�������2−= ��

    ���� �����������

    ( )( )CB���;:CCBB

    1CBCB�

    11

    *

    44

    4

    ���

    �����

    ��

    −=

    −=�=

    σ

    � ��

    Q(x)

    1

    0

    σ

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    3������& $���

    ���

    ���� �����������

    1

    A(x)

    ...

    ...CCB�B� 4 =

    >>;CB� *�

    ��

    �4 −=�=

    � ��

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    3������& $���

    ���

    ���� �����������

    CCB�B� 4 =

    >>;CB� *�

    ��

    �4 −=�=

    � ��

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    ...

    ...

    1

    A(x)

    3������& $���

    ���

  • �(

    ���� �����������

    Data flow:

    Feedforward Neural

    Networks

    Recurrent Neural Networks�

    Aprendizaje: ANN with supervised learning

    ANN with competitive learning

    ANN with unsupervised learning�

    Topología:

    Regular

    Irregular�

    Estructura:

    1 Layer

    Multilayer�Función de Transición�������������Deterministas

    Probabilistas �

    Algoritmo PPL BPL�

    Clasificación de las Redes Neuronales

    © cm���� �����������

    7���,7

    ������/

    � ���7

    ������.�������"��!��?

  • �)

    ���� �����������

    �������>�����������������!�������>��?

    �����.

    � �!#2�����������:���#����"

    ���

    ����

    �+��

    ���

    � += � �=

    ++=

    λ

    λλ γγ�

    Y1Z

    Y�Z

    3�

    Y�Z

    Y1Z

    1C3B�

    ���� ��������

    �C1B ++= λ�

    ���� �����������

    �:�����G�E� �!:��&�"���

    � $�������%� ���>����.���"�:�"�"����������[>�\

    � �2���?�@�

    ���������(�"�!����=����#�#������� ����!�� ��"�:�"�"���2��" [>�\����!�� ����"����E!"����"

    � 1��@���� �

    ���������(

    ���E!��� ����E�#:��" B�#��"���"�C���������"3���" ����������":����� �������#�����" &������" �����������"������ ����&������" ���"������.�[B;�3

  • �5

    ���� �����������

    ,�����

    ���"��#�

    ����E!��� ����������#�����

    ��:��;�#���+� ����

    ��!:!�"��

    CB�� ϕ=

    � $���� += C3Bλ

    CDB` $$$ σΦ CB` �%�

    CBCX3B�

    C3B �&����

    ���$

    $���

    ����

    � −=�σ

    φσ

    λ

    ���

    ��� �\3[ ==χ

    ���� �����������

    ,$�"��#���� ����

    ����,$�"��#���� ����:��F#���� �"

    ����� �" !�� �!���+� ��2!"�� �����"��

    �����:��

    "�����

    CB�'��

    �=

    ���

    ����

    � −=�

    � $

    ��

    ����

    ��'�

    C3B�CB

    σρ λ

    C3B ����$ ��� λ−=

    \.CB#��[��=X ��"

    � ���'�� ℜ⊆∈=

    "

    ��X

    ���� �����������

    �����,$�"��#���� :!��� "�����������

    �;:������#���� :�� ���"��!��+� ��������!���+�

    �����

    "�X

    *C3BC3B

    =���

    ����

    � −�

    =

    ���(���� �

    � $

    �λ

    λ

    σψ

    $

    $$

    ∂∂= CBCB ρψ

    ,$�"��#���� ����

    ���� �����������

    ��

    ∂∂∂=

    ���

    ����

    ∂∂

    ∂∂=

    −=

    ==

    −=

    �ℜ

    ��

    ��

    ������(

    ����

    ����

    ��(�

    ���(�$��(���(��$��$)

    ��$)*������$)"

    ����$

    C3BC3B

    C3BC3 33BC3B

    C3BC3BCY3BCZ3BC3BTC33B

    CY33BZC3BC33B

    C3B

    11

    1

    λλ

    λλλ

    λλλ

    λ

    ψψ

    �����!���� �!������ ,$�"��#����.

    ��(�"�$��$�!� C3BC3BC3N3B � λψ−−=

    ,$�"��#���� ����

    ���� �����������

    �!���+� �������!�����

    �9�E� ��"���2!��+� =�!""����

    ����!���+� �������!����� �"�� �����:��

    �����

    C3NBC3NB����������������������

    C3N3BC3N3B

    %��!+�$!'

    ��$�! ��$�!�

    Φ==

    C3BYCC3BC3BZBC3NB

    CYBTZDCBC3NB

    � ��(���(���(�*%��!+

    $*$�$!'

    λλλ

    ψψ−=

    CBCX3B�

    C3B �&����

    ���$

    $���

    ����

    � −=�σ

    φσ

    λ

    ���� �����������

    ��#�

    �����CBTCX3B

    ������CBCBTCX3B

    �E�����CBTCBTCX3B

    �3 ������CBTCBTCX3B

    1Y1Z

    �31Y1Z

    3�

    Y1Z

    1Y�Z

    3�

    3�

    Y1Z

    1Y�Z

    ⋅=∂

    =⋅⋅=∂

    =⋅⋅=∂

    ==⋅⋅=∂

    +

    +

    γ

    λγγ

    λγγ

    λγγ

    λ

    λ

    λ

    λ

    λ

    ���

    ��

    ���

    ��

    ���

    �����

    ���

    ��

    ���

    ��

    ,$�"��#���� ����

  • ��*

    ���� �����������

    �"��#���� ,��������

    �6��""�������"��"���&��<

    __\__���_CB[_"!:�����������������

    __\C3XNB__���_C3XNB[_"!:.���������������

    __\C3XN3B[__"!:.C3XB

    3

    3

    3

    U

    λψ

    γ

    (�"$

    %��!+�$!'

    ��$�! ��

    $�

    "

    "

    �$�

    "

    �$�

    "

    −=

    Φ=

    =

    $$

    $$

    =

    =

    CB

    1CB

    �H!������"��

    1

    ψ

    ρ Lacks of Robustness

    ∞== − __\__���_[_"!:.C3XB �3

    U

    λγ (�"$��$�

    ��

    ���� �����������

    �!���+����2!"����������

    ( )( )[ ]

    CB�CBCB

    ������������������������������'

    �����D'

    CB

    .��������������

    Y3Z

    111

    1

    011

    $$$$

    �,$,

    �,$,$

    $

    -��.��$�

    −−=

    ���

    ���

    >

    ≤+−=

    ψ

    ρ

    ���

    ����

    �=

    ���

    ���

    >

    ≤−=

    __3�#��CB

    __��������������������1

    __���������1

    __

    CB

    �����������

    1

    1

    $

    /$$

    /$$

    /$/

    $/

    $

    )�/�$

    /

    /

    ψ

    ρ

    $$

    $$

    =

    =

    CB

    1CB

    �����

    1

    ψ

    ρ

    CB� $ρ CB$ψ

    ���� �����������

    �:�����G�E� ��2!"��

    ��"��#���� ��2!"�� ����:��F#���� ����"���� .

    �������+� ����$0

    �������+� ���

    _\YZ[_-)0 � $��$��$ −=σ

    $$ ασ`U

    &$$�

  • ���

    ���� �����������

    ��!����"

  • ��1

    ���� �����������

    B��B.���!��=������!�������>��?"�"�#!�����

    ������

    � ���������������������������������

    � ����������������������������������������

    � ������������������������������������������

    � �����������������������

    � ��������������!����������"�

    "��"���� ���!�����

    "����##$$$%��&������'&��%���(����&��#)**)#�

    � �� ���� �����������

    �"� ���!���=

    7����#:!������#������"���

    ���#����������=�����"��:!���

    ��������������!��"����!#���

    H!���"������"����!#���8