127

Dirichlet Processes, Chinese Restaurant Processes and All That

Embed Size (px)

DESCRIPTION

A slide presentation of the Dirichlet Process and its uses

Citation preview

��������� �������� ������ ����������

������� ��� ��� ����

������� � �� ��

���������� ����� ��� ��� ������� ������� ���� ��

������ ��� ��������� ��������

��������������� ����������������

������������� � ���� ����� ��� ���� ���

����������

���� ��������� �� ���������������� ����������

����������� ��������

���������� � ��

���!��������� �� �

"��!��������� ��� ��

�� ������� �������� ����� ����� ���������� �������� ���� ��

��� ����������� �������� �������� ��� ����� ������� ��� ��

���� ������ ����� � !���� ������� ������� ������� ���� ��"�� ����

�� #� $�"� ����� $� ������ ������� �����%

��� &������ ������ �������� ������ ��

�� '

��� &�"����� ������� '

���� ��������� �� ���������������� ����������

����������� ��������

���������� � ��

���!��������� �� �

"��!��������� ��� ��

� (��� �� )� ���� � *��������+ ���)��'

� ���� �� ����"�� ���� *����������+ �����,� ���� *�� ��������+

� �� ����� #-�� �"����% ���� ��� �"� � �$ �������� ��)� )��� ���

�"� � �$ ���� ������

��� �� ������ !�������"� �� !��������

� �� .�������� ��� �� ������� ������ �� � ��������� ����-����� $� ���

*��������+ ��� ���� �� ��������

� "� �-����� ���"�� !��) )��� ��� �� ������� ������ �� ��� /"��

.��������000

� (��� �� ��� �� ������� ������'

� ��,� ��� * ��1�$1)��� ������+

��� �� ������ !�������"� �� !�������� #�����$

� �"����� ���� )� ���� ���� �$ �" ���� �� ������ �� �����,� �����

� ���� �� �������� ��� �� �������� �$ *����������� ��� ����������

����� "���+2 ���� �� �� �� �������� �$ *�������� �����+

� ����������� � ��� /���� �� � ����� ����� "���� "�������� ��� ���� ��

��-����� �� ���"������

������ �� � ���� � ������ �� ���� ��� � � �� ��� ������ ������������

���� ��� ���� ������ ����� ��� � � � � ��� ��� � ������������� �� � �������

����� ��� � � � � ��� �� � ��

������� � ��

��� ���

��� ���� ������ ������ �0

� �0�0 �$ ��" ����� �������� ����� �� �� ������ �� �� �� �� �$ ���� �� ��

"�������� ������� ���� �� � ��� �� ���� ������� ��� ��� ���� ��

������������ ��� ��-�� ���� �������

��� �� ������ !�������"� �� !�������� #�����$

������ �� � ���� � ������ �� ���� ��� � � �� ��� ������ ������������

���� ��� ���� ������ ����� ��� � � � � ��� ��� � ������������� �� � �������

����� ��� � � � � ��� �� � ��

������� � ��

��� ���

��� ���� ������ ������ �0

� 3�� ������ )�"���,� � �"� �$ )� ������� �"���-�� �� ����� -��� ��� �

������ �-� 4"������ -��� �����

� �� ����"�� )� ���� �� ����) � �� ���� �-� ����"�� �� )��� ��� � ���

�� � ����� "���� �� ����"��

� ��� ������� ����� �� �� ������� �$ � ����� "���� �� ����"��000

%������ &������������

� 3��� �� .������� ���������� �������� �� ���� �$ ��� ���� �� ����

�� ����������

� ��������

� �����5�����

� �"������

� �"-�-�� ��������

� ���� ����� ��������

� ������� ���� ��������

� ��

� 3���� �������� ��-��-� ���"������� �$ �������� ����� � ������

�������� �����

� ��� ���������� ����� "����� �� ����� � /��� �$ -���"� !����

#$"������ �������� $"������ ��������� ����"�� ��%

� (�,�� $�"� �� ��� �� ��� $� ���������6�"������

'�������()*�� �� '���� �+

� ���� �������� #�0�0 �������� �"������%

� ���� �� �$��� ����� � ����1��-�� ���� �$ �

� "� ���� �� ������ "����������� �$ ��) ���� ����� ����� ��

� ������� ���� �� � /���-� $"������ #�1���������%

� �0�0 71����� ������ �"������

� �� ��� )��� ���� $�8"������ �"�������

� "� ��,� ��� �� �"� ����� ���� ����1��-�� ����� �$ �

� 9������ ��!�������1 ���� ��������

� 5���� ����"� ������ .������� -������ �����$

� -���"� ����� ���� �������� ���������� ������� ���1-���������

������� ��� .�� ��� ������ ���� �������� �-��� �� /"��

��

� "� �� ��� ���"������� "�������� ��� ������ ����� ����� �� ���� �������'

#��� �$���%

� ���,� �� ��������� ��:����000

'����� ,�������� !���� #',!$

� � ����� ����� �� )��� "������ ��� ��)� �� � ������� ����"���

)��� �� ��5���� �"� � �$ �� ���

� 5�� "����� ���� �� ��� 5�� �� ��

� �� �" ��8"��� "����� ���� �� � �� �� ��)� $�� ��� $����)���

����� "������ �������� ������ ����� � � ����� � �

� ���� ���� ������� ����� � ����� � ��

#;%

)��� � �� ��� �"� � �$ "������ "����� �� �� �� � ��� )��� ����

������� ��� ����� �$ ��� ����"��� �$�� � � "������ ��-� ���

������

��

�� ����

��

����

����

��

����

����

��� ',! ��� '�������(

� ���� ������ �� "������2 �� ��� �� �"����

� ��� ��9 ��5��� � ��� ����� "���� �� ��� ����������� �$ ��� ���� ���

�� ��� �"� � �$ �� ���

� 3��� ��� �� � �������� )����

� � ��!�������6�0�0 �������� � ��������<�� �� � ����� ����� "���� )���

��� �� ��

� � ��� $� ��� ��������6��� 5�� "����� �� ��� �� �� �� ������

��� ������� -��� $� ���� �� �� ���� $�� ��� ���

φ2φ1 φ3 φ��

�� ����

��

����

����

��

��

����

4

� �� )� ��) ��-� � ����� "����6� �� � ���� ���6$� ��� 8"������ ����

)� ����� �� � �"� �� ��� �"������ �������

��

',! !����- .����� /� �������- '����(��� !����

�� � ������� � ���� ��� �� ��� ��

�� � ����� $� � ���� ����� � ������� �� �� ��

��

01����(�������

���������� ������ � �� ��� � ������� ����� �

� �� � ��� �� ��� �������� �$ ��� ���� ��� ��9 �� �������� ��

� 3�� ��� �� ��� ������� -���� ��������� )��� ��� �� ��� �� ����

�������� ��

� 3�� ����� �� � ����� ����� �� �������� ����� ��� 9=���� "� �����0 �������

�� ������ ��� ������� -��� ��������� )��� ��� ��� ���� ����� )� ��-��

�� � ��� � � � � ���� � ���� �����

�����

� ��� ����� ����������� � ���� ��"������ ���)� ���� ��� /���� ����� "����

$� ���� � � � � ��� �� ��-����� �� ��� #���� �� ��� �������� ����� ���$%

� �� ������� ������� ���� ���� �� �� "�������� ����� *�������+ ��� �

����� "���� �� ���� �������0 (��� �� ����'

��

��� ',! #����$

� �� ���������� $�� � �"� ��� ��9�

� �� � ��� �� ��� �"� � �$ �� ��� ��� ��9 �� ����������6���

�"� � �$ �"���� �� ��� ��)� #�"����% �� ���� �6)�,� �� ���

)��� �$ ���������� .����

� >�) �� )� �� ��$���� )��� � ��9'

� >�) ���� ���� ����� �� ��� ������� �����1 ���� �"������'

� ��� ����� ����� ����'

� (��� �� )� �� ����,� ��) )��� ���� ���"�'

��

2������

� .�!��"��

� .������� ����"� ������ ���!1 ��!��� ������� �������

� ��$����

� >������� ��� ��������� ������� �������

� ����������� ������

� �����������

� �"��� �������� �� ���������� .����� ����1$�� �������

��"���1��1���1���� ������� 9���� ���� ��:"���� ���� 9�����1?�

�������

��

���������

��

�������� .�������� 3����

� &�-�� � ���� � � �� � )��� ��� ���� � � �� ��������� )��� �

����� -��� �� ���1X

2X

3X

X 4

X 5

X6

� 3�� /���� ����� "���� �� ���� ��� � � � � ��� $����<�� ������ �� ���

*�����1�$+ ������� ��5��� � ��� ����� �

����� ��� ��� ��� ��� ��� �� � ����� ��� ���� ���� ���

���� ���� ��� ���� ���� ��� ���� ���� ��� ���� ���� ��� ���

��

!����

� � ����� �� � *���+ ���� ����)� �" ����� �� � ���������

xiθ

N

θ

xN

x1

x2

� ������� ������� � ��-�� -��� ���2 �0�0 �����������

� ���� ���� ���� ���� �������� ��� $����)��� ������� �� � ����� $� ���

� ��-������ ���� ��� � � � � ����

����� ��� � � � � ��� �� � ��

������� � ��

��� ���

��

.� �������(

� � ��!�- ���� ����� ���� #����% ������

� ������� � ��� �$ -��� ��� � )��� ����� "���� ��� � #)��� ��� � �

���������� ����� "����%

� ��� "� � ��!�- ���� �� $����)��

� ��������<� ��� �� �� � ���� -��"��

� ����� � �������

� ������ $�� ���� �� ���

� ������

� @��� #"�"����% ������1��!� �� ��������� ���� ����� ��� ��� � �� ���

�8"��� �"� ����� "����

��������� ����������

� ��� � � ���� ��� � � � � ��� � � ����� ��

��� �� ��1�������

� �0�0 � � �� � � �����

��� �� � �

� ��� � � ���� ��� � � � � ��� � � ��� �$

�������� )��� �� � �

� 3�� ������� ������� �� ��5��� ���

��� ��� �����

����������������

����� ����� � � ������

)��� �� � ������

��� ��0 3��� ��5��� �� ����������� $����� ����� "����

�� ��� ������� )����

� ���� �

���������

%��� ����������

� � ������ ��� �$ ��� ������� ����� "���� )��� � ��

��� ���� ��� ����� � ���

����������������� �����

� 40�0 ������� ���

0 0.2 0.4 0.6 0.8 10

1

2

3

4

5pdf of Beta(1,α)

��

4((��(����� !������� �� ��������� ����������

� (��� �� ��� ����� "���� �$ � � ���� � � � � �� � ���� � � � � ���'

� �� �� ������� � � � � �� � ���� � � � � ���

� ��-� ���� � "���� � ������������ �$ ��� ������� �� � ������<�� ���

�$ ����������� ����� ����� -��� ���

� �� ������ ���������� �$ ��� �" ��� �$ ������� -��� ��� ������ � �������

)��� ���������� ���������� �$ ��� ��������

� 40�0 ��

��� � ������

���� ���

����

$� � �" ��8"��� ��� )��� � ��

� ��

��

3�������������������� '����(���

� ��� � � � �"��������� ����� -��� �� )��� ���� � �� � ��

� �������� ���� � �� � ��� ��� ����

���

���

� � � ������

������ � � ������

���

����

� � � �������

)��� �� ����� � ��0

� �0�0 ��� ����� "���� �$ � � � �� ������ ��� )���

�� ��� �

�� � � $� �� � �

�� ����)���

��

�������� ������� ������ ��������������� ���

��������� ��������

��

3�����%��� '�������(

� � �������-� ������ �� �"�������

� ��! ��� �$ � �"���� $�� � ����� "���� � � ���� ��� � � � ���

� ������� � ���� ����� $�� � �"���1����5 �� � ����� ����� "����

� 3��� ������ � 5���� ����"� ������

��� ��� �� �

�����

�� ��� �����

)��� � ��� � � ���� ��� � � � ��� �� ��� �������� ��� )��� )�,-�

���"��� ��� ���� ��������<�� $����� $� ��� �"��� #$� ���������%

� ���� ����

��� �� ���"��� �� � �������� ������������ ��� $�� ����

����"�

��

����� 3�1���� 3����

� 40�0 $� &�"����� ����"�� �� � ������� ��� ��� ���� �� � &�"�����

������� )��� ���� �� ��� �-����� ����� ��

��

����� 3�1���� 3���� #����$

� ����"� ������ ��!� ��� ���"������ ���� ��� ���� ����� ����� $�� �

������ ����"� ��������

� ��� �� �"��� �� � ��5������ ��� ��� �$ ���� ������ ������ $�� ��� ��

����"� ��������

� ��� ���"� ���� ��������� -�� � ������ �"��������� -��� �� ��

��� ��� �� �

�����

���� � � ��� ��� ��� � �� ��

�����

�� ��� ����

��

����� 3�1���� 3���� #����$

� ������ )�� �� ������ ����� ��5�� �� "�������� ����"�

� �

�����

�� ��

)��� �� �� �� ���� �� ��

� ��� ��5�� ��� ����� �$ � ������� � ������ $�� � 5���� ����"� �����

�� $����)�0 �� � � �� � � � � ��� � �

�� � ��� � ���

� ���� ���� ��� �� �� �8"�� �� ��� �$ ��� "�������� ��

� ������ ��� �" ��� �$ ��� ���� ���� �� �� �� ������ ��� �� �"���

��

����� 3�1���� 3���� #����$

G

θi

xi

� �

�����

�� ��

�� � �

�� � ��� � ���

%������ ����� 3�1���� 3����

������ ��� ������� � ���� �� !���� "� ���� #��� "��$����� � %���� &�$�����

'���(����

� ���� �� ���� ���� �� ��� �������� � ��� �

� 3�� ���� �$ ��� $� � �� �����1����52 �0�0 )� ����� "�� ��/"����

�����A��-���1����� ���� $� � &�"����� ����"� �����

� ���,� ������ ���� ��� �� ��

� 9��� � ������� ������� ��� ��������� � � � � ����� �� ��� ������

��������� �

� ��� ������� ���� )��� ��� #"�"��% ���"������ ���� )� �"�� ��� ��

��� �� ��� �$ ��� ����"� ��������� ��� ��� ����� ��� �����

� ��� ������ ������ ��-�� �� ��� �������� �$ � ���������� �������2

��� ��� ���� �$ �� �� �8"�� �� ���

%������ ����� 3�1���� 3���� #����$

�� � ��

�� � ��������� � � � � �����

� �

�����

�� ��

�� � �

�� � ��� � ���G

θi

xi

α 0

G0

� ���� ���� � �� ��) � ������ �������

��

5��������

� 9������ ����� "����� #$� � � ���A� �% ��,� � $�"�� �����������2 ��

�� ������-� ����� "����� #$� $"�"� �%

� >�)�-� � -����� �$ ���� �������� ��������� �� �-���� ��

� 40�0 "�� ��� �������� � )����� � &� � ������0 &�-�� � )� !��) )���

���� ������ ����� �� )��� �"��� ���

� ��� ��� ��� ������� �"���������1������� ��/"���

� ��� ������ ������� "������ $� ��� �"���2 �0�0 $� ��� �� #���

��/"��� �$ �� ��� ��� ��� �� ��!� ���� ����%

� ��� ��� ��� �"��������� �����5�����

��

3���� '����� ��� ����� 3�1���� 3����

� >�) �� ����� � ��� �"� � �$ ����"� ���������'

� ����"� ����� ����� �������� ������� �� � ��������� �0�0

���1-��������� ������� ��� .�� ��� ��� �-����� ���������

������ ���� �������� ��

� � �� ���� � ������� ��� �� � #�0�0 9������% ��� �� "�� .�������

#����� �������� � ����� �-������% �������

� 3�� ������� ����� ��� ������� ����"��� ����� ��-��� �

���������� .������� ��������-�

��

.���( &������������)4 ��� !�������"�

������ �� ��� � !������ � ����� )������� ���� &�$���� '���(����

� ��5�� � �"��� �� ��5���� ����"� ����� � ��!��� � �� ��5���� ��� ������

���� *� ���

��� �� ��+ ����� ��������� )���

�� � ��

�� � ��������� � � � � ����� �� � ��

� ��-��� ����������� �"���� �� �-�����

� (��� �� ��� ����� "���� �$ ��� ��-�� �� �� � ��' ���� �� ��� ���<� ��

���� 5��� ����� "����'

� ����

��� �� � � "��� ���� �"��� �� ������ �$ ��-�����'

� �� )� ��� � $�) ���� ������ ��������� � �� ���� ��� �$ ������ *��<�+'

� �� )� ��� ��� *�"������+ �� ���'

� 3��� ����� ���2 ���,� ������ ��� �� ��� $�� � ��:���� ����� �$ -��)��

4 ������ !�������"�)���� �%��� ��(

������ *� �� ����� � +������ ������� � �� ��� � ����� � ,��$����� �

� ��5�� �� ��5���� ��8"��� �$ .��� ����� -��� ����

�� � ������� ��� � �� �� � � �

� ��� ���� ��5�� �� ��5���� ��8"��� �$ ������ ��������� ���

�� � ��

�� � ������

������ ��� � �� !� � � �

� 3��� �� � -��)�� �� ��!��� �: ������� �$ � ���!�

1 2...

1β β (1−β )

��

���� �%��� ��( #����$

� (� ��) ��-� �� ������� $��"�� $� ��� ��� ������

��� ��� ���

� (� �� ���� ������ ��� ������

��� �� � � �"����

��

�����

�� � �� �� � ����� ���� ����� ������ ���� � � �

� ��� ������ �� � ����� ���� � � � �

�����

��� ���

� � �"�� �� � ���

� �� ��) � ���

��� ���� ��� � ���� ��5������ �� � ����� ����"�

��

.�������� 3���� ,������������

G

φk

α 0

G0

π k

θi

xi

��

��6��%���� �������(

������ )������� ����� �

� @��� �� ��������� ��5������ �$ ��-����� ��� ����� ������� )������

��������� � � � � ����� ��-��� �� � ��

� ���) ����� )������ �� ��/���� �" ����-��� �$ ��� ��

� &������ � ��) ����� ��8"��� � �� $����)��

� ���) ���� "��$���� �� ����� �� ��� �� #��8"��������%

� )����-� � ��) �" ����-�� �� ��� ��� �� �� ��� ���������� )����� ���

������� �

� 3��� �������� ������� ������ ��� ���!1 ��!��� ����� "����

� ���!1������ � ��) $�� ��� ���!1 ��!��� ����� "���� ������ ���

�������������� �������� #)��� ��-���� ��� *��������� ��5������

�$ ��-�����+ �$��� �� � �-�%

��

������ 5��������

� (� ��) ��-� � )���1��5��� ������ �$ � ��� ����� ����"�2 ��) � �"�

� ������� ����� ����"�'

� �0�0 �"����� ���� � ������ � ����� � � �2 ��) �� � "����� � ��� ����

� �� � ��'

� � �"����� ���� � ������ � ���� �"� � �$ -���� �� � �2 �� ���� � ��)

�$ ���� �"� �� $� ��� ������� ����"�'

� (��� � �"� ��� ������� �� � �������' ��� � ��� ��������� � �"�

���� � ��� � � � � ����� )��� � ��� ��� ��������� �"� #�� ���� �����%'

� ��)�� ��� "�)�� ���� ���� ��� ����"� �����������000

��������� !�����

� �� ��������� �� � ����� ����� ����� -��� ��� �� ��5��� �� $"������

)���� ����� �� ��� ����

� �� ��� ��-���� �� � ����� ����� ��� ���� ����� -��� ��� ���� �-�

��� ������ ����� ���"���� $"����� ����� ��� ����� �$ ����"��

� �������� ����� ����� ��-���� � "��$���� �������-� �� ����� ���

������ ����� � /���

.����� !�����

� �"����� ���� )� )��� �� ���� � ����� "���� �� � $"����� ����

� &�"����� ������� ��-��� ��� )�� �� �� ����

� ����� ��� ���� #$� $"������ �� � �� � %�

� ����$� � &�"����� ����� "���� $� ��� 5����1����������� ����� "�����2 �0�0

$� ��� 5���� �������� �$ -��"�� �� ���

� �� �� �� � )�� ���� ��!�� ����� ����5������ ��������� )��� ��� ����

#"�� � �-����� $"�����%

� 7�������-,� ������ ���� ���� ��������� �"�� �� ����� � �������$"�

�����

� )� � ���� � ����� "���� �� $"������6��� &�"����� �����

� �������� )� �� � ���� ����� "����� �� ����"��000

��

��������� !����

� � ����"� �� � $"����� $�� �" ���� �� ��� ���������-� ����

� 3�� 5����1����������� ����� "����� )��� � ��5��� �� 5���� ��������� �$

�" ����

� �� �"�� �� ������ ���������

� (� ���� �� ���"� ���������6�� � ������� ���� �� ��� )��� )� �������

���� �� � ��������

� ��� ������� ����� "���� �� ��� )�� �� ����-� ����

��

��������� !����

���� � �� �� ��� �#��� �� � �������� ��� �� ���� �� � ���������� �����

�� ��� ��� �� ��� ��� �� �� � �������� ��� ����� � ��� ���� �� ��� �� ���

���������� �� � ����� ���������� ����� � ��� �#��� � � ����� �� ���

����� �������� �!�� � � � � !�� �� #� ��� ����� �� �� ���!��� � � � � ��!��� ��

��������� �� � ����������������� ��� ���� �����������

���!��� � � � � ��!��� � ����

�����!��� � � � � �����!���

#B%

�� ���� � � �$������ �� � �� � ����� ���������� ����� ���������

� ����� �� ��� ��� ���� �� ���� ���� �� ��� ���� ����� �� � ��� ���

�� ��� �� �������� ��������

A

A

A

A

A

1

2

3

4

��

��� !������� ��������� !����

� �"����� ���� )� ������ � $�� � ������� ����� ��� ���� ������ ��

$�� �0 (��� �� ��� ������� �����'

� �� � 5��� �������� )� ��� � ������� ������� "����� #$� ��� ��� ����

������� �� ��� �������� ������� � ���2 ����� ��� ���� $� ��� ���� ����%

� ���� �� �"� $� �-�� ��� ������� ���

� �"������ ���� ��� ������� �� � ������� ����� �� )��� ��� ��� ����"�

��� �� ���� �� ��

� ������ )� ��-� #$� � ���$ ��� �0�0 ���-��� ;CCD%�

� � �� � �$����� � ���

� �������� ��� ������� "����� �������

� � ��� � � � � �� � �$����� �

�����

���

��

,���������� �� ���� �%��� ��(

� �������� ��� $��"�� $� ��� ���������� �$ � ������� ����� -��� �� $�

��� ��� ! � # )� ��-��

� %��!� � ��� � � � � ��& ������!� ���

��� ���!�

�� �

�����

�����!�

)��� �� �� ��� "��8"� -��"�� �$ ��� �� )��� �� � ��'��� �� ���

)��� � �� ��� �"� � �$ ������ �$ �� �� ��� ��8"��� ���� � � � � ���

� ���"���� ���� ��� ������� ��������� ���� �"������ ���� ��� �����

����"�� � � �$������ �� ������ #)�;%

� �� ���� �� ��5���� �"� �$ ��� $�� � �

����� ���� ���� � ��� ���

��5������ �$ ��� ������� �����'

� ��� ��� ���!1 ��!��� ����� ����"�E

� ���� �������� ��"�� �� ��� ��� �� ��-�2 �� $����)� $�� ��������� $���

� �"� ��� ������� ����� "���� #����"���� ;CCF%

��

%�� �� 3�1���� 3����

� �� ��� ����"� ����� ������� �� �� ��� ������� ��������� )��� ��� ���

���� ����� ��

� �0�0 ��,� ��� � ��-��

� (� "�� ��� ������� ����� �� ���"� � ��� �� ��� �� ��� ���� �������

��� ����� � �����"��� � ��!�������

� /"�� �� �� 5���� ����"� ������

� 3��� ������ � ����� !��)� �� � ������� ����� ����"� �����

��

��������� !���� 3�1���� 3����

Gα 0

G0

θi

xi

� � �$������

�� �� � � � � �� � � � �

�� � �� � " ��� � ��� � � �� � � � �

��

3��(���� !���������

� 3� � ���� ��� ������� �� � ����� �$ ��� �������� ��� ��� � � � )� ���� ��

�������� �"� �

Gα 0

G0

θi

xi

α 0

G0

θi

xi

��

3��(���� !��������� #����$

� ����� ��� $��"��

� %��!� � ��� � � � � ��& ������!� ���

��� ����!�

�� �

� ��� ! � � ��������� ��� �8"�� �� ��� �$ ��� ��0 3�� $��"�� ���� ���� ���

������� �� � ����� �$ � ��-��� �� ����� �� ���������� �� �0

� ��� ��� ������� �� � ����� �$ � ��-��� � ��) � -��� �� ���������� ��

��0

� 3��� �� /"�� ��� 9=���� "� �����E

� �0�0 ���������� �-� ��� ����� ����"� � )��� � � �$������ ������

��� 9=���� "�

���������

5�������� ��� ��������� !���� 3�1����

� ����

� ���� �� ��� ������� ����"��� ����� � "� �����

� ���� �� ��� ���!1 ��!��� ������������

� �����1���� ���������

� ���������� ��$����

� ���� �� ��� ���!1 ��!��� ������������

��

3'3' ��� ��������� !���� 3�1����

������ ���� ��� �����$�� � +���� !���� -������ %���� &�$���� � .���� '���(���� .�� �

#��/� � �������

� 7�� �������� ���� ��������� �� �����������

� 40�0 �� ��� ������� ����"��� ��� )��� ���"�� "����� � ��� ����������

�� ��� ������� ����� �$ ��� ���� "������'

� ���� )��� "����� � �� ��� ���� "����� �� ��-�

� #���������% ��� ����)���

� ."� � �������� ����� �� ��)��� �)�� "����� � )��� ��� 5��� "�����2

��� /���� �� � ����� �� ��-����� �� �"� �)���

��

'������� .� �������(

� �� ��� ���� ������

� ������ ���� �� �� ��� ���� ����� # � �������� �����%

� ��� ��� �� /"�� ��� ������� ����"��� �������

� ��� ��!������� �� /"�� ��� "�"�� ����"� ��!�������

� ���� ������ � �������$�)�� $��"�� $� ��� ���������� $� &� � ��������

#�� ��� ��/"���� ���%

� �$ �������� �� ���� ������ $� ��� �� ���

� ������� ��� ������� -��� �� ���� �� �� ����������� �� ��� �$ ���

���� ������ ������� �� ��� �� ��

� 3��� )��� ��-��� �� ��� ������� ����� "���� �� ��������� ��� ����������

4��������"� 3'3' 4�(������

� ��������� &� � ���,� ��)��� $���� ��

� ���� ��/"��� $� �������� &� �

� ���) �� ��� �"� �� ��-��� � ������ ���� ����� �� � ����

� ���������1>������� #����%

� &� � �������� )��� �"������ �������� #��4���� G �H"���2 ����%

� �����1���� ��������� #&��� G ��������2 I��� G ����%

� ����) ��"�� �$ ������ �� ��-�

� ���1��/"���

��

��������� ��������� !�����

������ #��/� � ������� &�$����� .����� ������ )��������

� 3"���� ��� ���!1 ��!��� ������������ � 5���� � -��"� # ��� �������

�� � �

� 3��� ������� �� � � $� � # ��� ��� ����� "���� �$

�� �

�����

����

�� !��)� �� � ��������� ������� �������

� ���������� ������� ��)��� ����� "����� �$ �������� $�� � �9 ��� $��

��� �"������ � ( ������# � ������

� # �����,� ��-� �� � -�� ���� �� ��� � ���� ������������

��

.� �������( ��� �� ��� ��! #%��� �� .�$

� ����� �$ ��� ��!�- ����� ��� �� ��

� �� � � �� �� � � � � � ������ �� $���

����� � � ��� �� �� � �� ���� � ���

� �� � �� �� � � � � #� ������ �� $�� �����$��� $��� )����

$�� � � ���

��� ���

$�� � �� ���

������

��� ���

� �� � �� �� � � � � #� ������ �� $�� ��� �������

��

����������� 5��������

� ����� ��� ���"� $� #����15���% -��������� ��$�����

� &�-�� �� ������ �� ������� � ������ � ���� �� $����� %� $� ���������

���������� �

� ��5�� �� ������<����� �� ����

�� � ��� '��&�%� � � �

� @�� %�� �� ���������� ��� ������ �������� �$ �

� ������ ��� ����������� �$ ���� ������ ��-� ��� $� ������� ������

#�0�0 ����������� $����� ������%

��

����������� 5�������� ��� �! 3�1����

����� .���� � 0112�

� 3�� % ����� "���� �� � �"����� ���!1 ��!��� ������������ #���� ����

� �� ��� �"�����%

� ���������� ��$���� �8"������ $� � ��/"���� �9 ����"� �� ��� �����������

$������

$��� � � ��

� ����

$��� � � ��

���

���� ����

'��� � (� ��

� ������

'��� � (� ��

� ����

���� � ����)��

)��� �$� '� �� �� -��������� �������� ��� )����

) � *%�� +�& �����

��� *%����� +��& � *%,�� &��� �*%��,�� �&

��

01������ �!�.����� 3�1����

������� ����� ;�� �������� D�� #��� ����% ��������

������ �� )$� �((��3����� (�������4� ������ ���� ��4� 5 4������� �� � /��� �� ��

��6��� � ������ �/ �$� �������$�� )$� ���� ��� 711 (�� �� �� ������ 5 � #������

+� ��3���� ����� ���$ 83�� ����� �� ��4���� ���

01������ �!�.����� 3�1����

VDPCDPTDP

5 10 20 30 40 50

200

300

500

700

1000

1500

2200

3200

4700

Dimension

Tim

e in

sec

onds

5 10 20 30 40 50

−12

00−

800

−40

0

Dimension

Hel

d−ou

t log

like

lihoo

d

������ � ���/�� *� 4���� �� ���� (�� ���� ��� ������ �� �������� /�� 4������� ��

� /��� �� �9+��� �$� )+� #� � ���(��� �)+��� � � �$� �����(��� #� � ���(���

�*+��� #��5 ��� ��� ��� ���� ������ �"��$�� �4����� $���:��� ��� ������$��� /�� �$�

������(� �� � (�������4� ������ ���� ��

%������ 5�������� ��� ��

�!���� 7;;0�

� 3�� ��� $� ��� �"� � �$ �� ��� � ������� #�������% �� ��2 �"�� ��!�

�� �� ��� ���� �$ ���� �������

� ��� �������� �-� �� -�� � ��� ��!

� �������! #;CJF% ���)�� ����

�� ���� � ���

�����

���� � �

� ��)��� ��� ���� �$ �������

�����

���� � ����� � �-��� � �� �

�� ���

)��� -���� ��� �

������� ������� �� ��� ��� $"�����0

��

%������ 5�������� ��� �� #����$

�!���� 7;;0�

� 3��� ���������� � � � ���������

� ��� � ��

����� ��������

)��� �� � ������� �� � ����� "��� /���� ���� ��-��-�� � ��� ����� "����

$� � ��� � ����� "���� ����,� ��/"���� �� � ����� $� ��

� �� �����"� � �� �� ������� -��� �� #���� �� ����� �����������% ��� ���

��� ��� ����� � � ����� ����� "����

� 3��� ������ ������ ����������� $� &� � ��������

��

0�������� %��� ��� ��������� !���� 3�1����

������6�� ����� .���� � 0112�

� �"�� .�������� ��)��� ������� �� �������� �-� ������������ �$��� �

�����"��� ����� "����� )��� ����1������������

� �� )�,-� ���� ���� ���,� ��� �� �� $� �� "� )��� � �"� ��'

� ��,� ����� �� ����� � ������� ����� $� �� )��� � $��

�����������

� ���� ���,� -�� ���������6�� �"�� ���� �� � ����� �������<�� �" ��� �$

����� "����� �� ��� �� �$ � ���������� �����

� 3�� ��������-� �� ������� � �� )��� #"�"����% ����� 5���� ���

������������ �� -��"�� ���� ������<� ��� #�������% ��!�������

� �� "�� !���� ������� ���������� �� �������� ��

� �����"�� )� ���,� � ��-� ���� $�� �� )� ���"�� ������� $�� ��2

"�� ����� �� !���� ������� ����������

� �� ���� �������� �� � �����"� ������� ��!�������

��

4����������

� >�������� ��������

� ������ ������� ��������� )��� "�!��)� �"� �� �$ �����

� ��5���� ������ ��!�- �����

��

*�������� 3������(

� ������� . ���� ��!�� �� � ������ �����

� 3��� �� �� ����� �� ������ ���6�0�0 ������ �$ � ������ ��������

� "� �� $�� $� $�)� �� ���� �� �"��� ���"�������

� � ����� �� �� � ��� �$ "������ ���� �$ ��!�� #$�� ��� ����-��"��%

A B c

b Ca

{A, a}{B, b}{C, c}

� &�-�� � ��� �$ ��������� #�"������ ����-��"���% �������� ��� "��������

����������

� 3��� �� � �"������ �� ���

��

*�������� 3������( #�����$

A B c

b Ca

{A, a}{B, b}{C, c}

� 3�� �������� �� � ����"� �-� ��� ���"������ �����������

��/� �

��������

��0����0����/ �0�� 0���

#���"���� >���1(��� �� �8"��� �"�%

� �� ��� ������� ����� �� � ����"� �������� �� ���

� ."� )��� �� ��� ��������� �$ �'

� ������� ����� ����"�� �� ��� ��"�

��

�!�%��� *�������� 3����

�<� �� ,$��� � .���� � 011=�

� �� ��� ������� ����"��� ������������ ��� �� �� �� ��������� )��� ��

"�������� ��������� #��� �������� �$ � �"����-� ������� �"���%

� ��������-� ��$����� �$ ����� �� ��� ���� �$ &� ��� �� �� #BKKB%�

+� �>�,�

����� �� ��$ ���� ���� �� ���� ���� ��

7?� 7@ 1�7A2 1�=A1 1�7=7 1�7B= 1�==1 1�7@1

7 7? 1�711 1�021 1�7?1 1�011 1�=21 1�7A1

02� 7= 1�7@2 1�@2@ 1�772 1�070 1�2AA 1�070

B 7@ 1�712 1�0BA 1�1?? 1�7=2 1�=== 1�1;0

��

����������� ��� ��������� ��������� ����������

*����������� %������ 3������(

� � *������+ #�� ��� .������� ����� �$ ��� ���% ����� � ����� �� )���

�������� �� ������ �� ����� -��� ���

� ���� ��-���� � )�� �� ������ ��� ��� ������� "��������

� ���� ��-���� � )�� �� ���! ������ 8"��������

� 9������ �������6��� ��$������� ����8"���� �$ �������� �������� #���

���)% �� �$��� ��� ���� ������ ��"���� $� ��!��� � .������� ������

� 3�� ���� �������� �� �$��� ���� �������$"� �� �����

� �� �$��� �� ��� ���� �� � �"�����

� *����������+ �� �$ 8"������� �� ���-��� )��� ������ �� �"��

������������� #�� �� �$��� ��� ���%

� ����� .������� �����,� $�� ��" $�� ��� ������� ����� �$ ����1��

�-��"����� #����"���� �$ ��",� $������� $�8"������1����� �-��"�����%�

3������� /������( !�����

� (� �$��� $�� �"������ ������ ������� �� ���� #*����$� �������+%

� 40�0 �"������ &�"����� ������ ��� � ����� 1�

� �

2 θm1

x2 xmjjx1j

θ θ

� �����"� ��!�������� )�� �

������

��� ���

� �����"� ��!������� �$��� �����,� )�! -�� )���

� )��� �� *���� ���������� �������+ #�0�0 *������+%

*����������� %������ 4�������

� 3�� .������� ���"���� �� �� -��) ��� �������� �� �� ����� -��� ���

������� $�� �� "�������� -��� �� �

θ θ 2 θm1

x2 xmjjx1j

θ

� &�-�� ���� �-���� ����� .������� ��$���� ������ ��������6��� �������

���� $� ��� �� �� ���� ���� $�� ��� �$ ��� ��"�� )����"� ������

�"����� ��� ���� ���� ��� ��"�

��

*����������� 3������(

� ����� ��� ����� ���������

θ

θ i

xij

� 48"�-����� ���

θ θ 2 θm1

x2 xmjjx1j

θ

��

3������� '�������( !�����

� (��� � �"� ��� ��� �� )��� )� ��-� �"������ ������ �"������ �� ����'

� )��� �� ����' ��) �� ����'

� ����"� ������� ����� ���� ��� ����

��� ������ � � ���� ����� ���

�� � �� ���

1j

mj

mj

1j

2j

2j

π π2 πm1

z z

x

z

x x

� (��� �� ����� ��' ��' (��� �$ )� ���,� !��) ��� ��'

� � ���������� .������� ������ �� ���� ���� "� 8"��� �����000

��

4 &������������ 4�������)4 ��� ���

� ����� ������� ������� $� ��� ��"� ���!�� � �� "�������� ���

x

G

ij

ij

i

θ

G 0

� 9� ���� ��� ����� �������� � ��� ����� ����"�� �� )��� � �������

� �0�0 ��� ����� �� ��� ��"� )��� � ������� $�� ��� ����� �� ��� ����

��"��6�� ������ �$ �"����E

� ��������� ����� ���� )�! )��� �� ��� ������� ������ $��� #���������%

�� ��� ���������� ������000 �1#

��

*����������� ��������� !�����

�)�$� .���� � ���� ����� 011=�

� (� ���� �� ��-� ��� ��� ����"� �� � ������

� "� ���� ���� �� �� � L��� �� ��� �����

��

*����������� ��������� !�����

�)�$� .���� � ���� ����� 011=�

� (� ���� �� ��-� ��� ��� ����"� �� � ������

� "� ���� ���� �� �� � L��� �� ��� �����

� 3�� 5�� ��� �� �����$ � ����� "��� ������ �� � �9�

�� � $�2 � �$�$2�

� 3���

�� ����� � �$������

��� �� ��� ��� ����"� � #�����% ����� ����� "����6������� �$ �� )���

������� $�� ����� �����

� �0�0 /"�� �� �� ������ ��-�� �$ ��� .������� ������E

��

*����������� ��������� !���� 3�1����

Gα 0

G0

θ

x

i

ij

ij

γ

H

�� � ��� � ������

�� ����� � ��������

�� ��� � ��

�� � �� � � ���� ���

��

���� �%��� ��( ,������������

��� � ������� $�

�� � �������

������ ����

���� � �����

����� ���

��

�����

����

��� � ��������

������ �����

�� �

�����

����

�� �

�����

�����

��

'����� ,�������� ������� #', $

� ���� �������� �"� ��� �� ���� �������� �"� ��

Gα 0

G0

θ

x

i

ij

ij

γ

H

α 0

θ

x

ij

ij

γ

H

'����� ,�������� ������� #', $

φ

φφ

22

21 23

24

26

25 27

28

33

34

31

32

3536

= =ψ12 =ψ

=ψ=ψ =ψ =ψ

=ψ=ψ

11 131 2 1

3 121 22 23 24

31

3 1

1 232

ψ

θθ

θ θ

θθ

θθ

θ

θ θθ

17

15

16

1211

13

1418

θθθ

θθθθθ

φ φ

φφ φ φ

φφ

� 3� ��� ��"� ���� �������� � ���������� )��� �� "� �"���� �"� �

�$ ����� �� ��� ����"���

� 3��� �� � ��� �� ���� )��� �� "� �"���� �"� � �$ ����� �� ��� ���"

� 3�� 5�� "����� �� � �� �� ������ � ���� $� ���� �� �� $�� ��� ��� ��

���"

� ����$������ �:���6"������ ��$� �� ��� �� �� ��� )��� ���� ����

"������ ��� ��$� �� ����� ������ ���� �� ����� � ���� ����

"������

��� *�! �� ��!

� >�9� �� � ������ ��� �$ � ��� ������ $���)�!

� ����� ��� ���!1 ��!��� ������������ �$ ��� ������� ������

� �

�����

����

� 3�� >�9 ��5��� � ��� �$ ��"�� ������� � 3 ��� ����)� ��� ���! �������

��� �� -�� ���� ��"����� �

�����

�����

� 3�� ���� �������� �� ������� �-� ��"�� �� �� �� ����) ������ �$

�"���� #����,� ��� )���� ���� �$ ��� >�9%

��

��������� ��������� !�����

������$�� � 0111�

� ��� �������� #��� )��� ����� ���� ���� ������ �"���� �� ����% )�

�"�� ����) ��� ��� ���! ������� ��� ��� ���� �������� �� -�� ����

��"��

� 4-�� ��� �������� ����,� �� ����� �� ����� �"���-�� �� � 5���� �����

���6)� �� ����� ��� ���! ������� ��� ��� ���� �������� � � �����"�"�

-��� ���

�� �

�����

������

$� � � � )��� � ����� � ��� ��� ���� � ���� ��� ������ ����

� �0�0 ������� 5��� ��� ���! ������� ��� ��� ��� ���� �������� ���

���� ������ �������� ������� #�0�0 ������� ��������� �$ �����

-��� ���%

� (� ��� ��������� �$ �9� ���� -�� �������� �� � $"����� �$ ���� �-�������

01�����

� ������� ��9� #��4���� 7����� ��� &��$��� BKK;%

� ������� ���! ������� ��

� ��� ���� ��� �� � &�"����� ����� ������� � � � ��

� ����� ��9� #�� ���� �H"��� ��� ����� BKKF%

� ������ $���� ! ��� - ��� ��5�� ����� �:��� 4�� ��� '��

� $� � � ��� �� ��� ��� � �� � 4�� � '��

� ������� ���! ������� ��

� ���� ������ �)1)��� ��� ��"��1)��� ���!��� �$ ����������

����� "����� �� ��� ���� �$ �� ����� �� ��

��

�������������� 3����

������ ���$ � � �����$�� � 7;;?� ��$�(��$5�5 � � #��/� �� 7;;B�

� *�����������+ �������� �$�� �� � ���� �$ ������ ���� ���"�� ��� �

������� �������� ��� � ���������� ��������

� �$��� ��� ������� �� �� ��$���� � �"� ��� ������� ��������6���

���������� �������� �� � ������� ���������

� �� � ��������� ��� *��/���� �"�+ �� � $�8"������ �������

� �� � ��������� �"� �� � .������� �������

� ����������� �������� �������� �� �� ������� #)�,� ��������� �� ���

�������� �����6� �������6��� )��� �� 5�� �� )����-� ��� "�!��)�

��"� ����� "����� � �"� )��� )� ��!� $�) ���"�������%

� ������� ������� �� "��$"� �� ���������� ��������� ��

����������� ������

��

01������ !���� ,�(�����

�*����� � � �������� �� 0110�

� �"����� ���� )� ���,� ����� �"�� ��� 9������ ����� #�0�0 �-�1���������%

� ������ ��� 9������ )��� � �9 )��� � 9������ ��� ����"��

0������ � $���

0���� � ����

������� ��� � �$�����������

5 �� �

�����

�����5���

)��� � �� ��� �-����� #���"��� ������% ������� ��� ��-��� �$ ���

�-����� ��� �� ��� ��-�� ���������� �� ��� ��� ���� ����� 5� �� ��� ���

������� #�� ������% ��� 0� ��� 0 �� ���! $"������

� 3�� ���� �$ ��$���� �� #�$���% � ������� $� ��� �������� �� #��� �:��

�$ ���� ��������%2 ��� ����� "����� �� �� �"����� ��������

��

�����������

��

/����� ��������� 4��������� #/�4$ 3����

������ %�� .���� � 011@�

α z wθ

β

MN

� !����� ��������

� � )�� �� ��������� �� � ��������� ����� -��� �� 6

� � ���� �� ��������� �� � ��������� ����� -��� �� �

� � ��"���� �� ��������� �� � ������� ����� -��� �� �

� �������

� �������� �������� �$ ������� ��"���� -��� �� )����� ��"�

� �������� �������� �$ �"��������� ���� -��� �� )����� ��"�����

��

��� ����� ������1

� 4�� ��� �$ ��� ������� �������� �� � ����6� �������� �$ ���

-��� ��

x

x x

x

x

x

x x

x

x

x

x

x

x

x

x

xx

x

x

x

x

xx

x

x

x

������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

�������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

�������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

��������

���

���

���

���

topic 2

topic 1

topic 3

topic simplex

word simplex

��� ����� ����� �� � � ��

� � ��"���� �� ������� �� � ����� �� ��� �������6� �"��������� ����� "����

�-� �����

� � ��"� �� ������� �� � ������� ����� "���� �� ��� �������

��

��� &���� �� ����� �� /�4

� ���� ����������� �$ ��� ��-� ��!�� ��� �"� � �$ ����� -�� ���� $��

�$ ����� �������� ������2 �� )� "�� �9� �������'

� ������� ��� �� �� *������"� �����+6��� ����"� ������� ���,� �������

��� �� ��"���� "� ���� ��� �� )�� )����� � ��"����

� �0�0 ��� ��"���� �� ��� �)� �"������ �� ���

� )� ��-� ������� �"������ �� ����6��� �� ��"����

� )� )��� ����� $�� ��� ��"���� �� ����$� �� ���� ��"�����

� 3��� �� ������ ��� ���"� $� ��� �������� ������� �����

� �0�0 ��� >�9 ���-�� ��� �� ��� �$ ������� ��� �"� � �$ ����� $� ���

# � ����������%

�� ��( ��� *�������� �� 4������ /�"��

� 3�� >�9 $������� ��!�� ����� $� �� � ���� �"� � �$ ��-��� �$ ���

������

� �� ��� ��-�� ������� $�� ��� ��� ����"� ��� ���� ��� ��"����� �����

�� � ��� ����"� �� ��� ������

� 3��� �� �������� 8"��� "��$"�

� �0�0 ��� )��� ���� �� �"������ ���� #)��� �� ����$� ����� �����

��"����� ��� ����� ����%

� �0�0 ������ ��!�- ������ )��� �"������ ����!��

&5!� '��������� 4������ #7899�:;;7$

� ������ $�� ��� ��$���� �� ��-���� ���� ��������

"" ��������� ��� ������"��

"� �����������

#$ ������-� �����

#% ����� ��� ��-�������

�& ���������������

%$ ��"������

$� ������ ��������

'( ������� �����

)$ -�����

� ��� ����� �� ��������� �� � ����"� ����� #�-� )��� �� ��� -�� "���%

� �� >�9 �� "��� �� ����-� ��� ���� �"���� #*�����+% ����� ������

)����� ��� ������

� )��� �� ������� ������������ ����� ��� �������

3����

� �� ��������� ��� ��"��� )� $�"� �� ��� ������ #��% ��� ������ ���

���� ������ �� � ����

� �������

*����+ � ������� >�9 $� ��� ������

*,��+ � ������ >�9 $� ��� �������

*����������+ � ���!�� ��� �$ >�9�

Gj Gj

G0

VS Trainingdocuments

xjinj

jiθ

VS Testdocuments

xjinj

jiθ

γ

H

Gj Gj

G0

VS Trainingdocuments

Additional trainingdocuments

xjinj

jiθ

Gj

xjinj

jiθ

VS Testdocuments

xjinj

jiθ

γ H

Gj

G1 G2

G0

Gj Gj

VS Trainingdocuments

Additional trainingdocuments

xjinj

jiθ

xjinj

jiθ

VS Testdocuments

xjinj

jiθ

γ

α1

H

*����+ *,��+ *����������+

,����

0 20 40 60 802500

3000

3500

4000

4500

5000

5500

6000Average perplexity over NIPS sections of 3 models

Perp

lexi

ty

Number of VS training documents

none, no other sectionflat, additional sectionhierarchical, additional section

0 20 40 60 802500

3000

3500

4000

4500

5000Relationship to LT, AA, and AP

Perp

lexi

ty

Number of VS training documents

LTAAAP

� ��$�� �-���� ��������� �$ ���� �� ��"����� ��-�� ������� ��"�����

$�� �� ��� ������ ������ $� M ��:���� ������0 �"-�� ���)� ��

�-����� �-� ��� ���� ������� ��� ���� D "��0

� ������ �-���� ��������� �$ ���� �� ��"����� ��-�� �3 �� ��� �9

��"����� ������-��� "���� >�9 ����� �-����� �-� D "��0

������ �����

� 3���� ����� ��)��� �� ��� ��� ���� �������

� ��� �)� ������� �� � ����� ����� �� ���������

�� �� �3 �� �� �9 �9 ��

�� �

����� ��������

�������

����� ���

�������

����� ��������

�����

����� ����

�������

����

������������

�� ��� �

������

�� ���

�������

�������

�����

�����

�����

��� ���

����

�����

���������

����

��������

����

���������

�� �

��������

������

� ��

�����

��� ���

�����

�����

����� ���

�������

��������

������������

�����

��!

�����

� ��

�����

�� ���

�����

�����

��������

�����

��"��

���� ���

�����

��!��

��������

� ��

�������

�� � �����

#������

�� ��

��� ��������

����

�����

����

�����

� ���� ��

�������

���

����� ���

�� ����

��������

��� ���

�"�����

�������

���������

��� ���

������� �

��������$�����

��� ��

�� �����

��� �

������� �

�� ���

����

��������

�����������

���������

������ �

������

�����"

������

������

�����

�"�����

#��������

�����������

��� ����

������

����

�������

�� �����

�������

�����

�����

���� #��������

���� #��������

�������

������

�����������

�����

������

�� ���

��������

%�!������

����

��� �����

���������

�������

�����

���������

�����

�����

�����

�����"

����

��"���

��������

��

�����

�����

#���

���������

��"��

�� ���

���� � �

��������

#�����

�"�����

������

�������

����#��������

�������

������

����

������

���

��� ���

����

*����� 3�� �" 3����

xTx2x1

z zT2z1

� 3�� ������ ��!�- �����6� ������ -����� �$ � ����"� �����

� ��� �) �$ ��� ��������� ����� �� � ��� �$ "���1�����1���������

������ ��������� $� ��� ���� �$ ��� ���� �����

� 3�� *��5���� ������ ��!�- �����+ #�>��%6�� >�� )��� �� "� �"����

�"� � �$ ������ #.��� &�������� ����"���� BKKB%

*����������� ��������� !���� *33

� �� �� �������$�)�� �� ���� �"��� �� ����� �����6��� �� ����"�� ���

�>��6)����� ��� >�9 $���)�!

� �� >�� �� � -��)�� �� � ��� �$ ����"� ������6��� ����"� ����� $�

��� -��"� �$ ��� *"��� �����+

� (��� � ��) ����� ����� ��� >�9 ������� *�����+ ���� ��) ����� �����

��� �$ ��� "��� ������

� ������ �� ������ �� ��� ���2 ���� �� ����� ����� ��� ����"����

β

2

2

1

0kπ

8

γ

H

1 T

T

z z z z

x x x

4���� �� ����������

0 5 10 15 20 25 305

10

15

20

25

30

35

40

45

Number of hidden states

Perp

lexi

ty

Perplexity on test sentences of Alice

MLMAPVBVBm

� 9�������� �$ ���� �������� ��!�� $�� ��)�� �����,� "��� � -����������

*����������� ����� 3����

� 3��� ������ �"� �� ��� �� *L��+6��� ���� ��� �$ ����� �� �-���� ��

�� ��� ��"�����

� � �������� ���� ����� �����<�� ����� �� � ��� #>�$���� BKKK%

� ���� ���� ��� )�� *��������+ �� ��� ���� "��� �� ��� .������� �����

���

... ...

...

...

',!�%��� *����������� ����� 3����

������ �� ���� 011=�

... ...

...

...

� 4�� ���� �� ��� ��� �� � ������� ����"���

� 4�� �� �� �� �-�� ����"��� ��� �� ��������� ����� "���� �� )��� #�

*����+% ��)� $�� � ���

� ������� �� � �� �� �� � ��-�� ����"��� ���� ������ �� �"������ ���

)��� ��-���� ���� �� $"��� ����"���� ��� $"��� �����

� )� ���� $� ��� �������<�� ����� �� ����� �� )� ������ ��� ���

3�1���� 4 !�������� *��������

100

83

67 10 6

16

16

1

1

100

83

67 10 6

16

16

1

1

100

89

89

6

4 2

3

2 1

1

1

1

1

100

89

89

6

4 2

3

2 1

1

1

1

1

100

61

22 17 16 4 2

35

35

4

4

100

61

23 16 16 4 2

35

35

4

4

100

57

50 6 1

39

38 1

3

3

1

1

100

57

50 6 1

39

38 1

3

3

1

1

100

69

33 33 2 1

22

21 1

5

3 1 1

4

4

100

69

33 33 2 1

22

21 1

5

3 1 1

4

4

100

75

68 6 1

19

18 1

5

5

1

1

100

75

68 6 1

19

18 1

5

5

1

1

100

67

55 7 2 2 1

22

22

11

10 1

100

67

55 7 2 2 1

22

22

11

10 1

100

35

27 4 3 1

27

27

26

14 11 1

7

4 2 1

5

5

100

35

27 4 3 1

27

27

26

14 11 1

7

4 2 1

5

5

100

100

54 45 1

100

100

54 45 1

100

68

52 15 1

19

16 3

12

8 4

1

1

100

68

67 1

19

16 3

12

8 4

1

1

True dataset hierarchy Posterior mode True dataset hierarchy Posterior mode

����� *�������� ���� ���������� ���

the ; of ; a

a ; model ; memory

response ; stimulus ; reinforcement

speech ; reading ; words

action ; social ; self

group ; iq ; intelligence

hippocampus ; growth ; hippocampal

numerals ; catastrophe ; stream

rod ; categorizer ; child

self ; social ; psychology

sex ; emotions ; gender

reasoning ; attitude ; consistency

genetic ; scenario ; adaptations

motion ; visual ; binocularcolor ; image ; monocular

drug ; food ; brainconditioning ; stress ; behavioral

��

����� *�������� ���� � ��

the ; of ; a

n ; algorithm ; time

spanning ; heap ; structureregular ; language ; expressiondistance ; s ; pointscolors ; dgr ; coloringthe ; of ; apages ; hierarchical ; pagebuilding ; block ; whichclassification ; metric ; allocationset ; optimal ; structure

queries ; classes ; complexityquantum ; part ; classicalgraphs ; planar ; inferencelearning ; learnable ; cdata ; access ; overhead

programs ; language ; rulesabstract ; program ; theorysets ; magic ; predicates

networks ; network ; routing

routing ; adaptive ; routersclosed ; queuing ; asymptotictraffic ; latency ; totalbalancing ; load ; locationsinference ; task ; optimizationclass ; have ; property

system ; model ; performanceonline ; task ; decisionavailability ; data ; contentionmethods ; parsing ; retrievalcircuit ; cache ; verification

proof ; np ; questionzeroknowledge ; argument ; roundthat ; time ; problems

trees ; tree ; searchnodes ; binary ; average

n ; processors ; protocolshared ; waitfree ; objectschannel ; transmission ; costnetworks ; processors ; thosemore ; trees ; derived

constraints ; constraint ; algebradatabase ; dependencies ; booleanrecursion ; query ; optimalsubclass ; satisfiability ; by

n ; log ; functionsm ; parallel ; dshow ; oblivious ; protectionstudied ; makes ; the

logic ; knowledge ; systemstemporal ; logic ; exponentialknown ; large ; verycompilation ; queries ; online

automata ; lower ; boundedautomaton ; states ; global

��

!������ ��������� �� ������������ �����

��

�������� !�����

�������� � �� ����

� &�-�� � ������ ���� # ��� 4�� � � ������ ��8"��� �$ �"��� �� ���������

�$ #� ���� ��5��� �� ��5���� ��� �� )��� ��� ����� �� �" ���� �$ #

� �� ��� ��-�� �$ ��� ��� ��5�� -��� ��� ���� * ! � 4��6�����������

���� ��-���0

� �� ��� �" ��� -� � 4� ��5���

� �-�� �

�����

�����

)��� -� � -��� � � � � � -� ������� ��� ���� �� ��� ���

��

�������� !����� #����$

� @��� ���� ��"����� ��������� �� ��� ����� ���� ��5��� � �����

����"� !��)� �� � ������� �������

� �������� ��� ���� � ����� "���� �� ��� ���� �$ ����� "����� �������

��"�� � ����� � ������� ��������� ���� �� ������� ��"�� ���� �����

��� ��$���� ������� �$ ��� �����

� (������� � ����$�� ��� ���"�� � ����$�� �������

� ������� ������� �� � ������ ��� �$ ����$�� �������2 �������

� (������� � ������� ����� �� ����$�� )��� ����� �� �-�� ��8"��� �$

���������

� �� ������ ����$�� ������� �� ��� ������2 ������ ��������� �� �

��-�� ���� ��!� ���� � ���"���� �����"�"� )� �� ���"� ����"�

��

&��������������,�(�� !�����

�+������ ������� � >C���� !����� �������

� ���� ����������� #�0�0 �"-�-�� ��������% �8"�� ���� �� ����� "����

$"������ �� �����

� � ����� ����� "���� $"����� " � � �� ����� �� ������� �� ��� ���� #�3�%

�$ $� �-�� ��� � � � � � � � � � ���� ����� ����������� �����

-��� ��� +�� �"� ����

��� � " � ��� �� " � ��� � � � � �� " � ��� � ��+�� +�+�� � � � ���

���+��

� (������� " �� �3� �: �� � � � ��%�� " � �& �� � �=�-� �����

� (������� � �3� ��� ���"�� �� �3� �������

� 4������� .���1���� ����� $� )��� � �������<�� "� ����� �� !��)���

!���� ����

�������� � ��4� �� ����� � ,������$ !��������

� � ������ ��� �$ ����$�� ������� �� )����

� ��� ��� ��� ����� �� �-�� ���1�������

� ��-�� � ���� ! � 4� ��� ������� ���!� ������ ��� ������ �$ !

��� ����� "���� �$ ��� -��� ��� ���� �� �� ������� #������������� $�

��:���� ! � 4��

� ����� ������� ������� �� � ������ ��� "� 9���� ��� ����� "����� ��

��� ������6���� �� � � ���"���� �����"�"� )� �� ���"� ����"�

� 9������ "�������� ������� �"���������1������� "������� "� ��� ���

#��� ������� �� � 9���� ��� ����� "����%

� N"������ �������� �� ��������-� �� )��� ��� ��� ��-�� �� ��� �� )���

���"�� ����� 8"�������

��

��������� ��<���� ����

�%���� 0117�

� � ����� ����"� � ������ $�� � ����� ������ �����

� &�-�� � ������ ���� � ��5�� � .�)���� ���� �� � * � ��� �� �� �

� �� � ��-� �� ���� ����� �� ������ �� ����

� �"����-� .�)���� ����� ���� � $����)��� ���� ���� ���� "� ���

�: ������ �� � ��<�� $"�����

� )��� ��-��� �� � ��-��"� ��� ����� ����� ����� ��� �����

)��� �� � ����� ���������� �� ��� �"� � �$ ���� ���� ��-� ��-��"���

������� ���� ��� #"�1��!� ���-��%

� ��� ��<�� $"����� �� ��-����� ���������� �� ��� �"� � �$ ���� ����

��-� $����)�� ���� ���� #������ �"�������%

� 9���"�� ����� �$ ��<�� $"������ �� ����� ���1������ ����"��

��

.������ ���� �%��� ��( !�����

������ &�$���� .����� 0117�

� ����� ���� ��� ���!1 ��!��� ����"���� �� ���� �� �� � ������� ���

� (� �� ����� �������� ����� )���� "���� ��� ������ ��5������� �$ ��� ��

-��� ���

� 40�0 ��� ������.�� ������� $+��� �� ��5����

�� � ������� �� � � �� � �� �� � � �

� ���� �� ��!�� �)�� $�� ���� -��"�� �$ ��� ���! ������� ��� ����� ��

������ -��"��2 ���� ������ � ����� ����

� � ������� ����"��� ������<����� �$ �������� �� ����� �-���� ��

� 3�� #BKKD% ����� ��� ���� ����������� �$ ���� ����� �� ��������� "��� ��

����"��� ��������

"�� ���������� ��� ����������� ��������������

���������� 5��������

� I"�� )����� ��)� �� � ����� ����� "����� ��� �"���� � .������� ��!

���,� ��� ���� �� �� ���������� ��$����

� ���,� � ������ � ���������� �����2 �� ���1��$� �� ���� ������ ��

"�"���� ������

� ��� �� ����)��� ��$� �� ��� ������� )��� �� ���� � ��� ��� ��

��)��� � �-���� � ���� #�0�0 ��� %

� "� ����� ��� ���"�� ��)��� �� � �������� ��!���

� ��� ���,� ��$� �� ��� ���������� )��� )��� .������� ��$����� �� �

8"��� )���

� ��,� ��� �� �� � �������� ��!��� )��� ��� �� *8"��� )��� + �� ���

����� ���� ���� $�� � ���� �������� �!� $�8"������ �-��"�����

���

'��������

������ +���� �� ������� � +���� ����� � #$����� #$��$ "��������$�� #$���� 4� ���

9����� !������� � '$���

� ���� ��� ������� �������� �� ����� ������ �$ ��� �"� "��������

���������� ����� "���� �� ��� �"� � �$ ���� ������ ���� �� ��5����'

� ��� �� ������ ��� ��� �-�� $� ��� ������� �����

� �0�0 � ������� ����� )��� � ��"���� ��� ����"� ��� � &�"�����

������� ����� #� ������� �� )��� ��������� $�8"������ ��������� �����%

� ������-� ��"��� $� ��� )��! ����� ������2 ������-� ��"��� $� >�������

��� 7"�� �!1��� ��

� �� ���1����- ������ #.���� -�0 >�-��<13������� ��������%

���

'��������

� *@�$��"������ �� ����1����������� �� ���� � ���� ������� �$ ��� ���

�� ����� �����2 ������ ��� ��� �� �)��� ��� ���� �� ����� ��)

�"� ���� ��" ��-�0 3��� �� )��� �" �������� �"����� ��� ���� �� )�� )�

��-��� ������� ��� �������� "�� �$ .������� ���������� �����8"��+

#������� G ������� ;COP%0

���

'��������

� .�������� �� �� ����������� � �"����� ����"�� �� ����"��

� ��5����1����������� �� ���� �� ��!� �� )�! )��� ����"���� ���

#"��-���� ��% "��"��� �� ��5����1����������� ���

� ��,� ��� ���"�� �� /"�� )��� �"� �� � ������� ��� ���"��

� 3��� �� � ������� ��� ���� ������"� �� ����� �� ����2 ��� ��� ������"�E

� ������� ��������� ��� ����"�� .������� ����������� )�!����� ����

*.������� ����������� )�!����+ ���� &�����

� ��� �� � ��$"��� )��� ��� ��9� .������� ����������� )�!����

)��� ��" ����� ���� ������ ���������

� �� ��� ������� �� ���� ���!� �����AA)))0�0 �!����0��"A�/����

���

,��������

������� +� �7;A2�� �3�$� ��� ����5 � � ������� ��(���� & ������ ������ �� ��� ������� ��

� �������� ���������� (���� 7D7;A� ,(�� ���� ����� �

� �� ���� *� �� �7;B=�� �3����� �/ +����$��� (�������� ���$ �((������� � �� ��5����

� (��������� (�� ����� ��� �� �� � ������ 0�?�E7720D77B=�

����� � .�� #$�$���� �� '�� � � "������� � *� �� �0110�� )$� � 8 ��� $���� ����4

������ & +��������$� )� #�� ������� ,�� � � #$�$���� �� '�� �������� ��� ���� �� ���� �

����� ��� ��������! �"�� �� 4����� 7=� (���� 2BBD2A=� *�� ������ �� &) ������

����5� +� �� � � *$����� �� � "� �7;B;�� ��(������ ��5�� ��������� �/ � � �����

(�������� 4�� ��3����� �/ +����$��� (��������� ��� �� �� � ������ BE22AD2?A�

���������� +� � � ������ � .� �� �7;B@�� ������� ������ ���� � 4�� �F��5� �� ��$�����

��� �� �� � ������ 7E@2@D@22�

����� +� � � � .���� � � &� �0112�� 9������� �� � /��� �� /�� +����$��� (������ ��3������

# "��� � �� �"���� 7�7�E707D7==�

���

����� +� �� %�� �� G�� � � .���� � � &� �011@�� ���� � +����$��� ��������� � $���� � ��

% �&��� '� ����! (��� ��&� @E;;@D7100�

����� +� �� #���$�� )�� .���� � � &�� � � )� � ���� .� �011=�� >������$���� ��(��

������ � � �$� ����� *$� ��� �������� � (������� & )$�� � ,�� ,���� ��� � � ,�$-����(/�

��� �������� ��� ���� �� ���� � ����� ��� ��������!� 4����� 7?� *�� ������ �E &)

������

���� � �� "� � � & ��$��� .� #� �011@�� � ��5���� ����(��������� C�� � $������$����

����� /�� �� ������ �� � � ���4�4�� ����� #�� ������ 2;E007D00A�

��� ��� �� .� �7;;2�� ��5���� �� ��� ��������� ���$ ����� ����� �$�� $�4� �5�������

� ������ �� ������� $���� � �� ���) � ���� � ������ =E@@2D@=A�

���$� *� � � �����$�� � ,� %� �7;;?�� � ����:(��������� ��5���� ����� /�� �� �������

������ ����� �� #�� ���* � A@E7B2D7A2�

*������ *� � � �������� �� #� �0110�� ,���(��������� ��������� /�� ��� � �����

#�� ���* � A;�0�E0?2D0A7�

���

*�/������� +� � � "���HH� �� �� �7;BA�� ��� ���� ���������� � (���������� � �� ��H�� � ��

���� �� ����I� (��H���� � ��(���� �� ����� ���������4�� )��$ ���� ��(���� ������ � &�������

��������� �� � H����� ����JK �4�����I� �� )��� ��

+� &����� �� -������ ��� � � "�� ��� #� �� �011=�� � �%L9� ����� /�� ��(� �� �

�� ��� ��������� $���� � �� &� � ���� � � ���� � ������ ���� ;;�=?2�E012D072�

+���� ��� �� � � ������� � +� �7;A?��� L � �� ����� � ��5�� ��������� �/ ������� �

��� �� �� � ������ 7=E?ADAB�

+���� ��� �� � � ������� � +� �7;A? �� L �$� �� ����� �5 �/ �5�� ���������� ��� �� ��

� ������ 7=E7D?B�

+���� ��� �� � � ������� � +� �7;;@�� %� (��������� � ��5 ��5���� ��������� � ��� ��

�� � ������ 07E071AD07@B�

+������ �� �7;B=�� )���/��� � � ������ �� ��� (�� � ������� � � �$��� (��������

������ ���� �� ��� �� �� ��� ����"� 0E7A@D017�

+���� >� �7;A2�� ��5���� � (��������� ��������� �/ �$� ����� � ���� �E *��(������

�/ �$� ���������� ��� �� �� � ������ 7@E7=@0D7===�

���

+���� >� �7;;=�� ��5���� � (��������� ��������� /�� � ���(���� ���� 4�� ��������4�

�� �������� ���(�� �� ��� �� �� � ������ 00�=�E7B?@D7BA?�

���� ��� � +� �7;;=�� �������� � ����� ��� � ���$ � +����$��� (������ (����� $���� � ��

&� � ���� � � ���� � ������ ���� A;E0?AD0BB�

���� ��� � +� � � !���� � �7;;2�� ��5���� �� ���5 ��������� � � � /��� �� ��� �

��3������ $���� � �� &� � ���� � � ���� � ������ ���� ;1E2BBD2AA�

��� �� !� �7;B0�� )$� ���(�� � �$���5 �/ �������4� ������ �������� +&������ � �)�� ���

#����!"� @EABD770�

�� ���� .� �7;?=�� ��5�(����� �$�4��� �/ ��5�� ���������� ��� �� �� % &� �� �

� ������ @2EA=?DA2?�

������� � )� ,� �7;B@�� � ��5���� � ��5��� �/ ���� � (��������� (�� ����� ��� �� ��

� ������ 7E01;D0@1�

������� � )� ,� �7;B=�� ����� ������ ���� � � �(���� �/ (�� � ����5 ��������� ��� �� ��

� ������ 0E?72D?0;�

���

������� � )� ,� �7;A@�� ��5���� �� ���5 ��������� 5 ��3����� �/ ����� ������ ���� ��

& "�H4�� >�� � � "������� .�� �������� (���� ��� ���� �� � ������ %�� G���E ��������

������

�� �� +� �� >�� ������� ,� ��� �� ���� ,� ��� � � ����� � #� �� �0110�� "�� ��5H� �

��������� ����� � �M���(��� � � �������� � ���4�� ���$��� �$�(� �� ����� ��� $���� �

�� #������� �� ����� �� � ������ 01E=0@D==1�

������� � +� �7;?@�� L �$� ��5�(����� �$�4��� �/ ��5�� ��������� � �$� �������� �����

��� �� �� % &� �� � � ������ @=E7@A?D7=1@�

#��/� �� �� �� � � ������� �� �0110�� � ���(������ �� �((����$ /�� /��� � (���������

��5���� � /��� �� � ��� +����$��� (������ ��3���� ������� $���� � �� ,� )� ��� � ��

-� )&�� � � ������ 77E0A;D@12�

#��/� �� �� ��� ������� ��� � � �����$�� � ,� %� �0112�� ��5���� � (��������� �(�����

������ � ���$ +����$��� (������ ��3� �� $���� � �� &� � ���� � � ���� � ������ ����

711E7107D71@2�

#$����� ,�� #$��$� .� ��� � � "��������$�� "� 9� �7;;;�� ��������� �� ����� �5 �/ +����$���

��3����� � �� ���5 ��������� � ��� �� �� � ������ 0BE7=@D72A�

��

#$����� ,� � � 4� ��� 9����� �� �0117�� � ���(��� � � ����� �/ �� 4���� �� /�� ��5��

� � ��3���� ������$��� ��������� /�� ��3���� �/ ����� �� ������� ��� �� �� � ������

0;E70@@D70?@�

#��� � �� � � "��$����� � ,� �0117�� ������ � $������� ���5 ���$ � � ���$��� �$�

+����$��� (������� �� ���� �� � $���� � �� � ������ 0AE@22D@BB�

#��������� ��� >������ *� *�� � � !������ ,� #� �011@�� ���/��� ��������� � 4��4� �

/� ���� ��� �/ � +����$��� (������� $���� � �� ,� )� ��� � �� -� )&�� � � ������

>C���� %� �7;;1�� %� (��������� ��5�� ���������� ���� � ��� (�������� � ������ /��

��/� $�����5 ����� ��� �� �� � ������ 7AE702;D70;=�

&�$���� � >� � � .����� �� �011@�� #� �����H�� ����$��� *$� ��� �������� � (�������� /��

�(����� ���(�� � ��3���� ������� � ���� ����� � 7@E7077D70@2�

&�$���� � >� � � .����� �� �� �0117�� #� � ���(�� � ���$��� /�� �����: ����� � (������

$���� � �� &� � ���� � � ���� � ������ ���� ;?�=2@�E7?7D7B@�

&�$���� � >� � � .����� �� �� �0110�� �((��3����� +����$��� (������ ���(��� � � 8 ���

����� ��3�����E ,����$� � � � (���� � /������� � $���� � �� ,� )� ��� � �� -� )&�� �

� ������ 77E21AD2@0�

��

&�$���� � >� � � .����� �� �� �011=�� *��(������ �� ���$��� /�� �����(������4� � �� ���5

������ ��� � ����$��� ����� (��������E ���(����� �� $�H����� ������ (�� � (��������

� � (� �� ��� � ����� $���� � �� &� � ���� � � ���� � ������ ���� ;;E7B2D7;1�

&�$���� � >� � � '���(���� � �0111�� ����4 �$�� � � �� *���� � �((��3����� +����$���

� � ��� ���:(�������� (������ $������$���� ������� #�� ���* � ABE@B7D@;1�

&�$���� � >� � � '���(���� � �0110��� +����$��� (���� ���4�� � 8 ��� ����� ��3������

� ���� ����� � 70E;=7D;?@�

&�$���� � >� � � '���(���� � �0110 �� �3��� � � �((��3����� ���:��(���� ����� � /��

�$� +����$��� (������� , � �� � $���� � �� � ������ @1E0?;D0A@�

.�� � ,� � � %���� "� �011=�� � �(���:����� ����4 �$�� � �� *���� (�������� /��

�$� +����$��� (������ ��3���� ������ $���� � �� ,� )� ��� � �� -� )&�� � � ������

7@�7�E72AD7A0�

�� ��� � .� �� *� �7;B=�� "� ��� �������� ������ ���� �� $���� � �� &� (�" � � ���� �

�����"� @BE7D00�

���� �� � �� �� � � & ��$��� .� #� �7;;A�� � ����:(��������� ��5���� �((����$ ��

�� �����H�� �� ��� ��3�� ������� � ����� �� %�������� 7BE02B;D02;?�

���

������� �� �011?�� %� (��������� ��5���� ���4�4�� � ��5��� ��� � ��3����� �/ !�� ���

������ ���� �� $���� � �� � ���� � � ����! �� ���������� 7@?E2BAD2;?�

��4� �� � �7;;0�� ,��� ��(���� �/ ���5� ���� ������ ���� � /�� ����������� ������ �� ��� ��

�� � ������ 01E7000D70@2�

���� .� ,� �7;;?�� %� (��������� $������$���� ��5�� 4�� ��N�� ���� ��(������ �� ��� �� ��

� ������ 0=E;77D;@1�

��� �� G� �7;A=�� L � ����� �/ ��5���� � (��������� ���������E &� +� ���5 ����������

��� �� �� � ������ 70�7�E@27D@2B�

�����$�� � ,� %� �7;;=�� �������� � ����� ��� � ���$ � �� C����� ��5�� +����$���

(������ (����� ,� ���� ���� �� � ����� #� 0@EB0BDB=7�

�����$�� � ,� %� �7;;A�� *��(������ �� ���$��� /�� ��3���� �/ +����$��� (������ �������

& +�5� +�� ������ ��� � � ,� $�� +�� �������� � ��� � ���) � ���� �� �� �) � ����

# "��� � � ������ (���� 0@D==� ,(�� ����

�����$�� � ,� %� �7;;;�� +�(� �� � � (��������� (��������� & ��������!� �� &�

������ �� # "��� � � ���� � �������� ������� ,���������� ���������� �

���

�����$�� � ,� %� � � -������ �� �7;;A�� �������� � ��3���� �/ +����$��� (������ �������

$���� � �� ,� )� ��� � �� -� )&�� � � ������ BE00@D0@A�

������� �� �� � � !������ ,� #� �7;;B�� *�� � � � � /������� /��� ��4���� �3(����� ��

���$ � (��������� (������ #�� ���* � A=E?;BDB1?�

����� � "� +�� ,������$� !� +�� � � !�������� ,� *� �7;;0�� ���5� ����� � � �� ���

������ ���� �� ��� �� �� � ������ 01E701@D7007�

�����6�� .�� ����� +� �� � � .���� � � &� ��� �((����� %� (��������� ��(������ ��5��

/�� �$� +����$��� (������ ��3���� ������ � ����� �� ,� )���!�

��$�(��$5�5� ,� � � #��/� �� �� �� �7;;B�� +����$��� (������ ��3�� �� �����H�� �� ���

������� $���� � �� &� � ���� � � ���� � ������ ���� ;0E?@@D?@;�

������� �� � � ����� �� ,� �7;;@�� � ��5���� (�������4� �((����$ �� ��N�� ���� �����$ /��

� �(����� ����E ���������� � � � (��������� ������� $���� � �� &� � �� � � ���� �

�����"� 0E@=;D@?=�

������� ��� ,���$�� ��� � � !������ ,� #� �0111�� K� ��$���� � � ��� /����� �� ���

������ ���& ��� �������� �� &��� �))��� ����� AAE2;DBA�

���

������� �� � � )�������� ,� �7;;A�� �((��3����� � ������ ���� � �/ �� ��� /� ���� ��� �/

������� :+����$��� (������ , � �� � $���� � �� � ������ 0?E0A@D0;B�

-������ ��� ��� �� �� ��� � � "�� ��� #� �011=�� � ���$�� /�� ��� � � � � /��� ��

������ ������� � (��������� ��5���� ������� $���� � �� &� (�" � � ���� � �����"�

??EB@2DB=;�

%���� "� � �7;;0�� ��5���� ��3���� ������ �� & ��������!� �� &� .��*�&�)

�� % /� � ����)" �� # "��� � %�&��� �� � ���� � �� �"���� 4����� 77� (����

7;BD077�

%���� "� � �0111�� ����4 �$�� ���(�� � ���$��� /�� +����$��� (������ ��3���� �������

$���� � �� ,� )� ��� � �� -� )&�� � � ������ ;E0=;D0?2�

%���� "� � �0117�� +�8 � � (����� /�� ������ ���� � ��� � +����$��� ��6���� ������ )��$ ����

"�(��� 171=� +�(����� � �/ ,���������� K �4�����5 �/ )��� ���

������ #� �� � � )������� *� �7;BB�� +�4�����5 �� � �� ��(� � � ��� ��(������� � /�� �� ���

����� ������ #������ �� &� ����� ��� � � ���� � ������� =BE=;BD272�

���

����� � .� �7;;?�� ,��� ��4���(�� �� �/ �$� ���������:������ �� ��$���� &

������� � )� ,�� ,$�(��5� �� ,�� � � ������ � .� ��� �������� � �����0 ��� ����" ��

- � +&���"� (���� 0=2D0?B� & ������� �/ ��$�������� ,���������� >�5����� *��

����� � .� �7;;B�� )$� ���:(�������� ������ :+����$��� ������ ���� ����4�� /��� � ��� ��

�� ���� ����� ��� �� �� ��� ����"� 02EA22D;11�

����� � .� �0110��� *�� � ������� ����$����� (��������� )��$ ���� "�(��� ?07� +�(����� �

�/ ,���������� K �4�����5 �/ *���/�� �� �� �������5� ������� ���� /�� ,�� ����� ,�����

,�$����

����� � .� �0110 �� ������ :�����$��� � � #� � 4���� � ������ ���� � /�� �(���:� �:

����� ��� �/������� � �/ � � ���4�� (������� � ,� ��� �����0 ��� ����" �� ,� )���!�

77E217D27=�

"� ���� *� �7;;?�� �3����� �/ ������ ���� �E & /��� �� � � ��������� � & #����� !� "��

"��$����� � ,�� � � ,(�����$������ +�� �������� � ��� � % �*�� ,& �� %��� , ����

*$�(�� � � >����

,��$����� � .� �7;;=�� � �� �������4� ��8 ���� �/ +����$��� (������ � ���� ����� �

=E?@;D?21�

���

)�$� G� !�� .���� � � &�� ����� � .�� � � ����� +� � �011=�� >������$���� +����$���

(��������� )��$ ���� "�(��� ?2@� +�(����� � �/ ,���������� K �4�����5 �/ *���/�� �� ��

�������5�

)���� �� � #� � � ���� ��� � �7;;;�� � ��5��� �/ �� ������� )��$ ���� ��(���� K �4�����5

�/ )��� ���

!������ ,� #� � � ������� �� �7;;2�� ����:,���5 (�������� � � � �� ���������� �/ �$�

���5� �� ��$���� ��� �� �� � ������ 02E7B?0D7BA1�

!������� � �� �7;;A�� ��5�(����� (��(������ �/ � (��������� ��5���� (���������� &

+�5� +�� ������ ��� � � ,� $�� +�� �������� � ��� � ���) � ���� �� �� �) � ����

# "��� � � ������ (���� 0;@D@1=� ,(�� ����

!���� � �7;;0�� >5(��(�������� ��������� � +����$��� (������ ��3���� ������� )��$ ����

"�(��� ;0:�1@� & ������� �/ ,��������� � � +������ ,��� ���� +��� K �4�����5�

!���� �� -������ ��� � � ���� ��� � �7;;=�� >������$���� (����� � � ��3���� �������

���$ �((������� � � ��������� � � �� ���5 ��������� � & ������ � �� "� � � ,���$� ��

�� �� �������� ��)��� �� 1���� ��"� (���� @?@D@A?� .�$ !���5�

���

<� �� �� ��� ,$��� � "�� � � .���� � � &� �011=�� >�(���5(� ������ � 4�� �$� +����$���

(������� ����� ��� � ,��������� �� % �&��� '� ����!� %�� G���E �* ������

'$��� �� �0111�� ��5���� ��(���� �/ ���� � (��������� (�� ����� ��� �� �� � ������

0AE2@0D220�

���