Upload
leopoldo-mauro
View
225
Download
2
Embed Size (px)
DESCRIPTION
A slide presentation of the Dirichlet Process and its uses
Citation preview
��������� �������� ������ ����������
������� ��� ��� ����
������� � �� ��
���������� ����� ��� ��� ������� ������� ���� ��
������ ��� ��������� ��������
��������������� ����������������
������������� � ���� ����� ��� ���� ���
�
���� ��������� �� ���������������� ����������
����������� ��������
���������� � ��
���!��������� �� �
"��!��������� ��� ��
�� ������� �������� ����� ����� ���������� �������� ���� ��
��� ����������� �������� �������� ��� ����� ������� ��� ��
���� ������ ����� � !���� ������� ������� ������� ���� ��"�� ����
�� #� $�"� ����� $� ������ ������� �����%
��� &������ ������ �������� ������ ��
�� '
��� &�"����� ������� '
�
���� ��������� �� ���������������� ����������
����������� ��������
���������� � ��
���!��������� �� �
"��!��������� ��� ��
� (��� �� )� ���� � *��������+ ���)��'
� ���� �� ����"�� ���� *����������+ �����,� ���� *�� ��������+
� �� ����� #-�� �"����% ���� ��� �"� � �$ �������� ��)� )��� ���
�"� � �$ ���� ������
�
��� �� ������ !�������"� �� !��������
� �� .�������� ��� �� ������� ������ �� � ��������� ����-����� $� ���
*��������+ ��� ���� �� ��������
� "� �-����� ���"�� !��) )��� ��� �� ������� ������ �� ��� /"��
.��������000
� (��� �� ��� �� ������� ������'
� ��,� ��� * ��1�$1)��� ������+
�
��� �� ������ !�������"� �� !�������� #�����$
� �"����� ���� )� ���� ���� �$ �" ���� �� ������ �� �����,� �����
� ���� �� �������� ��� �� �������� �$ *����������� ��� ����������
����� "���+2 ���� �� �� �� �������� �$ *�������� �����+
� ����������� � ��� /���� �� � ����� ����� "���� "�������� ��� ���� ��
��-����� �� ���"������
������ �� � ���� � ������ �� ���� ��� � � �� ��� ������ ������������
���� ��� ���� ������ ����� ��� � � � � ��� ��� � ������������� �� � �������
����� ��� � � � � ��� �� � ��
������� � ��
��� ���
��� ���� ������ ������ �0
� �0�0 �$ ��" ����� �������� ����� �� �� ������ �� �� �� �� �$ ���� �� ��
"�������� ������� ���� �� � ��� �� ���� ������� ��� ��� ���� ��
������������ ��� ��-�� ���� �������
�
��� �� ������ !�������"� �� !�������� #�����$
������ �� � ���� � ������ �� ���� ��� � � �� ��� ������ ������������
���� ��� ���� ������ ����� ��� � � � � ��� ��� � ������������� �� � �������
����� ��� � � � � ��� �� � ��
������� � ��
��� ���
��� ���� ������ ������ �0
� 3�� ������ )�"���,� � �"� �$ )� ������� �"���-�� �� ����� -��� ��� �
������ �-� 4"������ -��� �����
� �� ����"�� )� ���� �� ����) � �� ���� �-� ����"�� �� )��� ��� � ���
�� � ����� "���� �� ����"��
� ��� ������� ����� �� �� ������� �$ � ����� "���� �� ����"��000
�
%������ &������������
� 3��� �� .������� ���������� �������� �� ���� �$ ��� ���� �� ����
�� ����������
� ��������
� �����5�����
� �"������
� �"-�-�� ��������
� ���� ����� ��������
� ������� ���� ��������
� ��
� 3���� �������� ��-��-� ���"������� �$ �������� ����� � ������
�������� �����
� ��� ���������� ����� "����� �� ����� � /��� �$ -���"� !����
#$"������ �������� $"������ ��������� ����"�� ��%
� (�,�� $�"� �� ��� �� ��� $� ���������6�"������
�
'�������()*�� �� '���� �+
� ���� �������� #�0�0 �������� �"������%
� ���� �� �$��� ����� � ����1��-�� ���� �$ �
� "� ���� �� ������ "����������� �$ ��) ���� ����� ����� ��
� ������� ���� �� � /���-� $"������ #�1���������%
� �0�0 71����� ������ �"������
� �� ��� )��� ���� $�8"������ �"�������
� "� ��,� ��� �� �"� ����� ���� ����1��-�� ����� �$ �
� 9������ ��!�������1 ���� ��������
� 5���� ����"� ������ .������� -������ �����$
� -���"� ����� ���� �������� ���������� ������� ���1-���������
������� ��� .�� ��� ������ ���� �������� �-��� �� /"��
��
� "� �� ��� ���"������� "�������� ��� ������ ����� ����� �� ���� �������'
#��� �$���%
� ���,� �� ��������� ��:����000
'����� ,�������� !���� #',!$
� � ����� ����� �� )��� "������ ��� ��)� �� � ������� ����"���
)��� �� ��5���� �"� � �$ �� ���
� 5�� "����� ���� �� ��� 5�� �� ��
� �� �" ��8"��� "����� ���� �� � �� �� ��)� $�� ��� $����)���
����� "������ �������� ������ ����� � � ����� � �
� ���� ���� ������� ����� � ����� � ��
#;%
)��� � �� ��� �"� � �$ "������ "����� �� �� �� � ��� )��� ����
������� ��� ����� �$ ��� ����"��� �$�� � � "������ ��-� ���
������
��
�� ����
��
����
����
��
����
����
�
��� ',! ��� '�������(
� ���� ������ �� "������2 �� ��� �� �"����
� ��� ��9 ��5��� � ��� ����� "���� �� ��� ����������� �$ ��� ���� ���
�� ��� �"� � �$ �� ���
� 3��� ��� �� � �������� )����
� � ��!�������6�0�0 �������� � ��������<�� �� � ����� ����� "���� )���
��� �� ��
� � ��� $� ��� ��������6��� 5�� "����� �� ��� �� �� �� ������
��� ������� -��� $� ���� �� �� ���� $�� ��� ���
φ2φ1 φ3 φ��
�� ����
��
����
����
��
��
����
4
� �� )� ��) ��-� � ����� "����6� �� � ���� ���6$� ��� 8"������ ����
)� ����� �� � �"� �� ��� �"������ �������
��
',! !����- .����� /� �������- '����(��� !����
�� � ������� � ���� ��� �� ��� ��
�� � ����� $� � ���� ����� � ������� �� �� ��
��
01����(�������
���������� ������ � �� ��� � ������� ����� �
� �� � ��� �� ��� �������� �$ ��� ���� ��� ��9 �� �������� ��
� 3�� ��� �� ��� ������� -���� ��������� )��� ��� �� ��� �� ����
�������� ��
� 3�� ����� �� � ����� ����� �� �������� ����� ��� 9=���� "� �����0 �������
�� ������ ��� ������� -��� ��������� )��� ��� ��� ���� ����� )� ��-��
�� � ��� � � � � ���� � ���� �����
�����
� ��� ����� ����������� � ���� ��"������ ���)� ���� ��� /���� ����� "����
$� ���� � � � � ��� �� ��-����� �� ��� #���� �� ��� �������� ����� ���$%
� �� ������� ������� ���� ���� �� �� "�������� ����� *�������+ ��� �
����� "���� �� ���� �������0 (��� �� ����'
��
��� ',! #����$
� �� ���������� $�� � �"� ��� ��9�
� �� � ��� �� ��� �"� � �$ �� ��� ��� ��9 �� ����������6���
�"� � �$ �"���� �� ��� ��)� #�"����% �� ���� �6)�,� �� ���
)��� �$ ���������� .����
� >�) �� )� �� ��$���� )��� � ��9'
� >�) ���� ���� ����� �� ��� ������� �����1 ���� �"������'
� ��� ����� ����� ����'
� (��� �� )� �� ����,� ��) )��� ���� ���"�'
��
2������
� .�!��"��
� .������� ����"� ������ ���!1 ��!��� ������� �������
� ��$����
� >������� ��� ��������� ������� �������
� ����������� ������
� �����������
� �"��� �������� �� ���������� .����� ����1$�� �������
��"���1��1���1���� ������� 9���� ���� ��:"���� ���� 9�����1?�
�������
��
�������� .�������� 3����
� &�-�� � ���� � � �� � )��� ��� ���� � � �� ��������� )��� �
����� -��� �� ���1X
2X
3X
X 4
X 5
X6
� 3�� /���� ����� "���� �� ���� ��� � � � � ��� $����<�� ������ �� ���
*�����1�$+ ������� ��5��� � ��� ����� �
����� ��� ��� ��� ��� ��� �� � ����� ��� ���� ���� ���
���� ���� ��� ���� ���� ��� ���� ���� ��� ���� ���� ��� ���
��
!����
� � ����� �� � *���+ ���� ����)� �" ����� �� � ���������
xiθ
N
θ
xN
x1
x2
� ������� ������� � ��-�� -��� ���2 �0�0 �����������
� ���� ���� ���� ���� �������� ��� $����)��� ������� �� � ����� $� ���
� ��-������ ���� ��� � � � � ����
����� ��� � � � � ��� �� � ��
������� � ��
��� ���
��
.� �������(
� � ��!�- ���� ����� ���� #����% ������
� ������� � ��� �$ -��� ��� � )��� ����� "���� ��� � #)��� ��� � �
���������� ����� "����%
� ��� "� � ��!�- ���� �� $����)��
� ��������<� ��� �� �� � ���� -��"��
� ����� � �������
� ������ $�� ���� �� ���
� ������
� @��� #"�"����% ������1��!� �� ��������� ���� ����� ��� ��� � �� ���
�8"��� �"� ����� "����
�
��������� ����������
� ��� � � ���� ��� � � � � ��� � � ����� ��
��� �� ��1�������
� �0�0 � � �� � � �����
��� �� � �
� ��� � � ���� ��� � � � � ��� � � ��� �$
�������� )��� �� � �
� 3�� ������� ������� �� ��5��� ���
��� ��� �����
����������������
����� ����� � � ������
)��� �� � ������
��� ��0 3��� ��5��� �� ����������� $����� ����� "����
�� ��� ������� )����
� ���� �
���������
�
%��� ����������
� � ������ ��� �$ ��� ������� ����� "���� )��� � ��
��� ���� ��� ����� � ���
����������������� �����
� 40�0 ������� ���
0 0.2 0.4 0.6 0.8 10
1
2
3
4
5pdf of Beta(1,α)
��
4((��(����� !������� �� ��������� ����������
� (��� �� ��� ����� "���� �$ � � ���� � � � � �� � ���� � � � � ���'
� �� �� ������� � � � � �� � ���� � � � � ���
� ��-� ���� � "���� � ������������ �$ ��� ������� �� � ������<�� ���
�$ ����������� ����� ����� -��� ���
� �� ������ ���������� �$ ��� �" ��� �$ ������� -��� ��� ������ � �������
)��� ���������� ���������� �$ ��� ��������
� 40�0 ��
��� � ������
�
���� ���
�
����
$� � �" ��8"��� ��� )��� � ��
� ��
��
3�������������������� '����(���
� ��� � � � �"��������� ����� -��� �� )��� ���� � �� � ��
� �������� ���� � �� � ��� ��� ����
�
���
���
� � � ������
�
������ � � ������
�
���
����
� � � �������
�
)��� �� ����� � ��0
� �0�0 ��� ����� "���� �$ � � � �� ������ ��� )���
�� ��� �
�� � � $� �� � �
�� ����)���
��
3�����%��� '�������(
� � �������-� ������ �� �"�������
� ��! ��� �$ � �"���� $�� � ����� "���� � � ���� ��� � � � ���
� ������� � ���� ����� $�� � �"���1����5 �� � ����� ����� "����
� 3��� ������ � 5���� ����"� ������
��� ��� �� �
�����
�� ��� �����
)��� � ��� � � ���� ��� � � � ��� �� ��� �������� ��� )��� )�,-�
���"��� ��� ���� ��������<�� $����� $� ��� �"��� #$� ���������%
� ���� ����
��� �� ���"��� �� � �������� ������������ ��� $�� ����
����"�
��
����� 3�1���� 3����
� 40�0 $� &�"����� ����"�� �� � ������� ��� ��� ���� �� � &�"�����
������� )��� ���� �� ��� �-����� ����� ��
��
����� 3�1���� 3���� #����$
� ����"� ������ ��!� ��� ���"������ ���� ��� ���� ����� ����� $�� �
������ ����"� ��������
� ��� �� �"��� �� � ��5������ ��� ��� �$ ���� ������ ������ $�� ��� ��
����"� ��������
� ��� ���"� ���� ��������� -�� � ������ �"��������� -��� �� ��
��� ��� �� �
�����
���� � � ��� ��� ��� � �� ��
�
�����
�� ��� ����
��
����� 3�1���� 3���� #����$
� ������ )�� �� ������ ����� ��5�� �� "�������� ����"�
� �
�����
�� ��
)��� �� �� �� ���� �� ��
� ��� ��5�� ��� ����� �$ � ������� � ������ $�� � 5���� ����"� �����
�� $����)�0 �� � � �� � � � � ��� � �
�� � ��� � ���
� ���� ���� ��� �� �� �8"�� �� ��� �$ ��� "�������� ��
� ������ ��� �" ��� �$ ��� ���� ���� �� �� �� ������ ��� �� �"���
��
%������ ����� 3�1���� 3����
������ ��� ������� � ���� �� !���� "� ���� #��� "��$����� � %���� &�$�����
'���(����
� ���� �� ���� ���� �� ��� �������� � ��� �
� 3�� ���� �$ ��� $� � �� �����1����52 �0�0 )� ����� "�� ��/"����
�����A��-���1����� ���� $� � &�"����� ����"� �����
� ���,� ������ ���� ��� �� ��
� 9��� � ������� ������� ��� ��������� � � � � ����� �� ��� ������
��������� �
� ��� ������� ���� )��� ��� #"�"��% ���"������ ���� )� �"�� ��� ��
��� �� ��� �$ ��� ����"� ��������� ��� ��� ����� ��� �����
� ��� ������ ������ ��-�� �� ��� �������� �$ � ���������� �������2
��� ��� ���� �$ �� �� �8"�� �� ���
�
%������ ����� 3�1���� 3���� #����$
�� � ��
�� � ��������� � � � � �����
� �
�����
�� ��
�� � �
�� � ��� � ���G
θi
xi
α 0
G0
� ���� ���� � �� ��) � ������ �������
��
5��������
� 9������ ����� "����� #$� � � ���A� �% ��,� � $�"�� �����������2 ��
�� ������-� ����� "����� #$� $"�"� �%
� >�)�-� � -����� �$ ���� �������� ��������� �� �-���� ��
� 40�0 "�� ��� �������� � )����� � &� � ������0 &�-�� � )� !��) )���
���� ������ ����� �� )��� �"��� ���
� ��� ��� ��� ������� �"���������1������� ��/"���
� ��� ������ ������� "������ $� ��� �"���2 �0�0 $� ��� �� #���
��/"��� �$ �� ��� ��� ��� �� ��!� ���� ����%
� ��� ��� ��� �"��������� �����5�����
��
3���� '����� ��� ����� 3�1���� 3����
� >�) �� ����� � ��� �"� � �$ ����"� ���������'
� ����"� ����� ����� �������� ������� �� � ��������� �0�0
���1-��������� ������� ��� .�� ��� ��� �-����� ���������
������ ���� �������� ��
� � �� ���� � ������� ��� �� � #�0�0 9������% ��� �� "�� .�������
#����� �������� � ����� �-������% �������
� 3�� ������� ����� ��� ������� ����"��� ����� ��-��� �
���������� .������� ��������-�
��
.���( &������������)4 ��� !�������"�
������ �� ��� � !������ � ����� )������� ���� &�$���� '���(����
� ��5�� � �"��� �� ��5���� ����"� ����� � ��!��� � �� ��5���� ��� ������
���� *� ���
��� �� ��+ ����� ��������� )���
�� � ��
�� � ��������� � � � � ����� �� � ��
� ��-��� ����������� �"���� �� �-�����
� (��� �� ��� ����� "���� �$ ��� ��-�� �� �� � ��' ���� �� ��� ���<� ��
���� 5��� ����� "����'
� ����
��� �� � � "��� ���� �"��� �� ������ �$ ��-�����'
� �� )� ��� � $�) ���� ������ ��������� � �� ���� ��� �$ ������ *��<�+'
� �� )� ��� ��� *�"������+ �� ���'
� 3��� ����� ���2 ���,� ������ ��� �� ��� $�� � ��:���� ����� �$ -��)��
4 ������ !�������"�)���� �%��� ��(
������ *� �� ����� � +������ ������� � �� ��� � ����� � ,��$����� �
� ��5�� �� ��5���� ��8"��� �$ .��� ����� -��� ����
�� � ������� ��� � �� �� � � �
� ��� ���� ��5�� �� ��5���� ��8"��� �$ ������ ��������� ���
�� � ��
�� � ������
������ ��� � �� !� � � �
� 3��� �� � -��)�� �� ��!��� �: ������� �$ � ���!�
1 2...
1β β (1−β )
��
���� �%��� ��( #����$
� (� ��) ��-� �� ������� $��"�� $� ��� ��� ������
��� ��� ���
� (� �� ���� ������ ��� ������
��� �� � � �"����
��
�����
�� � �� �� � ����� ���� ����� ������ ���� � � �
� ��� ������ �� � ����� ���� � � � �
�
�����
��� ���
� � �"�� �� � ���
� �� ��) � ���
��� ���� ��� � ���� ��5������ �� � ����� ����"�
��
��6��%���� �������(
������ )������� ����� �
� @��� �� ��������� ��5������ �$ ��-����� ��� ����� ������� )������
��������� � � � � ����� ��-��� �� � ��
� ���) ����� )������ �� ��/���� �" ����-��� �$ ��� ��
� &������ � ��) ����� ��8"��� � �� $����)��
� ���) ���� "��$���� �� ����� �� ��� �� #��8"��������%
� )����-� � ��) �" ����-�� �� ��� ��� �� �� ��� ���������� )����� ���
������� �
� 3��� �������� ������� ������ ��� ���!1 ��!��� ����� "����
� ���!1������ � ��) $�� ��� ���!1 ��!��� ����� "���� ������ ���
�������������� �������� #)��� ��-���� ��� *��������� ��5������
�$ ��-�����+ �$��� �� � �-�%
��
������ 5��������
� (� ��) ��-� � )���1��5��� ������ �$ � ��� ����� ����"�2 ��) � �"�
� ������� ����� ����"�'
� �0�0 �"����� ���� � ������ � ����� � � �2 ��) �� � "����� � ��� ����
� �� � ��'
� � �"����� ���� � ������ � ���� �"� � �$ -���� �� � �2 �� ���� � ��)
�$ ���� �"� �� $� ��� ������� ����"�'
� (��� � �"� ��� ������� �� � �������' ��� � ��� ��������� � �"�
���� � ��� � � � � ����� )��� � ��� ��� ��������� �"� #�� ���� �����%'
� ��)�� ��� "�)�� ���� ���� ��� ����"� �����������000
�
��������� !�����
� �� ��������� �� � ����� ����� ����� -��� ��� �� ��5��� �� $"������
)���� ����� �� ��� ����
� �� ��� ��-���� �� � ����� ����� ��� ���� ����� -��� ��� ���� �-�
��� ������ ����� ���"���� $"����� ����� ��� ����� �$ ����"��
� �������� ����� ����� ��-���� � "��$���� �������-� �� ����� ���
������ ����� � /���
�
.����� !�����
� �"����� ���� )� )��� �� ���� � ����� "���� �� � $"����� ����
� &�"����� ������� ��-��� ��� )�� �� �� ����
� ����� ��� ���� #$� $"������ �� � �� � %�
� ����$� � &�"����� ����� "���� $� ��� 5����1����������� ����� "�����2 �0�0
$� ��� 5���� �������� �$ -��"�� �� ���
� �� �� �� � )�� ���� ��!�� ����� ����5������ ��������� )��� ��� ����
#"�� � �-����� $"�����%
� 7�������-,� ������ ���� ���� ��������� �"�� �� ����� � �������$"�
�����
� )� � ���� � ����� "���� �� $"������6��� &�"����� �����
� �������� )� �� � ���� ����� "����� �� ����"��000
��
��������� !����
� � ����"� �� � $"����� $�� �" ���� �� ��� ���������-� ����
� 3�� 5����1����������� ����� "����� )��� � ��5��� �� 5���� ��������� �$
�" ����
� �� �"�� �� ������ ���������
� (� ���� �� ���"� ���������6�� � ������� ���� �� ��� )��� )� �������
���� �� � ��������
� ��� ������� ����� "���� �� ��� )�� �� ����-� ����
��
��������� !����
���� � �� �� ��� �#��� �� � �������� ��� �� ���� �� � ���������� �����
�� ��� ��� �� ��� ��� �� �� � �������� ��� ����� � ��� ���� �� ��� �� ���
���������� �� � ����� ���������� ����� � ��� �#��� � � ����� �� ���
����� �������� �!�� � � � � !�� �� #� ��� ����� �� �� ���!��� � � � � ��!��� ��
��������� �� � ����������������� ��� ���� �����������
���!��� � � � � ��!��� � ����
�����!��� � � � � �����!���
#B%
�� ���� � � �$������ �� � �� � ����� ���������� ����� ���������
� ����� �� ��� ��� ���� �� ���� ���� �� ��� ���� ����� �� � ��� ���
�� ��� �� �������� ��������
A
A
A
A
A
1
2
3
4
5Ω
��
��� !������� ��������� !����
� �"����� ���� )� ������ � $�� � ������� ����� ��� ���� ������ ��
$�� �0 (��� �� ��� ������� �����'
� �� � 5��� �������� )� ��� � ������� ������� "����� #$� ��� ��� ����
������� �� ��� �������� ������� � ���2 ����� ��� ���� $� ��� ���� ����%
� ���� �� �"� $� �-�� ��� ������� ���
� �"������ ���� ��� ������� �� � ������� ����� �� )��� ��� ��� ����"�
��� �� ���� �� ��
� ������ )� ��-� #$� � ���$ ��� �0�0 ���-��� ;CCD%�
� � �� � �$����� � ���
� �������� ��� ������� "����� �������
� � ��� � � � � �� � �$����� �
�����
���
��
,���������� �� ���� �%��� ��(
� �������� ��� $��"�� $� ��� ���������� �$ � ������� ����� -��� �� $�
��� ��� ! � # )� ��-��
� %��!� � ��� � � � � ��& ������!� ���
��� ���!�
�� �
�
�����
�����!�
)��� �� �� ��� "��8"� -��"�� �$ ��� �� )��� �� � ��'��� �� ���
)��� � �� ��� �"� � �$ ������ �$ �� �� ��� ��8"��� ���� � � � � ���
� ���"���� ���� ��� ������� ��������� ���� �"������ ���� ��� �����
����"�� � � �$������ �� ������ #)�;%
� �� ���� �� ��5���� �"� �$ ��� $�� � �
����� ���� ���� � ��� ���
��5������ �$ ��� ������� �����'
� ��� ��� ���!1 ��!��� ����� ����"�E
� ���� �������� ��"�� �� ��� ��� �� ��-�2 �� $����)� $�� ��������� $���
� �"� ��� ������� ����� "���� #����"���� ;CCF%
��
%�� �� 3�1���� 3����
� �� ��� ����"� ����� ������� �� �� ��� ������� ��������� )��� ��� ���
���� ����� ��
� �0�0 ��,� ��� � ��-��
� (� "�� ��� ������� ����� �� ���"� � ��� �� ��� �� ��� ���� �������
��� ����� � �����"��� � ��!�������
� /"�� �� �� 5���� ����"� ������
� 3��� ������ � ����� !��)� �� � ������� ����� ����"� �����
��
��������� !���� 3�1���� 3����
Gα 0
G0
θi
xi
� � �$������
�� �� � � � � �� � � � �
�� � �� � " ��� � ��� � � �� � � � �
��
3��(���� !���������
� 3� � ���� ��� ������� �� � ����� �$ ��� �������� ��� ��� � � � )� ���� ��
�������� �"� �
Gα 0
G0
θi
xi
α 0
G0
θi
xi
��
3��(���� !��������� #����$
� ����� ��� $��"��
� %��!� � ��� � � � � ��& ������!� ���
��� ����!�
�� �
� ��� ! � � ��������� ��� �8"�� �� ��� �$ ��� ��0 3�� $��"�� ���� ���� ���
������� �� � ����� �$ � ��-��� �� ����� �� ���������� �� �0
� ��� ��� ������� �� � ����� �$ � ��-��� � ��) � -��� �� ���������� ��
��0
� 3��� �� /"�� ��� 9=���� "� �����E
� �0�0 ���������� �-� ��� ����� ����"� � )��� � � �$������ ������
��� 9=���� "�
�
5�������� ��� ��������� !���� 3�1����
� ����
� ���� �� ��� ������� ����"��� ����� � "� �����
� ���� �� ��� ���!1 ��!��� ������������
� �����1���� ���������
� ���������� ��$����
� ���� �� ��� ���!1 ��!��� ������������
��
3'3' ��� ��������� !���� 3�1����
������ ���� ��� �����$�� � +���� !���� -������ %���� &�$���� � .���� '���(���� .�� �
#��/� � �������
� 7�� �������� ���� ��������� �� �����������
� 40�0 �� ��� ������� ����"��� ��� )��� ���"�� "����� � ��� ����������
�� ��� ������� ����� �$ ��� ���� "������'
� ���� )��� "����� � �� ��� ���� "����� �� ��-�
� #���������% ��� ����)���
� ."� � �������� ����� �� ��)��� �)�� "����� � )��� ��� 5��� "�����2
��� /���� �� � ����� �� ��-����� �� �"� �)���
��
'������� .� �������(
� �� ��� ���� ������
� ������ ���� �� �� ��� ���� ����� # � �������� �����%
� ��� ��� �� /"�� ��� ������� ����"��� �������
� ��� ��!������� �� /"�� ��� "�"�� ����"� ��!�������
� ���� ������ � �������$�)�� $��"�� $� ��� ���������� $� &� � ��������
#�� ��� ��/"���� ���%
� �$ �������� �� ���� ������ $� ��� �� ���
� ������� ��� ������� -��� �� ���� �� �� ����������� �� ��� �$ ���
���� ������ ������� �� ��� �� ��
� 3��� )��� ��-��� �� ��� ������� ����� "���� �� ��������� ��� ����������
4��������"� 3'3' 4�(������
� ��������� &� � ���,� ��)��� $���� ��
� ���� ��/"��� $� �������� &� �
� ���) �� ��� �"� �� ��-��� � ������ ���� ����� �� � ����
� ���������1>������� #����%
� &� � �������� )��� �"������ �������� #��4���� G �H"���2 ����%
� �����1���� ��������� #&��� G ��������2 I��� G ����%
� ����) ��"�� �$ ������ �� ��-�
� ���1��/"���
��
��������� ��������� !�����
������ #��/� � ������� &�$����� .����� ������ )��������
� 3"���� ��� ���!1 ��!��� ������������ � 5���� � -��"� # ��� �������
�� � �
� 3��� ������� �� � � $� � # ��� ��� ����� "���� �$
�� �
�����
����
�� !��)� �� � ��������� ������� �������
� ���������� ������� ��)��� ����� "����� �$ �������� $�� � �9 ��� $��
��� �"������ � ( ������# � ������
� # �����,� ��-� �� � -�� ���� �� ��� � ���� ������������
��
.� �������( ��� �� ��� ��! #%��� �� .�$
� ����� �$ ��� ��!�- ����� ��� �� ��
� �� � � �� �� � � � � � ������ �� $���
����� � � ��� �� �� � �� ���� � ���
� �� � �� �� � � � � #� ������ �� $�� �����$��� $��� )����
$�� � � ���
��� ���
$�� � �� ���
������
��� ���
� �� � �� �� � � � � #� ������ �� $�� ��� �������
��
����������� 5��������
� ����� ��� ���"� $� #����15���% -��������� ��$�����
� &�-�� �� ������ �� ������� � ������ � ���� �� $����� %� $� ���������
���������� �
� ��5�� �� ������<����� �� ����
�� � ��� '��&�%� � � �
� @�� %�� �� ���������� ��� ������ �������� �$ �
� ������ ��� ����������� �$ ���� ������ ��-� ��� $� ������� ������
#�0�0 ����������� $����� ������%
��
����������� 5�������� ��� �! 3�1����
����� .���� � 0112�
� 3�� % ����� "���� �� � �"����� ���!1 ��!��� ������������ #���� ����
� �� ��� �"�����%
� ���������� ��$���� �8"������ $� � ��/"���� �9 ����"� �� ��� �����������
$������
$��� � � ��
� ����
$��� � � ��
���
���� ����
'��� � (� ��
� ������
'��� � (� ��
� ����
���� � ����)��
)��� �$� '� �� �� -��������� �������� ��� )����
) � *%�� +�& �����
��� *%����� +��& � *%,�� &��� �*%��,�� �&
��
01������ �!�.����� 3�1����
������� ����� ;�� �������� D�� #��� ����% ��������
������ �� )$� �((��3����� (�������4� ������ ���� ��4� 5 4������� �� � /��� �� ��
��6��� � ������ �/ �$� �������$�� )$� ���� ��� 711 (�� �� �� ������ 5 � #������
+� ��3���� ����� ���$ 83�� ����� �� ��4���� ���
�
01������ �!�.����� 3�1����
VDPCDPTDP
5 10 20 30 40 50
200
300
500
700
1000
1500
2200
3200
4700
Dimension
Tim
e in
sec
onds
5 10 20 30 40 50
−12
00−
800
−40
0
Dimension
Hel
d−ou
t log
like
lihoo
d
������ � ���/�� *� 4���� �� ���� (�� ���� ��� ������ �� �������� /�� 4������� ��
� /��� �� �9+��� �$� )+� #� � ���(��� �)+��� � � �$� �����(��� #� � ���(���
�*+��� #��5 ��� ��� ��� ���� ������ �"��$�� �4����� $���:��� ��� ������$��� /�� �$�
������(� �� � (�������4� ������ ���� ��
�
%������ 5�������� ��� ��
�!���� 7;;0�
� 3�� ��� $� ��� �"� � �$ �� ��� � ������� #�������% �� ��2 �"�� ��!�
�� �� ��� ���� �$ ���� �������
� ��� �������� �-� �� -�� � ��� ��!
� �������! #;CJF% ���)�� ����
�� ���� � ���
�����
���� � �
� ��)��� ��� ���� �$ �������
�����
���� � ����� � �-��� � �� �
�� ���
)��� -���� ��� �
������� ������� �� ��� ��� $"�����0
��
%������ 5�������� ��� �� #����$
�!���� 7;;0�
� 3��� ���������� � � � ���������
� ��� � ��
����� ��������
)��� �� � ������� �� � ����� "��� /���� ���� ��-��-�� � ��� ����� "����
$� � ��� � ����� "���� ����,� ��/"���� �� � ����� $� ��
� �� �����"� � �� �� ������� -��� �� #���� �� ����� �����������% ��� ���
��� ��� ����� � � ����� ����� "����
� 3��� ������ ������ ����������� $� &� � ��������
��
0�������� %��� ��� ��������� !���� 3�1����
������6�� ����� .���� � 0112�
� �"�� .�������� ��)��� ������� �� �������� �-� ������������ �$��� �
�����"��� ����� "����� )��� ����1������������
� �� )�,-� ���� ���� ���,� ��� �� �� $� �� "� )��� � �"� ��'
� ��,� ����� �� ����� � ������� ����� $� �� )��� � $��
�����������
� ���� ���,� -�� ���������6�� �"�� ���� �� � ����� �������<�� �" ��� �$
����� "����� �� ��� �� �$ � ���������� �����
� 3�� ��������-� �� ������� � �� )��� #"�"����% ����� 5���� ���
������������ �� -��"�� ���� ������<� ��� #�������% ��!�������
� �� "�� !���� ������� ���������� �� �������� ��
� �����"�� )� ���,� � ��-� ���� $�� �� )� ���"�� ������� $�� ��2
"�� ����� �� !���� ������� ����������
� �� ���� �������� �� � �����"� ������� ��!�������
��
4����������
� >�������� ��������
� ������ ������� ��������� )��� "�!��)� �"� �� �$ �����
� ��5���� ������ ��!�- �����
��
*�������� 3������(
� ������� . ���� ��!�� �� � ������ �����
� 3��� �� �� ����� �� ������ ���6�0�0 ������ �$ � ������ ��������
� "� �� $�� $� $�)� �� ���� �� �"��� ���"�������
� � ����� �� �� � ��� �$ "������ ���� �$ ��!�� #$�� ��� ����-��"��%
A B c
b Ca
{A, a}{B, b}{C, c}
� &�-�� � ��� �$ ��������� #�"������ ����-��"���% �������� ��� "��������
����������
� 3��� �� � �"������ �� ���
��
*�������� 3������( #�����$
A B c
b Ca
{A, a}{B, b}{C, c}
� 3�� �������� �� � ����"� �-� ��� ���"������ �����������
��/� �
��������
��0����0����/ �0�� 0���
#���"���� >���1(��� �� �8"��� �"�%
� �� ��� ������� ����� �� � ����"� �������� �� ���
� ."� )��� �� ��� ��������� �$ �'
� ������� ����� ����"�� �� ��� ��"�
��
�!�%��� *�������� 3����
�<� �� ,$��� � .���� � 011=�
� �� ��� ������� ����"��� ������������ ��� �� �� �� ��������� )��� ��
"�������� ��������� #��� �������� �$ � �"����-� ������� �"���%
� ��������-� ��$����� �$ ����� �� ��� ���� �$ &� ��� �� �� #BKKB%�
+� �>�,�
����� �� ��$ ���� ���� �� ���� ���� ��
7?� 7@ 1�7A2 1�=A1 1�7=7 1�7B= 1�==1 1�7@1
7 7? 1�711 1�021 1�7?1 1�011 1�=21 1�7A1
02� 7= 1�7@2 1�@2@ 1�772 1�070 1�2AA 1�070
B 7@ 1�712 1�0BA 1�1?? 1�7=2 1�=== 1�1;0
��
*����������� %������ 3������(
� � *������+ #�� ��� .������� ����� �$ ��� ���% ����� � ����� �� )���
�������� �� ������ �� ����� -��� ���
� ���� ��-���� � )�� �� ������ ��� ��� ������� "��������
� ���� ��-���� � )�� �� ���! ������ 8"��������
� 9������ �������6��� ��$������� ����8"���� �$ �������� �������� #���
���)% �� �$��� ��� ���� ������ ��"���� $� ��!��� � .������� ������
� 3�� ���� �������� �� �$��� ���� �������$"� �� �����
� �� �$��� �� ��� ���� �� � �"�����
� *����������+ �� �$ 8"������� �� ���-��� )��� ������ �� �"��
������������� #�� �� �$��� ��� ���%
� ����� .������� �����,� $�� ��" $�� ��� ������� ����� �$ ����1��
�-��"����� #����"���� �$ ��",� $������� $�8"������1����� �-��"�����%�
3������� /������( !�����
� (� �$��� $�� �"������ ������ ������� �� ���� #*����$� �������+%
� 40�0 �"������ &�"����� ������ ��� � ����� 1�
� �
2 θm1
x2 xmjjx1j
θ θ
� �����"� ��!�������� )�� �
������
��� ���
� �����"� ��!������� �$��� �����,� )�! -�� )���
� )��� �� *���� ���������� �������+ #�0�0 *������+%
�
*����������� %������ 4�������
� 3�� .������� ���"���� �� �� -��) ��� �������� �� �� ����� -��� ���
������� $�� �� "�������� -��� �� �
θ θ 2 θm1
x2 xmjjx1j
θ
� &�-�� ���� �-���� ����� .������� ��$���� ������ ��������6��� �������
���� $� ��� �� �� ���� ���� $�� ��� �$ ��� ��"�� )����"� ������
�"����� ��� ���� ���� ��� ��"�
��
*����������� 3������(
� ����� ��� ����� ���������
θ
θ i
xij
� 48"�-����� ���
θ θ 2 θm1
x2 xmjjx1j
θ
��
3������� '�������( !�����
� (��� � �"� ��� ��� �� )��� )� ��-� �"������ ������ �"������ �� ����'
� )��� �� ����' ��) �� ����'
� ����"� ������� ����� ���� ��� ����
��� ������ � � ���� ����� ���
�� � �� ���
1j
mj
mj
1j
2j
2j
π π2 πm1
z z
x
z
x x
� (��� �� ����� ��' ��' (��� �$ )� ���,� !��) ��� ��'
� � ���������� .������� ������ �� ���� ���� "� 8"��� �����000
��
4 &������������ 4�������)4 ��� ���
� ����� ������� ������� $� ��� ��"� ���!�� � �� "�������� ���
x
G
ij
ij
i
θ
0α
G 0
� 9� ���� ��� ����� �������� � ��� ����� ����"�� �� )��� � �������
� �0�0 ��� ����� �� ��� ��"� )��� � ������� $�� ��� ����� �� ��� ����
��"��6�� ������ �$ �"����E
� ��������� ����� ���� )�! )��� �� ��� ������� ������ $��� #���������%
�� ��� ���������� ������000 �1#
��
*����������� ��������� !�����
�)�$� .���� � ���� ����� 011=�
� (� ���� �� ��-� ��� ��� ����"� �� � ������
� "� ���� ���� �� �� � L��� �� ��� �����
��
*����������� ��������� !�����
�)�$� .���� � ���� ����� 011=�
� (� ���� �� ��-� ��� ��� ����"� �� � ������
� "� ���� ���� �� �� � L��� �� ��� �����
� 3�� 5�� ��� �� �����$ � ����� "��� ������ �� � �9�
�� � $�2 � �$�$2�
� 3���
�� ����� � �$������
��� �� ��� ��� ����"� � #�����% ����� ����� "����6������� �$ �� )���
������� $�� ����� �����
� �0�0 /"�� �� �� ������ ��-�� �$ ��� .������� ������E
��
*����������� ��������� !���� 3�1����
Gα 0
G0
θ
x
i
ij
ij
γ
H
�� � ��� � ������
�� ����� � ��������
�� ��� � ��
�� � �� � � ���� ���
��
���� �%��� ��( ,������������
��� � ������� $�
�� � �������
������ ����
���� � �����
����� ���
��
�����
����
��� � ��������
������ �����
�� �
�����
����
�� �
�����
�����
��
'����� ,�������� ������� #', $
� ���� �������� �"� ��� �� ���� �������� �"� ��
Gα 0
G0
θ
x
i
ij
ij
γ
H
α 0
θ
x
ij
ij
γ
H
�
'����� ,�������� ������� #', $
φ
φφ
22
21 23
24
26
25 27
28
33
34
31
32
3536
= =ψ12 =ψ
=ψ=ψ =ψ =ψ
=ψ=ψ
11 131 2 1
3 121 22 23 24
31
3 1
1 232
ψ
θθ
θ θ
θθ
θθ
θ
θ θθ
17
15
16
1211
13
1418
θθθ
θθθθθ
φ φ
φφ φ φ
φφ
� 3� ��� ��"� ���� �������� � ���������� )��� �� "� �"���� �"� �
�$ ����� �� ��� ����"���
� 3��� �� � ��� �� ���� )��� �� "� �"���� �"� � �$ ����� �� ��� ���"
� 3�� 5�� "����� �� � �� �� ������ � ���� $� ���� �� �� $�� ��� ��� ��
���"
� ����$������ �:���6"������ ��$� �� ��� �� �� ��� )��� ���� ����
"������ ��� ��$� �� ����� ������ ���� �� ����� � ���� ����
"������
�
��� *�! �� ��!
� >�9� �� � ������ ��� �$ � ��� ������ $���)�!
� ����� ��� ���!1 ��!��� ������������ �$ ��� ������� ������
� �
�����
����
� 3�� >�9 ��5��� � ��� �$ ��"�� ������� � 3 ��� ����)� ��� ���! �������
��� �� -�� ���� ��"����� �
�����
�����
� 3�� ���� �������� �� ������� �-� ��"�� �� �� �� ����) ������ �$
�"���� #����,� ��� )���� ���� �$ ��� >�9%
��
��������� ��������� !�����
������$�� � 0111�
� ��� �������� #��� )��� ����� ���� ���� ������ �"���� �� ����% )�
�"�� ����) ��� ��� ���! ������� ��� ��� ���� �������� �� -�� ����
��"��
� 4-�� ��� �������� ����,� �� ����� �� ����� �"���-�� �� � 5���� �����
���6)� �� ����� ��� ���! ������� ��� ��� ���� �������� � � �����"�"�
-��� ���
�� �
�����
������
$� � � � )��� � ����� � ��� ��� ���� � ���� ��� ������ ����
� �0�0 ������� 5��� ��� ���! ������� ��� ��� ��� ���� �������� ���
���� ������ �������� ������� #�0�0 ������� ��������� �$ �����
-��� ���%
� (� ��� ��������� �$ �9� ���� -�� �������� �� � $"����� �$ ���� �-�������
01�����
� ������� ��9� #��4���� 7����� ��� &��$��� BKK;%
� ������� ���! ������� ��
� ��� ���� ��� �� � &�"����� ����� ������� � � � ��
� ����� ��9� #�� ���� �H"��� ��� ����� BKKF%
� ������ $���� ! ��� - ��� ��5�� ����� �:��� 4�� ��� '��
� $� � � ��� �� ��� ��� � �� � 4�� � '��
� ������� ���! ������� ��
� ���� ������ �)1)��� ��� ��"��1)��� ���!��� �$ ����������
����� "����� �� ��� ���� �$ �� ����� �� ��
��
�������������� 3����
������ ���$ � � �����$�� � 7;;?� ��$�(��$5�5 � � #��/� �� 7;;B�
� *�����������+ �������� �$�� �� � ���� �$ ������ ���� ���"�� ��� �
������� �������� ��� � ���������� ��������
� �$��� ��� ������� �� �� ��$���� � �"� ��� ������� ��������6���
���������� �������� �� � ������� ���������
� �� � ��������� ��� *��/���� �"�+ �� � $�8"������ �������
� �� � ��������� �"� �� � .������� �������
� ����������� �������� �������� �� �� ������� #)�,� ��������� �� ���
�������� �����6� �������6��� )��� �� 5�� �� )����-� ��� "�!��)�
��"� ����� "����� � �"� )��� )� ��!� $�) ���"�������%
� ������� ������� �� "��$"� �� ���������� ��������� ��
����������� ������
��
01������ !���� ,�(�����
�*����� � � �������� �� 0110�
� �"����� ���� )� ���,� ����� �"�� ��� 9������ ����� #�0�0 �-�1���������%
� ������ ��� 9������ )��� � �9 )��� � 9������ ��� ����"��
0������ � $���
0���� � ����
������� ��� � �$�����������
5 �� �
�����
�����5���
)��� � �� ��� �-����� #���"��� ������% ������� ��� ��-��� �$ ���
�-����� ��� �� ��� ��-�� ���������� �� ��� ��� ���� ����� 5� �� ��� ���
������� #�� ������% ��� 0� ��� 0 �� ���! $"������
� 3�� ���� �$ ��$���� �� #�$���% � ������� $� ��� �������� �� #��� �:��
�$ ���� ��������%2 ��� ����� "����� �� �� �"����� ��������
��
/����� ��������� 4��������� #/�4$ 3����
������ %�� .���� � 011@�
α z wθ
β
MN
� !����� ��������
� � )�� �� ��������� �� � ��������� ����� -��� �� 6
� � ���� �� ��������� �� � ��������� ����� -��� �� �
� � ��"���� �� ��������� �� � ������� ����� -��� �� �
� �������
� �������� �������� �$ ������� ��"���� -��� �� )����� ��"�
� �������� �������� �$ �"��������� ���� -��� �� )����� ��"�����
��
��� ����� ������1
� 4�� ��� �$ ��� ������� �������� �� � ����6� �������� �$ ���
-��� ��
x
x x
x
x
x
x x
x
x
x
x
x
x
x
x
xx
x
x
x
x
xx
x
x
x
������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
��������
���
���
���
���
topic 2
topic 1
topic 3
topic simplex
word simplex
��� ����� ����� �� � � ��
� � ��"���� �� ������� �� � ����� �� ��� �������6� �"��������� ����� "����
�-� �����
� � ��"� �� ������� �� � ������� ����� "���� �� ��� �������
��
��� &���� �� ����� �� /�4
� ���� ����������� �$ ��� ��-� ��!�� ��� �"� � �$ ����� -�� ���� $��
�$ ����� �������� ������2 �� )� "�� �9� �������'
� ������� ��� �� �� *������"� �����+6��� ����"� ������� ���,� �������
��� �� ��"���� "� ���� ��� �� )�� )����� � ��"����
� �0�0 ��� ��"���� �� ��� �)� �"������ �� ���
� )� ��-� ������� �"������ �� ����6��� �� ��"����
� )� )��� ����� $�� ��� ��"���� �� ����$� �� ���� ��"�����
� 3��� �� ������ ��� ���"� $� ��� �������� ������� �����
� �0�0 ��� >�9 ���-�� ��� �� ��� �$ ������� ��� �"� � �$ ����� $� ���
# � ����������%
�
�� ��( ��� *�������� �� 4������ /�"��
� 3�� >�9 $������� ��!�� ����� $� �� � ���� �"� � �$ ��-��� �$ ���
������
� �� ��� ��-�� ������� $�� ��� ��� ����"� ��� ���� ��� ��"����� �����
�� � ��� ����"� �� ��� ������
� 3��� �� �������� 8"��� "��$"�
� �0�0 ��� )��� ���� �� �"������ ���� #)��� �� ����$� ����� �����
��"����� ��� ����� ����%
� �0�0 ������ ��!�- ������ )��� �"������ ����!��
&5!� '��������� 4������ #7899�:;;7$
� ������ $�� ��� ��$���� �� ��-���� ���� ��������
"" ��������� ��� ������"��
"� �����������
#$ ������-� �����
#% ����� ��� ��-�������
�& ���������������
%$ ��"������
$� ������ ��������
'( ������� �����
)$ -�����
� ��� ����� �� ��������� �� � ����"� ����� #�-� )��� �� ��� -�� "���%
� �� >�9 �� "��� �� ����-� ��� ���� �"���� #*�����+% ����� ������
)����� ��� ������
� )��� �� ������� ������������ ����� ��� �������
�
3����
� �� ��������� ��� ��"��� )� $�"� �� ��� ������ #��% ��� ������ ���
���� ������ �� � ����
� �������
*����+ � ������� >�9 $� ��� ������
*,��+ � ������ >�9 $� ��� �������
*����������+ � ���!�� ��� �$ >�9�
Gj Gj
G0
VS Trainingdocuments
xjinj
jiθ
VS Testdocuments
xjinj
jiθ
γ
0α
H
Gj Gj
G0
VS Trainingdocuments
Additional trainingdocuments
xjinj
jiθ
Gj
xjinj
jiθ
VS Testdocuments
xjinj
jiθ
γ H
0α
Gj
G1 G2
G0
Gj Gj
VS Trainingdocuments
Additional trainingdocuments
xjinj
jiθ
xjinj
jiθ
VS Testdocuments
xjinj
jiθ
γ
0α
α1
H
*����+ *,��+ *����������+
�
,����
0 20 40 60 802500
3000
3500
4000
4500
5000
5500
6000Average perplexity over NIPS sections of 3 models
Perp
lexi
ty
Number of VS training documents
none, no other sectionflat, additional sectionhierarchical, additional section
0 20 40 60 802500
3000
3500
4000
4500
5000Relationship to LT, AA, and AP
Perp
lexi
ty
Number of VS training documents
LTAAAP
� ��$�� �-���� ��������� �$ ���� �� ��"����� ��-�� ������� ��"�����
$�� �� ��� ������ ������ $� M ��:���� ������0 �"-�� ���)� ��
�-����� �-� ��� ���� ������� ��� ���� D "��0
� ������ �-���� ��������� �$ ���� �� ��"����� ��-�� �3 �� ��� �9
��"����� ������-��� "���� >�9 ����� �-����� �-� D "��0
�
������ �����
� 3���� ����� ��)��� �� ��� ��� ���� �������
� ��� �)� ������� �� � ����� ����� �� ���������
�� �� �3 �� �� �9 �9 ��
�� �
����� ��������
�������
����� ���
�������
����� ��������
�����
����� ����
�������
����
������������
�� ��� �
������
�� ���
�������
�������
�����
�����
�����
��� ���
����
�����
���������
����
��������
����
���������
�� �
��������
������
� ��
�����
��� ���
�����
�����
����� ���
�������
��������
������������
�����
��!
�����
� ��
�����
�� ���
�����
�����
��������
�����
��"��
���� ���
�����
��!��
��������
� ��
�������
�� � �����
#������
�� ��
��� ��������
����
�����
����
�����
� ���� ��
�������
���
����� ���
�� ����
��������
��� ���
�"�����
�������
���������
��� ���
������� �
��������$�����
��� ��
�� �����
��� �
������� �
�� ���
����
��������
�����������
���������
������ �
������
�����"
������
������
�����
�"�����
#��������
�����������
��� ����
������
����
�������
�� �����
�������
�����
�����
���� #��������
���� #��������
�������
������
�����������
�����
������
�� ���
��������
%�!������
����
��� �����
���������
�������
�����
���������
�����
�����
�����
�����"
����
��"���
��������
��
�����
�����
#���
���������
��"��
�� ���
���� � �
��������
#�����
�"�����
������
�������
����#��������
�������
������
����
������
���
��� ���
����
�
*����� 3�� �" 3����
xTx2x1
z zT2z1
� 3�� ������ ��!�- �����6� ������ -����� �$ � ����"� �����
� ��� �) �$ ��� ��������� ����� �� � ��� �$ "���1�����1���������
������ ��������� $� ��� ���� �$ ��� ���� �����
� 3�� *��5���� ������ ��!�- �����+ #�>��%6�� >�� )��� �� "� �"����
�"� � �$ ������ #.��� &�������� ����"���� BKKB%
�
*����������� ��������� !���� *33
� �� �� �������$�)�� �� ���� �"��� �� ����� �����6��� �� ����"�� ���
�>��6)����� ��� >�9 $���)�!
� �� >�� �� � -��)�� �� � ��� �$ ����"� ������6��� ����"� ����� $�
��� -��"� �$ ��� *"��� �����+
� (��� � ��) ����� ����� ��� >�9 ������� *�����+ ���� ��) ����� �����
��� �$ ��� "��� ������
� ������ �� ������ �� ��� ���2 ���� �� ����� ����� ��� ����"����
β
2
2
1
0kπ
8
kφ
γ
0α
H
1 T
T
z z z z
x x x
�
4���� �� ����������
0 5 10 15 20 25 305
10
15
20
25
30
35
40
45
Number of hidden states
Perp
lexi
ty
Perplexity on test sentences of Alice
MLMAPVBVBm
� 9�������� �$ ���� �������� ��!�� $�� ��)�� �����,� "��� � -����������
*����������� ����� 3����
� 3��� ������ �"� �� ��� �� *L��+6��� ���� ��� �$ ����� �� �-���� ��
�� ��� ��"�����
� � �������� ���� ����� �����<�� ����� �� � ��� #>�$���� BKKK%
� ���� ���� ��� )�� *��������+ �� ��� ���� "��� �� ��� .������� �����
���
... ...
...
...
�
',!�%��� *����������� ����� 3����
������ �� ���� 011=�
... ...
...
...
� 4�� ���� �� ��� ��� �� � ������� ����"���
� 4�� �� �� �� �-�� ����"��� ��� �� ��������� ����� "���� �� )��� #�
*����+% ��)� $�� � ���
� ������� �� � �� �� �� � ��-�� ����"��� ���� ������ �� �"������ ���
)��� ��-���� ���� �� $"��� ����"���� ��� $"��� �����
� )� ���� $� ��� �������<�� ����� �� ����� �� )� ������ ��� ���
3�1���� 4 !�������� *��������
100
83
67 10 6
16
16
1
1
100
83
67 10 6
16
16
1
1
100
89
89
6
4 2
3
2 1
1
1
1
1
100
89
89
6
4 2
3
2 1
1
1
1
1
100
61
22 17 16 4 2
35
35
4
4
100
61
23 16 16 4 2
35
35
4
4
100
57
50 6 1
39
38 1
3
3
1
1
100
57
50 6 1
39
38 1
3
3
1
1
100
69
33 33 2 1
22
21 1
5
3 1 1
4
4
100
69
33 33 2 1
22
21 1
5
3 1 1
4
4
100
75
68 6 1
19
18 1
5
5
1
1
100
75
68 6 1
19
18 1
5
5
1
1
100
67
55 7 2 2 1
22
22
11
10 1
100
67
55 7 2 2 1
22
22
11
10 1
100
35
27 4 3 1
27
27
26
14 11 1
7
4 2 1
5
5
100
35
27 4 3 1
27
27
26
14 11 1
7
4 2 1
5
5
100
100
54 45 1
100
100
54 45 1
100
68
52 15 1
19
16 3
12
8 4
1
1
100
68
67 1
19
16 3
12
8 4
1
1
True dataset hierarchy Posterior mode True dataset hierarchy Posterior mode
�
����� *�������� ���� ���������� ���
the ; of ; a
a ; model ; memory
response ; stimulus ; reinforcement
speech ; reading ; words
action ; social ; self
group ; iq ; intelligence
hippocampus ; growth ; hippocampal
numerals ; catastrophe ; stream
rod ; categorizer ; child
self ; social ; psychology
sex ; emotions ; gender
reasoning ; attitude ; consistency
genetic ; scenario ; adaptations
motion ; visual ; binocularcolor ; image ; monocular
drug ; food ; brainconditioning ; stress ; behavioral
��
����� *�������� ���� � ��
the ; of ; a
n ; algorithm ; time
spanning ; heap ; structureregular ; language ; expressiondistance ; s ; pointscolors ; dgr ; coloringthe ; of ; apages ; hierarchical ; pagebuilding ; block ; whichclassification ; metric ; allocationset ; optimal ; structure
queries ; classes ; complexityquantum ; part ; classicalgraphs ; planar ; inferencelearning ; learnable ; cdata ; access ; overhead
programs ; language ; rulesabstract ; program ; theorysets ; magic ; predicates
networks ; network ; routing
routing ; adaptive ; routersclosed ; queuing ; asymptotictraffic ; latency ; totalbalancing ; load ; locationsinference ; task ; optimizationclass ; have ; property
system ; model ; performanceonline ; task ; decisionavailability ; data ; contentionmethods ; parsing ; retrievalcircuit ; cache ; verification
proof ; np ; questionzeroknowledge ; argument ; roundthat ; time ; problems
trees ; tree ; searchnodes ; binary ; average
n ; processors ; protocolshared ; waitfree ; objectschannel ; transmission ; costnetworks ; processors ; thosemore ; trees ; derived
constraints ; constraint ; algebradatabase ; dependencies ; booleanrecursion ; query ; optimalsubclass ; satisfiability ; by
n ; log ; functionsm ; parallel ; dshow ; oblivious ; protectionstudied ; makes ; the
logic ; knowledge ; systemstemporal ; logic ; exponentialknown ; large ; verycompilation ; queries ; online
automata ; lower ; boundedautomaton ; states ; global
��
�������� !�����
�������� � �� ����
� &�-�� � ������ ���� # ��� 4�� � � ������ ��8"��� �$ �"��� �� ���������
�$ #� ���� ��5��� �� ��5���� ��� �� )��� ��� ����� �� �" ���� �$ #
� �� ��� ��-�� �$ ��� ��� ��5�� -��� ��� ���� * ! � 4��6�����������
���� ��-���0
� �� ��� �" ��� -� � 4� ��5���
� �-�� �
�����
�����
)��� -� � -��� � � � � � -� ������� ��� ���� �� ��� ���
��
�������� !����� #����$
� @��� ���� ��"����� ��������� �� ��� ����� ���� ��5��� � �����
����"� !��)� �� � ������� �������
� �������� ��� ���� � ����� "���� �� ��� ���� �$ ����� "����� �������
��"�� � ����� � ������� ��������� ���� �� ������� ��"�� ���� �����
��� ��$���� ������� �$ ��� �����
� (������� � ����$�� ��� ���"�� � ����$�� �������
� ������� ������� �� � ������ ��� �$ ����$�� �������2 �������
� (������� � ������� ����� �� ����$�� )��� ����� �� �-�� ��8"��� �$
���������
� �� ������ ����$�� ������� �� ��� ������2 ������ ��������� �� �
��-�� ���� ��!� ���� � ���"���� �����"�"� )� �� ���"� ����"�
��
&��������������,�(�� !�����
�+������ ������� � >C���� !����� �������
� ���� ����������� #�0�0 �"-�-�� ��������% �8"�� ���� �� ����� "����
$"������ �� �����
� � ����� ����� "���� $"����� " � � �� ����� �� ������� �� ��� ���� #�3�%
�$ $� �-�� ��� � � � � � � � � � ���� ����� ����������� �����
-��� ��� +�� �"� ����
��� � " � ��� �� " � ��� � � � � �� " � ��� � ��+�� +�+�� � � � ���
���+��
� (������� " �� �3� �: �� � � � ��%�� " � �& �� � �=�-� �����
� (������� � �3� ��� ���"�� �� �3� �������
� 4������� .���1���� ����� $� )��� � �������<�� "� ����� �� !��)���
!���� ����
�������� � ��4� �� ����� � ,������$ !��������
� � ������ ��� �$ ����$�� ������� �� )����
� ��� ��� ��� ����� �� �-�� ���1�������
� ��-�� � ���� ! � 4� ��� ������� ���!� ������ ��� ������ �$ !
��� ����� "���� �$ ��� -��� ��� ���� �� �� ������� #������������� $�
��:���� ! � 4��
� ����� ������� ������� �� � ������ ��� "� 9���� ��� ����� "����� ��
��� ������6���� �� � � ���"���� �����"�"� )� �� ���"� ����"�
� 9������ "�������� ������� �"���������1������� "������� "� ��� ���
#��� ������� �� � 9���� ��� ����� "����%
� N"������ �������� �� ��������-� �� )��� ��� ��� ��-�� �� ��� �� )���
���"�� ����� 8"�������
��
��������� ��<���� ����
�%���� 0117�
� � ����� ����"� � ������ $�� � ����� ������ �����
� &�-�� � ������ ���� � ��5�� � .�)���� ���� �� � * � ��� �� �� �
� �� � ��-� �� ���� ����� �� ������ �� ����
� �"����-� .�)���� ����� ���� � $����)��� ���� ���� ���� "� ���
�: ������ �� � ��<�� $"�����
� )��� ��-��� �� � ��-��"� ��� ����� ����� ����� ��� �����
)��� �� � ����� ���������� �� ��� �"� � �$ ���� ���� ��-� ��-��"���
������� ���� ��� #"�1��!� ���-��%
� ��� ��<�� $"����� �� ��-����� ���������� �� ��� �"� � �$ ���� ����
��-� $����)�� ���� ���� #������ �"�������%
� 9���"�� ����� �$ ��<�� $"������ �� ����� ���1������ ����"��
��
.������ ���� �%��� ��( !�����
������ &�$���� .����� 0117�
� ����� ���� ��� ���!1 ��!��� ����"���� �� ���� �� �� � ������� ���
� (� �� ����� �������� ����� )���� "���� ��� ������ ��5������� �$ ��� ��
-��� ���
� 40�0 ��� ������.�� ������� $+��� �� ��5����
�� � ������� �� � � �� � �� �� � � �
� ���� �� ��!�� �)�� $�� ���� -��"�� �$ ��� ���! ������� ��� ����� ��
������ -��"��2 ���� ������ � ����� ����
� � ������� ����"��� ������<����� �$ �������� �� ����� �-���� ��
� 3�� #BKKD% ����� ��� ���� ����������� �$ ���� ����� �� ��������� "��� ��
����"��� ��������
�
���������� 5��������
� I"�� )����� ��)� �� � ����� ����� "����� ��� �"���� � .������� ��!
���,� ��� ���� �� �� ���������� ��$����
� ���,� � ������ � ���������� �����2 �� ���1��$� �� ���� ������ ��
"�"���� ������
� ��� �� ����)��� ��$� �� ��� ������� )��� �� ���� � ��� ��� ��
��)��� � �-���� � ���� #�0�0 ��� %
� "� ����� ��� ���"�� ��)��� �� � �������� ��!���
� ��� ���,� ��$� �� ��� ���������� )��� )��� .������� ��$����� �� �
8"��� )���
� ��,� ��� �� �� � �������� ��!��� )��� ��� �� *8"��� )��� + �� ���
����� ���� ���� $�� � ���� �������� �!� $�8"������ �-��"�����
���
'��������
������ +���� �� ������� � +���� ����� � #$����� #$��$ "��������$�� #$���� 4� ���
9����� !������� � '$���
� ���� ��� ������� �������� �� ����� ������ �$ ��� �"� "��������
���������� ����� "���� �� ��� �"� � �$ ���� ������ ���� �� ��5����'
� ��� �� ������ ��� ��� �-�� $� ��� ������� �����
� �0�0 � ������� ����� )��� � ��"���� ��� ����"� ��� � &�"�����
������� ����� #� ������� �� )��� ��������� $�8"������ ��������� �����%
� ������-� ��"��� $� ��� )��! ����� ������2 ������-� ��"��� $� >�������
��� 7"�� �!1��� ��
� �� ���1����- ������ #.���� -�0 >�-��<13������� ��������%
���
'��������
� *@�$��"������ �� ����1����������� �� ���� � ���� ������� �$ ��� ���
�� ����� �����2 ������ ��� ��� �� �)��� ��� ���� �� ����� ��)
�"� ���� ��" ��-�0 3��� �� )��� �" �������� �"����� ��� ���� �� )�� )�
��-��� ������� ��� �������� "�� �$ .������� ���������� �����8"��+
#������� G ������� ;COP%0
���
'��������
� .�������� �� �� ����������� � �"����� ����"�� �� ����"��
� ��5����1����������� �� ���� �� ��!� �� )�! )��� ����"���� ���
#"��-���� ��% "��"��� �� ��5����1����������� ���
� ��,� ��� ���"�� �� /"�� )��� �"� �� � ������� ��� ���"��
� 3��� �� � ������� ��� ���� ������"� �� ����� �� ����2 ��� ��� ������"�E
� ������� ��������� ��� ����"�� .������� ����������� )�!����� ����
*.������� ����������� )�!����+ ���� &�����
� ��� �� � ��$"��� )��� ��� ��9� .������� ����������� )�!����
)��� ��" ����� ���� ������ ���������
� �� ��� ������� �� ���� ���!� �����AA)))0�0 �!����0��"A�/����
���
,��������
������� +� �7;A2�� �3�$� ��� ����5 � � ������� ��(���� & ������ ������ �� ��� ������� ��
� �������� ���������� (���� 7D7;A� ,(�� ���� ����� �
� �� ���� *� �� �7;B=�� �3����� �/ +����$��� (�������� ���$ �((������� � �� ��5����
� (��������� (�� ����� ��� �� �� � ������ 0�?�E7720D77B=�
����� � .�� #$�$���� �� '�� � � "������� � *� �� �0110�� )$� � 8 ��� $���� ����4
������ & +��������$� )� #�� ������� ,�� � � #$�$���� �� '�� �������� ��� ���� �� ���� �
����� ��� ��������! �"�� �� 4����� 7=� (���� 2BBD2A=� *�� ������ �� &) ������
����5� +� �� � � *$����� �� � "� �7;B;�� ��(������ ��5�� ��������� �/ � � �����
(�������� 4�� ��3����� �/ +����$��� (��������� ��� �� �� � ������ BE22AD2?A�
���������� +� � � ������ � .� �� �7;B@�� ������� ������ ���� � 4�� �F��5� �� ��$�����
��� �� �� � ������ 7E@2@D@22�
����� +� � � � .���� � � &� �0112�� 9������� �� � /��� �� /�� +����$��� (������ ��3������
# "��� � �� �"���� 7�7�E707D7==�
���
����� +� �� %�� �� G�� � � .���� � � &� �011@�� ���� � +����$��� ��������� � $���� � ��
% �&��� '� ����! (��� ��&� @E;;@D7100�
����� +� �� #���$�� )�� .���� � � &�� � � )� � ���� .� �011=�� >������$���� ��(��
������ � � �$� ����� *$� ��� �������� � (������� & )$�� � ,�� ,���� ��� � � ,�$-����(/�
��� �������� ��� ���� �� ���� � ����� ��� ��������!� 4����� 7?� *�� ������ �E &)
������
���� � �� "� � � & ��$��� .� #� �011@�� � ��5���� ����(��������� C�� � $������$����
����� /�� �� ������ �� � � ���4�4�� ����� #�� ������ 2;E007D00A�
��� ��� �� .� �7;;2�� ��5���� �� ��� ��������� ���$ ����� ����� �$�� $�4� �5�������
� ������ �� ������� $���� � �� ���) � ���� � ������ =E@@2D@=A�
���$� *� � � �����$�� � ,� %� �7;;?�� � ����:(��������� ��5���� ����� /�� �� �������
������ ����� �� #�� ���* � A@E7B2D7A2�
*������ *� � � �������� �� #� �0110�� ,���(��������� ��������� /�� ��� � �����
#�� ���* � A;�0�E0?2D0A7�
���
*�/������� +� � � "���HH� �� �� �7;BA�� ��� ���� ���������� � (���������� � �� ��H�� � ��
���� �� ����I� (��H���� � ��(���� �� ����� ���������4�� )��$ ���� ��(���� ������ � &�������
��������� �� � H����� ����JK �4�����I� �� )��� ��
+� &����� �� -������ ��� � � "�� ��� #� �� �011=�� � �%L9� ����� /�� ��(� �� �
�� ��� ��������� $���� � �� &� � ���� � � ���� � ������ ���� ;;�=?2�E012D072�
+���� ��� �� � � ������� � +� �7;A?��� L � �� ����� � ��5�� ��������� �/ ������� �
��� �� �� � ������ 7=E?ADAB�
+���� ��� �� � � ������� � +� �7;A? �� L �$� �� ����� �5 �/ �5�� ���������� ��� �� ��
� ������ 7=E7D?B�
+���� ��� �� � � ������� � +� �7;;@�� %� (��������� � ��5 ��5���� ��������� � ��� ��
�� � ������ 07E071AD07@B�
+������ �� �7;B=�� )���/��� � � ������ �� ��� (�� � ������� � � �$��� (��������
������ ���� �� ��� �� �� ��� ����"� 0E7A@D017�
+���� >� �7;A2�� ��5���� � (��������� ��������� �/ �$� ����� � ���� �E *��(������
�/ �$� ���������� ��� �� �� � ������ 7@E7=@0D7===�
���
+���� >� �7;;=�� ��5���� � (��������� ��������� /�� � ���(���� ���� 4�� ��������4�
�� �������� ���(�� �� ��� �� �� � ������ 00�=�E7B?@D7BA?�
���� ��� � +� �7;;=�� �������� � ����� ��� � ���$ � +����$��� (������ (����� $���� � ��
&� � ���� � � ���� � ������ ���� A;E0?AD0BB�
���� ��� � +� � � !���� � �7;;2�� ��5���� �� ���5 ��������� � � � /��� �� ��� �
��3������ $���� � �� &� � ���� � � ���� � ������ ���� ;1E2BBD2AA�
��� �� !� �7;B0�� )$� ���(�� � �$���5 �/ �������4� ������ �������� +&������ � �)�� ���
#����!"� @EABD770�
�� ���� .� �7;?=�� ��5�(����� �$�4��� �/ ��5�� ���������� ��� �� �� % &� �� �
� ������ @2EA=?DA2?�
������� � )� ,� �7;B@�� � ��5���� � ��5��� �/ ���� � (��������� (�� ����� ��� �� ��
� ������ 7E01;D0@1�
������� � )� ,� �7;B=�� ����� ������ ���� � � �(���� �/ (�� � ����5 ��������� ��� �� ��
� ������ 0E?72D?0;�
���
������� � )� ,� �7;A@�� ��5���� �� ���5 ��������� 5 ��3����� �/ ����� ������ ���� ��
& "�H4�� >�� � � "������� .�� �������� (���� ��� ���� �� � ������ %�� G���E ��������
������
�� �� +� �� >�� ������� ,� ��� �� ���� ,� ��� � � ����� � #� �� �0110�� "�� ��5H� �
��������� ����� � �M���(��� � � �������� � ���4�� ���$��� �$�(� �� ����� ��� $���� �
�� #������� �� ����� �� � ������ 01E=0@D==1�
������� � +� �7;?@�� L �$� ��5�(����� �$�4��� �/ ��5�� ��������� � �$� �������� �����
��� �� �� % &� �� � � ������ @=E7@A?D7=1@�
#��/� �� �� �� � � ������� �� �0110�� � ���(������ �� �((����$ /�� /��� � (���������
��5���� � /��� �� � ��� +����$��� (������ ��3���� ������� $���� � �� ,� )� ��� � ��
-� )&�� � � ������ 77E0A;D@12�
#��/� �� �� ��� ������� ��� � � �����$�� � ,� %� �0112�� ��5���� � (��������� �(�����
������ � ���$ +����$��� (������ ��3� �� $���� � �� &� � ���� � � ���� � ������ ����
711E7107D71@2�
#$����� ,�� #$��$� .� ��� � � "��������$�� "� 9� �7;;;�� ��������� �� ����� �5 �/ +����$���
��3����� � �� ���5 ��������� � ��� �� �� � ������ 0BE7=@D72A�
��
#$����� ,� � � 4� ��� 9����� �� �0117�� � ���(��� � � ����� �/ �� 4���� �� /�� ��5��
� � ��3���� ������$��� ��������� /�� ��3���� �/ ����� �� ������� ��� �� �� � ������
0;E70@@D70?@�
#��� � �� � � "��$����� � ,� �0117�� ������ � $������� ���5 ���$ � � ���$��� �$�
+����$��� (������� �� ���� �� � $���� � �� � ������ 0AE@22D@BB�
#��������� ��� >������ *� *�� � � !������ ,� #� �011@�� ���/��� ��������� � 4��4� �
/� ���� ��� �/ � +����$��� (������� $���� � �� ,� )� ��� � �� -� )&�� � � ������
>C���� %� �7;;1�� %� (��������� ��5�� ���������� ���� � ��� (�������� � ������ /��
��/� $�����5 ����� ��� �� �� � ������ 7AE702;D70;=�
&�$���� � >� � � .����� �� �011@�� #� �����H�� ����$��� *$� ��� �������� � (�������� /��
�(����� ���(�� � ��3���� ������� � ���� ����� � 7@E7077D70@2�
&�$���� � >� � � .����� �� �� �0117�� #� � ���(�� � ���$��� /�� �����: ����� � (������
$���� � �� &� � ���� � � ���� � ������ ���� ;?�=2@�E7?7D7B@�
&�$���� � >� � � .����� �� �� �0110�� �((��3����� +����$��� (������ ���(��� � � 8 ���
����� ��3�����E ,����$� � � � (���� � /������� � $���� � �� ,� )� ��� � �� -� )&�� �
� ������ 77E21AD2@0�
��
&�$���� � >� � � .����� �� �� �011=�� *��(������ �� ���$��� /�� �����(������4� � �� ���5
������ ��� � ����$��� ����� (��������E ���(����� �� $�H����� ������ (�� � (��������
� � (� �� ��� � ����� $���� � �� &� � ���� � � ���� � ������ ���� ;;E7B2D7;1�
&�$���� � >� � � '���(���� � �0111�� ����4 �$�� � � �� *���� � �((��3����� +����$���
� � ��� ���:(�������� (������ $������$���� ������� #�� ���* � ABE@B7D@;1�
&�$���� � >� � � '���(���� � �0110��� +����$��� (���� ���4�� � 8 ��� ����� ��3������
� ���� ����� � 70E;=7D;?@�
&�$���� � >� � � '���(���� � �0110 �� �3��� � � �((��3����� ���:��(���� ����� � /��
�$� +����$��� (������� , � �� � $���� � �� � ������ @1E0?;D0A@�
.�� � ,� � � %���� "� �011=�� � �(���:����� ����4 �$�� � �� *���� (�������� /��
�$� +����$��� (������ ��3���� ������ $���� � �� ,� )� ��� � �� -� )&�� � � ������
7@�7�E72AD7A0�
�� ��� � .� �� *� �7;B=�� "� ��� �������� ������ ���� �� $���� � �� &� (�" � � ���� �
�����"� @BE7D00�
���� �� � �� �� � � & ��$��� .� #� �7;;A�� � ����:(��������� ��5���� �((����$ ��
�� �����H�� �� ��� ��3�� ������� � ����� �� %�������� 7BE02B;D02;?�
���
������� �� �011?�� %� (��������� ��5���� ���4�4�� � ��5��� ��� � ��3����� �/ !�� ���
������ ���� �� $���� � �� � ���� � � ����! �� ���������� 7@?E2BAD2;?�
��4� �� � �7;;0�� ,��� ��(���� �/ ���5� ���� ������ ���� � /�� ����������� ������ �� ��� ��
�� � ������ 01E7000D70@2�
���� .� ,� �7;;?�� %� (��������� $������$���� ��5�� 4�� ��N�� ���� ��(������ �� ��� �� ��
� ������ 0=E;77D;@1�
��� �� G� �7;A=�� L � ����� �/ ��5���� � (��������� ���������E &� +� ���5 ����������
��� �� �� � ������ 70�7�E@27D@2B�
�����$�� � ,� %� �7;;=�� �������� � ����� ��� � ���$ � �� C����� ��5�� +����$���
(������ (����� ,� ���� ���� �� � ����� #� 0@EB0BDB=7�
�����$�� � ,� %� �7;;A�� *��(������ �� ���$��� /�� ��3���� �/ +����$��� (������ �������
& +�5� +�� ������ ��� � � ,� $�� +�� �������� � ��� � ���) � ���� �� �� �) � ����
# "��� � � ������ (���� 0@D==� ,(�� ����
�����$�� � ,� %� �7;;;�� +�(� �� � � (��������� (��������� & ��������!� �� &�
������ �� # "��� � � ���� � �������� ������� ,���������� ���������� �
���
�����$�� � ,� %� � � -������ �� �7;;A�� �������� � ��3���� �/ +����$��� (������ �������
$���� � �� ,� )� ��� � �� -� )&�� � � ������ BE00@D0@A�
������� �� �� � � !������ ,� #� �7;;B�� *�� � � � � /������� /��� ��4���� �3(����� ��
���$ � (��������� (������ #�� ���* � A=E?;BDB1?�
����� � "� +�� ,������$� !� +�� � � !�������� ,� *� �7;;0�� ���5� ����� � � �� ���
������ ���� �� ��� �� �� � ������ 01E701@D7007�
�����6�� .�� ����� +� �� � � .���� � � &� ��� �((����� %� (��������� ��(������ ��5��
/�� �$� +����$��� (������ ��3���� ������ � ����� �� ,� )���!�
��$�(��$5�5� ,� � � #��/� �� �� �� �7;;B�� +����$��� (������ ��3�� �� �����H�� �� ���
������� $���� � �� &� � ���� � � ���� � ������ ���� ;0E?@@D?@;�
������� �� � � ����� �� ,� �7;;@�� � ��5���� (�������4� �((����$ �� ��N�� ���� �����$ /��
� �(����� ����E ���������� � � � (��������� ������� $���� � �� &� � �� � � ���� �
�����"� 0E@=;D@?=�
������� ��� ,���$�� ��� � � !������ ,� #� �0111�� K� ��$���� � � ��� /����� �� ���
������ ���& ��� �������� �� &��� �))��� ����� AAE2;DBA�
���
������� �� � � )�������� ,� �7;;A�� �((��3����� � ������ ���� � �/ �� ��� /� ���� ��� �/
������� :+����$��� (������ , � �� � $���� � �� � ������ 0?E0A@D0;B�
-������ ��� ��� �� �� ��� � � "�� ��� #� �011=�� � ���$�� /�� ��� � � � � /��� ��
������ ������� � (��������� ��5���� ������� $���� � �� &� (�" � � ���� � �����"�
??EB@2DB=;�
%���� "� � �7;;0�� ��5���� ��3���� ������ �� & ��������!� �� &� .��*�&�)
�� % /� � ����)" �� # "��� � %�&��� �� � ���� � �� �"���� 4����� 77� (����
7;BD077�
%���� "� � �0111�� ����4 �$�� ���(�� � ���$��� /�� +����$��� (������ ��3���� �������
$���� � �� ,� )� ��� � �� -� )&�� � � ������ ;E0=;D0?2�
%���� "� � �0117�� +�8 � � (����� /�� ������ ���� � ��� � +����$��� ��6���� ������ )��$ ����
"�(��� 171=� +�(����� � �/ ,���������� K �4�����5 �/ )��� ���
������ #� �� � � )������� *� �7;BB�� +�4�����5 �� � �� ��(� � � ��� ��(������� � /�� �� ���
����� ������ #������ �� &� ����� ��� � � ���� � ������� =BE=;BD272�
���
����� � .� �7;;?�� ,��� ��4���(�� �� �/ �$� ���������:������ �� ��$���� &
������� � )� ,�� ,$�(��5� �� ,�� � � ������ � .� ��� �������� � �����0 ��� ����" ��
- � +&���"� (���� 0=2D0?B� & ������� �/ ��$�������� ,���������� >�5����� *��
����� � .� �7;;B�� )$� ���:(�������� ������ :+����$��� ������ ���� ����4�� /��� � ��� ��
�� ���� ����� ��� �� �� ��� ����"� 02EA22D;11�
����� � .� �0110��� *�� � ������� ����$����� (��������� )��$ ���� "�(��� ?07� +�(����� �
�/ ,���������� K �4�����5 �/ *���/�� �� �� �������5� ������� ���� /�� ,�� ����� ,�����
,�$����
����� � .� �0110 �� ������ :�����$��� � � #� � 4���� � ������ ���� � /�� �(���:� �:
����� ��� �/������� � �/ � � ���4�� (������� � ,� ��� �����0 ��� ����" �� ,� )���!�
77E217D27=�
"� ���� *� �7;;?�� �3����� �/ ������ ���� �E & /��� �� � � ��������� � & #����� !� "��
"��$����� � ,�� � � ,(�����$������ +�� �������� � ��� � % �*�� ,& �� %��� , ����
*$�(�� � � >����
,��$����� � .� �7;;=�� � �� �������4� ��8 ���� �/ +����$��� (������ � ���� ����� �
=E?@;D?21�
���
)�$� G� !�� .���� � � &�� ����� � .�� � � ����� +� � �011=�� >������$���� +����$���
(��������� )��$ ���� "�(��� ?2@� +�(����� � �/ ,���������� K �4�����5 �/ *���/�� �� ��
�������5�
)���� �� � #� � � ���� ��� � �7;;;�� � ��5��� �/ �� ������� )��$ ���� ��(���� K �4�����5
�/ )��� ���
!������ ,� #� � � ������� �� �7;;2�� ����:,���5 (�������� � � � �� ���������� �/ �$�
���5� �� ��$���� ��� �� �� � ������ 02E7B?0D7BA1�
!������� � �� �7;;A�� ��5�(����� (��(������ �/ � (��������� ��5���� (���������� &
+�5� +�� ������ ��� � � ,� $�� +�� �������� � ��� � ���) � ���� �� �� �) � ����
# "��� � � ������ (���� 0;@D@1=� ,(�� ����
!���� � �7;;0�� >5(��(�������� ��������� � +����$��� (������ ��3���� ������� )��$ ����
"�(��� ;0:�1@� & ������� �/ ,��������� � � +������ ,��� ���� +��� K �4�����5�
!���� �� -������ ��� � � ���� ��� � �7;;=�� >������$���� (����� � � ��3���� �������
���$ �((������� � � ��������� � � �� ���5 ��������� � & ������ � �� "� � � ,���$� ��
�� �� �������� ��)��� �� 1���� ��"� (���� @?@D@A?� .�$ !���5�
���