Upload
thilo-kielmann
View
216
Download
1
Embed Size (px)
Citation preview
������� ������� ������� ���� ���� ���� ����� �� �������� ��������� ������
����� ������� ���� ����� �� ��� �� ��� �� !����� � "����� #������� �� $�� �� %��� ���� �
� �������� �� ��� ��� �� �� ���� �������� ����� ����������� �� ������� �����
���� �� � ���� � �� !��������" ���� �� �� �� ���� �������� ������� ��������" �� ������� #��$��� ��% &�'&(� ��)�* �������
+�� �"
$� ����� &' ����"�� (''') �� ����� �� ������� �� * +���� ('',
��������
-��� ������ �������� ����� ����� ������� ������� .�� -//�0 ��� ��������� ���������
+ �1�� ���"�� �� ��� ���� �������� ����� ������ �� �� � ������� �� ����� ������ �� ��
������� ���� ����2 ����� � ��� "�������� � 3+�� ���� ��� ������ � � ������ ����� ����
����� � �� �� ��������� 4�� ��� �� �� �����5� -/67� ���� ���� ���������� �� �� � �����
���� 3� ��� ��� �� ���8���2 ���� ��� �����"�� ���� ����� ���� ������� ��� ��������
���� �� ���� ������� �� ���� ���� ��� ���� �� �������� ���� ��9����� 3+� ������ �� �����
�5� ���� ����� ��� �� ��� ��5� �� ������� �� ������� � � ������� � ���� �����
,� ����-�� :� / �/� :� /�� � ������ �� �� �;������� � ��� :� / ���� ���� �����
���� �� � ��"������ ��� ��� +� �;��������� ������� � ���������� ����� ���� ��� �����
��������� ���� ���� ���������� ���� �� ��< ����� ������� ������� � �� ��� � ���
�� ��� ��� ���� ����� �� � ���� �� � "������ ��� �������� �� ���� ��� ��� ������� ��
������� ����� � ('', �������� � ��� � ��#� +�� �� ��� ���������
.�"/����0 !��� ������ ) -/6) =���� ���� ���� ����� �� �������� ��������� ������
������������� �>�� ���>��� �
/������� =������ (? .('',0 ,@&,A,@*B
�=����������� ������� ����2 C&,�('�@@�@??DE) �;2 C&,�('�@@�@?B*&�
12 �� ��������0 �������F ������� .�� �������0� "��F ������� .���� ���0� ����� �F �����"��������
.�� !����� �0� ������F ������� .�� #�������0� ��� ��F ������� .$�%��� ����0�
',B?�D,E,>',>G � ��� ���� ����� � ('', �������� � ��� � ��#� +�� �� ��� ���������
/662 � ' , B ? � D , E , . ' , 0 ' ' ' E D � E
� ���� ������
$����� � �� ��"�� ����������� �������� ����� ��� ������ ��������"�� ���������� ������ �������� ����� ������ �� ��������� ������"���� ������� ���� �������� ������� �� ����������� ���� HD�,&I� =���� ����� ����������� ����� ������� ���� ��� ���� "���� �� ��� ������������ ������ �� ������ "� �������� �� ��� ����������� H,DI� �������� ������ ����� ������ ���� ��8������ ����� ���� ��� ����� �� � � ��� ��J ��� ���� ��� ���� �� ���� ������ ���� ������������������� � ������ ��� �� ��� ������ � � ��9����� .�� �� ��� ���������0 ��������� +���� ��������� ����� ��� ������ � � ������ ������ ���� ��� ����� ���� �� ������ ������� .�� -//�0� ��� ������� ���� � ���������� ���� �����
6� ������� ���� H(E�&'I� �� ��� ����� ��� ���� ���� ���� ����� ��"������ ��"� ���� �� ������ ��������� �������� ��� ���� � 3� ��������� �� -/6� �����"�� ��"����� ����� -� /6�� ��� � �����5�� -/67� ���� ���� ���������� ����������� ������� -� /6� �;������ ��� ������ �� �� ���� ����� �������� �� � � ������������� ���� ����� ���� ����� -/6 ��"������ H&'I� -� /6�7� �;����� ������������� �J ������ ����� ���� ��� �� � 3+� ����� � "�� ��� ��"������ �������� � ���� ��� ���� �� ��� � ��� ��� ��������� �� 3+� "���������
=���� ���� ���� ����� ���� ��� ���� �� ����� � ��� �������� ����� ��� ����� ����� � ��� "�������� � ��� �� �� ��� ��������� ��������� ��� ��"�� � �������� ��� ��"�� � ��� ������ �� �� � ������� ��� ��� ��� �� � ��� ���� ������������ �� ������� � � ��� ������� � ���� �� ��������� ���� ���� ����� ������ ����� ��� �� ����-�� :� / ���� ./� :� /0� ��� � �;����� ���:� / ���� HEI� 3� ��� ���� ���� �� �����5� ���� ���� ���� ����� ���� ���� � �� �������� ��� ���� ����� ������������� 3� �����5�� ��� �������� ���� ���� ����������2 "���� ���� � ������ ������ ��� ��� ������ 3� ������ ��� ��"��������� � ���� ��� � ��� �����5������ �� "� ������� ����� ���� .�� ������0�"���� �� ������� ���� ��������� � ��� ������ �������
3� �������� ��� ��� �������� ���������� �"��� ��� ��������� �� �� ����� ���� ������ ��� ��� ������� ����� ��� ��� "���������� +����� ����� � ���"�������� �� "� ������� �� �������� �������� �� ��� �������� � � ��� �� ���� �������������� 6� ������� -� /6�7� ������� ������� � ���� �� "� ������� �� ����������� �� ����� ����� ���� 4�� ���� �������� �����5������ ��� ���� ��� �� ������� �� � ����� ���� ��� �� ����������
+����� � �� ���� ��������� ������ � ������ �� �� � �� �� ��� ��� � � �������� ������� � �� ��� ���� � � �����5�� ���� ���� ����������� 3� ���� ���������� ��� ���� ��� ��� �����5������ �� �� �;��������� ��������� ����"��� "������� �������� 3+� ����� ��� ���� � ���� 3+�� ���� ������� �� ���� �� ��������������� �� ��� ������������ 4�� ��������� �������� ������ �� �� ����� ������ � � ��������� ������� � 8������������� ��� �� ������� 4�� �;�������� ����� ���� ����� ��<��� ��� �������� ������� 8������������� 4�� �;��������� �������� ��� �� ���� �� �� ������ ������ ��� ������ �� %�� �;����� ����� ���� ��� ���������"���� ����� �� "���� ����� ���� �� �� ? ����� ������� ���� �, -">��>� ���� �� �� �� � ������ �� � �� ��� "�������� � B�B* -">�� ������� �� '�EB -">� ������� ���� � �� ��������� %���������� �� ������
,@&( % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
�������� ���� �������� ��� � ������ ������� �������� ���� ��� ���� ������ ���) �� �;����� ���� "���� ���� ��� ��9���� � �� "������ ,K ��� @K� =������� ��� �����5����� �������� � ���� �L���� �;�������� ���� ��� �������� ���� ����������� � ����� ��� ��"�� ����� ���� �� � �� �; �������� ����� 6� ��� "���� ����;����� ��9���� �� ���� ������ "���� ,K�
4�� ������� ���� �������� �� �� ������� �� -/6 ��"���� ���� ���� ��� ���� ����������� ���������� ��� ���� ������ �� ������ �� ��� �� ������� ����������3� ������ �� ��� ��� ������� � ���� �� �"������� ���� ����� ����������"��� ������ � ��� ������� ������� �� ��� ������ �� �������� "� ��� �������3������ ����� � H&DI� �� ����� �� � ������ �� ������� ��� �����5����� �� ��������������� ���� ��� �J ���� ��� ��� �;� ���� �������� �� ���� � ��� -� /6� ��"�����
���� ����� �� �� ���5�� �� ������� 6� �� ���� (� �� ������� � ��� ���������5��:� / ����� 6� �� ���� &� �� ����� �� �� �����5� ���� ���� ���������� �� ������� �� �� ������� 3� �;����������� ����� ��� ������ � ���� � ���� ��������� ������� �� ���� @� $������ ���� ���� "� ��� ����� �� �� ���� *� �� ���� B �������� ��� �� �������� +������; + �����5�� ��� ��"��� ���� ����� ���� ��� ������
� �� ����� ��������������� �����������
�� ������� ��� ������� � ����� �� <��� �����5� ��� ���� ����� "�������� � ��� -/6 ������������ �� ��� �;������������ ������� ����� ��� M+������� M+� ������� � ��� ������ �������� �� � �������� /����� /��� ������� �� ���� ���� ��� "� -������ HBI� ��� ������� ��� �� ���� �� ��� M�� � ������������� ��� ��� ���� ��� "� ��� M�� � � ���� 6������� "� �"���� �N$%������� ����� �� ��� ��"�� �� ������ �� ����2>>���� �������>���> ��� �� H&'I� %� � , ������������ ��� ������ ����� ���� ���� �� ����� ����� ���� ���� ������ �������� �������� ������� ���� ���� ���� ��� �� �� �������� ��� � ���� ���� ��� 3+���� � ������ ��� � ������ ���� �� ���� ��� "��� �� ��� :+� ��� �� ��� 3+��
-� /6� ����������� ��� ���� ���� ���������� � � ���� -/6 �������������� ��� � -/67� �������������� ���� ������ 3� ��� -� /6� �� ��� � -/6=�
%� � ,� ���� ���� � � �������� ��������� ������ ��� �� ��� ��������� ��������
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@&&
H('I� � ������ ���� ��"�� -/6 ������������� ��� � �� ���� ������ �� ��� ��������� M+� ������ 4�� -/6=� ���� ���� ��� /���� ���� ����� ��"����� H(I ����������� � /�������� �< -/6=� ���� �� /���� ���� � ��� �� 6/ ��� -�������4� -������� /���� ���� ��� :%= H*I ������ ��� ��� 4�� � ��� M+� ������� ���,(D =/N�� ��� ��� "��� ��� �� �� ����� ���� �;������������ ���� ��9����� 3+������ ��� ��� "���������� "� ����� ����� ����� �� ��� ��������� ��"����� H&'I����� ��������� ��������� �� ���� � /���� ��� ���� �� ����������� �� ������� �������� ��� � ��� ���� -/6� 3� ��� ���� ��������� ����� �� ��� ������� � �;��������� �������� ����� ���� �� ����� ( ��� &� 3� ��� � ������ ��"�� � ����������� ������� �������� ������ �� ��������� ����� � .,' �0� ��� �� ���������"�������� ., -">�0� 6� ��������� ��� ����� � ���� -������ �� �"��� (' �� ��� ���-/6������ ����� ���� �� �"��� *' -">�� �� ����� �� ����� ��� ������ � � ��������9���� � "������ ��� �� �� ��� ��� �������� ��������� �������� 3� ������5����� ��� ��������� ������� ���� "��� ������� �� � ���� �������� � ����� ���� ������ ������� �� ��� ����� ����� �� �� ��� ���� ��������� �����) ���� ��� ��������� ����� ��� �������� ���� ��� � ��� -������ ������ �� � ����� ����� ��� ��������� ��� ������ ���� � ��9����� ������ � /����� 6� �� ���� @� �� ����� ��� ����������"���� ������� ���� �;�������� ������� �� ��� ���� ��������� M+� ������
����� ���� ���� ������ �� ����� ��� ���� � ���� �� "� �� ���� ���� ����"�9���� ��� -/6 �������� ���� ������ ��� ����� ������� ���� ������ ��� � �� �������� ���� ���� ���� ������� �����"�� ����� �� ��� ��� ����� �������� �������� ��� �� ������ �������� ���� ���������� �������� ������� �� ��� ���� ����� ������ ��������� � �������� ����� �"�� ������� � ����� ��� ��O��� � � ����������� ����� �� ���� ����� ������� � �� � ���� � ��� ��� H(,I ��� ��� �����������
��� ���������� � ���� � �� �������� �� �9� ��� "� ��� ������� � -� /6� ����� � -/67� �������������� ���� ������ + ����� �� -/67� �����������-� /6� ������ ���� �� �� �� ���� � ������� � � "��� ����� -� /6� ������ ������ � �� ���� �� ������� �� ��� �������� ��� �� ��� ���������� � ���� ��� ���� �� ��� ��5� � � ��� �� �� ��� ������� ���� �� ��J ���� �� ���� �������� ������ ���� ���� ����� � ���� ��5�� ���� �� ���� � O����� ����� ��"������������ ������� ���� ����� � �� �; ���������� ��� � ��5�� ��� �� ���� � �����"������ � �� ���� 6� �� � � ���� -� /6� ��� �� ��� ��"������ �� ��� ��5��� �������"�� ���� ���� "� �������� "� ��������� -� /6�7� �� ������ �� �� ���� ������� � �� -/6 ��"����� 6� ���� ���� �������� -� /6� ���� �� ��� �� "� ����� ���� ������� ������ ������ ������ ���� ����� ����� ���� ������ -/6 ���������������
4�� -� /6� ��"���� ���� �������������� ���� �� �������� "� ��� ��������� -/6 ������������� ����� �� �"���� � �������� ������� � ���� �� ���� �������������� �� � �������� ��������� ������ �� <��� ����� ��� ������� � � �������������� ���� ����� "� ������ �� ��� :� / ��������� �� � �� �� ������� ���� ��������� �������� %� � ( ����� ���� ������� ��� 3�� ������� �� ����,:P:���� ������� �� ������� ���� � ��5�� �� "��� ��������� -������ ��� 3+��6� ����� � �� ��� :� / ����� ��� ���� �������� � �� ��� �������� ��� ��,:P:���� �� � ���� ���� � ��5�� ����� ��� �� 3 �� ��� ���� ��� ��������
,@&@ % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
"������ ���� ����� ���� �� �,:P:����� 3� ������� ����� ��������� ���� �������� ��� ��"�� �� �� ���� (�(�
��� -/6 �������� ���� ��"�� ���� ��� ����"�� ��� �,:P:���� ���� ��������� ������� ���������� ��� � ���� ������������ �� ��� �� ����� �� � � � ��� ������ ���� �� �� ���������� �� ��� �� �� ��������� ���� �� ���� ����� ���� �� ��� �� ����� ��� ���� ��� ����� ����� �� ����� �� � ������� ��� ������� ��� � ������ "��� �������� 4�� -/6=� ���� �� /���� ����� ����� �� ��� ��� � ����� �� ��� � ������� ���� �� "�� �� ��� ���� �� �������� %�� ����� ���� ��� ���� ������� ���� ������� ������ ���� � ��� "��� ���� �����,:P:���� �������� 6� � �� %� � ( ����� �������� -������� �,:P:���� "������ �;� ��� ���� ���� �� �� � ���� � ��5� � ,(D ���+� ���� ��5�� -/6=� ���� ��� �� �����5���� ���) ���,:P:���� ����� ��� ���� ������ �� � ����� ���� � �� ��� �� ������ �� ������� ��������� �� ���� ���� 3���� ���� ��������� ������� �� ���� ������� � ��� ��� -������� ��� "������� �� ��������; ��� ���� "������ B@ ��� ,(D ��� �,:P:���� ������� �� ���� �� �� ����� "�� ������� �� O��� ������ ��������� �� ��� �� ������ ��� ����������� �������� ��� �� �;�� ���� ���� ����� ������ QQO��77 �� ����� ���� �� ��� �� ���� ������� �� ����� �� ��J ������ ��� � ���� ��� 4� ��� 3+�� ����� �� ������� ������������� �� ,(D �� ���� ��� ���� ��� ��� ���
3� �� ���� ������� �� ������� �� ����� ����������� ��� � ��� ����� ����������� � �������� ������� � ����� 4� -������� ��� ��9���� � "�������������� � ��� �� 3 �� ���� .�� �� ,(D ��0� ���� ���� ���� ��� ����������"�������� �� ������ "� ��� ���� ������� ��� ��� "� ��� �������� 4� ��� ��������� ����� �� ��� ����� ����� ��� ��9���� � "������ � ��� 3 �� ��� ������ � � ������� �� ���� ���� ��� 3��� ���� �� � ��9���� �� :� /7� ��������� ���� ������� ����� ������� � ���� � ����� ���� 3 ��� ����� ���� � ��� ���� ���� ��� � � ��� ��������� ��� ������ �������� ������� �� ���� ���� ���� ���������� ��������� �� ���� ���� � ��� ��;� ���� � ������ ��� ��� ������� ������3��� ���� ���� ����������� � ������ ���� ���� ����� ���� �� �� ��9����� �������������� � ���� �� ��� ��;� ���� �� ������� ����� ���� � ��� ������ "�� ��� ������� ���� 3��� ����� �� ���������� "� ��� �� �� ���� �������� +������ �������� �"����������� %� � ( �� ���� � ��� 3 ������ ��� ���� �� ���� � ��5� ��� ������� "���������
10
100
1000
10000
100000
1e+06
1 10 100 1000 10000 100000
mic
rose
cond
s
message size (bytes)
MPI_Isend (WAN)
gapsend overhead
10
100
1000
10000
1 10 100 1000 10000 100000
mic
rose
cond
s
message size (bytes)
MPI_Isend (LAN)
gapsend overhead
%� � (� ���� �������� ��� �� �� �,:P:����� ������� �� ��� -������ :+� .���0 ��� � ��������
3+� .�� ��0�
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@&*
"�� ���� �� ��� "������� � ��� ��������� -/6 ������������� =���� ���� ����������� ���� ���� �� "� �����5�� �������� ������� ��� ��������� ���� �,:P:�������� ������ ������ QQ���������77 ��� ������ �����;������� �� � ��� 3 �� ������ ��� �������� ������� � ������
&%�% ,� ����-�� :� / �/� :� /�
����� �� ����� �"����������� �� ��� ������� ��� ���������5�� :� / �����/� :� /�� %�� � ��� �������� �������� �� ��<��� <�� ���������� , �� ��� ��"��� ��� ������� ; �� ��� ���������� ����� � �� ��� ��� �� ��� ���� �"���� ��� �����"���� � ���� �� � �� ����� ���� �� ��� �� ������� ������ �� ��� ���������� ���� ��� ����� �� �������� ������ ������ ��� ���� ��� ���� ��������� �� ������������� ��� ��� ���� ��� ��<��� �� �� ����� � ��� ���� � ��5� � ����� �������� ��� ��� ���� ��� =/N� �� "��� ����� ��� "��� ������ ��� �� ����� � ���� �� ��5� � %�� ��J ������ ��� ���� ��� �� ����� �� ������� ����� ����� ��� �������� ����� "���� �� �� ��� �� �� �������� ��� �� ���� �� ��� ���� ��� ��������"������ ���� ����� ���� � ������������ �� �� ������� ���� ��� ��� ���� �� ���� ����� 6� �� ��� �� ���� �� ����� � ��� ���������� "�������� �� ��� ��� ����� ��� �� ���� �� � � ���� ��5� � :��� ;� ���� ����� ��� �����"���� � �����%�� ���� ������ ����� ��� ������ ������ ����� ����� ��� ����� ������ +������� ! �� ���� ����5�� �� � � ��� ��� ��� �� � ��
�� ���������� ��� ��� ��������� ��� ����� �� ������� � ���� ��� ����� ��� ������ ������ ��� �� ����� � ���� � � ��5� ���� "��� ������ ��� �� ����� �������������� ����� ����� ����������� ���� � ���� �� ��� ��� �� ��� � ��� ������ ������� �� ���� ��� ��;� ���� �� 3������� ��� ������� ����� �� ��� �����������"������� �� ����� � ����� ��� ��� ������ �� ������� ������ ���� ����� ������� "� ���� ���� ����� ��� ��� � ���� � QQ� �����77 ��� �������� ��� ��;����� � ����� "� ���� "���� ���� ���� ���� � �� ���� �� ��� ��� �� ��� � ����� ����� ��� �� ����� ��� ���� �� ��� ����� � ; �� "� ���� �� ��� ��� �� ����� ����� <��� "�� � � ���� � �� ������ �� ������ �� �� ������ ��� ���� � �� ���� ������ ���� ��� <��� "�� ��� "��� �� ����� ����� ��� ���� "�� � ��� ���� � ��� "����� ������ %� � & ����������� ���� ����� 3��� � ������ �������� ������� ���� �� �� �
time
receiver
sender
g(m)
L g(m)
or(m)os(m)
= r(m)+
= s(m)
%� � &� -���� � ����������� �� ������ "� ���������5�� :� /�
,@&B % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
���� ��� ����� � ���� �����"��� ���� �� � �� ��� �� ����� �������� ��� "�� ��� �� ������ � ��� ���� �� �� ��� ���� �� "� �;������� �� ���,� � � � ��� ��� ���,� � � � � � �����
%�� ����������� �� ���� ���� ���������5�� :� / ��"���� ��� ��� �������� :� / HEI ��� ��� ������� �� ��� ���� ��� :� !/ H,I� 6� ��"�� ,� :� !/7���������� ��� �;������� �� ���� � ���������5�� :� /� 3� ��� , "��� �� ��� ��5��� ����� ���� ��) ��� ����� �������"�� QQ�����77 ��5� �� �� ���� "� ���� ������������ ���� ������� :� / ��� :� !/ ������ ������ "������ �� ��� ��� %�� ��������� ��� ���� ��� � � �� �� � �� ������ ��� ; �������� �� �� ����� ����������� ��� � ���� ; � ��� ���� ��9����� ����� ������ �� ���������5�� :� /�3� ��� ���� �8������ �� ������ :� /7� ; �� ��� ��� ����������
%�� �������� ��������� ������� �� ��� ��� �������� ����� ������<�� "� � ��"�� ���� � �� ��� :+� ��� � �� ��� 3+�� %�� �;����� �� ������� ��� ����� � ������� ������ ��� �� �� ��� ����� � ���� ��� ������ ��� �� ����� ��� �� ��9����� ��������%�� � �� �� ������� �� ��2
����� � ����������� � �� � ������
+ ��������� ����������� ����� ����� �����2 ��� ������ ������� ��� ���� � �� ����� �� ������� ��� � �� ���� ����� ��� ���� � �� ��� ������ � ��� �� �����7� ������� ��� � <����� ������� ��� ���� � �� ��� �� ����� ����� ��� ����� � �������� ������� �� ��� ��������� "�������� ��� �� "� �;������� �� ����� � �� ������ ����� � �� �� ������ "� ��������� "� ��������� �������� ������ �� �� ������� �� ������ ��� ����� �� �� ���2 ��� ������ ����� ���� ��� ��;� ���� � "���� ��������� "�� �� � �� ���� �� ���� ���� ��� ��� �� �;���� ����� ������ �� O��� ������ ��������� �� ��� ��������� ����� N����� ��� �� ������� ���� ��� ������ ���� ������ �� ��� ��������� ��� ���� ���� �� ��� ������� �8������� �� ������������ ���2
����� � �; ������ ������� ������� � �� � ������
&%&% 1<���� �� ��� ����� �� ��� /� :� /
+� �������� ����� �� ��� �� ������ ��� /� :� / ��������� ��� ��"�� �"����� �� � ���� ��������� ������ /������� :� / � �� "�� ����� H,'�(&I ������
��"�� ,
:� !/7� ��������� �;������� �� ���� � ���������5��:� /
:� />:� !/ /��������5�� :� /
; �� ��,� � ���,� � ���,�� ����,� � ���,���(3 ��,�+ ������� �� � ��J ������ ��� �
, ,
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@&?
��� �� ������ "� ��������� ��� ���� �� �� � ���� � ��5�� �������� ���� ������ ��� ��� ��������� �� "� ����"�� �� ��������� ����� ��� � ��� ���� ���� ������ ������� ����� ������ 4�� ����� ��� �� ��� ���������� ���� �� �"������ ��'�� ��� � �� "� ���� ��� ��� ���� �� ������ ���������� 6� H(DI �� ������ ���� ��� ���������� ��� ������ ������ �� ��� �����������"���� ������ ������ ��� ��� ������������ ���� �� ��� ���� �����5����� "� E'AE*K� ������ �� �����5� ���� ������
+� �� ��� ��'� �� ������� ����� ������� �� ������ �� <��� ���� ��� ��� ������ ����� ��� ����� .��� %� � @0� 3� ������ ��� ��� ���'� �� � ��������� �������� � � ���� �� ���� �� � ��� "� ������� ��� � ��� ��� ���� ����� ���� ����� "� � "� ������ 3� ���� ��� ��� ������� .���� ��"��� ��� ��,�'��( �� ��������0 �� � ��'�� ��� ��� ����� <��� ���� � , ��� ���� � ,'� %�� ���� ����� ��� �� ���"��� ����� ��� �� ��� ���� � ��� �� ���� "� � � ,K� +� ���� ������ ����������� �� ������ �� "� ��� ��� ��� �� ����� ��� �� �� ��� ������������� ��� ����� ��� ��� ��
3� ����� ���� � ���� ����� �� � .�� ����� �� ��� ���������0 ��� ���"�� ������� ��� ��������� ��� �� �������� "� "�������� ������ ���� ����� �� ����� �������,�'� � � � ���'� ����� �� �������� �� ��� ���������� ����� �� ������ �� � ������� ���� � ���� ��� ���� �� ��� ������ ���� �� ����� ������� � 1��� "��� "�9������ �����
+�� ����� ��������� �� "� ��������� "� ��� ��� ����� ����� �� %� � @� 6� ���������� � ��� �����5����� ���� � "� ��� � ��� ����� ��� ��� ���� ���� "��� ������%�� �� � ��5� � ��� ���� � ���������� ��� �� ������ �� ������ �� ����� ���"� �� .3� ��� �� ��� � ��,����0 6� ��� <��� ���������� ������ ����� �� �"�������� � ��� �� ���� �� ����� � 5����"���� ���� �� 3� ������ ��� ��� �� 1��������� ��� �� ��� ������ ���������� ��� ���� ��� ���� ��� ������ ������ ������� ; �� "� ��������� "� ������ ��� �8������� �� �� �'� ��� �� ���� � ����� �� ��� ���� "�������� �� %� � &2
�� �'� � (��� ��'����� ��� � �� ���� � �� ��'������ � �� ��� � �� �'� � ��'��� � ��� �'� � (��'���(�
%� � @� �J ���� ��������� ��� ����� �� /� :� / ����������
,@&D % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
6� ��� �� ��� ���������� ��� ������ ��� ��� ����� � '�"���� ���� �� ����� ��� � �� ��� ���� ��� ���� �� ����� �� �"���� ���� �� -������� ��� �� ������������� ��� ������ ������ "� ���� ���� � � �� ��� ���� ��� ���� � ������� �� ������"�� �� ������ �� ������� �� ����� �
%�� �� � ���� � ��5�� ��� ��������� ����� ��� ��������� ��� � ���� ��"�� ������ +� ��� �� ��� ������ � � ���������� �� ��� �� �� �� �� �������� �� �������� ��"�� � ���������� ����� � ��J ������ ���� .E'K0 ��<��� � �������� �� �"�������� �� ����� �� ����� "���� �� ��� ����� ��"�� � ���������� �� ��� ��� .B' ������ ���� ��� ,* �� ��� � ���� ��0� 6� ��� ������ ���� �� ����� � ��� � �� ������������������
6��������� ���������� ��� ������� �� ��� ��5�� � � (� ���� � � �'� ��� �������� � �� ��� �� "� ����� ��� � ���� � �� ���� ��� ������������� ����� "� ��������� ������� ������ 6� ��� �;��������� �� ���� �� � ,D �� ���� ��� ��� �� ������ ���� � ��� �������� -/6 ������������ .-/6=�0�
+��� ������� ��� ������� ��� � ���� � ��5��� �� �� � ������� ��� �� ��� "���.������0 ��� ���"���5�� �� ��� � � 6 ���� �� ��� ��� ���� ������ ��� �� ���� ���� � ����� ����� ��� .��� ��� � �� ��� ����� ����0� �� �� �� �� ������� ��� �����;� ���� � ��5� �� ������� ���� ��� ��� �� ������� ����� ��(��� �� ���� .������ �0 ����� ����� �������� �;���������� �� ��(���(� ��� ��(���,��
�� ��� ��� QQ���������� 77 ��� � � ���� � ��5�� ��� "��� ���������� %������������"�� ���������� "������� ������ �� "� ���� ���� %�� ��� ��5� ��� �� �� �������� ��� ������� ������ �� ������� ������� ��� ����� ��� ��������� ���� ��� ����������� ����� ��� ������ �� ��5� ��� �;���������� �� ��� ���������� ���� �������� ��� .������0 ���� � ��5��� ���, ��� ���(� 6 ��� ��9���� � �� ��� ������ �� �� �� ��� ���������� �� � � ����, � ����(� ��� ������ ������ ������������ ����� ������ ��� �;����������� �� ��� ��� ����������� �� ������� � ���, � �;�&( �� � � ����
��� ��������� ��� ����� ��� ��"�� �"��� ������ ���� ������� ����� ��������� ��� �� � ���� ������ �� ������ �� ����� ��� ��� ��� ��������� ���� ��� ������� ���� ����� �������� ���� ��������� �� ��� ������ "� ����� 4���������� ��������� �� �;����� ��� � �����"�� "�������� .��� ��0 ���>�� ���������� ����� � �� "� ��9����� �� "��� ���� ������ ��� �� �����"�� ������� ������ "������� �� ���� ������ %���������� � ��� � ����� ������ ��� ��������� ����� ��� ����� ��� ��9����� .���� � ��� ��� � ���� �����������0� ���� ���� ����������� �� ������ ��� �� ����� �� ������ �� ��� ���� ���� �� ��� � ������� � �� ����� 6� �� � ����� ��� ��������� ��� ��� ��� 3 �� "� ������� "�������� ��� ��� ����� ��� �� ����� ���� ��� ��� ����� � ������ ��� ����� ��"������� +������ ����� � �� ���� "� ������� "� ������ � ���� � ���� �������� �� ��� ������ ��� �� ����� ������ ��� ����� � �� � � �� ����� � �� ����� ���� ���� ���� ��8����� �� � ��� �����5����� "������ ������ ��� �� ������3������ �;������ �� � ��� �����5����� .���� ���� !/� �� ������ �� ��� ����5��������� ���� ��� ��/��$ � � �������� ��/0� �� �� �� "� ��� �����5�� ������ "��������� �� ��� ��������� �� "� ����� ���� � �; ��� � ����� ���� �������� �� ������������ H&(I �� �� ��� ��������� �� ��� ������� ��� ���� ��� ����"�� �� 3+�������� ���� � �; ��� � ����� ��� ����� ��� �����5����� ���� �� �� � ����������
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@&E
� ��� ��������� ��� "������ ��� ����� H&@I� ��� � �� ������� �� ������� ������������ �� N������������ �� �� ����� �������� ����� ��� �� �� � .�����"�� ������0������"���� ����� �� "� �� ���� ��� �����5��� ������� ������� ����� ��� ����� "��������� ������� ���� ��� ������� ��� ���� �������� "�� ����� H,'�(&I�
� ����������������� ���������� �������������
3� ��� ���������� ��� ��� /� :� / ���� �� "� ���� �� �����5� ���� ���� ���� ������ 3� ��� ��� ��� �������� ����������2 "���� ���� � ������ ��������� ��� ������ 3��� "���� ���� � ��� �� ��� ��� . ����� ��� ���0 ����� � ���� � ����� ����� ��� ������ � ����� �� ���� ����� �� ���������5�� "���� ���� ����� ��� ���������� � ��� � ���� � �� ��� ��� ����� ���������� ���� �� �� ��� ����� ��� ������!����� �� ��� ������� ��������� � � ������ ����� ��� ���� ���� �� ���� �� �� ������� ��� ����� ���� � ��� � ���� � �� ���� %������� ��� ����� �� ��<��� ���� � ��������������� �; ��� ���� ��� ��� ����� �� ���� ��� ������� ������� � 1��� ��� ����� %�� ����; ��� � � ���� ���� ������ ���� �� ��� ������ ��� ��� ����� �� �������� ���� ��"���� ��� � ���� ��
7%�% ������
3��� "���� ���� � ��� �� ��� ��� . ����� ��� ����0 ����� � ���� � � ��5�� �� �������� .� � ,0 ��� ������ 4����� "���� ��� �� ������ ��� ����������� ����� ����� ������ �� ����� ��� ��� �� ����� ��� ���� � �;� ��� �� � H(*I� -� /6�7���� ���� "���� ��� �� ����� ��� �����5�� �� ��������� �������� "� ������ ������� � ���� �� � �� �� � ������ ��� "� ������� ����������� ����� ���� ��������� ���� ��� ��������� �����
6� -� /6�7� �� ������ ��� � ��� ����� ����� ��� ����� �� ���� ��� �� �� � �������� � � �� � ��� ����� ��������� ����� ��� ���� ��� ��� � �� �� ���������� � ��� ��� ������� %����� ��� ���� ����� ��� ���� � �� ��� ����� ���������� ������ ���� �O�� ���� �� ��� 3+�� +� ���� �� � ���������� �� ����� ��� ���� �� �� ������� �� ����� ����� ����� � ��� ������� ���� � "������ ���� ����� �� ��� :+���
+ ���������� � � -� /6�7� ��� ���� �� ����� �� ���� �� ������� ���������� �� ���� ��� ������� ���� H&'I� %�� ��� � ���� ��� ���� ����� �� ���� ���������5������ +� ��� � ���� �� ���� � �� � ���� ��������� ��� ���� �� ���� ���� ������� 3+� ���� �� � ���� 4�� ��� �� ��� �����5�� �� ������ �� �� ��� ��� � � ������� "�������� � ������� .�� ���0 ������"�� 3+� ������ �� ���� � ������ ������ �� ������ :+� ��� 3+� �� ����� ��� ���� �� 8������������������ �������� �� ���� ���� �� �� � ������������ 3+� ������ 3� ��� ���� � �� ��������� �� � ����� �� � � "����� ���� �����5������ 6������ � �������� ���������� �� ���� ��� ������� ����� �� ����� �� � ���� � ���� $ ��3 ��� � ��5� .����� � � ���� 0 ��� ������ �� � �� ��� �� ��� ���� ��� ������ 6� ���� ��������� ���� "� � � ��� ������� �� ���� ����� ���� ��9����� ������ 6� ���������� ���� � �� ��������� �� �����5� ��� ����� � ��� ������� ���� "� ������ ������������ �� ����� ��
,@@' % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
3� ��� �� ����5� ��� ����� �������� ��� � ��� "���� ��� .����� ��� ��� ������� ���� �� ����� ��� �"������ ��� ������ ���� �0� ���� �����5����� ���"�� ��"� ������ ��� � ������� �� ������2
!���� � ������� ! ��� ��� ���� � ��5� �� ��� ��� �� �� <�� � ��������� ��� � �� ��� ��5� ���� �� ����� ����5� ��� �������� ����
3� ������ � ���� ���"�� �� ��� ������ %����� �� ������� � ���3��2�"�� "���� ����� ����� ��� ��� ������� � ����� ������ ���� ��� ����� ���� ��� ��� ���������� �� ����� �� "� ���� �� �����5� ������ ���� ����� ������ � ������ .�������� ����� ��� ��� �� �� ��������0 �� ���� ����� "������ ����� �� ��9����� ������� .����� ��� ����� ��� ���� ��������� ��������0� ��;�� �� ������� � ����������� ����� �� ��� ������ �� �� ���� � ��� ������� ��� ��"�� �� �� ���� ,� ��������� �� ������ ��� ��� ���� ���� �� ����� "�� ��� ��� �J ���� �� "���� ��������������
7%�%�% ���3��2�"�� =�������� ������ ���� ����� ������� �� ��� ������� ���������� �� ���� �� �� � ���
� 6� ������� �� ���� ����5� � ���� "� ��� ���������� ��� ��� �� � ��� ��� �� ��� ��� �� ��� ��� ��� ���� �� ��� ���� �� ��� � ��� ����� ������ ��������� "� ������ �� ��� � �� ��� �;�� ��"�� � �� ����� ����� � ��� ���� �� ��� ����� %���;����� -� /6�7� O�� 3+� ���� ��� � � � � , ��� � � ,� ����� , �� ���� ���������� ��� ��� ��"�� � �������� M������� �� ��� � ���� ������� ���������� ��������� ���� ����� .������� ��� ����� �������� ���0 �� ���� ����� � � �, � � � � � ,� %����������� � ��� � � ��� ������ ���� ��� ������� �� �� � ��������� �� �� ����� ��� ����� ��� �� � � ���� ���� , ����� ��� �� ��� � �� ���������� �� , �� ��� �
����' �
� � � �� ����������� �� ��� ��������� �� ����� � ; ��� �� ���� �� � ��� �� ���� � ����� ��
��<�� ����� � ���� ��� �� ���� � � "���� ��� ����� ����� ���� ������� ��� ��� ����� � � ���� � �� ��� ��� "��� �� ����� "� �� ������ ���� ��� ���� ��� ���������� ������ ��� ���� �� ��� ��� �������� "������ ��� ������ � ��� ���� ������� ����� .���� ��� � ���� ���� ��� ����� ���� � � "���� ��� �����0 3� ����� ��� �������� ��� � � "���� ��� �� ����� ���� $ ���� � �� ���� � ��5� ��2
� � �� � ,� � ���� � ������� ���������� ���� ������ �� �� �;����� ��� ������ �� ���� ��� ���� ��
-� /6�7� O�� 3+� ���� ��2
���� � �; ����� ��� � ,� � ���������� � �� � (� � ���� � �����
����� ���� �� ��� �;�� � ��� �� "������ ��� �� ���� � ��5� ���� �� ������ ���� ��� ��� ��� ��� ���� ����� �� ������ .� � ,0 ���� ��� ��� �� ��� �����1���� ������ ��� ����������� ����� �� ���� �� ��� ��� �� ��� � � ���� ��� ��� �� ���� �� ��� ���� ����� ���� ��� ��� ����� �� �� �� ������
%�� � ������ ���� ������ ����� "����� �� "��� ��������� �� "� �;��������������� �� ��� �� ��� � ��� ��� �� � � � "���� ��� ����2
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@@,
����� �; ����� ������ � � � ����������� � � ��� � ,� � ���� � ������
���� �� ��� �;�� � ��� �� ����� "� ��� �������� ��� ��� ��� � ���� ������� ��� ��� ��� ���� �� %�� ����������� ������ ���� �� ��� ��� �� �� ���� ������� � ���� ��� ��� �� ������ �� �� � �� ����� ������ .%�� ��� ���� ��� �� ��������� �� �� ������ ��� � "����0 ��� �;� � ����� � ���� ������� �� ��� ����� ����� � ��� ���� ��� ��� ��� ��� ����������� ����� ���� �� ����� �� ����� �������� ��� � ���� ����� �� ��� ���� ���� �� ����� ��� ���� � ����� %�� ��� ���� � ���������� �� �����;���� ���� ��� ���� "� ����� ����� "������ ���� "� ��� ����8���������
��� ������ "���� ��� ���� ������� �� ��� ��"�� � ��� ������ , ��� ������� � ��5� �� ���� ������ ��� ��������� � �,:P���� ���� ������ ���� ��������� "���� ��� ���� ��� �� ��� ��5� ���� �� "� ������ �� ������ �� �� ����� ����� ��,:P���� 4����5����� �� ������ ��� �� "� ���� ���� �� �� ���� ��������� � ��� ������� � ��������� � ������� ��� �����5�� �� ��������������� �� ����� ���� ����� "������ ��� ����� ��� �� ����� ���� �� �;��������� ���� � ���� ��� ������ ���� � ��� � ���� � � �, � � �� ���� � �, � � � � � ,� =���� ����� �� ������� "� ����� ���� ��� ������� ������� ���������� ���� ��� ����� ����� ��� ������ 3��� ����� �,:P���� ��� ��� ������������������ ����� ��� ������ ���� ��� �� ��� ��5��
3� ����� �������� � �� ���� � ��� ��"�� � �� ��� ��5�� ��� ���� ������ �� "�������� ����� 6� ������� ������� �� ��� ��5�� ��� ����� ���� ��� �� �� � ��5� ��������� ���� ����� �� ������� %�� � ���� �� ��� ��5� � �� ������� ��� ���� ���������� ���� ������2,� � � ����������� � � � � � ,� :���� ������ �� � �� ���� ���� �� �� ��� ��������
����� "� ���� ���� � ������� "�������� ����� "� �����(� ������� ���� � � ����������� �� �� ����� � ����� ���� ������� ���� ����� ������
� � �� ��� � ��� ��� �� � ���� "� ���� ��� #����� �� � �� "������ ����� �� ��������� "�� ����� ��� �� ����� ����� ��� ���� ���� ��� ������ �������� ����
%�� ��� �� ��� ��5�� �� ���� �������� QQ�����77 ������� ��� �� ��� ��5� ��� "� �������� � ��� ��5� � ��� "��� ���� ���� �� "� ���������� .�� -/6 ����� ��� �;����0��� �� ��� ����� ��� ������� ���� � ���� $ �>�� �� ����� ��� �� ��� ��5� ����������� �� ��� �����2,� 6� � "����� ���� �� �� ��� ��5�� � � ��(�� � � �' � � � �� ( � ��� ������� �����
%�� �� � ����� �� � ��� �� ��� � ���� ����� �������� ��� �� �����������
(� ������� �� ��� "��� ����� �� ���� �� ���� ,� � �� �� ����� ��"�� ������ � ���������� �� � ����� �� ��� ����� "��� ����� ��"�� � �� ����� 3��� �������� ������ "��� ����� �� �� ��� �������� ���� ��� ������ �� �� � *��� � ,� �� � ,� ��� �� � *� 3� ���� ����� � �� "� ��� ����� ���� ��� "��� ������������ ���� �� ������� ����� �� ������ ��������� �� "� ����� ��� ������������ ���������� � , ��� * ����� ����� ���� ��� �� �� ����� %������������ ������ �� ��� ��� ��� ���� � ���� �� �� ���� �� ��� ������� ����� ������� �� ���� ,�
,@@( % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
����� ������ �� ����� ������ � �������� ��� � ���� "���� ��� ���� �� "� ������ ����� � �� ��� � ��� "� ������ ��� � � �� � ����7� �� ��� ����� ���� ��� �� �������� ��������
7%�%&% /�2�"�� =������� ��� �� ���� �����5�� "���� ��� �� ��� �������� ��������� !���� �����5��
"���� ��� ����� �� ��� 3+� ��� �� ��� :+��� � ����� ��� �� �"���� � ����������� ����� �� ��� ��8������� ���������� �� ������� �� ��� ��� ���� -� /6� ��"���������� ��� ���������� ����� <��� ����� ����� �� ��� ��������� "���� ���� ����� ���������� ��� ���� � ������ ����� �������� ���� ����� �� � ����� �������� ��� �2
� � �� � �� � ��� � ,� � ������ � ������ � ��� � ,� � ������ � �������+ "����� ���� ������ ���� � ��������� "���� ��� �� "� � ������ "� ���������3 "���
������� ����� ��� ���������� ����� ��������� ������ �� ����� <��� �� ����� ������������ ��� ���� �� ����� �� ����� ����� �� ��� :+� ���� ���� ����� 3� ������ ��� �� ��� ��5� �� ��� 3+� ��� �� ��� :+��� �� ����������� �� ��� ������ �������"�� �� ����� ���� ����� ��2
� � �� � ,� � ���� � ����� � �������� ��O� � ��� ���"�� �������� �� ��� ���������� ������ �� ���2
����� �; ������ ������� � �� � ����� � �� � ���������� �����5����� � ��� ��������� "���� ��� �� � ���� ������������ ��8�����
����� ��� � ����� ��� ������ ��� ������ ������� ��� �� ���� � ���� ���� �� "����� �� ��� :+� ������� ������ ���� ��� 3+�� 3� ���� ���� �� ������� ��� ���:+� ����� ���� � � �, � � � ������������ ����2
����� � �; ������ � ������ � �� � ������ �������
7%�%7% ,����� ��� �������3� ���� ��������� � ��������� "���� ��� �� ��� ��"�� �� �� �� ���� � ���
-� /6� ��"����� %� � * ������ ��� �������� ���� � ���� ��� �� ����� ����-� /6�7� ��� ���� "���� ���� ������� �� ��� M+� �;������������ �����
10
100
1000
10000
1 4 16 64 256 1024 4096
com
plet
ion
time
(mse
c)
message size (Kbyte)
segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc
10
100
1000
10000
1 4 16 64 256 1024 4096
com
plet
ion
time
(mse
c)
message size (Kbyte)
segmented, 8 clu * 1 procsegmented, 8 clu * 8 procoriginal, 8 clu * 1 procoriginal, 8 clu * 8 proc
%� � *� �,:P���2 �������� ��� �� ��� ������� .���0 ��� �� �� ������� .�� ��0�
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@@&
��� ��"�� �� �� ���� (� ��� ��� �� ����� ���� ���� � �� ��������� ��� ���������3+� ��� :+� �������� � ��� ��� ���� �� ����� ����� ������ ���� ��� �����8��������� �"���� 3+� ��� :+� �������� � 3� ������� ��< ������������ ��� ������� .���� , �� ,B =/N�0 ��� �� �� ������� .���� , �� D =/N�0�
��� ��"�� � =/N� ��� ������ ��� ������ ��� �9� � �� ��� ������� ������������ ����� ��� ����� ���� ����� � ����� �� %� � * �� "� ����� ��� ���� ����� ������ � � ���� �� ����� ���� �� ��� ��� ���� �� ����� ������ �����;������ ����� �� ��� �� ����� "���� ���� "��� ������� ��� ��� ���� ���� � ���� �� -� /6��%�� ��� �� ���� ��� �������� ��� ��� �� ����� �� � � ����� ���� ��� ��� ���� ������ � ������ � � �� ��� � �� ��� ��������� "��������� %�� �;����� ���� �� �� ������� � , =/N �� �� "���� ����� � , -� ���� � ����� ,'?E � ���� �� ���������� ��� ?@(* � �������� ���� ���������� �� �� � �� ��� "�������� �B�B* -">� �� �� ��������� ���� �� E*K � ��� � ������ ������"�� "�������� ��� � ��?� , -">�� 3������ �� ��������� ��� ��������� ����� ��� ���� ��8���������� ��������� �� �� � �� ��� "�������� � ���� '�EB -">�� �� ,@K � ���� �� ������"���3��� �� ��������� ��� �������� ���� �� ��� ��� �� �� ������� ��� �"��� ������ .�� , -� ���� ��� ,'?( � ���� ��� ������� ��� ,'?E � ���� �� �� ��������0� ������� ��� ��� ���� �� ����� ����� � � ��� �� �� �� �� ������� ���� ����� ������� .�� , -� ���� ��� &('' � ���� ��� ������� ��� ?@(* � ���� �� �� �������0� ���� ������ ����� ���� �� �������� ������ �� �� ��� ��� ������"�� ��������� ����� �� �������� �� ��� �� ��� �� ������� ������� ��� ���� � "�������� �� ������ ����
+����� � ���� �� ��� �� ��� ������ ��� ��������� ���� � �������� ���������� �� ��� ������� �������� ���� 3��� ��� ��� ���� �� ������ ��� ��8������� �"������� � 3+� ��� :+� "���� ��� ���� ��� ���������� ���� 3��� @ -����� �� ��� ��� �������� �� �;����� ��� �������� ����� ,&((@�&� ,(?(&�& �*', �� ���� �������� ���������� ���� ��������� �
3� ���� ������� ���� ��� 8������ � ��� �������� �� ��������� %� � B ����� ������������ ������ ����� ��� ��9���� � "������ �������� ��� ������� ������������� %�� ����� ���� �� �� �� �� �� @K� ������� �� ��� � ���� �� ��� ��������� ������ ���� ,K� 6� ������� ���� �� � ���� ���� �� � "������ ��� ������� � ����
-2
-1
0
1
2
3
4
5
6
1 4 16 64 256 1024 4096
(mea
sure
d / m
odel
ed -
1)
* 10
0%
message size (Kbyte)
4 clu * 1 proc4 clu * 16 proc8 clu * 1 proc8 clu * 8 proc
%� � B� �,:P���2 ��������� ������
,@@@ % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
��� ��� ������������� ��� ��� ���� ��� �� ��9���� � �� ����� ���� �� �� �������� �� ��� � � ���� ��� ���������� ���� �� ���� ��� ��� �� ������ ��� ������5�� ����� 3� ���� ������ ��� ��9���� � "������ ��� "��� �������� ���� ���� �������� ���� ��� ��� ��"�� ������ ��� � ���� ������ �L��� "� �� �;��������� ���� �� 4�� �������� � ���� ��� ��"�� ����� �� ����� ��� ���� ����� ����� �� �; �������� ���� ��9���� �� ���� ������ "���� ,K�
7%&% ����
��� �� ��� ���� ���� ��������� �� ��� ��� �� � ������ ��� � �� ���� ����� ����������5�� "���� ���� 3��� � ������ ��� ���� ��� ��� ����� � � � ���� ���� ��� � ���8����� ������"���� � ���� ��� , ��� ������ �� ����� ������ 3��� ��� ������ ���������� ������ � ����� �� ������ ��� O�� ����� �� ���� ����� ������ .�� ������ � ��� ����� ��� �� �� ���� � ���������5�� ���� �� �������� ���� ��� ����������� ��� �������� ����0 4��� �� ���� ���� ���� ��� ���� � �"���� ��� �������� ��� ���������� ����� �� ������ ������� �� �������� �� ����� ������� ��� ���� � �"���� ����� "� ���� �� � �� �� ��� � ���� ��� +���� ���� � �"���� �� ��� ������� � ���� ����� "� ����� ��������� "� ���� �� ��� ��5�� � � �� � � �� � � ���� ��� 3+� ��� � ��������� �� ������ �� ��"���� ����
3��� � <;�� ���� ����� ���� .� O�� ���� �� ������� ��� ����� �� ��� �������0� ��� ������� �� ���� �"���� "��� 3+� ��� :+� ���������� 3������5� � ����� �� ������ "� <���� � ���� � �� ��� ��5� ���� ������ ��� ��������������� �������� ���� �� ������� ��� ��"�� � ������� ��� �� ��� .�;��0��"�� � ��� ����� ��� ������� +���� ��� �� "���� ���� �� ����� � �� � ,� � ���� � ���� ����2
����� �� ��;������� ��� � ,� � ����� � ������ � ������������ ��� � ,� ��;������� ��� � ,� � ����� � ������
� ��� � ,� � ����� � ������
���� ����� ��� ��� ����� �� ��� ���� ��� ���� "� ���� �� ����� ��� ������ ��� ����� �� ��� �� � � ������� ����� ������ ��� ���� ������ ���� ��� ���� ��� ���� ��� <��� ���� �� ��� <��� ��� ����� �� �� � ������� ���� �� ��� �� ������ ����� �� �� � ������� �� �� ���� ��� ��������� ����� �� � ��������"�� ������������ ��� ���� ��� ��� �� ���� ��� ��� ��;� �� ���� �� ��� �� �� ���� ��� ���� ��� ��� �� 1��� ���� �� ������ ���� ������� ��� ��� �� ��� � ��� ���� ���� � � ��� ��� ����� �� ����� ���� ��� �� ����� ���� ���� ������ ��� ���� ��� ��� �������� ��� �� ��� �� ��� "�� ��� ��� ������ �� �� � ������� ��� ��� ��� �������� �� ��� ���� ��� ����� �� ��� "�� ��� �������� ���� �8���� ��� ����� "�������� ��� ���� ���� � �� ���� �� � ��� ��� �� � ����� ������� 4�������� �� ��������� ����� �������� �� ��� � ���� � �� � ������ �� ����� ����� +� ����"���� ���� �� ��� ��� ����� "����� �� �����5�� ��� ��� ��� "����� ���� � ������"��8���� ���� ��"�� �� <���� � ����������� �� ��� ��5��
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@@*
%� � ? ������ ��� �������� ���� � ��� ��� � ����� �� ����� ���� -� /6�7���� ���� � ������ ��� ��� �� ����� ���� ���� � �� �������� ������� ��� ��� ������ ����� ����� ������ ���� ��� 3� ������� ��� ��� ��< �������� �� ����"���� ���� ��� ��� �� ����� ������ � � "������ "� ���� �� � ������ �� ���� �� ��� 3+� "��������� %�� �;����� ���� �� �� ������� � , =/N �� �� ������ � , -� ���� � �� �� � �� ����� ����� ,'?D � ���� �� ��������� ��� ?@&? ��������� ��� �������� ���� �� ��� � ���� �� ��� ������������ �� ����� � ������ � ���� ���� ���� ����� ��� ������"�� 3+� "�������� �� "� �����5���
%� � D ������ ��� �������� ���� �������� �������� ���� ���� ��� ���� � ������� ������� �� ��� ������ %�� ���� ���� ��� ��� ��������� ����� �� ��� ��������� ���� �� "���� ��� .�� �� ,@K0� "�� �� ��� � ���� �� �� �� ���� �"��� ,K�������� � ���� ���� �� � "������ ������ ��� ��� �� �� +� ���� "���� ���� ������� � �������� � <�� ��� ��"�� ����� �� ����� ��� ���� ����� ���� � �� �� ��� �"�� ���������� .������ ���� ,K0�
7%7% +���
!����� �� ��� ������� ��������� � � ������ ����� �� � ��� ��� .�� ����� ��� ����0����� � ���� ���� ��� � ��� ���� �� ��� ����� +���� ��� �� � ������ ������
10
100
1000
10000
100000
1 4 16 64 256 1024
com
plet
ion
time
(mse
c)
message size (Kbyte)
segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc
10
100
1000
10000
100000
1 4 16 64 256 1024
com
plet
ion
time
(mse
c)
message size (Kbyte)
segmented, 8 clu * 1 procsegmented, 8 clu * 8 procoriginal, 8 clu * 1 procoriginal, 8 clu * 8 proc
%� � ?� �,:P����2 �������� ��� �� ��� ������� .���0 ��� �� �� ������� .�� ��0�
-10
-5
0
5
1 4 16 64 256 1024
(mea
sure
d / m
odel
ed -
1)
* 10
0%
message size (Kbyte)
4 clu * 1 proc4 clu * 16 proc8 clu * 1 proc8 clu * 8 proc
%� � D� �,:P����2 ��������� ������
,@@B % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
�� ������ ��� O�� ������ ��� �������� ��� �� "� ������ �� � � �� � ,������ � ���� ����2
���� � �; �� � ������ �� � ������� � ��� � ,� � �� � ������ � ������������ � �; ��� � �� � �������;���� ������� � �� � ������
� ��� � ,� � �� � ��������
���� ��� ���� ���� ��� ��� �� ��� � ��� ���� ��� ��� ������� �� ����� ������� � �� ����� ���� �� ��� �;�� � ��� ��� ��� �� ���� ���� �� ���� ���3+� ������ ��� ��� ��� ��� ���� ����� �� �� ���� ��� ���� �� � � �� ��� ���������� ������ ��� ��� �� ��� �� ������ ���� �� ������� "�� ����� ��� ������� ������ � ��� �� ����� �� ��� �����
%� � E ����� ��� ������� �������� ���� �� ��� ��� ��< �������� �� ����"���� ��� ��� � ������ 3� ����� -� /6�7� ��� ���� �� ����� ���� ��� ��� �� ������ �������� ��� ������� ��� ������ �� ��� ���� � ������ �����,:P����� �������� ���� � �� �������� ����� ������������� �� ����� �� ��� ���� ������������ �� "����� 3+� "�������� �����5������ %� � ,' ������ ��� �������� ������������ �������� ���� ���� ��� ���� � ������ ������� �� ��� ������ +� ����"���� ��� ��� � ������ ��� ��������� ������ ��� ����� �� �� �"��� �; ��� �� � �� ���� ���� ��� � ���� �� ��� ��� ������������� ������ ������ ����� ��� ��� �� ������� �� ��������� ������ ��� �� ����� ���� ���� ������� �� ��� ��������� ���� ���� �;�� ��� "� ��� �������� �� ����� +� ���� "���� ��� ��� � ��������� ���� � �������� � ������ ���� ��� ��� ��"���� ������ ��< ���������
7%6% ���3���
+�� ����� �� ���� ��� ����� ���������� �; ��� ���� ��� ���� ��� ��������� �� ���������� ��� ��� 1��� �� � ��� �� ����� 4�� ����� ��� �� ������� ��� ����� �� �� ���8��� � � ����� ����������� ���� ����� ���� �� ����� �������� �� ���� ��� ���� �� � "�������� ������"�� �� ��� 3+� ����� �� ��� ���� �J �������
%� � E� �,:P+���2 �������� ��� �� ��� ������� .���0 ��� �� �� ������� .�� ��0�
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@@?
+� ������������ ��� � �� �������� ��������� �� -� /6�� �� �� <��� ��� ��� ����������� � ����� ������ ����� ��� ���� � ��� �� �� �����) ��;� �; ��� � ���� �������� ��� ����� ������ �����������) ��� <����� ��� ��� ����������� "���� ��� �������� ���� �� ��� �� ���� �� ����� �������� ���� ������ � ����� ����� ������ �������� ����� �� � "� ��9���� � �� ������� � �� ��� :+� ��� 3+� ��������� ��� ���������� ������ .�� �� �������� �� ��� �����5����� � ��� "���� ��� �������������0 ��� � � ���� �������� ���� ��� �J ���� ��� � ��� ���� 3+� ������ ��� �������� ��� � ���� ������������ �� "� ������ �� ��� �� � �� �� ��������������� ��� ����� ."������ ��� ���������� �����0� ��� ��� �� �� "���� ���� ������ �� ����� ��� "���� ��� ��� "��� �������� �"���) �� ��� ������� �� ���� �������� ��� ��� ����� ��������� "������ ��� ���������� ������ 6�� �������� ��� ��� � �� � ,� � ���� � ���� ����2
���� � �; ���� � ,� � ������ ��; ������ ������� �� ����������� � ��� � (� � ����� � ����� � ���
��� �� ����� ��� ����� ������� � $ ������ �� ��� � �� � ���� ����� � �� ����� ��� ��� ����� ��� �� ����� ��� �� ��� ��� ����� ���� ���� �� ��� �;�� � ������������ �� ��� ��� ��� ����� ��� ��� �� ���� ��� ������ �� ��� ��"�� � �������������� "� ��� �� � ��� �������� ��� �� ���� ��� �� ����� ��� �� ���� �������� ��� �� ��� �;�� � ��� �� �� �� ��� ��� �� ���� ��������� ���� ����� ������ ��� ��� ���� � ���� ����� ��� ���� ���� �� ���� ��� ��� �� ������� �� ����� ����� ���� �� ������
3� ������ -� /6�7� ��� ���� ������������ ��,:P���3��� ���� ��� �������� �� �������� �� ��� ������ �; ��� � ����� "������ ��� ������ ��������������� ������� �� ��� ��� �� �� ������� ��� ����� �� %� � ,,� %�� �� �� �������� ������� � �� ��� ��5� ������ ���� B@ �� ��� �����5�� ������� ������ ������� ����� ��� �� O�� ������ ������ �� ���� � ��5�� "������ B@ ��� ,(D �� �������� ����� ����� ���� � ��5��� ��� �� ��� �������� ��� ������� ��� ���� ������� ��� � ������ ���� -� /6� ������������ �� ������� ������ ��� 3+� ����� ���� � ������%������� %� � ,( ������ .�� ��� ������ ����� "������ ��� ���������� �����0 ����������� ���� �������� �������� ���� ���� ��� ���� � ������ ������� �� ���
-10
0
10
20
30
40
50
1 4 16 64 256 1024
(mea
sure
d / m
odel
ed -
1)
* 10
0%
message size (Kbyte)
4 clu * 1 proc4 clu * 16 proc8 clu * 1 proc8 clu * 8 proc
%� � ,'� �,:P+���2 ��������� ������
,@@D % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
������ %�� � �� ��< ��������� ��� ��������� ����� �� �� �� ,BK ��� � �� "��;������� "� ��������� ������ ��� ����� ��� �� ������������� �� ����� ��������� ������
� ������������ ������� �� � � ���� �� ������ �!����
��� ������� ��������� �� �� ���� "��� �"������ ���� ��� ��������� �������� ���� /���� ���� ����� ��"������ ��� �������� ������ �� ����� ������������ � ���� �������� � ���� ���� ���� ��� ��������� ����� "��� ��������� "� ����� ����� ����� �� ��� /���� ������ ������ 3��� ��� ��������� �� ���� �"�� �� �������� ��� ��� ���� ���� ���� ����� ���������� �� � ���� ���������� ���������������� � � ������� ���J ����� "� ����� ������ ���� ������� �� �� >���2����" �����5� ��� ��������
6� ���� �� ����� �� ������� �;��������� ������� �� ��� ���� ������ ��� ���M+� ������� �� ���� �� #��1� N����������� +������ .#N0� �� N����������� :��������� N��������� � +������ .N�+0� ��� M��� N��������� � �� ����� �� ���
-10
-5
0
5
10
15
20
1 4 16 64 256 1024
(mea
sure
d / m
odel
ed -
1)
* 10
0%
message size (Kbyte)
4 clu * 1 proc4 clu * 16 proc8 clu * 1 proc8 clu * 8 proc
%� � ,(� �,:P���3���2 ��������� ������
10
100
1000
10000
100000
1 4 16 64 256 1024
com
plet
ion
time
(mse
c)
message size (Kbyte)
segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc
10
100
1000
10000
100000
1 4 16 64 256 1024
com
plet
ion
time
(mse
c)
message size (Kbyte)
segmented, 8 clu * 1 procsegmented, 8 clu * 8 procoriginal, 8 clu * 1 procoriginal, 8 clu * 8 proc
%� � ,,� �,:P���3���2 �������� ��� �� ��� ������� .���0 ��� �� �� ������� .�� ��0�
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@@E
������� ��� ���� ��� ��� ��� M�� � � ���� 6������� "� �"��� .�N$%���0� ��"�� (�����5�� ��� ����� � �=/������ "�������� .�� -">�0 ��� ������� ����� � .�� �0"������ ��� M+� �������� +� �� "� ���� �� ��� ��"��� ��� ����� � "������ ��� ������� ������ �� ,�* �� @�' �� ��������� ��� �� �� &�' �� (D�' -">�� ����������� �� "�������� ��� ����� � ���� ��� ����� ���� ��� M+�� ��������� ����� ����� �� ������� ����� ���� �� ��� �������� ����������� ���� �� "� �����"����� �� ��� ������ ���� ����� �� ������ �� .�� �� *' �0 "������ ��� ��������+������������ ��� ������� ��������� ���� ���� ��� ��� �� �� ������ ����������J � %���������� ��� ��������� ����� ��� ������� ��� �� ��� ������ ��������������� ��� ������� � ��� �;�������� ��������� �� ���� �� ���� �� �� >�������"����� ��� ������� �� �� ���� & �� � ���� ��������� ������
��"�� (
+���� � �=/������ ����� � ��� "�������� "������ ��� ��� M+� �������
%�� :���� � .�0 �� ��������� .-">�0 ��
#N :����� N�+ M��� #N :����� N�+ M���
#N &�* ,�* (�* *�' (B�' ?�'
:����� &�* &�' @�' &�* @�' &�'
N�+ ,�* &�' (�' (D�' B�' ?�*
M��� (�* @�' (�' B�' @�* B�*
10
100
1000
10000
100000
1e+06
1 10 100 1000 10000 100000
mic
rose
cond
s
message size (bytes)
MPI_Isend (Leiden -> Delft)
gapsend overhead
10
100
1000
10000
100000
1e+06
1 10 100 1000 10000 100000
mic
rose
cond
s
message size (bytes)
MPI_Isend (VU -> Delft)
gapsend overhead
10
100
1000
10000
100000
1e+06
1 10 100 1000 10000 100000
mic
rose
cond
s
message size (bytes)
MPI_Isend (VU -> UvA)
gapsend overhead
10
100
1000
10000
100000
1e+06
1 10 100 1000 10000 100000
mic
rose
cond
s
message size (bytes)
MPI_Isend (VU -> Leiden)
gapsend overhead
%� � ,&� ���� �������� ��� �� �� �,:P:���� "������ ��� ��� M+� ��������
,@*' % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
��� ���� ���� ���� ����� ���������� ��������� �� �� ���� & ��� "���� ��/� :� / ��������� �� "��� �� ������� ��� ��������� ��������� %� � ,& ��������� �������� ��� �� �� ��� � ��� ,( ����� "������ ��� M+� �������� ��� ��� ����� �� ��� �� ������� ���� � %� � ,& .#N �� N�+ ��� #N �� M���0 ������ �����"�� ��� ���������� �� ��� �������� 3+� �� %� � (� �������� ��� ������ ��������� ���� �� ��� �� ���� B@ �� ������� ������� ����� ������ �� O��� ��������������� �� ��� �� ������ ���� �� ��� �� ��� ����� ��������� ����� �� N����� ��� ���� �������� ����������� ��� :����� ������ �� ���� ��� �� ��� ���� � ��� M+���� � ���� ����� ����� ��� ��8���� �� ��� ������ ��� ���� �� ���� "��������� �������� ���� �� ������� ����� �� ���� ��� ������� �� ������� ��� ���� ���� �� � ������ ����� ��� ����� � ��� ������� ����� 8������������ �� ��� ��� ������� ����� �������� �����������
��� ���� ���� �� ������ ��������� �� �� ���� & ����� � ��� ������ ���������������� ���� ������ �� /� :� / ��������� �� ��� ������ �������� �� ����� ����"�� (� ��� ��������� ����� � ��� M+� ����� ������� ��9������� �� �� ������� %�� ������� ��� ���� ���� ���������� �� ��� ���� ��������� ������ �� �������� /� :� / ��������� � ����� �� ��� ������� ������"�� ���� .�� :����� ��M���0� 3��� ���� ����������� ������ �� ���� � �� �������� ��� ���� ����� ������������ � ����� �� ��� QQ"������� �77 3+� �����
1
10
100
1000
1 4 16 64 256 1024
com
plet
ion
time
(mse
c)
message size (Kbyte)
segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc
1
10
100
1000
10000
100000
1e+06
1 4 16 64 256 1024
com
plet
ion
time
(mse
c)
message size (Kbyte)
segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc
1
10
100
1000
10000
100000
1 4 16 64 256
com
plet
ion
time
(mse
c)
message size (Kbyte)
segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc
1
10
100
1000
10000
100000
1e+06
1 4 16 64 256 1024
com
plet
ion
time
(mse
c)
message size (Kbyte)
segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc
MPI_Bcast MPI_Scatter
MPI_Gather MPI_Allgather
%� � ,@� =�������� ���� �� ��� ��� M+� ��������
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@*,
%� � ,@ ����� ��� �������� ���� � ��� ��� ���� ���� ���������� ."���� ����� ������ ������ ��� ��� �����0 � ���� ��� ��� M+� �������� +� �� �� ���� &� ��������� �������� ���� �� ��� ������� ���� , ��� ���� ,B ��� ������ �� ����� ������� 8������������ ��<� ��� �������� ����������� M�� �� ��� �������� ����� ��������� ������ �������� ��� �9� �� ��� ���� ������� ��� ��� ������������� ���� � ���� � ��5� "������ ,B ��� B@ ��� ��� ������������ "���� ������ � �� �������� ����� "����� ������� � ���� -� /6�7� ��� ���� ��������������
" #����� ���$
:� / HEI ��� :� !/ H,I ��� ���� � ��� ������ � �� ����-��:� /� ����� ������� ������ �� �������� ��� ��� :� / �� ������ ��� �� ����� ���� �� �������:� !/ ���� ��� 3� ��� ="� �� ��� ���� ��� ������ ������ "�������� �������� ��� ������� ������� �� �������5�� �� ��� ���� �� ���� ���� ��� �� �������� ������ �� �� ��������� 3����� ����� ����������� ���� ���� "��� ���� �� ����� ���� ���� ���� ����� H,�@�E�(*I�
��� �� ����-�� �� ������� ���� H&&I ��� ��� ��������� ��� � ���� ������� �� ���� � ��5�� ����"��� /� :� /7� ������ ��� �� ����� �������� �����N������������ ��� ���� ���� �� ���8������ ������ �� ����� ��������� �� ������ "���� ���� ���� ���������� ��� ����� �� ���� ������
��� � �� ��� H?I ������� "���� ��� ��� ������� � �� ��� ������ �������� ���� ������� � ���� ��������� ��� ��� ������ ����� ������ H&*I ������� ���������� $���� "���� ��� �� ������ �� � �������� ��� �����<�� :� / �������� ������"�� � � $���� "���� ��� ��� ���� �� "���� ����� ��� � ���� �� ����� ����$ ������ �� ���� �� ��������� �� ���� ������ -���� ��� "���� �� �� ����5����� ��������� �� H(BI ����� ��� ��������� ������� ��������� ��� ��5� � ��� ���� ����"��� ��������� �� ������� �� ������� 6� � �������� ������ �� � ����� �� �����5�� -/67� "���� ��� ��������� "� ���� � �� �������� ��� ���� ����� �����5�����H(?I�
#�� �� !��1� �� ��� ������� �J ���� ��������� ������������� � "���� ��� H&?I��� ���� ���� H&BI �� ��� ������ ��������� ��������� ���� ����� ��� ����� �"������ ���� ��� "��� ������� �� �����5�� ��� �� ���� ���� ���������� .�� ��"���� ���0 �� ������� � �-/� ��� � .���� ��������� ��������0 ���� �;��"�� ������� �� �� ���� ����� H,B�((I� ������� ������� ���� ���� � �� �������� �� � ������� ������ �� �� ��������� 4����� ����� ���� ���� ���������� �� �������� ������� ������ ������������ ������ ���� ������ �� ���� ���� ����� ������ H&�&,I�=���������� � ���� ���� ���������� ��� �����5�� �� H,?I� "�� ������� � ��������� ���� �� ��� ��� ������ ����
4�� ���� �������� ���� �������� ���������� �"��� ��� ��������� ���������� ������� �� ��� H(@I ����� �����5������ �� -/67� "���� ��� �� ������ �� �������� ���� ��� ���� ��� ������� ��� ������� ���� ������� � ���������� ������ �� ��� ������ ����� ������� � -� /6� �� � ����� ���� ����� ������� �� ������� �������� ��������� � ������ �� �� ����� �������������� ���� �� "�
,@*( % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
� ������ �� ���"�� �� ��� ������ ��� � 6��������"���� ��� ������ ���������
������� ��� ������ ���1� �� ��� �������� "������ ��� �������� ���� �� ��� ���� � ��� -� /6� ��"���� �� �����5� ������"���� ������ ��� ��� H,,�,(�,@�,EI���� 6���������"�� -/6 /���� �� .6-/60 H,*I ��� �<�� ���� ���� ���� ����� ��� ������ �� �������� ������ ����� � ���� �� ����������"����� ������ ���� �������� ��
% &����������
������� ������ � ��� ����� ���� ��� �������� ����� ������ �� "� �����5�� ����� �J ������ �� � ������ �� �� ��������� ����� ��� ���� ���� ���� ���� ������� � ����� �"���� ���� �� �� ��� � ����� �����5������ �������������� 6� ���� �������� ��� ��"�� ��� �������� �����5������ �� �� � ��������� ���� ���� �����������%����� �� ��� ���� � �� �������� �� ����� ���� �� ���� ������ ����� ���� �� "����� �� �������� ���� ��9����� ��������� ������ �������� �� "����� ���� �����5�������� ���� �� �������� ��� ���� ����� �� ��� ���� ���� ���������� "���� �� ����������� ��� ��������� ����� .�� � �� ��� :+� ��� 3+� ������� � ��� ��� ���� ����� �� ������ ����� 0� ������� � ���� � <;�� ������ ���� �����5������ ���� ���� �������� ��� �� ��� � ���� ���
%�� "��� �����5������� �� ���� � ������� � ���� ���� �� � ������� �������� ��� �������� ��� � ���� ���� ����������� -��� �;����� .:� /�"����0����� ��� ��� ����� �� ���� ���� ���������� �� ������ �� �� ������ ���� ��� �� ���������� ��� ���� ��������� ��������� 3� ��� ��"�� � ��� ����� ��� /� :� /.���������5�� :� /0 ����� ��� � ��� ��9����� ���� � :� / ��������� �� "������������ +���� ��� ���� ���� ����� ��������� � �� ���� � ��� ���� � ��5����� ���� ������� ������ �� ������
3� ���� ���� ��� /� :� / ���� �� �����5� ��� �������� ���������� �� ���-� /6� ��"���� ."���� ���� � ������ ������ ��� ��� �����0� ��� ��� ��"���� ������� ����������� �� ��� ��5� ��� ���� ����� �� ������� "���� �� ������� ���������������� ��� �����5����� �� ������ ��� �������� � �� ����� ��� ���� � ��� �� ������ ��� �J ���� ��� ���� "� ���� ���� ����� ��������� .�� � �� ����� �� "��3� H&DI0 �� ������ ������ � ��� ������ ������������ ���� ����� ������� �������� � ����� 3� ���� ����� ���� ��������� ��� ������ �� �;�������� ���� ������� ��� �� ������ �� ��< ����� ������ ���� ���� ������� � �� ��� � ���� ���6� ��� ��������� �������� ����������� ��� �;�������� ���� ���� ��� ������� ����� � ������� ����� �� ��� �������� ����� 4�� �� ������ ������ �������� � ���� �� ��� ���� ��������� ����� ����� ������� � ��������� �� ����� ����
3� ����� ��� ��� �� ������ ��� �� �������� ���� ������� � ���������� ����������� �������� ���� �� �������� ��� ���� �� ��������� ������ ���� ����������� ����� ��� ������ ��"���� �� "� ���� �� ��� ���� ������ �� �� ������ ���������� ������� ������� � �� ��� ��������� ������ ���� ��� M+� ������ 4���������"�� ��� �� ������� ��� ������� � �-/ ����� ���� ���� � ������ �������
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@*&
������ ��� ��� �� ���8��� ��������� ���� ���� ��� � ��� "���� �� �� -/6 ��"�������� ������ ����� ����� ���� �� ��� �� ��������� �� ��� ��������� ������� �� �� ��"���� �� ��� ��;� ���� �� ��� ������ ��
��$����� �������
���� ���� �� ��������� �� ���� "� � N�% ���� �� ��� #��1� N������������ ������������ M+� ����� �� �� ���������� � ��� +���� �� � ���� �� =������ ���6� �� .+�=60� 3� ����� /���� -��5 .N��������� � ��� ��0 �� ��� �����"�� ���� ��� ��� �����5����� �� ���8��� ��� !��� ��� -������ �� ��� �����"������ �� ���������� %������� �� ����� R��� $���� �� ������ ��� M+� �� ��� ������
����� �� � '!����� ��� �� ����!����� �� �����
#���������
H,I +� +��;������� -�%� 6���� �� ���� � ������� =� � ������ :� !/2 �� ��������� ��� ���� ��
���� ��� :� / ���� A ��� ���� ����� ������� � �������� ���� �� �������� ���������� ��2
/�� ����� � � ��� ������� �� /������� +� ������ ��� +� ���� ����� .�/++0� ����� ���"����
=+� R��� ,EE*� ��� E*A,'*�
H(I �� ���� $� �����1�� � $� ����� =� R� �"�� �� :�� ������� �� $����� %� ��������� /������ �
���������� � ��� 4� � ������ �"1� � ������ +=- ������ =����� ����� ,B .,0 .,EED0 ,A@'�
� ����� ���� � ��5� ���� � �� ��� ��5�$ ��"�� � ���� � �� ����� � � ���� ; ������� ����� ������ ���� �������� �� ���� � � ��5� ����� �� ���� �������� �� ���� � � ��5� ���� �� "������ ��� ���� �� � ��5� , ��"�� � ��� ������! �������� � � ��� ��� ��� �� �� �������� ��� � � ���� ���� ������������� ������ �������� ��� �� ���� � � ��5� ���� �� ����� �������� ��� �� ���� � � ��5� �� ��� ���������� ��� �� ���� � � ��5� .���� ����� ���� �0� ��� �� � � "���� ��� ����� �� ��� .�� ���0 � � "���� ��� �������� ����� � � � "���� ��� ���� ���� ���� � � ��5� ���� �� � � "���� ��� ���� ���� ���� � � ��5�
� ��"� ����� ���� �� ������� :+� ���������� ��"� ����� ���� �� ������� 3+� ���������
,@*@ % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9
H&I -� ������5��� #� -������� M� /����� �J ���� ���� ���� ���� ����� �� ������ ������
�������� � ������������� ��2 6������������ =������ � �� /������� /�� ����� � -����������� -��
+� ��� ,EED� ��� @B'A@B?�
H@I -� ������ ��� !� 6�������� =���� ���� ���� ����� ����������2 �;��������� ������� ��� �������
=�� ����� �2 /�� �� � ��� �;������ � ,' .*0 .,EED0 &*EA&DB�
H*I $� �����1�� � �� $����� �� ���� N����:���� ������� ������ � ����� ���� 6��� =����� &, .,,0 .,EED0
*&AB'�
HBI �� ������ M� =����� $� %�������� +� �������� =� ����5� R� ���5��� � 3� ��� -������2 � � �"�������
�� ��� �� �� ���� �������� 6��� -� �� ,* .,0 .,EE*0 (EA&B�
H?I R� ��� �� :�M� =������ =���� ��� $� :���������� 4� ��� ���� � ��� ������������ � "���� ��� ���
��"�� �"��� ���������� ���� ��� ������ ����� 6��� ������ /������� M�����"� ����� ? .&0 .,EEB0
(*BA(B*�
HDI =� =������� :� ����� -��� ������ � =���� +=- &* .,EE(0 @@A*(�
HEI M� =������ $� ����� M� /��������� +� ������ ���� � ������� �� ������� $� ��"�������� �� ���
�� ���� :� /2 ������� � �������� ���� � �������� ���������� ��2 /�� ����� � � ��� �������
�� /��� ����� ��� /�� �� � � /������� /�� ���� .//�//0� ��� M�� �� =+� -�� ,EE&� ��� ,A,(�
H,'I M��� =������ :��� :��� $�/� -������ =�4� S��������� +������� ��� ������� ������ ��� 6��� -� ��
,B .,0 .,EEB0 &*A@&�
H,,I !��� %� � ���� :������ R�R� M�� ����� -/6P=���� �2 ��� �� ������ ������ -/6 ����� ������
�������������� ��� ��� ��� ������� ��2 /�� ����� � � ��� *�� �������� /#->-/6 N����7 !����
-����� � ��"�� ,@E? �� :�=�� :��������� N�� ,EED� ��� E&AEB�
H,(I 6� %������ =� ��������� !��"��2 � ��� ������ �������� ���� �������� 6��� R� ����� ����� +����
,, .(0 .,EE?0 ,,*A,(D�
H,&I 6� %������ =� �������� .����0� ��� !$6M2 ��������� �� � ��� =������ 6������� ����� -�� ��
������� :�� +����� -+� ,EED�
H,@I �� !�"����� -� $�� �� �� ������� $� ������� M�����"���� ������ �� � ������ ������ ������
����������� ��2 /�� ����� � � ��� *�� �������� /#->-/6 N����7 !���� -����� ��"�� ,@E? ��
:�=�� :��������� N�� ,EED� ��� ,D'A,D?�
H,*I 3� !��� �� R� �� ������ R� M������� ������ ������ �� ��� ���������� � ��� ����������"�� -/6
����� ��� ��2 /�� ����� � � -/6M=7EE� -���� � /����� 6����� � M��������7� ��� N���7�
=������ �� +������� !+� -�� � ,EEE� ��� ?A,&�
H,BI -� !�T�"������� $� ������ R�:� ����9� +� ������ �� ���� ���� ���� ����� ���������� �� �-/
�������� ��2 ��� ,EEE 3������� �� =������������ =������ � ���� �� ��1�� ���� ���� ,&�� +=-�
�6!+$=� 6������������ =������ � �� ����� ������ .6=�7EE0� ,EEE� ��� ,,A,*�
H,?I �� !����� �� =� 3������ =� :�� ����� 4����5����� ����� �� ��� ���� ���� ���� ���� �����������
��2 /�� ����� � � ��� ,&�� 6������������ /������� /�� ����� ������� U ,'�� ������� ��
/������� ��� M�����"���� /�� ����� .6//�>�/M/7EE0� ,EEE� ��� @E(A@EE�
H,DI R��/� !��;� �� ��������� R� :��������� -� S����� +� ���"��� ������� �� �����A������
����� ������ �� ��� ���������� ���� ��2 /�� ����� � � ��� �� � /������ � M�����"����
=������ .�/M= ('''0� /����"�� �� /+� +� ��� ('''� ��� @&A*'�
H,EI +��� !������� 3�+� 3��� ��� ��� :� ��� ���� ��� �� ��� ������ � � ��������� ������� �������
=���� +=- @' .,0 .,EE?0 &EA@*�
H('I 3� !����� �� :���� �� M���� +� ��1����� + �� ��������� �� �����"�� ������������ � ��� -/6
���� � ������ ������ � ��������� /������� =����� (( .B0 .,EEB0 ?DEAD(D�
H(,I 3�M� !����� �� :���� M� ������� 6������ ��� ������� � � -/6 ������� ���������� ��2
/�� ����� � � -/6M=7EE� -���� � /����� 6����� � M��������7� ��� N���7� =������ �� +�������
!+� -�� � ,EEE� ��� (*A&'�
H((I /� ���"����� R�=� ���� -/6������2 ��������� ������� ������� � �� ����� �� ����� ������� ��2
/�� ����� � � �=7ED� ����"�� ,EED) 4����� �� ����2>>��������� ����� >� ED>��� ����� �>�H(&I !� 6�������� -� :������ �� -�� ������ =����������� �������� � ��� ���� �� �� -������� ��2
/�� ����� � � ��� 3������� �� =+�/=7ED� :� ���� ����� �� =������ � ��� �� ���� ,&B(� :��
#� ��� ������� ����� ��� ������� R������ ,EED� ��� (,?A(&,�
H(@I ���� �������� ��$� �� ��������� 6� %������ 3� !����� �� :���� R� ���������� �;������� ������ �� ��
�������� ������ �������� �� �����5� ���� ���� ��������� ������� �� ��2 /�� ����� � � ���
% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@**
6������������ /������� ��� M�����"���� /�� ����� ������� .6/M/� ('''0� =�� ��� -�;� �� 6����
��� S���� -�� ('''� ��� &??A&D@�
H(*I $�-� ����� +� ������ ���� ������� ���� � ������� 4����� "���� ��� ��� ������� �� ��� :� /
����� ��2 /�� ����� � � ��� ������� �� /������� +� ������ ��� +� ���� ����� .�/++0� #�����
!������ R��� ,EE&� ��� ,@(A,*&�
H(BI $� �������� M��� /����� 4����� ���� ��� ���� �� ����5����� ��� ������� ������ � �������� ��2
/�� ����� � � ��� 6������������ =������ � �� /������� /�� ����� � 6���� ��� S���� +� ��� ,EE?�
��� &?'A&??�
H(?I �� �������� ���� ���� �� !����� �� �����������J ���� ���� ���� ���� ����� �� �������� ����
���� ������� ��2 /�� ����� � � ��� 6������������ /������� ��� M�����"���� /�� ����� �������
.6/M/� ('''0� =�� ��� -�;� �� 6���� ��� S���� -�� ('''� ��� @E(A@EE�
H(DI �� �������� ���� ���� �� #�������� %��� ��������� � :� / ��������� �� ���� � ������
�������� ��2 @�� 3������� �� $����� ������ �� /������� /�� ���� .$��//0� :� ���� �����
�� =������ � ��� �� ���� ,D''� =�� ��� -�;� �� ����� ��� ������� -�� ('''� ��� ,,?BA,,D&�
H(EI �� �������� $�%��� ����� ���� ���� +� /����� $�+�%� �����1�� � -/67� ���� ���� ���������� ��
�������� ���� ���� ������� ��2 /�� ����� � � -/6M=7EE� -���� � /����� 6����� � M��������7�
��� N���7� =������ �� +������� !+� -�� � ,EEE� ��� @&A*(�
H&'I �� �������� $�%��� ����� ���� ���� +� /����� $�+�%� �����1�� � -� /6�2 -/67� ���� ����
���� ����� ���������� �� �������� ���� ���� ������� ��2 /�� ����� � � ��� ������� ��
/��� ����� ��� /�� �� � � /������� /�� ���� .//�//0� +������� !+� -�� ,EEE� ��� ,&,A,@'�
H&,I �� :������� +� �� ������ �=42 �J ���� ���� ���� ���������� �� ���� ����� �� ������ ������
��������� ��2 6������������ /������� /�� ����� ������� .6//�0� ��������� �6� ,EEB� ��� &EEA@'*�
H&(I �� -������� =� ����� 4� �J ������ ��������� ��"�� ��� �� ������� � ���������� ��
������� ����� ������� R� /������� M�����"� =����� (D .,EE*0 D@AE&�
H&&I R��S�:� /���� ���+� =���� �� �������1� :�-� ��� =������ ���� � ������ ���� ��� ����� "���� �� ���
���������5�� ���� ����� ����� ��2 /�� ����� � � ��� 6������������ =������ � �� /�������
/�� ����� .6=//0� ���� 6� ,EEB� ��� ,D'A,D?�
H&@I #� /�;���� 4� ���"����� ���������� � �� ��� ������� ����� ��2 /�� ����� � � �6!-���
$6=�7ED>/�$%4$-+�=�7ED� -������� 3�� ������ R��� ,EED� ��� ,,A(,�
H&*I ���� ������� 4����� ��� ����������� �� ������ �� $���� "���� ���� R� /������� M�����"� =�����
*? .,EEE0 ,(,A,&E�
H&BI $� ��� �� !��1�� 4� ��"�� �"��� ����������� R� /������� M�����"� =����� (( .,EE@0 &(@A&(D�
H&?I R� 3����� $� #�� �� !��1�� + ��������� "���� ��� �� �������������� ������ /������� /�� ���� :����
* .(0 .,EE*0 (D,A(E(�
H&DI $� 3������ %��� ����� ������� ������� � �� ������� ����� � ������� ���� ��� �������
������� ����� �� ��2 /�� ����� � � ��� �� ��/������ � M�����"���� =������ .�/M=�B0�
/�������� 4$� +� ��� ,EE?� ��� &,BA&(*) ��� ������� ������� ����� � �� �� ����2>>������� �����>�
,@*B % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9