26
Network performance-aware collective communication for clustered wide-area systems Thilo Kielmann a, * , Henri E. Bal a , Sergei Gorlatch b , Kees Verstoep a , Rutger F.H. Hofman a a Division of Mathematics and Computer Science, Vrije Universiteit, De Boelelaan 1081a, 1081 HV Amsterdam, The Netherlands b Department of Computer Science, Technical University of Berlin, Franklin str. 28/29, 10587 Berlin, Germany Received 30 November 2000; received in revised form 5 April 2001 Abstract Metacomputing infrastructures couple multiple clusters or MPPs) via wide-area networks. A major problem in programming parallel applications for such platforms is their hierarchical network structure: latency and bandwidth of WANs often are orders of magnitude worse than those of local networks. Our goal is to optimize MPI's collective operations for such plat- forms. We use two techniques: selecting suitable communication graph shapes, and splitting messages into multiple segments that are sent in parallel over dierent WAN links. To opti- mize graph shape and segment size at runtime, we introduce a performance model called Parameterized Log P P Log P, a hierarchical extension of the Log P model that covers messages of arbitrary length. An experimental performance evaluation shows that the newly implemented collective operations have signi®cantly improved performance for large mes- sages, and that there is a close match between the theoretical model and the measured com- pletion times. Ó 2001 Elsevier Science B.V. All rights reserved. Keywords: Grid computing; MPI; Collective communication for clustered wide-area systems www.elsevier.com/locate/parco Parallel Computing 27 2001) 1431±1456 * Corresponding author. Tel.: +31-20-44-47789; fax: +31-20-44-47653. E-mail addresses: [email protected] T. Kielmann), [email protected] H.E. Bal), [email protected] S. Gorlatch), [email protected] K. Verstoep), [email protected] R.F.H. Hofman). 0167-8191/01/$ - see front matter Ó 2001 Elsevier Science B.V. All rights reserved. PII: S 0 1 6 7 - 8 1 9 1 0 1 ) 0 0 0 9 8 - 9

Network performance-aware collective communication for clustered wide-area systems

Embed Size (px)

Citation preview

������� ������� ������� ���� ���� ���� ����� �� �������� ��������� ������

����� ������� ���� ����� �� ��� �� ��� �� !����� � "����� #������� �� $�� �� %��� ���� �

� �������� �� ��� ��� �� �� ���� �������� ����� ����������� �� ������� �����

���� �� � ���� � �� !��������" ���� �� �� �� ���� �������� ������� ��������" �� ������� #��$��� ��% &�'&(� ��)�* �������

+�� �"

$� ����� &' ����"�� (''') �� ����� �� ������� �� * +���� ('',

��������

-��� ������ �������� ����� ����� ������� ������� .�� -//�0 ��� ��������� ���������

+ �1�� ���"�� �� ��� ���� �������� ����� ������ �� �� � ������� �� ����� ������ �� ��

������� ���� ����2 ����� � ��� "�������� � 3+�� ���� ��� ������ � � ������ ����� ����

����� � �� �� ��������� 4�� ��� �� �� �����5� -/67� ���� ���� ���������� �� �� � �����

���� 3� ��� ��� �� ���8���2 ���� ��� �����"�� ���� ����� ���� ������� ��� ��������

���� �� ���� ������� �� ���� ���� ��� ���� �� �������� ���� ��9����� 3+� ������ �� �����

�5� ���� ����� ��� �� ��� ��5� �� ������� �� ������� � � ������� � ���� �����

,� ����-�� :� / �/� :� /�� � ������ �� �� �;������� � ��� :� / ���� ���� �����

���� �� � ��"������ ��� ��� +� �;��������� ������� � ���������� ����� ���� ��� �����

��������� ���� ���� ���������� ���� �� ��< ����� ������� ������� � �� ��� � ���

�� ��� ��� ���� ����� �� � ���� �� � "������ ��� �������� �� ���� ��� ��� ������� ��

������� ����� � ('', �������� � ��� � ��#� +�� �� ��� ���������

.�"/����0 !��� ������ ) -/6) =���� ���� ���� ����� �� �������� ��������� ������

������������� �>�� ���>��� �

/������� =������ (? .('',0 ,@&,A,@*B

�=����������� ������� ����2 C&,�('�@@�@??DE) �;2 C&,�('�@@�@?B*&�

12 �� ��������0 �������F ������� .�� �������0� "��F ������� .���� ���0� ����� �F �����"��������

.�� !����� �0� ������F ������� .�� #�������0� ��� ��F ������� .$�%��� ����0�

',B?�D,E,>',>G � ��� ���� ����� � ('', �������� � ��� � ��#� +�� �� ��� ���������

/662 � ' , B ? � D , E , . ' , 0 ' ' ' E D � E

� ���� ������

$����� � �� ��"�� ����������� �������� ����� ��� ������ ��������"�� ���������� ������ �������� ����� ������ �� ��������� ������"���� ������� ���� �������� ������� �� ����������� ���� HD�,&I� =���� ����� ����������� ����� ������� ���� ��� ���� "���� �� ��� ������������ ������ �� ������ "� �������� �� ��� ����������� H,DI� �������� ������ ����� ������ ���� ��8������ ����� ���� ��� ����� �� � � ��� ��J ��� ���� ��� ���� �� ���� ������ ���� ������������������� � ������ ��� �� ��� ������ � � ��9����� .�� �� ��� ���������0 ��������� +���� ��������� ����� ��� ������ � � ������ ������ ���� ��� ����� ���� �� ������ ������� .�� -//�0� ��� ������� ���� � ���������� ���� �����

6� ������� ���� H(E�&'I� �� ��� ����� ��� ���� ���� ���� ����� ��"������ ��"� ���� �� ������ ��������� �������� ��� ���� � 3� ��������� �� -/6� �����"�� ��"����� ����� -� /6�� ��� � �����5�� -/67� ���� ���� ���������� ����������� ������� -� /6� �;������ ��� ������ �� �� ���� ����� �������� �� � � ������������� ���� ����� ���� ����� -/6 ��"������ H&'I� -� /6�7� �;����� ������������� �J ������ ����� ���� ��� �� � 3+� ����� � "�� ��� ��"������ �������� � ���� ��� ���� �� ��� � ��� ��� ��������� �� 3+� "���������

=���� ���� ���� ����� ���� ��� ���� �� ����� � ��� �������� ����� ��� ����� ����� � ��� "�������� � ��� �� �� ��� ��������� ��������� ��� ��"�� � �������� ��� ��"�� � ��� ������ �� �� � ������� ��� ��� ��� �� � ��� ���� ������������ �� ������� � � ��� ������� � ���� �� ��������� ���� ���� ����� ������ ����� ��� �� ����-�� :� / ���� ./� :� /0� ��� � �;����� ���:� / ���� HEI� 3� ��� ���� ���� �� �����5� ���� ���� ���� ����� ���� ���� � �� �������� ��� ���� ����� ������������� 3� �����5�� ��� �������� ���� ���� ����������2 "���� ���� � ������ ������ ��� ��� ������ 3� ������ ��� ��"��������� � ���� ��� � ��� �����5������ �� "� ������� ����� ���� .�� ������0�"���� �� ������� ���� ��������� � ��� ������ �������

3� �������� ��� ��� �������� ���������� �"��� ��� ��������� �� �� ����� ���� ������ ��� ��� ������� ����� ��� ��� "���������� +����� ����� � ���"�������� �� "� ������� �� �������� �������� �� ��� �������� � � ��� �� ���� �������������� 6� ������� -� /6�7� ������� ������� � ���� �� "� ������� �� ����������� �� ����� ����� ���� 4�� ���� �������� �����5������ ��� ���� ��� �� ������� �� � ����� ���� ��� �� ����������

+����� � �� ���� ��������� ������ � ������ �� �� � �� �� ��� ��� � � �������� ������� � �� ��� ���� � � �����5�� ���� ���� ����������� 3� ���� ���������� ��� ���� ��� ��� �����5������ �� �� �;��������� ��������� ����"��� "������� �������� 3+� ����� ��� ���� � ���� 3+�� ���� ������� �� ���� �� ��������������� �� ��� ������������ 4�� ��������� �������� ������ �� �� ����� ������ � � ��������� ������� � 8������������� ��� �� ������� 4�� �;�������� ����� ���� ����� ��<��� ��� �������� ������� 8������������� 4�� �;��������� �������� ��� �� ���� �� �� ������ ������ ��� ������ �� %�� �;����� ����� ���� ��� ���������"���� ����� �� "���� ����� ���� �� �� ? ����� ������� ���� �, -">��>� ���� �� �� �� � ������ �� � �� ��� "�������� � B�B* -">�� ������� �� '�EB -">� ������� ���� � �� ��������� %���������� �� ������

,@&( % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

�������� ���� �������� ��� � ������ ������� �������� ���� ��� ���� ������ ���) �� �;����� ���� "���� ���� ��� ��9���� � �� "������ ,K ��� @K� =������� ��� �����5����� �������� � ���� �L���� �;�������� ���� ��� �������� ���� ����������� � ����� ��� ��"�� ����� ���� �� � �� �; �������� ����� 6� ��� "���� ����;����� ��9���� �� ���� ������ "���� ,K�

4�� ������� ���� �������� �� �� ������� �� -/6 ��"���� ���� ���� ��� ���� ����������� ���������� ��� ���� ������ �� ������ �� ��� �� ������� ����������3� ������ �� ��� ��� ������� � ���� �� �"������� ���� ����� ����������"��� ������ � ��� ������� ������� �� ��� ������ �� �������� "� ��� �������3������ ����� � H&DI� �� ����� �� � ������ �� ������� ��� �����5����� �� ��������������� ���� ��� �J ���� ��� ��� �;� ���� �������� �� ���� � ��� -� /6� ��"�����

���� ����� �� �� ���5�� �� ������� 6� �� ���� (� �� ������� � ��� ���������5��:� / ����� 6� �� ���� &� �� ����� �� �� �����5� ���� ���� ���������� �� ������� �� �� ������� 3� �;����������� ����� ��� ������ � ���� � ���� ��������� ������� �� ���� @� $������ ���� ���� "� ��� ����� �� �� ���� *� �� ���� B �������� ��� �� �������� +������; + �����5�� ��� ��"��� ���� ����� ���� ��� ������

� �� ����� ��������������� �����������

�� ������� ��� ������� � ����� �� <��� �����5� ��� ���� ����� "�������� � ��� -/6 ������������ �� ��� �;������������ ������� ����� ��� M+������� M+� ������� � ��� ������ �������� �� � �������� /����� /��� ������� �� ���� ���� ��� "� -������ HBI� ��� ������� ��� �� ���� �� ��� M�� � ������������� ��� ��� ���� ��� "� ��� M�� � � ���� 6������� "� �"���� �N$%������� ����� �� ��� ��"�� �� ������ �� ����2>>���� �������>���> ��� �� H&'I� %� � , ������������ ��� ������ ����� ���� ���� �� ����� ����� ���� ���� ������ �������� �������� ������� ���� ���� ���� ��� �� �� �������� ��� � ���� ���� ��� 3+���� � ������ ��� � ������ ���� �� ���� ��� "��� �� ��� :+� ��� �� ��� 3+��

-� /6� ����������� ��� ���� ���� ���������� � � ���� -/6 �������������� ��� � -/67� �������������� ���� ������ 3� ��� -� /6� �� ��� � -/6=�

%� � ,� ���� ���� � � �������� ��������� ������ ��� �� ��� ��������� ��������

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@&&

H('I� � ������ ���� ��"�� -/6 ������������� ��� � �� ���� ������ �� ��� ��������� M+� ������ 4�� -/6=� ���� ���� ��� /���� ���� ����� ��"����� H(I ����������� � /�������� �< -/6=� ���� �� /���� ���� � ��� �� 6/ ��� -�������4� -������� /���� ���� ��� :%= H*I ������ ��� ��� 4�� � ��� M+� ������� ���,(D =/N�� ��� ��� "��� ��� �� �� ����� ���� �;������������ ���� ��9����� 3+������ ��� ��� "���������� "� ����� ����� ����� �� ��� ��������� ��"����� H&'I����� ��������� ��������� �� ���� � /���� ��� ���� �� ����������� �� ������� �������� ��� � ��� ���� -/6� 3� ��� ���� ��������� ����� �� ��� ������� � �;��������� �������� ����� ���� �� ����� ( ��� &� 3� ��� � ������ ��"�� � ����������� ������� �������� ������ �� ��������� ����� � .,' �0� ��� �� ���������"�������� ., -">�0� 6� ��������� ��� ����� � ���� -������ �� �"��� (' �� ��� ���-/6������ ����� ���� �� �"��� *' -">�� �� ����� �� ����� ��� ������ � � ��������9���� � "������ ��� �� �� ��� ��� �������� ��������� �������� 3� ������5����� ��� ��������� ������� ���� "��� ������� �� � ���� �������� � ����� ���� ������ ������� �� ��� ����� ����� �� �� ��� ���� ��������� �����) ���� ��� ��������� ����� ��� �������� ���� ��� � ��� -������ ������ �� � ����� ����� ��� ��������� ��� ������ ���� � ��9����� ������ � /����� 6� �� ���� @� �� ����� ��� ����������"���� ������� ���� �;�������� ������� �� ��� ���� ��������� M+� ������

����� ���� ���� ������ �� ����� ��� ���� � ���� �� "� �� ���� ���� ����"�9���� ��� -/6 �������� ���� ������ ��� ����� ������� ���� ������ ��� � �� �������� ���� ���� ���� ������� �����"�� ����� �� ��� ��� ����� �������� �������� ��� �� ������ �������� ���� ���������� �������� ������� �� ��� ���� ����� ������ ��������� � �������� ����� �"�� ������� � ����� ��� ��O��� � � ����������� ����� �� ���� ����� ������� � �� � ���� � ��� ��� H(,I ��� ��� �����������

��� ���������� � ���� � �� �������� �� �9� ��� "� ��� ������� � -� /6� ����� � -/67� �������������� ���� ������ + ����� �� -/67� �����������-� /6� ������ ���� �� �� �� ���� � ������� � � "��� ����� -� /6� ������ ������ � �� ���� �� ������� �� ��� �������� ��� �� ��� ���������� � ���� ��� ���� �� ��� ��5� � � ��� �� �� ��� ������� ���� �� ��J ���� �� ���� �������� ������ ���� ���� ����� � ���� ��5�� ���� �� ���� � O����� ����� ��"������������ ������� ���� ����� � �� �; ���������� ��� � ��5�� ��� �� ���� � �����"������ � �� ���� 6� �� � � ���� -� /6� ��� �� ��� ��"������ �� ��� ��5��� �������"�� ���� ���� "� �������� "� ��������� -� /6�7� �� ������ �� �� ���� ������� � �� -/6 ��"����� 6� ���� ���� �������� -� /6� ���� �� ��� �� "� ����� ���� ������� ������ ������ ������ ���� ����� ����� ���� ������ -/6 ���������������

4�� -� /6� ��"���� ���� �������������� ���� �� �������� "� ��� ��������� -/6 ������������� ����� �� �"���� � �������� ������� � ���� �� ���� �������������� �� � �������� ��������� ������ �� <��� ����� ��� ������� � � �������������� ���� ����� "� ������ �� ��� :� / ��������� �� � �� �� ������� ���� ��������� �������� %� � ( ����� ���� ������� ��� 3�� ������� �� ����,:P:���� ������� �� ������� ���� � ��5�� �� "��� ��������� -������ ��� 3+��6� ����� � �� ��� :� / ����� ��� ���� �������� � �� ��� �������� ��� ��,:P:���� �� � ���� ���� � ��5�� ����� ��� �� 3 �� ��� ���� ��� ��������

,@&@ % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

"������ ���� ����� ���� �� �,:P:����� 3� ������� ����� ��������� ���� �������� ��� ��"�� �� �� ���� (�(�

��� -/6 �������� ���� ��"�� ���� ��� ����"�� ��� �,:P:���� ���� ��������� ������� ���������� ��� � ���� ������������ �� ��� �� ����� �� � � � ��� ������ ���� �� �� ���������� �� ��� �� �� ��������� ���� �� ���� ����� ���� �� ��� �� ����� ��� ���� ��� ����� ����� �� ����� �� � ������� ��� ������� ��� � ������ "��� �������� 4�� -/6=� ���� �� /���� ����� ����� �� ��� ��� � ����� �� ��� � ������� ���� �� "�� �� ��� ���� �� �������� %�� ����� ���� ��� ���� ������� ���� ������� ������ ���� � ��� "��� ���� �����,:P:���� �������� 6� � �� %� � ( ����� �������� -������� �,:P:���� "������ �;� ��� ���� ���� �� �� � ���� � ��5� � ,(D ���+� ���� ��5�� -/6=� ���� ��� �� �����5���� ���) ���,:P:���� ����� ��� ���� ������ �� � ����� ���� � �� ��� �� ������ �� ������� ��������� �� ���� ���� 3���� ���� ��������� ������� �� ���� ������� � ��� ��� -������� ��� "������� �� ��������; ��� ���� "������ B@ ��� ,(D ��� �,:P:���� ������� �� ���� �� �� ����� "�� ������� �� O��� ������ ��������� �� ��� �� ������ ��� ����������� �������� ��� �� �;�� ���� ���� ����� ������ QQO��77 �� ����� ���� �� ��� �� ���� ������� �� ����� �� ��J ������ ��� � ���� ��� 4� ��� 3+�� ����� �� ������� ������������� �� ,(D �� ���� ��� ���� ��� ��� ���

3� �� ���� ������� �� ������� �� ����� ����������� ��� � ��� ����� ����������� � �������� ������� � ����� 4� -������� ��� ��9���� � "�������������� � ��� �� 3 �� ���� .�� �� ,(D ��0� ���� ���� ���� ��� ����������"�������� �� ������ "� ��� ���� ������� ��� ��� "� ��� �������� 4� ��� ��������� ����� �� ��� ����� ����� ��� ��9���� � "������ � ��� 3 �� ��� ������ � � ������� �� ���� ���� ��� 3��� ���� �� � ��9���� �� :� /7� ��������� ���� ������� ����� ������� � ���� � ����� ���� 3 ��� ����� ���� � ��� ���� ���� ��� � � ��� ��������� ��� ������ �������� ������� �� ���� ���� ���� ���������� ��������� �� ���� ���� � ��� ��;� ���� � ������ ��� ��� ������� ������3��� ���� ���� ����������� � ������ ���� ���� ����� ���� �� �� ��9����� �������������� � ���� �� ��� ��;� ���� �� ������� ����� ���� � ��� ������ "�� ��� ������� ���� 3��� ����� �� ���������� "� ��� �� �� ���� �������� +������ �������� �"����������� %� � ( �� ���� � ��� 3 ������ ��� ���� �� ���� � ��5� ��� ������� "���������

10

100

1000

10000

100000

1e+06

1 10 100 1000 10000 100000

mic

rose

cond

s

message size (bytes)

MPI_Isend (WAN)

gapsend overhead

10

100

1000

10000

1 10 100 1000 10000 100000

mic

rose

cond

s

message size (bytes)

MPI_Isend (LAN)

gapsend overhead

%� � (� ���� �������� ��� �� �� �,:P:����� ������� �� ��� -������ :+� .���0 ��� � ��������

3+� .�� ��0�

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@&*

"�� ���� �� ��� "������� � ��� ��������� -/6 ������������� =���� ���� ����������� ���� ���� �� "� �����5�� �������� ������� ��� ��������� ���� �,:P:�������� ������ ������ QQ���������77 ��� ������ �����;������� �� � ��� 3 �� ������ ��� �������� ������� � ������

&%�% ,� ����-�� :� / �/� :� /�

����� �� ����� �"����������� �� ��� ������� ��� ���������5�� :� / �����/� :� /�� %�� � ��� �������� �������� �� ��<��� <�� ���������� , �� ��� ��"��� ��� ������� ; �� ��� ���������� ����� � �� ��� ��� �� ��� ���� �"���� ��� �����"���� � ���� �� � �� ����� ���� �� ��� �� ������� ������ �� ��� ���������� ���� ��� ����� �� �������� ������ ������ ��� ���� ��� ���� ��������� �� ������������� ��� ��� ���� ��� ��<��� �� �� ����� � ��� ���� � ��5� � ����� �������� ��� ��� ���� ��� =/N� �� "��� ����� ��� "��� ������ ��� �� ����� � ���� �� ��5� � %�� ��J ������ ��� ���� ��� �� ����� �� ������� ����� ����� ��� �������� ����� "���� �� �� ��� �� �� �������� ��� �� ���� �� ��� ���� ��� ��������"������ ���� ����� ���� � ������������ �� �� ������� ���� ��� ��� ���� �� ���� ����� 6� �� ��� �� ���� �� ����� � ��� ���������� "�������� �� ��� ��� ����� ��� �� ���� �� � � ���� ��5� � :��� ;� ���� ����� ��� �����"���� � �����%�� ���� ������ ����� ��� ������ ������ ����� ����� ��� ����� ������ +������� ! �� ���� ����5�� �� � � ��� ��� ��� �� � ��

�� ���������� ��� ��� ��������� ��� ����� �� ������� � ���� ��� ����� ��� ������ ������ ��� �� ����� � ���� � � ��5� ���� "��� ������ ��� �� ����� �������������� ����� ����� ����������� ���� � ���� �� ��� ��� �� ��� � ��� ������ ������� �� ���� ��� ��;� ���� �� 3������� ��� ������� ����� �� ��� �����������"������� �� ����� � ����� ��� ��� ������ �� ������� ������ ���� ����� ������� "� ���� ���� ����� ��� ��� � ���� � QQ� �����77 ��� �������� ��� ��;����� � ����� "� ���� "���� ���� ���� ���� � �� ���� �� ��� ��� �� ��� � ����� ����� ��� �� ����� ��� ���� �� ��� ����� � ; �� "� ���� �� ��� ��� �� ����� ����� <��� "�� � � ���� � �� ������ �� ������ �� �� ������ ��� ���� � �� ���� ������ ���� ��� <��� "�� ��� "��� �� ����� ����� ��� ���� "�� � ��� ���� � ��� "����� ������ %� � & ����������� ���� ����� 3��� � ������ �������� ������� ���� �� �� �

time

receiver

sender

g(m)

L g(m)

or(m)os(m)

= r(m)+

= s(m)

%� � &� -���� � ����������� �� ������ "� ���������5�� :� /�

,@&B % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

���� ��� ����� � ���� �����"��� ���� �� � �� ��� �� ����� �������� ��� "�� ��� �� ������ � ��� ���� �� �� ��� ���� �� "� �;������� �� ���,� � � � ��� ��� ���,� � � � � � �����

%�� ����������� �� ���� ���� ���������5�� :� / ��"���� ��� ��� �������� :� / HEI ��� ��� ������� �� ��� ���� ��� :� !/ H,I� 6� ��"�� ,� :� !/7���������� ��� �;������� �� ���� � ���������5�� :� /� 3� ��� , "��� �� ��� ��5��� ����� ���� ��) ��� ����� �������"�� QQ�����77 ��5� �� �� ���� "� ���� ������������ ���� ������� :� / ��� :� !/ ������ ������ "������ �� ��� ��� %�� ��������� ��� ���� ��� � � �� �� � �� ������ ��� ; �������� �� �� ����� ����������� ��� � ���� ; � ��� ���� ��9����� ����� ������ �� ���������5�� :� /�3� ��� ���� �8������ �� ������ :� /7� ; �� ��� ��� ����������

%�� �������� ��������� ������� �� ��� ��� �������� ����� ������<�� "� � ��"�� ���� � �� ��� :+� ��� � �� ��� 3+�� %�� �;����� �� ������� ��� ����� � ������� ������ ��� �� �� ��� ����� � ���� ��� ������ ��� �� ����� ��� �� ��9����� ��������%�� � �� �� ������� �� ��2

����� � ����������� � �� � ������

+ ��������� ����������� ����� ����� �����2 ��� ������ ������� ��� ���� � �� ����� �� ������� ��� � �� ���� ����� ��� ���� � �� ��� ������ � ��� �� �����7� ������� ��� � <����� ������� ��� ���� � �� ��� �� ����� ����� ��� ����� � �������� ������� �� ��� ��������� "�������� ��� �� "� �;������� �� ����� � �� ������ ����� � �� �� ������ "� ��������� "� ��������� �������� ������ �� �� ������� �� ������ ��� ����� �� �� ���2 ��� ������ ����� ���� ��� ��;� ���� � "���� ��������� "�� �� � �� ���� �� ���� ���� ��� ��� �� �;���� ����� ������ �� O��� ������ ��������� �� ��� ��������� ����� N����� ��� �� ������� ���� ��� ������ ���� ������ �� ��� ��������� ��� ���� ���� �� ��� ������� �8������� �� ������������ ���2

����� � �; ������ ������� ������� � �� � ������

&%&% 1<���� �� ��� ����� �� ��� /� :� /

+� �������� ����� �� ��� �� ������ ��� /� :� / ��������� ��� ��"�� �"����� �� � ���� ��������� ������ /������� :� / � �� "�� ����� H,'�(&I ������

��"�� ,

:� !/7� ��������� �;������� �� ���� � ���������5��:� /

:� />:� !/ /��������5�� :� /

; �� ��,� � ���,� � ���,�� ����,� � ���,���(3 ��,�+ ������� �� � ��J ������ ��� �

, ,

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@&?

��� �� ������ "� ��������� ��� ���� �� �� � ���� � ��5�� �������� ���� ������ ��� ��� ��������� �� "� ����"�� �� ��������� ����� ��� � ��� ���� ���� ������ ������� ����� ������ 4�� ����� ��� �� ��� ���������� ���� �� �"������ ��'�� ��� � �� "� ���� ��� ��� ���� �� ������ ���������� 6� H(DI �� ������ ���� ��� ���������� ��� ������ ������ �� ��� �����������"���� ������ ������ ��� ��� ������������ ���� �� ��� ���� �����5����� "� E'AE*K� ������ �� �����5� ���� ������

+� �� ��� ��'� �� ������� ����� ������� �� ������ �� <��� ���� ��� ��� ������ ����� ��� ����� .��� %� � @0� 3� ������ ��� ��� ���'� �� � ��������� �������� � � ���� �� ���� �� � ��� "� ������� ��� � ��� ��� ���� ����� ���� ����� "� � "� ������ 3� ���� ��� ��� ������� .���� ��"��� ��� ��,�'��( �� ��������0 �� � ��'�� ��� ��� ����� <��� ���� � , ��� ���� � ,'� %�� ���� ����� ��� �� ���"��� ����� ��� �� ��� ���� � ��� �� ���� "� � � ,K� +� ���� ������ ����������� �� ������ �� "� ��� ��� ��� �� ����� ��� �� �� ��� ������������� ��� ����� ��� ��� ��

3� ����� ���� � ���� ����� �� � .�� ����� �� ��� ���������0 ��� ���"�� ������� ��� ��������� ��� �� �������� "� "�������� ������ ���� ����� �� ����� �������,�'� � � � ���'� ����� �� �������� �� ��� ���������� ����� �� ������ �� � ������� ���� � ���� ��� ���� �� ��� ������ ���� �� ����� ������� � 1��� "��� "�9������ �����

+�� ����� ��������� �� "� ��������� "� ��� ��� ����� ����� �� %� � @� 6� ���������� � ��� �����5����� ���� � "� ��� � ��� ����� ��� ��� ���� ���� "��� ������%�� �� � ��5� � ��� ���� � ���������� ��� �� ������ �� ������ �� ����� ���"� �� .3� ��� �� ��� � ��,����0 6� ��� <��� ���������� ������ ����� �� �"�������� � ��� �� ���� �� ����� � 5����"���� ���� �� 3� ������ ��� ��� �� 1��������� ��� �� ��� ������ ���������� ��� ���� ��� ���� ��� ������ ������ ������� ; �� "� ��������� "� ������ ��� �8������� �� �� �'� ��� �� ���� � ����� �� ��� ���� "�������� �� %� � &2

�� �'� � (��� ��'����� ��� � �� ���� � �� ��'������ � �� ��� � �� �'� � ��'��� � ��� �'� � (��'���(�

%� � @� �J ���� ��������� ��� ����� �� /� :� / ����������

,@&D % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

6� ��� �� ��� ���������� ��� ������ ��� ��� ����� � '�"���� ���� �� ����� ��� � �� ��� ���� ��� ���� �� ����� �� �"���� ���� �� -������� ��� �� ������������� ��� ������ ������ "� ���� ���� � � �� ��� ���� ��� ���� � ������� �� ������"�� �� ������ �� ������� �� ����� �

%�� �� � ���� � ��5�� ��� ��������� ����� ��� ��������� ��� � ���� ��"�� ������ +� ��� �� ��� ������ � � ���������� �� ��� �� �� �� �� �������� �� �������� ��"�� � ���������� ����� � ��J ������ ���� .E'K0 ��<��� � �������� �� �"�������� �� ����� �� ����� "���� �� ��� ����� ��"�� � ���������� �� ��� ��� .B' ������ ���� ��� ,* �� ��� � ���� ��0� 6� ��� ������ ���� �� ����� � ��� � �� ������������������

6��������� ���������� ��� ������� �� ��� ��5�� � � (� ���� � � �'� ��� �������� � �� ��� �� "� ����� ��� � ���� � �� ���� ��� ������������� ����� "� ��������� ������� ������ 6� ��� �;��������� �� ���� �� � ,D �� ���� ��� ��� �� ������ ���� � ��� �������� -/6 ������������ .-/6=�0�

+��� ������� ��� ������� ��� � ���� � ��5��� �� �� � ������� ��� �� ��� "���.������0 ��� ���"���5�� �� ��� � � 6 ���� �� ��� ��� ���� ������ ��� �� ���� ���� � ����� ����� ��� .��� ��� � �� ��� ����� ����0� �� �� �� �� ������� ��� �����;� ���� � ��5� �� ������� ���� ��� ��� �� ������� ����� ��(��� �� ���� .������ �0 ����� ����� �������� �;���������� �� ��(���(� ��� ��(���,��

�� ��� ��� QQ���������� 77 ��� � � ���� � ��5�� ��� "��� ���������� %������������"�� ���������� "������� ������ �� "� ���� ���� %�� ��� ��5� ��� �� �� �������� ��� ������� ������ �� ������� ������� ��� ����� ��� ��������� ���� ��� ����������� ����� ��� ������ �� ��5� ��� �;���������� �� ��� ���������� ���� �������� ��� .������0 ���� � ��5��� ���, ��� ���(� 6 ��� ��9���� � �� ��� ������ �� �� �� ��� ���������� �� � � ����, � ����(� ��� ������ ������ ������������ ����� ������ ��� �;����������� �� ��� ��� ����������� �� ������� � ���, � �;�&( �� � � ����

��� ��������� ��� ����� ��� ��"�� �"��� ������ ���� ������� ����� ��������� ��� �� � ���� ������ �� ������ �� ����� ��� ��� ��� ��������� ���� ��� ������� ���� ����� �������� ���� ��������� �� ��� ������ "� ����� 4���������� ��������� �� �;����� ��� � �����"�� "�������� .��� ��0 ���>�� ���������� ����� � �� "� ��9����� �� "��� ���� ������ ��� �� �����"�� ������� ������ "������� �� ���� ������ %���������� � ��� � ����� ������ ��� ��������� ����� ��� ����� ��� ��9����� .���� � ��� ��� � ���� �����������0� ���� ���� ����������� �� ������ ��� �� ����� �� ������ �� ��� ���� ���� �� ��� � ������� � �� ����� 6� �� � ����� ��� ��������� ��� ��� ��� 3 �� "� ������� "�������� ��� ��� ����� ��� �� ����� ���� ��� ��� ����� � ������ ��� ����� ��"������� +������ ����� � �� ���� "� ������� "� ������ � ���� � ���� �������� �� ��� ������ ��� �� ����� ������ ��� ����� � �� � � �� ����� � �� ����� ���� ���� ���� ��8����� �� � ��� �����5����� "������ ������ ��� �� ������3������ �;������ �� � ��� �����5����� .���� ���� !/� �� ������ �� ��� ����5��������� ���� ��� ��/��$ � � �������� ��/0� �� �� �� "� ��� �����5�� ������ "��������� �� ��� ��������� �� "� ����� ���� � �; ��� � ����� ���� �������� �� ������������ H&(I �� �� ��� ��������� �� ��� ������� ��� ���� ��� ����"�� �� 3+�������� ���� � �; ��� � ����� ��� ����� ��� �����5����� ���� �� �� � ����������

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@&E

� ��� ��������� ��� "������ ��� ����� H&@I� ��� � �� ������� �� ������� ������������ �� N������������ �� �� ����� �������� ����� ��� �� �� � .�����"�� ������0������"���� ����� �� "� �� ���� ��� �����5��� ������� ������� ����� ��� ����� "��������� ������� ���� ��� ������� ��� ���� �������� "�� ����� H,'�(&I�

� ����������������� ���������� �������������

3� ��� ���������� ��� ��� /� :� / ���� �� "� ���� �� �����5� ���� ���� ���� ������ 3� ��� ��� ��� �������� ����������2 "���� ���� � ������ ��������� ��� ������ 3��� "���� ���� � ��� �� ��� ��� . ����� ��� ���0 ����� � ���� � ����� ����� ��� ������ � ����� �� ���� ����� �� ���������5�� "���� ���� ����� ��� ���������� � ��� � ���� � �� ��� ��� ����� ���������� ���� �� �� ��� ����� ��� ������!����� �� ��� ������� ��������� � � ������ ����� ��� ���� ���� �� ���� �� �� ������� ��� ����� ���� � ��� � ���� � �� ���� %������� ��� ����� �� ��<��� ���� � ��������������� �; ��� ���� ��� ��� ����� �� ���� ��� ������� ������� � 1��� ��� ����� %�� ����; ��� � � ���� ���� ������ ���� �� ��� ������ ��� ��� ����� �� �������� ���� ��"���� ��� � ���� ��

7%�% ������

3��� "���� ���� � ��� �� ��� ��� . ����� ��� ����0 ����� � ���� � � ��5�� �� �������� .� � ,0 ��� ������ 4����� "���� ��� �� ������ ��� ����������� ����� ����� ������ �� ����� ��� ��� �� ����� ��� ���� � �;� ��� �� � H(*I� -� /6�7���� ���� "���� ��� �� ����� ��� �����5�� �� ��������� �������� "� ������ ������� � ���� �� � �� �� � ������ ��� "� ������� ����������� ����� ���� ��������� ���� ��� ��������� �����

6� -� /6�7� �� ������ ��� � ��� ����� ����� ��� ����� �� ���� ��� �� �� � �������� � � �� � ��� ����� ��������� ����� ��� ���� ��� ��� � �� �� ���������� � ��� ��� ������� %����� ��� ���� ����� ��� ���� � �� ��� ����� ���������� ������ ���� �O�� ���� �� ��� 3+�� +� ���� �� � ���������� �� ����� ��� ���� �� �� ������� �� ����� ����� ����� � ��� ������� ���� � "������ ���� ����� �� ��� :+���

+ ���������� � � -� /6�7� ��� ���� �� ����� �� ���� �� ������� ���������� �� ���� ��� ������� ���� H&'I� %�� ��� � ���� ��� ���� ����� �� ���� ���������5������ +� ��� � ���� �� ���� � �� � ���� ��������� ��� ���� �� ���� ���� ������� 3+� ���� �� � ���� 4�� ��� �� ��� �����5�� �� ������ �� �� ��� ��� � � ������� "�������� � ������� .�� ���0 ������"�� 3+� ������ �� ���� � ������ ������ �� ������ :+� ��� 3+� �� ����� ��� ���� �� 8������������������ �������� �� ���� ���� �� �� � ������������ 3+� ������ 3� ��� ���� � �� ��������� �� � ����� �� � � "����� ���� �����5������ 6������ � �������� ���������� �� ���� ��� ������� ����� �� ����� �� � ���� � ���� $ ��3 ��� � ��5� .����� � � ���� 0 ��� ������ �� � �� ��� �� ��� ���� ��� ������ 6� ���� ��������� ���� "� � � ��� ������� �� ���� ����� ���� ��9����� ������ 6� ���������� ���� � �� ��������� �� �����5� ��� ����� � ��� ������� ���� "� ������ ������������ �� ����� ��

,@@' % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

3� ��� �� ����5� ��� ����� �������� ��� � ��� "���� ��� .����� ��� ��� ������� ���� �� ����� ��� �"������ ��� ������ ���� �0� ���� �����5����� ���"�� ��"� ������ ��� � ������� �� ������2

!���� � ������� ! ��� ��� ���� � ��5� �� ��� ��� �� �� <�� � ��������� ��� � �� ��� ��5� ���� �� ����� ����5� ��� �������� ����

3� ������ � ���� ���"�� �� ��� ������ %����� �� ������� � ���3��2�"�� "���� ����� ����� ��� ��� ������� � ����� ������ ���� ��� ����� ���� ��� ��� ���������� �� ����� �� "� ���� �� �����5� ������ ���� ����� ������ � ������ .�������� ����� ��� ��� �� �� ��������0 �� ���� ����� "������ ����� �� ��9����� ������� .����� ��� ����� ��� ���� ��������� ��������0� ��;�� �� ������� � ����������� ����� �� ��� ������ �� �� ���� � ��� ������� ��� ��"�� �� �� ���� ,� ��������� �� ������ ��� ��� ���� ���� �� ����� "�� ��� ��� �J ���� �� "���� ��������������

7%�%�% ���3��2�"�� =�������� ������ ���� ����� ������� �� ��� ������� ���������� �� ���� �� �� � ���

� 6� ������� �� ���� ����5� � ���� "� ��� ���������� ��� ��� �� � ��� ��� �� ��� ��� �� ��� ��� ��� ���� �� ��� ���� �� ��� � ��� ����� ������ ��������� "� ������ �� ��� � �� ��� �;�� ��"�� � �� ����� ����� � ��� ���� �� ��� ����� %���;����� -� /6�7� O�� 3+� ���� ��� � � � � , ��� � � ,� ����� , �� ���� ���������� ��� ��� ��"�� � �������� M������� �� ��� � ���� ������� ���������� ��������� ���� ����� .������� ��� ����� �������� ���0 �� ���� ����� � � �, � � � � � ,� %����������� � ��� � � ��� ������ ���� ��� ������� �� �� � ��������� �� �� ����� ��� ����� ��� �� � � ���� ���� , ����� ��� �� ��� � �� ���������� �� , �� ��� �

����' �

� � � �� ����������� �� ��� ��������� �� ����� � ; ��� �� ���� �� � ��� �� ���� � ����� ��

��<�� ����� � ���� ��� �� ���� � � "���� ��� ����� ����� ���� ������� ��� ��� ����� � � ���� � �� ��� ��� "��� �� ����� "� �� ������ ���� ��� ���� ��� ���������� ������ ��� ���� �� ��� ��� �������� "������ ��� ������ � ��� ���� ������� ����� .���� ��� � ���� ���� ��� ����� ���� � � "���� ��� �����0 3� ����� ��� �������� ��� � � "���� ��� �� ����� ���� $ ���� � �� ���� � ��5� ��2

� � �� � ,� � ���� � ������� ���������� ���� ������ �� �� �;����� ��� ������ �� ���� ��� ���� ��

-� /6�7� O�� 3+� ���� ��2

���� � �; ����� ��� � ,� � ���������� � �� � (� � ���� � �����

����� ���� �� ��� �;�� � ��� �� "������ ��� �� ���� � ��5� ���� �� ������ ���� ��� ��� ��� ��� ���� ����� �� ������ .� � ,0 ���� ��� ��� �� ��� �����1���� ������ ��� ����������� ����� �� ���� �� ��� ��� �� ��� � � ���� ��� ��� �� ���� �� ��� ���� ����� ���� ��� ��� ����� �� �� �� ������

%�� � ������ ���� ������ ����� "����� �� "��� ��������� �� "� �;��������������� �� ��� �� ��� � ��� ��� �� � � � "���� ��� ����2

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@@,

����� �; ����� ������ � � � ����������� � � ��� � ,� � ���� � ������

���� �� ��� �;�� � ��� �� ����� "� ��� �������� ��� ��� ��� � ���� ������� ��� ��� ��� ���� �� %�� ����������� ������ ���� �� ��� ��� �� �� ���� ������� � ���� ��� ��� �� ������ �� �� � �� ����� ������ .%�� ��� ���� ��� �� ��������� �� �� ������ ��� � "����0 ��� �;� � ����� � ���� ������� �� ��� ����� ����� � ��� ���� ��� ��� ��� ��� ����������� ����� ���� �� ����� �� ����� �������� ��� � ���� ����� �� ��� ���� ���� �� ����� ��� ���� � ����� %�� ��� ���� � ���������� �� �����;���� ���� ��� ���� "� ����� ����� "������ ���� "� ��� ����8���������

��� ������ "���� ��� ���� ������� �� ��� ��"�� � ��� ������ , ��� ������� � ��5� �� ���� ������ ��� ��������� � �,:P���� ���� ������ ���� ��������� "���� ��� ���� ��� �� ��� ��5� ���� �� "� ������ �� ������ �� �� ����� ����� ��,:P���� 4����5����� �� ������ ��� �� "� ���� ���� �� �� ���� ��������� � ��� ������� � ��������� � ������� ��� �����5�� �� ��������������� �� ����� ���� ����� "������ ��� ����� ��� �� ����� ���� �� �;��������� ���� � ���� ��� ������ ���� � ��� � ���� � � �, � � �� ���� � �, � � � � � ,� =���� ����� �� ������� "� ����� ���� ��� ������� ������� ���������� ���� ��� ����� ����� ��� ������ 3��� ����� �,:P���� ��� ��� ������������������ ����� ��� ������ ���� ��� �� ��� ��5��

3� ����� �������� � �� ���� � ��� ��"�� � �� ��� ��5�� ��� ���� ������ �� "�������� ����� 6� ������� ������� �� ��� ��5�� ��� ����� ���� ��� �� �� � ��5� ��������� ���� ����� �� ������� %�� � ���� �� ��� ��5� � �� ������� ��� ���� ���������� ���� ������2,� � � ����������� � � � � � ,� :���� ������ �� � �� ���� ���� �� �� ��� ��������

����� "� ���� ���� � ������� "�������� ����� "� �����(� ������� ���� � � ����������� �� �� ����� � ����� ���� ������� ���� ����� ������

� � �� ��� � ��� ��� �� � ���� "� ���� ��� #����� �� � �� "������ ����� �� ��������� "�� ����� ��� �� ����� ����� ��� ���� ���� ��� ������ �������� ����

%�� ��� �� ��� ��5�� �� ���� �������� QQ�����77 ������� ��� �� ��� ��5� ��� "� �������� � ��� ��5� � ��� "��� ���� ���� �� "� ���������� .�� -/6 ����� ��� �;����0��� �� ��� ����� ��� ������� ���� � ���� $ �>�� �� ����� ��� �� ��� ��5� ����������� �� ��� �����2,� 6� � "����� ���� �� �� ��� ��5�� � � ��(�� � � �' � � � �� ( � ��� ������� �����

%�� �� � ����� �� � ��� �� ��� � ���� ����� �������� ��� �� �����������

(� ������� �� ��� "��� ����� �� ���� �� ���� ,� � �� �� ����� ��"�� ������ � ���������� �� � ����� �� ��� ����� "��� ����� ��"�� � �� ����� 3��� �������� ������ "��� ����� �� �� ��� �������� ���� ��� ������ �� �� � *��� � ,� �� � ,� ��� �� � *� 3� ���� ����� � �� "� ��� ����� ���� ��� "��� ������������ ���� �� ������� ����� �� ������ ��������� �� "� ����� ��� ������������ ���������� � , ��� * ����� ����� ���� ��� �� �� ����� %������������ ������ �� ��� ��� ��� ���� � ���� �� �� ���� �� ��� ������� ����� ������� �� ���� ,�

,@@( % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

����� ������ �� ����� ������ � �������� ��� � ���� "���� ��� ���� �� "� ������ ����� � �� ��� � ��� "� ������ ��� � � �� � ����7� �� ��� ����� ���� ��� �� �������� ��������

7%�%&% /�2�"�� =������� ��� �� ���� �����5�� "���� ��� �� ��� �������� ��������� !���� �����5��

"���� ��� ����� �� ��� 3+� ��� �� ��� :+��� � ����� ��� �� �"���� � ����������� ����� �� ��� ��8������� ���������� �� ������� �� ��� ��� ���� -� /6� ��"���������� ��� ���������� ����� <��� ����� ����� �� ��� ��������� "���� ���� ����� ���������� ��� ���� � ������ ����� �������� ���� ����� �� � ����� �������� ��� �2

� � �� � �� � ��� � ,� � ������ � ������ � ��� � ,� � ������ � �������+ "����� ���� ������ ���� � ��������� "���� ��� �� "� � ������ "� ���������3 "���

������� ����� ��� ���������� ����� ��������� ������ �� ����� <��� �� ����� ������������ ��� ���� �� ����� �� ����� ����� �� ��� :+� ���� ���� ����� 3� ������ ��� �� ��� ��5� �� ��� 3+� ��� �� ��� :+��� �� ����������� �� ��� ������ �������"�� �� ����� ���� ����� ��2

� � �� � ,� � ���� � ����� � �������� ��O� � ��� ���"�� �������� �� ��� ���������� ������ �� ���2

����� �; ������ ������� � �� � ����� � �� � ���������� �����5����� � ��� ��������� "���� ��� �� � ���� ������������ ��8�����

����� ��� � ����� ��� ������ ��� ������ ������� ��� �� ���� � ���� ���� �� "����� �� ��� :+� ������� ������ ���� ��� 3+�� 3� ���� ���� �� ������� ��� ���:+� ����� ���� � � �, � � � ������������ ����2

����� � �; ������ � ������ � �� � ������ �������

7%�%7% ,����� ��� �������3� ���� ��������� � ��������� "���� ��� �� ��� ��"�� �� �� �� ���� � ���

-� /6� ��"����� %� � * ������ ��� �������� ���� � ���� ��� �� ����� ����-� /6�7� ��� ���� "���� ���� ������� �� ��� M+� �;������������ �����

10

100

1000

10000

1 4 16 64 256 1024 4096

com

plet

ion

time

(mse

c)

message size (Kbyte)

segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc

10

100

1000

10000

1 4 16 64 256 1024 4096

com

plet

ion

time

(mse

c)

message size (Kbyte)

segmented, 8 clu * 1 procsegmented, 8 clu * 8 procoriginal, 8 clu * 1 procoriginal, 8 clu * 8 proc

%� � *� �,:P���2 �������� ��� �� ��� ������� .���0 ��� �� �� ������� .�� ��0�

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@@&

��� ��"�� �� �� ���� (� ��� ��� �� ����� ���� ���� � �� ��������� ��� ���������3+� ��� :+� �������� � ��� ��� ���� �� ����� ����� ������ ���� ��� �����8��������� �"���� 3+� ��� :+� �������� � 3� ������� ��< ������������ ��� ������� .���� , �� ,B =/N�0 ��� �� �� ������� .���� , �� D =/N�0�

��� ��"�� � =/N� ��� ������ ��� ������ ��� �9� � �� ��� ������� ������������ ����� ��� ����� ���� ����� � ����� �� %� � * �� "� ����� ��� ���� ����� ������ � � ���� �� ����� ���� �� ��� ��� ���� �� ����� ������ �����;������ ����� �� ��� �� ����� "���� ���� "��� ������� ��� ��� ���� ���� � ���� �� -� /6��%�� ��� �� ���� ��� �������� ��� ��� �� ����� �� � � ����� ���� ��� ��� ���� ������ � ������ � � �� ��� � �� ��� ��������� "��������� %�� �;����� ���� �� �� ������� � , =/N �� �� "���� ����� � , -� ���� � ����� ,'?E � ���� �� ���������� ��� ?@(* � �������� ���� ���������� �� �� � �� ��� "�������� �B�B* -">� �� �� ��������� ���� �� E*K � ��� � ������ ������"�� "�������� ��� � ��?� , -">�� 3������ �� ��������� ��� ��������� ����� ��� ���� ��8���������� ��������� �� �� � �� ��� "�������� � ���� '�EB -">�� �� ,@K � ���� �� ������"���3��� �� ��������� ��� �������� ���� �� ��� ��� �� �� ������� ��� �"��� ������ .�� , -� ���� ��� ,'?( � ���� ��� ������� ��� ,'?E � ���� �� �� ��������0� ������� ��� ��� ���� �� ����� ����� � � ��� �� �� �� �� ������� ���� ����� ������� .�� , -� ���� ��� &('' � ���� ��� ������� ��� ?@(* � ���� �� �� �������0� ���� ������ ����� ���� �� �������� ������ �� �� ��� ��� ������"�� ��������� ����� �� �������� �� ��� �� ��� �� ������� ������� ��� ���� � "�������� �� ������ ����

+����� � ���� �� ��� �� ��� ������ ��� ��������� ���� � �������� ���������� �� ��� ������� �������� ���� 3��� ��� ��� ���� �� ������ ��� ��8������� �"������� � 3+� ��� :+� "���� ��� ���� ��� ���������� ���� 3��� @ -����� �� ��� ��� �������� �� �;����� ��� �������� ����� ,&((@�&� ,(?(&�& �*', �� ���� �������� ���������� ���� ��������� �

3� ���� ������� ���� ��� 8������ � ��� �������� �� ��������� %� � B ����� ������������ ������ ����� ��� ��9���� � "������ �������� ��� ������� ������������� %�� ����� ���� �� �� �� �� �� @K� ������� �� ��� � ���� �� ��� ��������� ������ ���� ,K� 6� ������� ���� �� � ���� ���� �� � "������ ��� ������� � ����

-2

-1

0

1

2

3

4

5

6

1 4 16 64 256 1024 4096

(mea

sure

d / m

odel

ed -

1)

* 10

0%

message size (Kbyte)

4 clu * 1 proc4 clu * 16 proc8 clu * 1 proc8 clu * 8 proc

%� � B� �,:P���2 ��������� ������

,@@@ % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

��� ��� ������������� ��� ��� ���� ��� �� ��9���� � �� ����� ���� �� �� �������� �� ��� � � ���� ��� ���������� ���� �� ���� ��� ��� �� ������ ��� ������5�� ����� 3� ���� ������ ��� ��9���� � "������ ��� "��� �������� ���� ���� �������� ���� ��� ��� ��"�� ������ ��� � ���� ������ �L��� "� �� �;��������� ���� �� 4�� �������� � ���� ��� ��"�� ����� �� ����� ��� ���� ����� ����� �� �; �������� ���� ��9���� �� ���� ������ "���� ,K�

7%&% ����

��� �� ��� ���� ���� ��������� �� ��� ��� �� � ������ ��� � �� ���� ����� ����������5�� "���� ���� 3��� � ������ ��� ���� ��� ��� ����� � � � ���� ���� ��� � ���8����� ������"���� � ���� ��� , ��� ������ �� ����� ������ 3��� ��� ������ ���������� ������ � ����� �� ������ ��� O�� ����� �� ���� ����� ������ .�� ������ � ��� ����� ��� �� �� ���� � ���������5�� ���� �� �������� ���� ��� ����������� ��� �������� ����0 4��� �� ���� ���� ���� ��� ���� � �"���� ��� �������� ��� ���������� ����� �� ������ ������� �� �������� �� ����� ������� ��� ���� � �"���� ����� "� ���� �� � �� �� ��� � ���� ��� +���� ���� � �"���� �� ��� ������� � ���� ����� "� ����� ��������� "� ���� �� ��� ��5�� � � �� � � �� � � ���� ��� 3+� ��� � ��������� �� ������ �� ��"���� ����

3��� � <;�� ���� ����� ���� .� O�� ���� �� ������� ��� ����� �� ��� �������0� ��� ������� �� ���� �"���� "��� 3+� ��� :+� ���������� 3������5� � ����� �� ������ "� <���� � ���� � �� ��� ��5� ���� ������ ��� ��������������� �������� ���� �� ������� ��� ��"�� � ������� ��� �� ��� .�;��0��"�� � ��� ����� ��� ������� +���� ��� �� "���� ���� �� ����� � �� � ,� � ���� � ���� ����2

����� �� ��;������� ��� � ,� � ����� � ������ � ������������ ��� � ,� ��;������� ��� � ,� � ����� � ������

� ��� � ,� � ����� � ������

���� ����� ��� ��� ����� �� ��� ���� ��� ���� "� ���� �� ����� ��� ������ ��� ����� �� ��� �� � � ������� ����� ������ ��� ���� ������ ���� ��� ���� ��� ���� ��� <��� ���� �� ��� <��� ��� ����� �� �� � ������� ���� �� ��� �� ������ ����� �� �� � ������� �� �� ���� ��� ��������� ����� �� � ��������"�� ������������ ��� ���� ��� ��� �� ���� ��� ��� ��;� �� ���� �� ��� �� �� ���� ��� ���� ��� ��� �� 1��� ���� �� ������ ���� ������� ��� ��� �� ��� � ��� ���� ���� � � ��� ��� ����� �� ����� ���� ��� �� ����� ���� ���� ������ ��� ���� ��� ��� �������� ��� �� ��� �� ��� "�� ��� ��� ������ �� �� � ������� ��� ��� ��� �������� �� ��� ���� ��� ����� �� ��� "�� ��� �������� ���� �8���� ��� ����� "�������� ��� ���� ���� � �� ���� �� � ��� ��� �� � ����� ������� 4�������� �� ��������� ����� �������� �� ��� � ���� � �� � ������ �� ����� ����� +� ����"���� ���� �� ��� ��� ����� "����� �� �����5�� ��� ��� ��� "����� ���� � ������"��8���� ���� ��"�� �� <���� � ����������� �� ��� ��5��

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@@*

%� � ? ������ ��� �������� ���� � ��� ��� � ����� �� ����� ���� -� /6�7���� ���� � ������ ��� ��� �� ����� ���� ���� � �� �������� ������� ��� ��� ������ ����� ����� ������ ���� ��� 3� ������� ��� ��� ��< �������� �� ����"���� ���� ��� ��� �� ����� ������ � � "������ "� ���� �� � ������ �� ���� �� ��� 3+� "��������� %�� �;����� ���� �� �� ������� � , =/N �� �� ������ � , -� ���� � �� �� � �� ����� ����� ,'?D � ���� �� ��������� ��� ?@&? ��������� ��� �������� ���� �� ��� � ���� �� ��� ������������ �� ����� � ������ � ���� ���� ���� ����� ��� ������"�� 3+� "�������� �� "� �����5���

%� � D ������ ��� �������� ���� �������� �������� ���� ���� ��� ���� � ������� ������� �� ��� ������ %�� ���� ���� ��� ��� ��������� ����� �� ��� ��������� ���� �� "���� ��� .�� �� ,@K0� "�� �� ��� � ���� �� �� �� ���� �"��� ,K�������� � ���� ���� �� � "������ ������ ��� ��� �� �� +� ���� "���� ���� ������� � �������� � <�� ��� ��"�� ����� �� ����� ��� ���� ����� ���� � �� �� ��� �"�� ���������� .������ ���� ,K0�

7%7% +���

!����� �� ��� ������� ��������� � � ������ ����� �� � ��� ��� .�� ����� ��� ����0����� � ���� ���� ��� � ��� ���� �� ��� ����� +���� ��� �� � ������ ������

10

100

1000

10000

100000

1 4 16 64 256 1024

com

plet

ion

time

(mse

c)

message size (Kbyte)

segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc

10

100

1000

10000

100000

1 4 16 64 256 1024

com

plet

ion

time

(mse

c)

message size (Kbyte)

segmented, 8 clu * 1 procsegmented, 8 clu * 8 procoriginal, 8 clu * 1 procoriginal, 8 clu * 8 proc

%� � ?� �,:P����2 �������� ��� �� ��� ������� .���0 ��� �� �� ������� .�� ��0�

-10

-5

0

5

1 4 16 64 256 1024

(mea

sure

d / m

odel

ed -

1)

* 10

0%

message size (Kbyte)

4 clu * 1 proc4 clu * 16 proc8 clu * 1 proc8 clu * 8 proc

%� � D� �,:P����2 ��������� ������

,@@B % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

�� ������ ��� O�� ������ ��� �������� ��� �� "� ������ �� � � �� � ,������ � ���� ����2

���� � �; �� � ������ �� � ������� � ��� � ,� � �� � ������ � ������������ � �; ��� � �� � �������;���� ������� � �� � ������

� ��� � ,� � �� � ��������

���� ��� ���� ���� ��� ��� �� ��� � ��� ���� ��� ��� ������� �� ����� ������� � �� ����� ���� �� ��� �;�� � ��� ��� ��� �� ���� ���� �� ���� ���3+� ������ ��� ��� ��� ��� ���� ����� �� �� ���� ��� ���� �� � � �� ��� ���������� ������ ��� ��� �� ��� �� ������ ���� �� ������� "�� ����� ��� ������� ������ � ��� �� ����� �� ��� �����

%� � E ����� ��� ������� �������� ���� �� ��� ��� ��< �������� �� ����"���� ��� ��� � ������ 3� ����� -� /6�7� ��� ���� �� ����� ���� ��� ��� �� ������ �������� ��� ������� ��� ������ �� ��� ���� � ������ �����,:P����� �������� ���� � �� �������� ����� ������������� �� ����� �� ��� ���� ������������ �� "����� 3+� "�������� �����5������ %� � ,' ������ ��� �������� ������������ �������� ���� ���� ��� ���� � ������ ������� �� ��� ������ +� ����"���� ��� ��� � ������ ��� ��������� ������ ��� ����� �� �� �"��� �; ��� �� � �� ���� ���� ��� � ���� �� ��� ��� ������������� ������ ������ ����� ��� ��� �� ������� �� ��������� ������ ��� �� ����� ���� ���� ������� �� ��� ��������� ���� ���� �;�� ��� "� ��� �������� �� ����� +� ���� "���� ��� ��� � ��������� ���� � �������� � ������ ���� ��� ��� ��"���� ������ ��< ���������

7%6% ���3���

+�� ����� �� ���� ��� ����� ���������� �; ��� ���� ��� ���� ��� ��������� �� ���������� ��� ��� 1��� �� � ��� �� ����� 4�� ����� ��� �� ������� ��� ����� �� �� ���8��� � � ����� ����������� ���� ����� ���� �� ����� �������� �� ���� ��� ���� �� � "�������� ������"�� �� ��� 3+� ����� �� ��� ���� �J �������

%� � E� �,:P+���2 �������� ��� �� ��� ������� .���0 ��� �� �� ������� .�� ��0�

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@@?

+� ������������ ��� � �� �������� ��������� �� -� /6�� �� �� <��� ��� ��� ����������� � ����� ������ ����� ��� ���� � ��� �� �� �����) ��;� �; ��� � ���� �������� ��� ����� ������ �����������) ��� <����� ��� ��� ����������� "���� ��� �������� ���� �� ��� �� ���� �� ����� �������� ���� ������ � ����� ����� ������ �������� ����� �� � "� ��9���� � �� ������� � �� ��� :+� ��� 3+� ��������� ��� ���������� ������ .�� �� �������� �� ��� �����5����� � ��� "���� ��� �������������0 ��� � � ���� �������� ���� ��� �J ���� ��� � ��� ���� 3+� ������ ��� �������� ��� � ���� ������������ �� "� ������ �� ��� �� � �� �� ��������������� ��� ����� ."������ ��� ���������� �����0� ��� ��� �� �� "���� ���� ������ �� ����� ��� "���� ��� ��� "��� �������� �"���) �� ��� ������� �� ���� �������� ��� ��� ����� ��������� "������ ��� ���������� ������ 6�� �������� ��� ��� � �� � ,� � ���� � ���� ����2

���� � �; ���� � ,� � ������ ��; ������ ������� �� ����������� � ��� � (� � ����� � ����� � ���

��� �� ����� ��� ����� ������� � $ ������ �� ��� � �� � ���� ����� � �� ����� ��� ��� ����� ��� �� ����� ��� �� ��� ��� ����� ���� ���� �� ��� �;�� � ������������ �� ��� ��� ��� ����� ��� ��� �� ���� ��� ������ �� ��� ��"�� � �������������� "� ��� �� � ��� �������� ��� �� ���� ��� �� ����� ��� �� ���� �������� ��� �� ��� �;�� � ��� �� �� �� ��� ��� �� ���� ��������� ���� ����� ������ ��� ��� ���� � ���� ����� ��� ���� ���� �� ���� ��� ��� �� ������� �� ����� ����� ���� �� ������

3� ������ -� /6�7� ��� ���� ������������ ��,:P���3��� ���� ��� �������� �� �������� �� ��� ������ �; ��� � ����� "������ ��� ������ ��������������� ������� �� ��� ��� �� �� ������� ��� ����� �� %� � ,,� %�� �� �� �������� ������� � �� ��� ��5� ������ ���� B@ �� ��� �����5�� ������� ������ ������� ����� ��� �� O�� ������ ������ �� ���� � ��5�� "������ B@ ��� ,(D �� �������� ����� ����� ���� � ��5��� ��� �� ��� �������� ��� ������� ��� ���� ������� ��� � ������ ���� -� /6� ������������ �� ������� ������ ��� 3+� ����� ���� � ������%������� %� � ,( ������ .�� ��� ������ ����� "������ ��� ���������� �����0 ����������� ���� �������� �������� ���� ���� ��� ���� � ������ ������� �� ���

-10

0

10

20

30

40

50

1 4 16 64 256 1024

(mea

sure

d / m

odel

ed -

1)

* 10

0%

message size (Kbyte)

4 clu * 1 proc4 clu * 16 proc8 clu * 1 proc8 clu * 8 proc

%� � ,'� �,:P+���2 ��������� ������

,@@D % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

������ %�� � �� ��< ��������� ��� ��������� ����� �� �� �� ,BK ��� � �� "��;������� "� ��������� ������ ��� ����� ��� �� ������������� �� ����� ��������� ������

� ������������ ������� �� � � ���� �� ������ �!����

��� ������� ��������� �� �� ���� "��� �"������ ���� ��� ��������� �������� ���� /���� ���� ����� ��"������ ��� �������� ������ �� ����� ������������ � ���� �������� � ���� ���� ���� ��� ��������� ����� "��� ��������� "� ����� ����� ����� �� ��� /���� ������ ������ 3��� ��� ��������� �� ���� �"�� �� �������� ��� ��� ���� ���� ���� ����� ���������� �� � ���� ���������� ���������������� � � ������� ���J ����� "� ����� ������ ���� ������� �� �� >���2����" �����5� ��� ��������

6� ���� �� ����� �� ������� �;��������� ������� �� ��� ���� ������ ��� ���M+� ������� �� ���� �� #��1� N����������� +������ .#N0� �� N����������� :��������� N��������� � +������ .N�+0� ��� M��� N��������� � �� ����� �� ���

-10

-5

0

5

10

15

20

1 4 16 64 256 1024

(mea

sure

d / m

odel

ed -

1)

* 10

0%

message size (Kbyte)

4 clu * 1 proc4 clu * 16 proc8 clu * 1 proc8 clu * 8 proc

%� � ,(� �,:P���3���2 ��������� ������

10

100

1000

10000

100000

1 4 16 64 256 1024

com

plet

ion

time

(mse

c)

message size (Kbyte)

segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc

10

100

1000

10000

100000

1 4 16 64 256 1024

com

plet

ion

time

(mse

c)

message size (Kbyte)

segmented, 8 clu * 1 procsegmented, 8 clu * 8 procoriginal, 8 clu * 1 procoriginal, 8 clu * 8 proc

%� � ,,� �,:P���3���2 �������� ��� �� ��� ������� .���0 ��� �� �� ������� .�� ��0�

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@@E

������� ��� ���� ��� ��� ��� M�� � � ���� 6������� "� �"��� .�N$%���0� ��"�� (�����5�� ��� ����� � �=/������ "�������� .�� -">�0 ��� ������� ����� � .�� �0"������ ��� M+� �������� +� �� "� ���� �� ��� ��"��� ��� ����� � "������ ��� ������� ������ �� ,�* �� @�' �� ��������� ��� �� �� &�' �� (D�' -">�� ����������� �� "�������� ��� ����� � ���� ��� ����� ���� ��� M+�� ��������� ����� ����� �� ������� ����� ���� �� ��� �������� ����������� ���� �� "� �����"����� �� ��� ������ ���� ����� �� ������ �� .�� �� *' �0 "������ ��� ��������+������������ ��� ������� ��������� ���� ���� ��� ��� �� �� ������ ����������J � %���������� ��� ��������� ����� ��� ������� ��� �� ��� ������ ��������������� ��� ������� � ��� �;�������� ��������� �� ���� �� ���� �� �� >�������"����� ��� ������� �� �� ���� & �� � ���� ��������� ������

��"�� (

+���� � �=/������ ����� � ��� "�������� "������ ��� ��� M+� �������

%�� :���� � .�0 �� ��������� .-">�0 ��

#N :����� N�+ M��� #N :����� N�+ M���

#N &�* ,�* (�* *�' (B�' ?�'

:����� &�* &�' @�' &�* @�' &�'

N�+ ,�* &�' (�' (D�' B�' ?�*

M��� (�* @�' (�' B�' @�* B�*

10

100

1000

10000

100000

1e+06

1 10 100 1000 10000 100000

mic

rose

cond

s

message size (bytes)

MPI_Isend (Leiden -> Delft)

gapsend overhead

10

100

1000

10000

100000

1e+06

1 10 100 1000 10000 100000

mic

rose

cond

s

message size (bytes)

MPI_Isend (VU -> Delft)

gapsend overhead

10

100

1000

10000

100000

1e+06

1 10 100 1000 10000 100000

mic

rose

cond

s

message size (bytes)

MPI_Isend (VU -> UvA)

gapsend overhead

10

100

1000

10000

100000

1e+06

1 10 100 1000 10000 100000

mic

rose

cond

s

message size (bytes)

MPI_Isend (VU -> Leiden)

gapsend overhead

%� � ,&� ���� �������� ��� �� �� �,:P:���� "������ ��� ��� M+� ��������

,@*' % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

��� ���� ���� ���� ����� ���������� ��������� �� �� ���� & ��� "���� ��/� :� / ��������� �� "��� �� ������� ��� ��������� ��������� %� � ,& ��������� �������� ��� �� �� ��� � ��� ,( ����� "������ ��� M+� �������� ��� ��� ����� �� ��� �� ������� ���� � %� � ,& .#N �� N�+ ��� #N �� M���0 ������ �����"�� ��� ���������� �� ��� �������� 3+� �� %� � (� �������� ��� ������ ��������� ���� �� ��� �� ���� B@ �� ������� ������� ����� ������ �� O��� ��������������� �� ��� �� ������ ���� �� ��� �� ��� ����� ��������� ����� �� N����� ��� ���� �������� ����������� ��� :����� ������ �� ���� ��� �� ��� ���� � ��� M+���� � ���� ����� ����� ��� ��8���� �� ��� ������ ��� ���� �� ���� "��������� �������� ���� �� ������� ����� �� ���� ��� ������� �� ������� ��� ���� ���� �� � ������ ����� ��� ����� � ��� ������� ����� 8������������ �� ��� ��� ������� ����� �������� �����������

��� ���� ���� �� ������ ��������� �� �� ���� & ����� � ��� ������ ���������������� ���� ������ �� /� :� / ��������� �� ��� ������ �������� �� ����� ����"�� (� ��� ��������� ����� � ��� M+� ����� ������� ��9������� �� �� ������� %�� ������� ��� ���� ���� ���������� �� ��� ���� ��������� ������ �� �������� /� :� / ��������� � ����� �� ��� ������� ������"�� ���� .�� :����� ��M���0� 3��� ���� ����������� ������ �� ���� � �� �������� ��� ���� ����� ������������ � ����� �� ��� QQ"������� �77 3+� �����

1

10

100

1000

1 4 16 64 256 1024

com

plet

ion

time

(mse

c)

message size (Kbyte)

segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc

1

10

100

1000

10000

100000

1e+06

1 4 16 64 256 1024

com

plet

ion

time

(mse

c)

message size (Kbyte)

segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc

1

10

100

1000

10000

100000

1 4 16 64 256

com

plet

ion

time

(mse

c)

message size (Kbyte)

segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc

1

10

100

1000

10000

100000

1e+06

1 4 16 64 256 1024

com

plet

ion

time

(mse

c)

message size (Kbyte)

segmented, 4 clu * 1 procsegmented, 4 clu * 16 procoriginal, 4 clu * 1 procoriginal, 4 clu * 16 proc

MPI_Bcast MPI_Scatter

MPI_Gather MPI_Allgather

%� � ,@� =�������� ���� �� ��� ��� M+� ��������

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@*,

%� � ,@ ����� ��� �������� ���� � ��� ��� ���� ���� ���������� ."���� ����� ������ ������ ��� ��� �����0 � ���� ��� ��� M+� �������� +� �� �� ���� &� ��������� �������� ���� �� ��� ������� ���� , ��� ���� ,B ��� ������ �� ����� ������� 8������������ ��<� ��� �������� ����������� M�� �� ��� �������� ����� ��������� ������ �������� ��� �9� �� ��� ���� ������� ��� ��� ������������� ���� � ���� � ��5� "������ ,B ��� B@ ��� ��� ������������ "���� ������ � �� �������� ����� "����� ������� � ���� -� /6�7� ��� ���� ��������������

" #����� ���$

:� / HEI ��� :� !/ H,I ��� ���� � ��� ������ � �� ����-��:� /� ����� ������� ������ �� �������� ��� ��� :� / �� ������ ��� �� ����� ���� �� �������:� !/ ���� ��� 3� ��� ="� �� ��� ���� ��� ������ ������ "�������� �������� ��� ������� ������� �� �������5�� �� ��� ���� �� ���� ���� ��� �� �������� ������ �� �� ��������� 3����� ����� ����������� ���� ���� "��� ���� �� ����� ���� ���� ���� ����� H,�@�E�(*I�

��� �� ����-�� �� ������� ���� H&&I ��� ��� ��������� ��� � ���� ������� �� ���� � ��5�� ����"��� /� :� /7� ������ ��� �� ����� �������� �����N������������ ��� ���� ���� �� ���8������ ������ �� ����� ��������� �� ������ "���� ���� ���� ���������� ��� ����� �� ���� ������

��� � �� ��� H?I ������� "���� ��� ��� ������� � �� ��� ������ �������� ���� ������� � ���� ��������� ��� ��� ������ ����� ������ H&*I ������� ���������� $���� "���� ��� �� ������ �� � �������� ��� �����<�� :� / �������� ������"�� � � $���� "���� ��� ��� ���� �� "���� ����� ��� � ���� �� ����� ����$ ������ �� ���� �� ��������� �� ���� ������ -���� ��� "���� �� �� ����5����� ��������� �� H(BI ����� ��� ��������� ������� ��������� ��� ��5� � ��� ���� ����"��� ��������� �� ������� �� ������� 6� � �������� ������ �� � ����� �� �����5�� -/67� "���� ��� ��������� "� ���� � �� �������� ��� ���� ����� �����5�����H(?I�

#�� �� !��1� �� ��� ������� �J ���� ��������� ������������� � "���� ��� H&?I��� ���� ���� H&BI �� ��� ������ ��������� ��������� ���� ����� ��� ����� �"������ ���� ��� "��� ������� �� �����5�� ��� �� ���� ���� ���������� .�� ��"���� ���0 �� ������� � �-/� ��� � .���� ��������� ��������0 ���� �;��"�� ������� �� �� ���� ����� H,B�((I� ������� ������� ���� ���� � �� �������� �� � ������� ������ �� �� ��������� 4����� ����� ���� ���� ���������� �� �������� ������� ������ ������������ ������ ���� ������ �� ���� ���� ����� ������ H&�&,I�=���������� � ���� ���� ���������� ��� �����5�� �� H,?I� "�� ������� � ��������� ���� �� ��� ��� ������ ����

4�� ���� �������� ���� �������� ���������� �"��� ��� ��������� ���������� ������� �� ��� H(@I ����� �����5������ �� -/67� "���� ��� �� ������ �� �������� ���� ��� ���� ��� ������� ��� ������� ���� ������� � ���������� ������ �� ��� ������ ����� ������� � -� /6� �� � ����� ���� ����� ������� �� ������� �������� ��������� � ������ �� �� ����� �������������� ���� �� "�

,@*( % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

� ������ �� ���"�� �� ��� ������ ��� � 6��������"���� ��� ������ ���������

������� ��� ������ ���1� �� ��� �������� "������ ��� �������� ���� �� ��� ���� � ��� -� /6� ��"���� �� �����5� ������"���� ������ ��� ��� H,,�,(�,@�,EI���� 6���������"�� -/6 /���� �� .6-/60 H,*I ��� �<�� ���� ���� ���� ����� ��� ������ �� �������� ������ ����� � ���� �� ����������"����� ������ ���� �������� ��

% &����������

������� ������ � ��� ����� ���� ��� �������� ����� ������ �� "� �����5�� ����� �J ������ �� � ������ �� �� ��������� ����� ��� ���� ���� ���� ���� ������� � ����� �"���� ���� �� �� ��� � ����� �����5������ �������������� 6� ���� �������� ��� ��"�� ��� �������� �����5������ �� �� � ��������� ���� ���� �����������%����� �� ��� ���� � �� �������� �� ����� ���� �� ���� ������ ����� ���� �� "����� �� �������� ���� ��9����� ��������� ������ �������� �� "����� ���� �����5�������� ���� �� �������� ��� ���� ����� �� ��� ���� ���� ���������� "���� �� ����������� ��� ��������� ����� .�� � �� ��� :+� ��� 3+� ������� � ��� ��� ���� ����� �� ������ ����� 0� ������� � ���� � <;�� ������ ���� �����5������ ���� ���� �������� ��� �� ��� � ���� ���

%�� "��� �����5������� �� ���� � ������� � ���� ���� �� � ������� �������� ��� �������� ��� � ���� ���� ����������� -��� �;����� .:� /�"����0����� ��� ��� ����� �� ���� ���� ���������� �� ������ �� �� ������ ���� ��� �� ���������� ��� ���� ��������� ��������� 3� ��� ��"�� � ��� ����� ��� /� :� /.���������5�� :� /0 ����� ��� � ��� ��9����� ���� � :� / ��������� �� "������������ +���� ��� ���� ���� ����� ��������� � �� ���� � ��� ���� � ��5����� ���� ������� ������ �� ������

3� ���� ���� ��� /� :� / ���� �� �����5� ��� �������� ���������� �� ���-� /6� ��"���� ."���� ���� � ������ ������ ��� ��� �����0� ��� ��� ��"���� ������� ����������� �� ��� ��5� ��� ���� ����� �� ������� "���� �� ������� ���������������� ��� �����5����� �� ������ ��� �������� � �� ����� ��� ���� � ��� �� ������ ��� �J ���� ��� ���� "� ���� ���� ����� ��������� .�� � �� ����� �� "��3� H&DI0 �� ������ ������ � ��� ������ ������������ ���� ����� ������� �������� � ����� 3� ���� ����� ���� ��������� ��� ������ �� �;�������� ���� ������� ��� �� ������ �� ��< ����� ������ ���� ���� ������� � �� ��� � ���� ���6� ��� ��������� �������� ����������� ��� �;�������� ���� ���� ��� ������� ����� � ������� ����� �� ��� �������� ����� 4�� �� ������ ������ �������� � ���� �� ��� ���� ��������� ����� ����� ������� � ��������� �� ����� ����

3� ����� ��� ��� �� ������ ��� �� �������� ���� ������� � ���������� ����������� �������� ���� �� �������� ��� ���� �� ��������� ������ ���� ����������� ����� ��� ������ ��"���� �� "� ���� �� ��� ���� ������ �� �� ������ ���������� ������� ������� � �� ��� ��������� ������ ���� ��� M+� ������ 4���������"�� ��� �� ������� ��� ������� � �-/ ����� ���� ���� � ������ �������

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@*&

������ ��� ��� �� ���8��� ��������� ���� ���� ��� � ��� "���� �� �� -/6 ��"�������� ������ ����� ����� ���� �� ��� �� ��������� �� ��� ��������� ������� �� �� ��"���� �� ��� ��;� ���� �� ��� ������ ��

��$����� �������

���� ���� �� ��������� �� ���� "� � N�% ���� �� ��� #��1� N������������ ������������ M+� ����� �� �� ���������� � ��� +���� �� � ���� �� =������ ���6� �� .+�=60� 3� ����� /���� -��5 .N��������� � ��� ��0 �� ��� �����"�� ���� ��� ��� �����5����� �� ���8��� ��� !��� ��� -������ �� ��� �����"������ �� ���������� %������� �� ����� R��� $���� �� ������ ��� M+� �� ��� ������

����� �� � '!����� ��� �� ����!����� �� �����

#���������

H,I +� +��;������� -�%� 6���� �� ���� � ������� =� � ������ :� !/2 �� ��������� ��� ���� ��

���� ��� :� / ���� A ��� ���� ����� ������� � �������� ���� �� �������� ���������� ��2

/�� ����� � � ��� ������� �� /������� +� ������ ��� +� ���� ����� .�/++0� ����� ���"����

=+� R��� ,EE*� ��� E*A,'*�

H(I �� ���� $� �����1�� � $� ����� =� R� �"�� �� :�� ������� �� $����� %� ��������� /������ �

���������� � ��� 4� � ������ �"1� � ������ +=- ������ =����� ����� ,B .,0 .,EED0 ,A@'�

� ����� ���� � ��5� ���� � �� ��� ��5�$ ��"�� � ���� � �� ����� � � ���� ; ������� ����� ������ ���� �������� �� ���� � � ��5� ����� �� ���� �������� �� ���� � � ��5� ���� �� "������ ��� ���� �� � ��5� , ��"�� � ��� ������! �������� � � ��� ��� ��� �� �� �������� ��� � � ���� ���� ������������� ������ �������� ��� �� ���� � � ��5� ���� �� ����� �������� ��� �� ���� � � ��5� �� ��� ���������� ��� �� ���� � � ��5� .���� ����� ���� �0� ��� �� � � "���� ��� ����� �� ��� .�� ���0 � � "���� ��� �������� ����� � � � "���� ��� ���� ���� ���� � � ��5� ���� �� � � "���� ��� ���� ���� ���� � � ��5�

� ��"� ����� ���� �� ������� :+� ���������� ��"� ����� ���� �� ������� 3+� ���������

,@*@ % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9

H&I -� ������5��� #� -������� M� /����� �J ���� ���� ���� ���� ����� �� ������ ������

�������� � ������������� ��2 6������������ =������ � �� /������� /�� ����� � -����������� -��

+� ��� ,EED� ��� @B'A@B?�

H@I -� ������ ��� !� 6�������� =���� ���� ���� ����� ����������2 �;��������� ������� ��� �������

=�� ����� �2 /�� �� � ��� �;������ � ,' .*0 .,EED0 &*EA&DB�

H*I $� �����1�� � �� $����� �� ���� N����:���� ������� ������ � ����� ���� 6��� =����� &, .,,0 .,EED0

*&AB'�

HBI �� ������ M� =����� $� %�������� +� �������� =� ����5� R� ���5��� � 3� ��� -������2 � � �"�������

�� ��� �� �� ���� �������� 6��� -� �� ,* .,0 .,EE*0 (EA&B�

H?I R� ��� �� :�M� =������ =���� ��� $� :���������� 4� ��� ���� � ��� ������������ � "���� ��� ���

��"�� �"��� ���������� ���� ��� ������ ����� 6��� ������ /������� M�����"� ����� ? .&0 .,EEB0

(*BA(B*�

HDI =� =������� :� ����� -��� ������ � =���� +=- &* .,EE(0 @@A*(�

HEI M� =������ $� ����� M� /��������� +� ������ ���� � ������� �� ������� $� ��"�������� �� ���

�� ���� :� /2 ������� � �������� ���� � �������� ���������� ��2 /�� ����� � � ��� �������

�� /��� ����� ��� /�� �� � � /������� /�� ���� .//�//0� ��� M�� �� =+� -�� ,EE&� ��� ,A,(�

H,'I M��� =������ :��� :��� $�/� -������ =�4� S��������� +������� ��� ������� ������ ��� 6��� -� ��

,B .,0 .,EEB0 &*A@&�

H,,I !��� %� � ���� :������ R�R� M�� ����� -/6P=���� �2 ��� �� ������ ������ -/6 ����� ������

�������������� ��� ��� ��� ������� ��2 /�� ����� � � ��� *�� �������� /#->-/6 N����7 !����

-����� � ��"�� ,@E? �� :�=�� :��������� N�� ,EED� ��� E&AEB�

H,(I 6� %������ =� ��������� !��"��2 � ��� ������ �������� ���� �������� 6��� R� ����� ����� +����

,, .(0 .,EE?0 ,,*A,(D�

H,&I 6� %������ =� �������� .����0� ��� !$6M2 ��������� �� � ��� =������ 6������� ����� -�� ��

������� :�� +����� -+� ,EED�

H,@I �� !�"����� -� $�� �� �� ������� $� ������� M�����"���� ������ �� � ������ ������ ������

����������� ��2 /�� ����� � � ��� *�� �������� /#->-/6 N����7 !���� -����� ��"�� ,@E? ��

:�=�� :��������� N�� ,EED� ��� ,D'A,D?�

H,*I 3� !��� �� R� �� ������ R� M������� ������ ������ �� ��� ���������� � ��� ����������"�� -/6

����� ��� ��2 /�� ����� � � -/6M=7EE� -���� � /����� 6����� � M��������7� ��� N���7�

=������ �� +������� !+� -�� � ,EEE� ��� ?A,&�

H,BI -� !�T�"������� $� ������ R�:� ����9� +� ������ �� ���� ���� ���� ����� ���������� �� �-/

�������� ��2 ��� ,EEE 3������� �� =������������ =������ � ���� �� ��1�� ���� ���� ,&�� +=-�

�6!+$=� 6������������ =������ � �� ����� ������ .6=�7EE0� ,EEE� ��� ,,A,*�

H,?I �� !����� �� =� 3������ =� :�� ����� 4����5����� ����� �� ��� ���� ���� ���� ���� �����������

��2 /�� ����� � � ��� ,&�� 6������������ /������� /�� ����� ������� U ,'�� ������� ��

/������� ��� M�����"���� /�� ����� .6//�>�/M/7EE0� ,EEE� ��� @E(A@EE�

H,DI R��/� !��;� �� ��������� R� :��������� -� S����� +� ���"��� ������� �� �����A������

����� ������ �� ��� ���������� ���� ��2 /�� ����� � � ��� �� � /������ � M�����"����

=������ .�/M= ('''0� /����"�� �� /+� +� ��� ('''� ��� @&A*'�

H,EI +��� !������� 3�+� 3��� ��� ��� :� ��� ���� ��� �� ��� ������ � � ��������� ������� �������

=���� +=- @' .,0 .,EE?0 &EA@*�

H('I 3� !����� �� :���� �� M���� +� ��1����� + �� ��������� �� �����"�� ������������ � ��� -/6

���� � ������ ������ � ��������� /������� =����� (( .B0 .,EEB0 ?DEAD(D�

H(,I 3�M� !����� �� :���� M� ������� 6������ ��� ������� � � -/6 ������� ���������� ��2

/�� ����� � � -/6M=7EE� -���� � /����� 6����� � M��������7� ��� N���7� =������ �� +�������

!+� -�� � ,EEE� ��� (*A&'�

H((I /� ���"����� R�=� ���� -/6������2 ��������� ������� ������� � �� ����� �� ����� ������� ��2

/�� ����� � � �=7ED� ����"�� ,EED) 4����� �� ����2>>��������� ����� >� ED>��� ����� �>�H(&I !� 6�������� -� :������ �� -�� ������ =����������� �������� � ��� ���� �� �� -������� ��2

/�� ����� � � ��� 3������� �� =+�/=7ED� :� ���� ����� �� =������ � ��� �� ���� ,&B(� :��

#� ��� ������� ����� ��� ������� R������ ,EED� ��� (,?A(&,�

H(@I ���� �������� ��$� �� ��������� 6� %������ 3� !����� �� :���� R� ���������� �;������� ������ �� ��

�������� ������ �������� �� �����5� ���� ���� ��������� ������� �� ��2 /�� ����� � � ���

% .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9 ,@**

6������������ /������� ��� M�����"���� /�� ����� ������� .6/M/� ('''0� =�� ��� -�;� �� 6����

��� S���� -�� ('''� ��� &??A&D@�

H(*I $�-� ����� +� ������ ���� ������� ���� � ������� 4����� "���� ��� ��� ������� �� ��� :� /

����� ��2 /�� ����� � � ��� ������� �� /������� +� ������ ��� +� ���� ����� .�/++0� #�����

!������ R��� ,EE&� ��� ,@(A,*&�

H(BI $� �������� M��� /����� 4����� ���� ��� ���� �� ����5����� ��� ������� ������ � �������� ��2

/�� ����� � � ��� 6������������ =������ � �� /������� /�� ����� � 6���� ��� S���� +� ��� ,EE?�

��� &?'A&??�

H(?I �� �������� ���� ���� �� !����� �� �����������J ���� ���� ���� ���� ����� �� �������� ����

���� ������� ��2 /�� ����� � � ��� 6������������ /������� ��� M�����"���� /�� ����� �������

.6/M/� ('''0� =�� ��� -�;� �� 6���� ��� S���� -�� ('''� ��� @E(A@EE�

H(DI �� �������� ���� ���� �� #�������� %��� ��������� � :� / ��������� �� ���� � ������

�������� ��2 @�� 3������� �� $����� ������ �� /������� /�� ���� .$��//0� :� ���� �����

�� =������ � ��� �� ���� ,D''� =�� ��� -�;� �� ����� ��� ������� -�� ('''� ��� ,,?BA,,D&�

H(EI �� �������� $�%��� ����� ���� ���� +� /����� $�+�%� �����1�� � -/67� ���� ���� ���������� ��

�������� ���� ���� ������� ��2 /�� ����� � � -/6M=7EE� -���� � /����� 6����� � M��������7�

��� N���7� =������ �� +������� !+� -�� � ,EEE� ��� @&A*(�

H&'I �� �������� $�%��� ����� ���� ���� +� /����� $�+�%� �����1�� � -� /6�2 -/67� ���� ����

���� ����� ���������� �� �������� ���� ���� ������� ��2 /�� ����� � � ��� ������� ��

/��� ����� ��� /�� �� � � /������� /�� ���� .//�//0� +������� !+� -�� ,EEE� ��� ,&,A,@'�

H&,I �� :������� +� �� ������ �=42 �J ���� ���� ���� ���������� �� ���� ����� �� ������ ������

��������� ��2 6������������ /������� /�� ����� ������� .6//�0� ��������� �6� ,EEB� ��� &EEA@'*�

H&(I �� -������� =� ����� 4� �J ������ ��������� ��"�� ��� �� ������� � ���������� ��

������� ����� ������� R� /������� M�����"� =����� (D .,EE*0 D@AE&�

H&&I R��S�:� /���� ���+� =���� �� �������1� :�-� ��� =������ ���� � ������ ���� ��� ����� "���� �� ���

���������5�� ���� ����� ����� ��2 /�� ����� � � ��� 6������������ =������ � �� /�������

/�� ����� .6=//0� ���� 6� ,EEB� ��� ,D'A,D?�

H&@I #� /�;���� 4� ���"����� ���������� � �� ��� ������� ����� ��2 /�� ����� � � �6!-���

$6=�7ED>/�$%4$-+�=�7ED� -������� 3�� ������ R��� ,EED� ��� ,,A(,�

H&*I ���� ������� 4����� ��� ����������� �� ������ �� $���� "���� ���� R� /������� M�����"� =�����

*? .,EEE0 ,(,A,&E�

H&BI $� ��� �� !��1�� 4� ��"�� �"��� ����������� R� /������� M�����"� =����� (( .,EE@0 &(@A&(D�

H&?I R� 3����� $� #�� �� !��1�� + ��������� "���� ��� �� �������������� ������ /������� /�� ���� :����

* .(0 .,EE*0 (D,A(E(�

H&DI $� 3������ %��� ����� ������� ������� � �� ������� ����� � ������� ���� ��� �������

������� ����� �� ��2 /�� ����� � � ��� �� ��/������ � M�����"���� =������ .�/M=�B0�

/�������� 4$� +� ��� ,EE?� ��� &,BA&(*) ��� ������� ������� ����� � �� �� ����2>>������� �����>�

,@*B % .��� �� � �% ' ,����� �� ����3 &* 4&���5 �67�8�6)9