66
RC23429 (W0411-125) November 12, 2004 Computer Science IBM Research Report Architecture and Policy for Adaptive Optimization in Virtual Machines Matthew Arnold, Stephen Fink, David Grove, Michael Hind, Peter F. Sweeney IBM Research Division Thomas J. Watson Research Center P.O. Box 704 Yorktown Heights, NY 10598 Research Division Almaden - Austin - Beijing - Haifa - India - T. J. Watson - Tokyo - Zurich LIMITED DISTRIBUTION NOTICE: This report has been submitted for publication outside of IBM and will probably be copyrighted if accepted for publication. It has been issued as a Research Report for early dissemination of its contents. In view of the transfer of copyright to the outside publisher, its distribution outside of IBM prior to publication should be limited to peer communications and specific requests. After outside publication, requests should be filled only by reprints or legally obtained copies of the article (e.g. , payment of royalties). Copies may be requested from IBM T. J. Watson Research Center , P. O. Box 218, Yorktown Heights, NY 10598 USA (email: [email protected]). Some reports are available on the internet at http://domino.watson.ibm.com/library/CyberDig.nsf/home .

IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

  • Upload
    others

  • View
    10

  • Download
    0

Embed Size (px)

Citation preview

Page 1: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

RC23429 (W0411-125) November 12, 2004Computer Science

IBM Research Report

Architecture and Policy for Adaptive Optimization in Virtual Machines

Matthew Arnold, Stephen Fink, David Grove, Michael Hind, Peter F. SweeneyIBM Research Division

Thomas J. Watson Research CenterP.O. Box 704

Yorktown Heights, NY 10598

Research DivisionAlmaden - Austin - Beijing - Haifa - India - T. J. Watson - Tokyo - Zurich

LIMITED DISTRIBUTION NOTICE: This report has been submitted for publication outside of IBM and will probably be copyrighted if accepted for publication. It has been issued as a ResearchReport for early dissemination of its contents. In view of the transfer of copyright to the outside publisher, its distribution outside of IBM prior to publication should be limited to peer communications and specificrequests. After outside publication, requests should be filled only by reprints or legally obtained copies of the article (e.g. , payment of royalties). Copies may be requested from IBM T. J. Watson Research Center , P.O. Box 218, Yorktown Heights, NY 10598 USA (email: [email protected]). Some reports are available on the internet at http://domino.watson.ibm.com/library/CyberDig.nsf/home .

Page 2: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

������������ � � ���� � � ������� ��������� �

������ ������

������� ����� ������ ����� ����� �����

������ ���� ��� ����� �� ������

��� ������ �� �� ��� �!�!�"#� �!� !"

������� ����� ��� ������ �������������� ����������� �������� ��� �������� ����������������� � ��� ������� �� ����������� ���� ��������� � �� � �������� �������� ������� ������ �������� ���� �� ������� ����� �� ������� �� � ��� ���������� ��� ������������ �� ���������� ������ ������� ����������� ������������� ������� ����� ��� ������� ��� ������

������ �������� ���������� � ���� �� ������ ������� � ������ ���� ��� ������ ��� ��� �� ��������� ��� ����� ��������! ��� �������� ������������ �� �������

����� � �� ��������� ������ �� ������� �� �� � ��� ���� �������� ������������ � ����� �� �� ����������� �������� �� ������ ��������� ��� ������!���� ��� ������������� "���� ��� � ����� ��������! ��� ��� ������!��� �� �� �� �� ������� ����� �� � � ��� ������ �"� ��� ����������� �� � ��� �� �� #�!� $� ��� ������� ������ ��� ��� ��� � ���������������� �����������

%�������� ��� &����� '� ������ ( '�)�* +������ ���� �� ��� �����,( -������������������������. '�*�) +������ ���������,( -������������� �������� /����. '�*�0 +����������� ������,( 1��� �� /��������� ����������

2������ ���� ( '� ���� 3 �������������� 1���������

4��������� 5�� "��� ��� 1�� � ( #���� ������� ����� � ������ �������� � ��������������������������

$� �����%����

������ ������������ ���������� ���������� ��� �� �� ������ ������������������ �������� � ��� ����� ��� � �!��" #���������� $%%$�� �� �� ���&�&���� '������ �������� � ������ (�)����� �������� �� ������ �������� "������� ���� �&���� '������ ������ �� ���������� ������ ��& ���� �������� �����*�� ��������� '�� �������� ���� ��'������� #� �������� ��������'������ ��� �� �&���� ���� ������� ��� ��(���� ����� ������'��+��� � �������� �' ��������� ��� ��� ��������� ��� ���& '���� �' ���� �������� � ����,����� "���������&� ������ �������� �� ���������� ���& �� ������ -�&�����. ������ �� ����������� +��� '��� �� �� ��������� � ��'�� �������� ��* ��� ��������� ��� � ���,���� ���� �������"� � ������ ������ ������ /0�1 �� �������� ���� ������� �����*�� �'�

'�� �� ������ ��� �&���� �� ������ +��� �)��� � ������ ������ � �������)������ 2����� �� ������ ���� � ������� 0�� ��� ���������& ������3 � ���,���� ����*� +�� �� ������ �������� � ��)���,� ��'������� 4������ �� �� ����� ������ � ���,���� +��� ����� �� ���� �� ��'������� 5� ������� ����� ������ � ���,���� ���� �3��� � �������� � �� ���� ��'������������� �� �&��� �� �) ��� ������ ��'������� � ����� ����'���������

Page 3: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

� � ������� ��� �� ���

"� ������ ������� ���� ���� � ������ ������ �' ���� �� ������� �����6���� �� �&���� '�� �������� ��������� �� �������� �� ��)�&� 7���� ���� ���,���� �������� ��+ ����&���� ��� �� �� ���������� +��� ��� �������� � ������ ��*����� ��� ���������� ��� � ���,���� ���&� 8��������� ������� � ���,����� ������� ���� ������� �' '������ ��� �� ���& ��������� ��������� +�� ��� � � ���,�� +��� � � ���,�� ��� +�� � ���,������ � �&� 4���&9� �&���� ���& �� �� �� �������� � ����� ���� ���& ���������:�+����� �� �� ��)�& ��������� �� ����& �� ����� ���� �������� ������������ ������� � ����� � �����*�� ������� � �� ��� ��� �' �� ������� ��� ���� � ���,���� �������&�4� ������� ���� �������� ��� � �� ������ �� �������� ��� ���& '�����

+��; '�� ������ ��� ��� � ���,���� �� ������ �������� 4�� ���������� �'��� +��; ���

<�� �)������� ��'+��� �������� '�� �� ��� ��� � ���,���� �&��� �� �� � ��� �� ��) ���������� ������� �� ���� ������� ��� ����+� � ��+����������� ����������

<� ���& '����+��; '�� ��������� ��� ��� � ���,����� ����� �� � ���� �������&� ����� �' �&��� ��������� ���

<� ������� �) �������� ��������� �' �� �&���� �������� ���������� �' ���������� ��� ��� ���� ������ ��� ���� '�����;������� � ���,������

5�� +��; ��3��� '��� ������� �&���� �� �� +� ���& �� � ���*�� ���������&� �� �� ��������� ��� ������ '�� ��� ��� � ���,����� 4��� ���������&����+� �� � ����� � �&��� �� ����� � +��� �����& �' �� ��) ��� ��� �����6���� +���� �������� � �� �)������� ������� �������� ��� �������� �� ���������� � ����� ��� ��� ��� ����6��� !) �������� ������ ���+ �� ���&��� �3�����& ������� � �����& �' ��� ��� ����6���� +�� ��+ ���������� ����+� ���� ��'������� =� ������ �� ���� � ������ �3�����& ��� ������ �� ��)�& �� �� �� ��������� �' �� ��� ��� ������ �������4�� ��������� �' �� � �� �� ������,�� �� '����+�� 8���� $ ������ �� ������

��6�������� '�� � ����������� ������ � ���,���� �&���� 8���� > ��������� ������� ��'+��� �������� �������� � ��� ���� ��6��������� 8���� ? ������ �� ����&��� ����� �� �� ���� �& �� �&��� ��� ���������� ��+ ������� �� ��� ������� ��� ��� ����6���� 8���� @ ������ �� �� ����������' �� ��;�� A0� ����������� ������ � ���,���� �&���� �� ���������� �' ��������� �������� �' 8���� >� 8���� � ������ �� �� ����� ��������� �' ���� ��������� �� � ���� �' �������;�� 8���� B ������ � ��������� �' �����' �� ������ +� ���� ��������� +���� �������� �� ��;�� A0� ��� ��� �&����8���� C ������ ������ +��; ��� 8���� � ��������

&� �� ��� ��'%�������

" ������ ������9� ��� ��� � ���,���� �&��� ��� �� ��� ��������& � �������)����� ����� �' �� ������� ������� 4�� ��� ��� � ���,���� �&��� ��&����� '��� ����� � ������� �' �)����� ����6���� ��� �� ���� ������� ����� ���,�� �� ������� ��� � ���,�� �� ������ �' ������� (������ 7�� �)�� ����� ��� ��� � ���,���� �&��� ��& ��� �& ����� � ���� �� ���� ������ ���� ���,� ����� ����� �� ��� �� ����� �' �� ������� ��� �� ��� ������� "

Page 4: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �

���� �� ������� �&��� +��� �) ��� ������ ���������� �' �� ����� ���D���� ������9� �&���� �)����� � ��� �� ��� ��������"� �3���� ��� ��� � ���,���� �&��� ��� ������ ���� ����� �3�����&�

=�� ��� � � ��'������� +� �������� �� '����+��� ��������� ����������E

���������� 4�� �&��� ��� �)��� � ����� �' � ������� +�� ���&��� �)������ ���� ��� ������ ����������� +���� ��3����� ����������& ��� ���'������ �� ��& ��������

������������� 4�� �&��� ��� ��� 6��;�& � � ������9� �������� �������� �� � �� ���� �)����� �����&�

�� �������� =��� �� �&��� ������ � �;� ������ �� ����*� �' ��������� ��� ��+���� ���� �������� ��������� " ��+ �������� �� �����������;�� � ������ � ������ ��� �����

=� ������ �� ��� ��� � ���,���� �&��� �)���� �� �� ���) �' �� ������������ ������ ������ �&���� +��� �)���� � �������� �������� ������ ������ �� ��������� ��� �� ���� �&����� =� ������ �� �� �&��� ������& �����& �� ��'������� ������ �& �� ������ �� ��������� ��� ��'�������������� ������ ������ �� ����� ������ ���� 4���� +� �� �� ������� �&������ �� ��� ������� ��'������� ��+��� ������ ������ ����� ��� �� �F��� ��*��� �' ������� ����� =� ���� �)���� �&���� �� ���& �� ���������� ����������&��� �F���� ������ +� ������ �� ������ �� ��������� ���� �� ������ �������� '���� � ���& ��� ����&��� ������� =� ���� ������ �� ������ ��������;� ������� ����� �������G �� ������ ��� ���� �) ��� ������ �)����� ��� ����� ��+ ������� 4��� �)����� �� ��������& �' �F��� +���� ������ ����&����"� � *��� ��6�������� +� ������ �� ���������� ��������� =� �������� �

�&��� �� +��� ������ � ���� ���� ���� ���� �� ������� � ���,���� ���������� ��� ������� 4�� �������� ��� ���� ���� ������ (�)�����& � ��������� ��������� ��������� ��� ������ �� ���&� � ����+ �� �&��� �'����� ������ �� �������& �������4�� ��) ����� ������ � ���������� �������� '�� �� ��� ��� � ���,����

�&���� �������� � '��*�� ���� ��6��������� 8���� @ �������� �� ��;�� A0��� ��������� �' ��� �������� �� ���� ������

(� ���������%��

4��� ����� ������ � ������� �������� '�� � ������ ������9� ��� ��� � ����,���� �&���� �������� � '��*�� �� ��6�������� �' �� ������� ������4�� ��� ��� � ���,���� �&��� �������� ������ '��� �� �����E

<������� ������������ E 4��� �� ���� ������� �� � ������9� ������ ��������� ��� ������ ��*�� ����

<���������� E 4��� �� ���� ��������� +�� ��*�� ��� ������ �� ������������&,�� �� ��*�� ��� ��� ��������� +��� ����� � ��'��� ������������������ �' �)����� ������

<������������E 4��� �� ���� �� ������ ����� � ����� �)����� �������������� ���� ����� ������ �' �� � �������

<��������� ��������� E 4��� �� ���� ������� � ���� �' ������ ��'��������� �� ���� �� ����� �� ������

Page 5: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

� � ������� ��� �� ���

priority queuepriority queuedynamic

feedback

plancompilation

measurementplan

measurements

controller

AOS

repository

information code

knowledgeruntime recompilation

profile recompiled

codeexecuting

7��� �� ��� ����� �' �� ��� ��� � ���,���� �&��� ���������

4�� *�� ���� �� ����� ��� ������� ��� ��� ��� �� ���� ���� ����� �������' ������ 4�� ;��+����� �� �����& ���� �� �� ����G � ������� � ������ ��������� �� �� ���� ������ ����� �� �������7��� � ���+� � ���������� ���������� �' �� �&��� ��������� 4�� ������

��� ������� �����& 6������ ������ +��� �� ���� �� ����� ����������&���������& +�� � �������������� ����� 4�� *�� �����& 6���� ����������������� ��+��� �� ������ ����������� �� ���� ��� �� ���������4�� ������ ����������� �� ���� ����� ��*�� ��'������� �� �� ����������� ��� ������ ��������� �' �� ���� # ���� �� �����& 6���� � ���'& ����������� +�� +�;�� ��� ������� �� ����4�� �������� �������� ��������� '�� �� ���� +� ���� �� ����� �� +�

+�&�E � �� ������� � ����������� ���� �� ������� � ���������� ����" ����������� ��� ����� � �� ������ ����������� �� ���� +�� ���

'������� ���� �� � ������9� ������ �������� ������ �� ��*���� 7�� �)��� ��� �� ��� +��� ������ +��� ��*���� ������ ���� +�� ������ �� ��*���� ���'�� ��+ ���� ��*�� ��� ������ �� ������� #� �������� �� ���������� ��������*�� �� '���� �' �� ��*�� ��� �� �� �������� �) ��� =��� �� ������� ����������� �� ���� ����� �� � ��*�� ���& �' ��'�������� � ���*���� �������� ��� �� �����& 6����� 4�� ��������� ������ ���� �� ��*�� ��& � �' ��*�� ��� �� �� �� ������� �& �� ������ ����������� �� ������� ��*�� ��+ ��*�� ��� �� �������� 8���� @ +��� ������� �� �� ���������

Page 6: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �

listener

Run

tim

e M

easu

rem

ents

priority queue

raw data

organizer

6��� )� &���������� �� ������� ��� ������� ���������

�� ��;�� A0��" ���������� ��� ���� �� ���� ������ �� ���� � ����� � ���,� �� ���

������ � ������ �' ���� 7�� �)�� ��� � �� ������ ��� ���� ������ �� ������ ������ �� ���� ���� � � ������� � ���,���� ������ �� ������ �� ������ ������ �� ���� ���� +�� ������������ �� �������� ����� ��*������ 4�� ��������� ������ ���� �� ��*�� �� ��� �' �� ������ �� ��*�� �� ������� � ���,���� �� ������������ � ����� "'�� �� ���� ������ �� ����� ���� ���� � ������ �' ���� � ������� �� ��+�& �� ���� ��� '�� �)������& �� ������ �������4�� ��������� ��������� �� 7��� � ������� �� ��������& �� �����& '�� '��

���� �� � ������ ��� ���� �� ��� �' �� ��� ��� � ���,���� �&���� 4�������� ����������� �� ���� ������ ��*�� ��� �� �� ;��+����� �� �����&�7�� �)�� ��� � ���� ����� �� ������ �' ���� � ��� ��� �)����� '�� ���� ����& �� ���� ������ �� ���� � ����� �������� ��������� 4�� ���� �������� ���� ������ �� �����& �' �� ������ ���� �� � �)����� +��� ���������� �� ����� � ����� �' � ��+ ���� ������ ��� �� +�������� 4���������� ��& ����� � ��������& ����� ���� ����� �' �� ;��+����� �� �����&� ������ �������� ���� � ������ �������� ����� ���� �� �����7��� $ ���+� ���� ������ �' �� ����� ����� �' �� ������ �����������

�� ����� 4�� ������ ����������� �� ���� ��� +� & �� �' ����� ������E �������� ��� ������,���� �������� ����� ��+ ��*�� ��� ���� �� �������� ������9� ��������� =��� � ������� ��� ������ � � ��*�� ������ �' ����� +�;�� �� ��������� ������,��� � ����� �� ��+ ���� ��������� ����� ������ �;� �� ��+ ��� ��� ������� ��*�� ���������� �)����� '��� �� ��*����� �� ��'������� �� �� ��6����� �& �� ��������� ���������� ��& ���� ������� ���������� +�� �� ��������� �& �������� ���*����� ��� �� �����&

Page 7: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

� � ������� ��� �� ���

6�����"� ��������� �� �������� ������� � ���� �� ������ �' '��������& ���

+��� �� ��� ��� � ���,���� �&��� �� ������ 4�� �� ���� ���������������� �� ������� �� ����� '��� ��� ����9� �� ����������� +��� ���� ���� ����� �)��������&� 4�� �������� ����+� �� �� ������� � ���& ���+ ��*���� ���������� ��*��������� �� ������ � ����� �� �������� �������� +�� ������� ��������� � �� ��� �' �� �&���� 4�� �����& 6����� ��� ���� ������ ��������& ����� ����'��� ������ +��� �� �� ����� ���������� 4�� ���������� �������� ���� �� ���� ��& ������ ��������� ���������� ��*����� ������ �� �� ������ ������G � �� ��� � +��� �����& �' �����������+�� ��3���� ��������� ��� ���& ������=�� ���� ���� ����� ���� �� ������ �� ������ �� ��� � ��+ ��������

�� ���������� 4�� �� ��������� �� ����� &��� � ������� � ��� �� ����� �� ������ � ����� �&��� ��������� 2& ����� � �������������� ��������� �������� ��� ���� ������ �� ����� ���� ���� ���*�� �' +��;� 8��� ������� ���� ���������� ���� ��&���������&� �� �&��� �� ��;� �������� +������ ��� �� � �� ����� ���� �' &��� '�� ��� ��� �&��� ��������� �������� =���� �� ������ ����������� �� ����� ���& �������� �)��� ���������&G ������,��� +�;� ���& ���������& � ����� ��+ ���� 8�� � �� �� ������� �� ����� ���& �������� +�� �)�����& ��+ ���������"� ��'������� (�+� ������ �� ��� ��� � ���,���� �&���� �� ������ �����;��

" ������� �������� � ���& �' ��+ ���G �� ������,�� *���� ��� �������,�� ����� ��� ����� �� ������& ��'������� � �� ��������� 4�� �������� �������� ��� ������� ������& ���� ��� �������� � ����� ��� �� ��� �������� ��������� =�� ��� �����&� ��� �������� ���� �� �� � ����� �� � �& �����������& �� ������� ������� ���� ��� �������� ���� �)���� ���� '��6����&��� �������� � �����������& ������� �� ��4��� �������� �� ������� +�� �� ��������� ������� �H� ��� ��� �����

$%%>� '�� ���'�� ���,����� "� ������� ������ �� ��*��� � ���� '��� �� ������E �������� �������� ���� ��� �������� ��� � ��������� ���&� #� ��� ��� ���� ���,���� �&���� �� ������ ����������� ������� �� ������ '��������&��� �������� �������� �� ����&,� ��� ��� '��������&� ��� �� ���� �������� ���� ��'���� �� �)��� '��������&� 4�� ;��+����� �� �����& �� ������� ������� ;��+����� ���&�

)� ���*������ ���� �� �������� �����+����

"� �������� �� �� ������� ������ �� �������� ����&,�� �������,�� ��*����� ��� ��;�� �������� ��������� +�� ���� ������ ��� ��*���� ����� � ��'���� =� ��+ ����� � '����+��; '�� �������� ���& ��������� ����� �� ������&� ����� �' ��� ��� ����*��8������ ������� ������ �I��,��� ��� �&��� ���B�G H����� ��� 7���, $%%>�

���� ������� �� ����&��� �' ���� ������ �������� ����� �� -����;�����. �����4���� ������ ������ �� ���� ������ �' � ������� ����� ����� ���� ��/���1� ��� +��� ������� ���� ����* ��� � �� '���� �)����� �' �� ���� ��������� ���� �� ��������� �' �� ������9� ��'�� 2�� �I��,��� ��� �&��� ���B����� �H����� ��� 7���, $%%>� ������� ����&��� �' ����;����� ���� �� �������

Page 8: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� �

��������� � �������� ��+ ���� � ������ ��� ��� ��'��� ��� ��� ���� ������������ ��*�����J�� �� ���� ����&���� ��� ������� �&���� � ��� ;��+����� ���� ������ �� ��

�� �������� � ����� ���� ������� 4�� ��� ����� �������� ���& �� ����'��� �' ������ ������� ���� ������ +��� � ����� �� � � ���������#� ������ ��� �&��� ��� � � ������� �� ����;����� ��� '�� ��� ����

����� �� ������ �� ����� ��������� =� ���& �� �� ����&� ����� � �������� ��� ��� ����*� �' ��� ������� ���� ������ ����� ��� ������� �� �������� ������� � �� ����� �������� �������" ;�& �������� �' ��� � ���� �� �� � ����+� � �������� � �)��� ��

��� �� -����;�����. �������* ����� � ���� '�� ���� �� ������� ��� ��� ������� ��� �� ������� �� ������ +�� ���� �� � ���,���� ������� �����;��� ������� ��� ������������ ����&����

4��� ����� ������ � ������ �' ������ ��������� �� � �������� �� ��� ������ +�� ��*���� ��� ���� ������ ����� ������ �� �;�� � ��)���,� �)� ��� �&��� ��'������� "'�� �����+��� ���� ������� +� ����� � �������� ������ ����� ��� ��) ��������� �����������2& ���������� ��+ � ��� �� ���� ����� � ���� '�� � �����& �' �������

��*���� ��� � ���,���� ����6���� +� ����� � �������� �� ������������ ��(�)���� ��� �)�������� 4��� ��������� ���� �� �)��������& �) ���� ����& �������������� 8��� �' �� ��������� �������� ���� ���� ���� �� ������� �� �� ��;��A0� ��� ��� �&��� /�������� �� ���� ����� �� 8���� @1�

)�$ ���!, �� � -��

"� �������� �� 8���� >� �� ��� ��� �&��� �������� ��� ������ +��� �+�;���+����� � �;� ��� �� ���� ����� �� �3� �)����� �' �� �&����

#� �������� ��� ������ ���� +��� ���� ���� ���� ��� ��& ��'�� ���� �������7�� �)�� ��� ���� ����� � ����� +��� ������& ������ ���� �IK &���� ������ � ��� � �� ������ �)����� �& ��������� ���� ���� #� ��� ���������+� '��� �� ��� ��� ����*� ��*��� �� ���� �' ��� /�IK &���1� :�+����� ���������� �� �������� ���� ������� ���� �������� �' �� ��� ����*� ��� �������& '�� ���� ������� �������� �� �����& ����� ���4�� �������� +��� �;� ���� ���� +��� � ������� �� ����* � �)��� ��

��� ���� ������&� +��� �� �������� +�;�� � ��� �� � �������� � �� �' ���������� ������ �� �� � L ���� ��� � � � � ���� 7�� ��& ����� � � � /�1� ���������� �� ������ �� �� �/�1 ��� ����* /�1 �' ��'������ ��� ������� � �� 4�� �������� +��� ��� � ����� �� ����� � �� ��)���,�� /�1��/�1� 5�������& � L ��� /�1 L �/�1 L %G �� �������� �;�� �� ���� �' ����� *�� � ��*���� ������#� ����� �� ����� �� ��� ����* �' ��� ���� ���� �� ;��+�G ��� ��

�������� ��� ���& �� ������� � ��;� ���������4�� '����+��� ��������� ������ � ��* ������� �' �� ����� �� �� �� ����

� ����� ��� ��� � ���,����� !�� ������ ������ �� �������� � ������ ����� ��� ����*� �' �� ����� �������� ������ 4�� '����+��� �)�� ��� �� ���)��������& ���� ��� ������� ����� ����������G ���� �� ����� ������'��+���������� �� �) �������� ������ ���+ +��; +��� �� �����

Page 9: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

! � ������� ��� �� ���

)�& ���-# �!#��.-,� -�� ���!,

4��� ����� ������ �� ���� ����� �� �������� ���� � ����� +��� ������ ���� ���� � +��� � ���,���� ������ ��� � +�� ����8� ��� �� +��� �� �������� +�;�� � ��� �� ��� ��� ������ �� ������&

� ���,�� � � ���,���� ����� ��� % � � � � M� � �� �� �� �' ������ �������� �� �������M� ��� �� �� ���� -���� ��� ����� � � � ���,���� ����� �� �� �� ������

�' � L ��.4�� �������� ��� ����� �� ���� '�� ��� � � � � 4�� �� �' ���������

����� �� � L ���� �% � � � �� ����!�� ���� ��� �� ������� �� ��� ����*E

<�/��� 1� �� �� �' �;��� ���� ��� � '�� % � � � �

<� /��� 1� �� �) ��� ��� �� ������ +��� � ��� �)����� ����� � �� ��'����� �' �� �������� �;�� ���� ��� �

7�� � � �� ��*�� �/�1 L N����/�1� ����� �� '�� ��� � � � � ��*�� ����� ��� �� ���� ��� � � �� ������,�� � /��� 1� 4��� ��*�� � /�1 L N���� /�

����1�

K���� ���� ������� ������� �� �������� ������ �� �� � �� ������,���/�1O� /�1� #�������&� '�� ��� ����� �� �� �������� ������ �� ���� ������� ����� � �� ������,�� �� �) ��� '���� �� ������ ��� ��� ������� ����' ��# ������� � ��*�� �� '������ � ��� � '�� ��� ���� ������ ����� 4��

���� ����� ������ �� �� � �' �� ����� � ������ � ����� � �� � ������ '������' �� ��,� �' �� 4�� ������ '����� �� ��������� �& �� �F��� �) ������ � *������ � �� ������4�� ���� ����� ������� �� �� � ���� '�� ��& � ���,���� ����� � �� ���

���� 4�� �� ��������� ��������� �� ����� � ���� '��� '�� ��� � ����,���� ����� �F���� ��� ���� �� � ���� � �� �� � '�� ��� ����� ���� ���,���� ������=� ������ �� �' �� ������ ��� ��� '�� ��� �� ��� �� ������ +��� ��� '��

������ � ����� ��� ��� �������� =� '����� ������ ������ �������� �� ��'���� +��� �������� ������ �������� �� �� ��� 4����'���� '�� ��� ����� +������� �� �' �� � ���,���� ���� �� ��'����� � /��� 1 �� �6��� � �� ���� �� �)����� ����� � �� '���

)�( ��.,-�/*0��!� �!#��.-,� -��

M� � L /��� � � � ���1 �� �� �� ���� ������� =��� �� �������� +�;��� ��� �� ��� �� ���� ����� � ��� ���� ��� ��� �/�1 ����� M� Æ �� ����� ���� �������� �������� �� ������� 4�� �������� ������� �� ����� ���� �)���� Æ�/�1 ������ �� '��� ��� +��� �)��� '�� ������ Æ�/�1 ������ ���� '�����=��� ������� ���� ������ ����� �� ��� ����� �� �������� �� ���� �� ��

����� � �� �� �' ������ �� +��� ��� ��� �� �� ������� ��� ���� ��������4��� � ���,���� ���� �� ���� �������G �' �� ������ �' ��� ��� �������� +��� ����� ��� �� ������� ��� �� ��������9� ������ �' �� �����9� '�����)����� ��� +��� �� ������ 4��� �� ���� �� �' �� �������� +��� � ������� ������ �� ���� �� � ��� �� �� ������� ��� ���� �������� �� �������� +����

Page 10: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � "

��;� �)��& �� ���� ������� � ��� �� ��� ��� � ��������� �� ������ 4���� ���,����� ������� �� ������ �' ������ �� �������� ��� �)����� �� ������ ���� �������� �����& ������ �� ����� �' +��; ��'����� �& �� ���������8� ��� �� �������� ���� ���� ����� � '��� � ���,���� ����� � � � ��

��,���� ����� � �'�� ������ ���� �/�1 ��� ���� M� ��� �� �� �� � ���� �����'�� � ���,���� ������ � ��� �� ��� �����&� "'�� � ���,��� � ����� �� +� ������� ��� �� ��� � �� ����� �� �&��� ��� �� �' � ��� �)���� ����� � �� ���,���� ����� � ���� ������ ���� � 8�� +� �� �� ��+ ������ �' ��� ���'�� � � �� �/�1 � ��

��� 4��� � �� �� �� ��� � �� �� �� +� ���� ;��+ ���&

��� ������� �� -�3����. ������ �' ��� ����

)�) �"�1,!*�-"!# !� ��,-�-�/

=� �) � ����� ������ ��*�� ��� � �� ���� �� ��& �' � ���,����� #� '������ �' � ����� �� ������& � ���,�� � �� ������ ������� ������ � ���� �� ��*���� � ���� ��� � ����* '��� ��+�& �6����� ��*�� ���� =� �������� ���� ���� ������ ����� � ���� '�� ��� ��������"� � ����� �)�� ��� ������� ��*��������� �������� �� ��� �&���� =� �����

��� � ��� ��� �&���� ��� ��� � /J��1� �� �������� �� ���� �' ������ �����!�� ���� �� �� J�� ��� � +���� �� �������� �� ������ �' ���� �� ����+�� ��� ���� M� � �� �� ��� +���� �' ��� ����� �� �� J��� 4����

�� ��

������� �' �� ��� ��� ��� '�� �� �����4� ������ �� ����* �' ��*��������� ��������� +� ��� �� '����+��� ��� ��

������ =� ������ �� �������� ��� ����� �� �� J�� +���� ������ ��& � ���,����� ����� �& � ����� '��� � � 8�� +� '����� ������ �� �������� �� ���� +��+���� � +���� �� ���� �� � ���,���� ��& �& � '��� �' � L � �

I���������&� �� �������� �������� �� � �P �' �� ��� ����� �� �� J���� �������� � ����� ���� ������� 7�� ��� ��� ����� �� �������� ������������ ����� �� ����� �� 7�� ��� ������������ �� �������� ������� ��� ���,���� �� ����� �& � '��� �' �G ����� � ������ �� ������ �' � /��� 1 �& �'��� �' �� #� ��� +�&� �� �������� +��� ��������& *�� � ��*���� � ���� ��������� �� ����� � ������ �� ������� ����� �� �� J���

)�2 ��/*"3��-�/ �# -���

#� ���� ���������� � ��& �� ��*���� '�� �� �&��� � ��'��� ���� ���������& ��� ����&��� � ���� �������� �� �) ��� ����* �' � ���& ����� 7���)�� ��� �� ��� �� �&��� +���� ��;� � ������� �� �) ������ +����� ����������&��� � ��+��� ��� ��� �������� "����� �� �� �' ��� ���� �� �������� �� �� ����* ��� ���� ������� �� ������ �� �� ������� #� ��� ���� ���;�� ����� � ��'��� � ��� �� ��� ����&��� � �������� +����� �� �) ����������&��� +��� ��;��& �& �3�# �� ��� �� � �������� ��� ���� �' ����&��� ��� ������� ��;��� ���

�� �������� ������M� � �� �� ����� ������� � ���� � ����� ��� �/�1� ��� � ���� ��������

'�� �� ����*� /�1� 7�� �)�� ��� �� ��� �� �� ���& ���� /�1 �� ������ ���� � '�+ ���� /�1 �� ������ 8� ��� �� +� �� ������ � ��� � ��6���� �'���� ���& ����� ���� � � � � ���� +���� �� �� '�� ��� ���������� �� �� ��������&������ 7����� �� ��� �� ��� ���� �� ������ ��'������� �� ����+� ��

Page 11: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

#$ � ������� ��� �� ���

�������� � ���� ������ �� ����* �' �� ����� ��6����� J�*�� /�1��� ��� �� �) ��� ����* �' �)����� �� ����� ��6���� ��� � � � � ��� ����� �� ���&��� ��� ������& �)���� ��� � � � �� ��� ��������� �� ������ �' ����&����" ��� �� �� � � � �� �� ������ ������ ��� �� �� ������ ��� ��������&

�)���� �� � 4��� �� �������� �������� �)����� ����� ����� �� �� �������/����1 ��� �� �� ��� ����* /����1 L /�1��� �

)�4 ��� "3�!� � -��*0��!� �!!�0�#5 �-"!# !� . -�-6� -��

" ���� ����* �' ������ ��� ���� �� �� �����& � � ���,� ��� ����� �� ������ ��*�� ���� "����� � ��� �$%%$� ���������� ��� �����& �� ��;�� A0� �& ������������ ��� � ���� ��*�� ���� ��� ��� ��� ���,��� � ����� ����� �� �� ��*�� ����=��� �� ��� ����� ��*����Q 4�� ��������� �' �� ������� �������� ��

�� ���� � ����� �������� �������� +�� � �������* ������M� � �� � ������������ ���� �� ���� �' � ��6���� �' �� '����+��� ����

�����E

/�1 ��E A��� ��� ����� �� �������� ������������ �� ����� ���� ���� �' ��*�� ����

/$1 ��E "���+ �� ���������� ������� �' � � ��� '�� ���� ������ ������� �� ��*�� ��� � �

/>1 ��E A�� ���,� �� ����� � �

������& ��� �' �� ��� �� ���� �� ����*� �� ���� ��� 4�� �� �/��1 �� ������� �� ���� �� �' ���� ����� � +�� ������������� 4�� �� �/��1�� ������ �� ������ �������� �' ������� �� ��*�� ��� +���� ������� ����������� ����4�� �� �/��1 �� ������ �� ���� �� �' ��� ���,����� 4�� ����* /��1���

�� �� ������� ����� �� �� ��*�� ��� � ������� ������ ���� ���

)�7 �8.,�- -�/ �!9!""!� ���.-,� -��

4& ����&� +��� �� ��� ��� � ���,���� �&��� ���� ���� � ������ ��� ��+��������� �' �� ����� �)��� ��� ��+ �������� �� ������& �)����� ���������� ������ � ��� �� �)����� �������� 5����; �� ������ /58A1 �� � �+��'�� ����6�� +�����& � ������ ������ �� ���������& ����'�� ����� ����� ��+ �� ���� �������� 58A ����+� �� �&��� � � ��������& � ���,� ������� �������& ����;� �� 58A �������� � ��������� ��� �� ��� �� ����������� +��� �������8��'��� �������� ��� � ������ �' �����; �� ������ ����� �������� �����

������ ��������� ��� K���� ������ =�� ��'����� �� ������� �� �&��� ������� �� ������� ��� '�� ���� ��� /-��'����� ���.1 �� �� ������� 8������� ������ ��� � �� �������� '�� +��� ��� +�� �� ��������� �� �&��������� ��� � � � �������� ������ ��������� ���� +��� ����;�� 58A � ���������� �� �������� ��� ��� �� ��� � +�� � ������� �� ������� ��� '�� ����'����� ���J�'����� �� ������ ������ �� �����3� �� �� ������ ��������� 7��; ���

R��� �$%%>� �)����� �� ��� ��� � ���,���� ����� � ���� '�� ��'����� ��� ������ ��� �������� �� �3�������� �� ��;�� A0��

Page 12: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ##

J�'����� �� ������ �� �� ���� � ��;� ��� ��� ���� ������ ���� ������������ 4� ��� ���� �� ����&� ����� ����� '�� �� ������ �� ��� ���� =������������� � ����� � '�� ���� ������� �� �&��� �� �� �� �� ��������' �� ����� ���� � � �� ��*�� ��� ������� +�� �&�������& ������� "�������� �� � ���,��� �� ���� �� ������ �� �� ���� �� �� �' � ���,��� � ���� ������� � �� � � �� � 4�� ����� �� �� �� ����&� ����� ����� '�� ������* �' ��'����� �� ������ �� � �������� ������#� ������� � ��'����� �� ������� 7��; ��� R��� �$%%>� ���� �� �������

��������� +�����& �� �&��� ��& � ���,� � ������������ ������� ������������������ ���� ���� "� �������� �� 8���� ?�$� �� ��� ��� � ���,���� �&���� �������� � ���,��� � ����� ����� �� �� ��� ��� � �� �� �� ������� �� ��� 4� ������� ������� +�� ��� ���&� +��� �� �&��� � ���,��� ������ � ���� � ������ ��� � �� �� �������� �������� �' �� ��� /���������������� ���� ��������1� 4� ������� ������� �� ������ �������� ���&��� ���� �� ��'��� ����&� ������ �� ������� �� '���� ��� �� ����� ���� ��� � �� �� �� ������ ���� ����� ��� �� ��� ��� � �� �� ��� �� ������������ �' �� ������

2� ������������

4��� ����� �������� �� �� ��������� �' �� "�� ��� 5 ���,���� 8&���/"581 �� ��;�� A0� ������� $�>��� �������� �� J������ C� $%%>� 4�� ����������� +�� ���� ������� ��;������ ��'������� �� ��;�� A0�� # ��� �������� �������+ �' "58 ��� �������� �� �� ��������� �' �� +� �����& '������E������� � ���,���� ��� '�����;������� ��������� # ��� �������� ��+ ������� �' �)��������& ��� ���� �' �) ���������� ��(����� �� ������ �' �� ��������� ��� ������� +�� � ����' ����� ��� �' �� ��������� ��� ������� '���������������� �� "58�

2�$ �-5!� ���

��;�� A0� /A������ 0����� ������1 �� �� � �� ����� ������� ������ ������'�� �)����� ���� �&������� ��;�� A0� �� +���� �� �� ���� ������������������ �������� +�� � �������� '�� +����� ��� �� �' ����'� ��� �"� ���� ��� ������ #� ������� � �������� � ���������� ������&�& �� ������ ��� ������������ ��� ������ ������� ����+� �� ��� ��� � ���,���� ����6��� ���������� ��� � �� � � �& �� ���& � � ������ ���� �� ���� � �� 0� ����'� ��������� �� �� ������ �� ������� ������� ��� �� ��� ��� � ���,���� �&������;�� A0� �� ��&� � �� �������& �����&G ��'��� � ����� �)���� '�� �� *������ �� �&��� �� ���� � � ����� ���G ������ ��� ����� ���� �����

�#�!� $�� �� ���������� ��������� �� �� ����� �� 78�� ��#� "�� �� $� ��� %�������� ����� #�����9��� 7� -����� )::; �� � ��� �� ����� �� � �� ���� ���� ��������� � �������� � ����� � �� �� � ����� �� ����� ��� ������� � �� ����� ������ �� ������� �� �� #�!� $�� ��� ��� �� � �������� �� �� ���!� 4 ���� �������� ��� �� ������� �� �� � ��� � ����� �� +4����� �� ��� ):::,� 1��������� � ��� �������� ��������� � ������ �� ���� � ��� ���� ����������� �� �� ����� �� �� #�!� $�� ��� ������������������ �������������������

Page 13: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

#� � ������� ��� �� ���

@���� ��������� ��� ��������� 7�� ��� �&���� ������� �� �� �&������ �&��� ����� � �������� !�� ����� �� �������� +�� � ������ ����������� �� �)���� ��� �� ���� ���� ������ �� � !������������� ������� ��'����+�� !�� �� ���� �������� ����� ����� � +��� ��� ������ ���� +���� ��������� ����� ��;� � ������� �� �� �� ������ ������� ���� � ���������' � ������ &���� � ������ ������ 4�� �� ����� ����� &���� ���� �� ����� ��������� ����� � �������� ��� �� ��� ��;������ #� ��;�� A0� $�>��� ���&��� ��� �� �������+�� �� � ��)�����& ����& �%���4�� ��� ��� � ���,���� �&��� ���&��;� �� ��� &���� ��� �������� �

����� ��*�� ���� 4�� ����� �������� ������� �� �)������ ��� �& +����� ������ ����������� �� ���� �� ������ �������� �� �)��� ��� ��� �&���� ��� �� �;��� 8�� �������� �������& ����� � ��� �� ������ �)����� ������'& '��6����&��)���� ������ ��� ��� ������ 2����� ���� ��� ��� ���� +����;��+� ������� / ��������� � �������� ��� ��� ��;�����1� �� ������� �������� ��� ��� �� � �� � �� ���� ���� ����� ������4�� ��;�� A0� �� ��������� �������� � +��;���� +�� ��� ��������� ��

�� ��� ��� �� ���& ��� �� ������� �' ��� �� ���� &���� ����� 8��� ��+��������;�� A0� ����&����� ��� �� �� ����� �������� ��� �� ������� ������������ &���� ���� ������ ���� ������� �' ��� ���& �� ������ ��� ����������� ������ ����� �+������ 4���� �������� ���� ������� �� ����� ��� ��������& �& ���*����& ��(���� �� ��������& �' ��� ���� �� *�� &���� ����)���� �'�� �� ������ ������ �� �������� ���� ������ �' ����

@���$ "���� �#$%� �������� ��;�� A0� ����;�� � �� ���� '�� ��� �' ������������ 7���� +��� �� �)����� ��� ������ �� ���������� ��'������ ������� ��+ ���� � �� ������� �� ���� ������ ����;�� � �� ���� � �� ��� �� �����������,�� /�' ��� �)���1� 8����� �� �&��� �� ���� ��� ����� �� *�� ��� ��� ����;��� #� ���� *�� +� ��������� �� �������� � ������ ����� ����� ������ ������ �� �����#� �� ���� �������� +��� �� �� '��� �' ��� � ��� �� ��� ��� � ���,��

��� �&��� �� ����;� � �� ���� +��� ��*���� ��� ������� �� ����������� ����� +�� ��������� � ���,����� ��& �� ����*���� 4�� �&��� �� ������ ��;������ ��� '��������� ���� ������� =�� ��;������ ���� ������/�� ��'���1� � ������� ����� ��&���������& ��'���� ��� ���� �������� =��'��������� ��*�������� �� �&��� ���������� � �� ���� ������ ���� '��������� ������ � �� ������� � ���,���� ����� � �� ��) �������� /������� ������;��� ����� ���� �� ������ �� ����1�4�� �&��� ������� +� �� ������

<4�� �������� �� ���� �������� �&����� �����& ��� ����� ��� �& �������������9� � ����� ��;� 4�� �� ���� ���� �� ����� �� ���������� �� ������������ ���� �� ��'��� ������� ��������� 4�� �������� �� ���� �������� �������� �� ��'���� ���& ������& ���� ��� �&���� ���� ������ �"� ��� � ���$%%%�� �� ������ ��� ��� 6��� 6��;�&�

<4�� ��������� �� ���� �2��;� � ��� ����G 7��; � ��� $%%$� �������� �&������ ��� �� ���������� �� ���������� � �� +��� � ��'���� � �����& �'� ���,������ "�� � ���,���� ������ ������ ������ ��� ������� �������� �I��

Page 14: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � #�

��� ��� 8��;�� ����� ��� 2KA8������ �������� �������� 4�� �� ����9�� ���,����� ��� ���� �� ��� ������� ������E

< ���� & ������ �' � �� �' (�+��������� � ���,����� ��'����� ������(&������ �� ��������� '��� �&����� � �� ���������� �� ��������� ������� ��������� � ���,����� �� ��� ����� �����& �3���� �� ���� ����������� �� ������ ���� 4�� �� ���� ��'���� �� '����+��� � ���,����������� #A ���������E ������ & �� ��������� ��� � & �� ������� ������ '������ ��� ������� ��� ��*����� ����� � ���,������ *��� ����&�������������� ��� ����������� �������� �' ������ �������� ���������� �' ��������� ������;�� ��;���� ��� ����& ���� ��;�� "� ���� � ���,���������� �� ��,� �' �� �������� #A� ��'������ ��� ���� � ����� ��������� ������ ��� �=����& ������ M���� % ������� � ������ �' ��� �����

� ���,����� ��� �� ���� ��������& ���������� /����� ����) ������������������ ������ ��� �)� ��� ��;�1� � & �� ������� ����� �� ������� ��� '������� M���� % ���� ������� ��� �� ����� (�+ � ���,�������� �� ��� ���� ���; � ������ �� ���� ����� � ���,����� ��� ��� ��������� ����������� 7�����&� M���� % ��'���� ��� �� ��� ����������� ������� ������ �' ��������� ��� ���� ����&�� ��� ��� ��� �' ���� ��������(�+����������� � & �� ������� ����� �� ������� ��� ���� ��������������������

< ���� ' ��������� M���� %� �� �����*���& �������� �� �������������� �'�������� ��������� 4�� �� ���� ��'���� ��� ��������� �������� �' *������ ��� ������ ��� /� �������1 ������� �������� �' ����*��� ������ �������'�� ������� 8 ������� �������� �� ������ ��� �& ���� �������& �����&��� �J��� � ��� ���@� ��� ������ ��*�� ��� ������� �& �� ��� ��� �&����#� �������� �� �� ���� �) ���� - ���)�����. � ��'��& ��'��� ����������������� �' ���� ��������� �' ����*��� ������ ������ ������� ��6������ ��;'���� ��+����� �� ����������� �J���'� ��� "����� ������� # ���� ���� ����� �� ����� �' ���� �' �� M���� % � ���,����� ��� ���� � ���� �� ���������� ���������� �������� �I��� ��� :����� ���%��

< ���� ( ������� ����� � +�� ��� � ���,����� ��� �� �������,���� ������������G ����� 88"������ (�+��������� � ���,����� ��&��� � ��� ���������� �� ���(�+� ������ ����� ���������� ������ ����� ����) ������� ������������ �������� ��� ��������� ����� ����������G ��� ��� ����& 88"������ � ���,������ ��� �� ����D���� ���������� �7��; � ��� $%%%�� ��������� ��� �������

4���� # ����� �� ������� �� ������ ��� ��� � ��� �' �� ���� ��� '�� ���� ����� ���� �� ��� � �� �� �� I�+��I� ������ �������� �� 8���� �� 7���)�� ��� +� �� ��� �� �� ������� � 5 M���� $� �� � ���,��� �� ���� �� $%����� ���+�� ��� �� �������� �� ����� �� ������ ��� �� �)���� ��� ����'�����

�4 ������� ����� � ��� �� � ���� � � ������� �� ��!� �� ��� ��� ��� ) ���� �� ��� ��� ������ �<���� ��� ��� �� �� ������� ������ �� � ����� ��������� ��� �� � ���� ������������ � ��� � ������ �� � ���!�

Page 15: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

#� � ������� ��� �� ���

����� 7� 4������ ���������� ���� ��� � ������ ���� �� ������� ��� �� �� &13%���=>������! ����

%������� 8������ 8��� ?����� ���� &����

8� ����� *@@�@A ;�:-�� B���� : =�)= 0�)A-�� B���� ; C�A= A�:@-�� B���� ) ;�>; A�A;

replaced by AOS recompilationinvalidated by classloader or

Compiling

Installed

Obsolete

Dead

Freed

Initial compilation/AOS recompilation

if still valid

invalidated by classloader

no activations remain on thread stacks

collected during next GC phase

Uncompiled

7��� >� M�'� &�� �' � �� ���� ����� �� ��;�� A0�

@���> ��� )���� �� � )������ $����� #� ����& �� ���������� �' ��;�� A0�9���� ��� �&��� �"����� � ��� $%%%��� �� ������ ��6����� ������� � ������ ��;�� �������,�� �� ������ ��� ���� ������� ����������� '��� ������� ���������& +�� �� ������� 4��� ������; +�� ������� �� ������� $���% �& �+������ � *����������� ��;��� ���� ���� � �������� �� ������� � ������� � ����,����� ��� ���� �������� 8��� �� �������� ����� ��� �' ��� ��;��� ������)��� ������ �' �� ����� ���� +� ����(& �������,� �� ��'� &�� �' � �� ��������� �����7��� > ���+� �� ��'� &�� �' � �� ���� ������ =��� ��;�� A0� �� ���� �

������ � ����� � �� ���� ����� ���� � �� ����� ��� ������� �� ������� �' �� ����� ������ " �� ���� ����� ��� � ���6�� ��� ��� ����� ���� ���� ��� ��� �������� �� ���� �������� "'�� � ����' �������,���� ������� �� ���� ����� ��������� '��� ��������� � �������� +��� �� ������������� J����� �� ������� �� � ���,��� �� ���� ��& ��'��� � ������� � ����,����� �� �� �� ���������� �& '���� ���� �������� !�� ��� �� �� ������ � ������� � ������ � ������� ���& �� �� ����������� ������� �' �� ;��+������ �� �����&� K �� *������� �� ������� �� �&��� ��;� � ������ �� ������� �� ������ ��� �� ������& ���� ���������� �& ������� ������������ #'� ��� ��� ��� �� �&��� ������� �� �� ���� ���� ��� �����6��� ���������+��� ����� � �� ��+�& ����� ����

Page 16: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � #�

SamplesCall Edge

SamplesMethod

Adaptive Inlining Organizer

Call GraphDynamic

Hot Methods Organizer

Method SampleData

Controller Thread

Decay Organizer

Compilation Thread

Runtime Measurements

Compilers[Base,Opt,...]

repositoryknowledge

codeexecuting

priority queuepriority queue

7��� ?� "�� ��� 5 ���,���� 8&��� �� #� ������� �� ��;�� A0� $�>���

!�� ��� � ���� �� ������� �� �&��� ��;� �� ����������� ������� � �����'&�� �� �' �� ���� ������ � ���; �� �������� ������ ��� ����������� �������������� � ������� � ���,����� ��������& � ���� � �� ������ " �������& �������� '��� ����� �������� �� ��������� � �������� ��� � � ������������������ ������������ " ����� �� ���� �������� '��� ��������� � �������� +����� ��� ��� �&��� ����� � ����� '�� � ���,��� ���� ������ ��� � ��+ ��� ���� ����� �� �������� � �� ��� ��5�� � ����� �� ���;�� �������� � +��� ����� �� ����;�� ������ :�+�����

��'��� �� �������� ��� '�� �� �� ���� ����� �� �� ������� ������� ����)����� ��������� �' �� �� ���� ����� ��� �� �� ���� " �� ���� �������������� '��� �������� � ���� +��� �� ��������� �' � �)�� �� ��& ����� ��;���;�� A0� ���� ��� �� �� �' �� ��; ������� ���� �' ������� �������G�� ��; '����� ��� ������� ���� �� ���� ������ ��� ���;�� �� ����� "�&�������� ����� �� �� �� ���;�� �� ���� +��� ��; ������� �� ���� �����;�� �� ���� ��� �� ��'����� � � �� ������� '��� �� �� ���� ����� �����# +��� ��� �� '���� ������ �� ��) ������� ��������

2�& :!":-!; �9 �

7��� ? ��������� �� ������� �������� �' 7��� � � �� � �� ���� �� ���������� ���'�� �' �� ��;�� A0� ��� ��� � ���,���� �&���� 4�� �� ��������������� �' *�� ���� ������E ���� ������,�� ������ �� �� ������ ������������� ����� �� �������� ������ ��� �� �� ������ ������ 4�� ������� ��������� ������& �� ���� ���������� +�� ��� ���� ������ ������ 6����� ���D���� ;��+����� �� �����&� "�� 6����� �� �� �&��� ��� ���;��� �����& 6�����G�' � ������� ����� ��'���� � ��6���� � ������ +��� �� 6���� �� �� &� ���� ���� ���� � ������ ����� ��'���� �� ��6���� � �������

Page 17: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

#� � ������� ��� �� ���

4�� ��� ��� � ���,���� �&��� ��'���� +� �����& ��;�E ������� � ����,���� ��� '�����;������� ��������� 4�� ��) +� ������ ������� �� �� ���������� �' ����

2�( !,!# -:! . -�-6� -��

4�� ���� �' ������� � ���,���� �� � �����'& ������� �' ��� �� +��� �� � � ������ � ���� �����*�� �)����� ��� /�'�� ����� -�� � ��.1� ���������' ������� � ������ ��'������ �� ��;��& � �� �� ����� �& '����� � ���,������ �� ���� �� � ��� ��� �' �� � ����;� �� � ���,��� �� ���� ��� ������ ���������� � ���,�� ��� �� �� ������ �������#� ��;�� A0�� �� ��� �' � ���,���� �� � ������ 4���� � ��'��� �������

� ���,����� *�� �� ������ ����������� �� ���� ��� �����'& ������������� /-�� ������.1 '�� �� �������� � �������� 4� ��� ���� � ������� �������� �� ���������& ��� ��� �� ������& �)����� ����� � ����& �;��&���� ���� =��� � �� ��� � �;� � ��� ���� �� ������� ��� �� �� �����9� �����; ��� ������ � ������ �� ���� ����� �� ��� � ��3��� #' �� &���� ��� ������ �� ������� �' � ������ ��� �� ������� ����������& ������ �� �� ��������� �� �' �� ����� �������9� ������ #' �� �;�� &���� ��� ���� �� ���� ��;���� �� ����� � ������� ��� �� ������� ������ �� �� ���� ������� �' �� ����� ������=��� �� ��3�� �' ��� ��� �� '����� �� ��� ���� +����+ ����� 4�� �������

��� ���������� ����' /�� � �;��� ��� ���1 ��� +�;�� �� ���� ��� :� �����5�����,��� 4�� :� ����� 5�����,�� ������� �� ��3�� �' �� ���� ����� ����& � ����� �� ����� 8�� �� J��� 4��� ��� ������ ��������� '�� ����&�� ���� ������ �� ��� ������ �' ���� �� � ��� ���� ��� ���� ����'�������� �' ��� ��� ������ /� ������ ����������1 +�� ����� � ����������+ ��*���� ��������� #� ������� � �� ����� ���;� � ��� � ���� �& �� ��������� ��� � ��� ���� �����& �������� ��� ������ �� ���� ���� ��� ������� ���� ��� � /���&���1 �������� ������ "'�� � ����� �� ����� 8�� ��J��� �� :� ����� 5�����,�� ����� �� ���� '�� ��� ����� �� ��� ������� ��� �� ��� +����+ ��� ���� � � �� ��������9� �����& 6����� ����� ����� �� ����� �� �� �����&� 4�� ���� ������ �� �� ���� ����� ��� ������� ������ �' ���� � ��� ���� ��� ��� ���� �� ��������� �' �)������ "'����6������ �� ��� ����� �� :� ����� 5�����,�� ����������� �� ����� ���������� ��� ���� � ���� �� ��) ��3�� �' ��� ��� �� ����& � �� ��������=��� �� �����& 6���� �������� �� ���� � �� ��������� �� �������� ���

6����� �� ���� ��� � ���� �� ������������ ���� ������ ���& �������� ��8���� ?�> � �������� +�� ���� /�' ��&1 � �;� '�� �� ������� ������#' �� �������� ������ � ���� ��� �� ������ � ����� � ���� ������ ������ �������� �� ����� � �� �� ���� ��� �� � ���,���� ��� � ��� ��� ���� � �� �� ���� ������ 6����� 4�� ���� ������ 6���� ������,�� ���������� �� �� �������* �� ������

��� ������� ���� �� �� ���� ��� �� �� ������ ����. ��� ��� �� ��� � �������� �� � �� ��������� ������� �������� �� ;: � ��7� ��� � �������� �� � �� �� ������� ��D�� ��� �� ): ����� �

Page 18: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � #

=��� �� ���� �� ��������� �� �� ���� ������ 6����� �� ���� ������ ������������ � ��� ��'���� �� �� ������ ����& � ��*�� �& �� ����� # ����;���� � ���,��� �� ���� � �� � ��*�� � ���,���� ����� ��� ������� �� ���������� ���� ����� ��� �� 0��"������ �� ������� ������ �' ������� � ���,���� �� ��;�� A0� �� �����

��� � �� �������� �� �"����� � ��� $%%%��� +� ���� ���� ������� ������ ����� �������� ����� �� '����� �) ������ +�� �� �&���� 4�� ��� �����*������� �� �� �� �� ������� �&���� �� ����� ��� �� ������,�� ��� �� �*��� �� �� �' ������ � ������� � �� ��������� 4�� ������,�� ����� ������ �� �������� ���& ������ ��������� -��.� 4�� ������,�� ������ � �����-��. �' �� ������� �' ��� ��� ������� � �� ����� �)����� � �&��������& ������� �������� ������ ����� ��� ��� +��� ���������& ���&�� � �������� +���� � ���� ��� ���� 4�� �������� �&�������& ������� ��� ������������� ��� �� ��,� �' �� ��� ���� +����+ �� �� ��� � ����� �� �������� �' �������� �� ��� ����M���� �����*�� ��������� �� �������� �� ;�& ��� ������� ��� ���������

��'������ ����� �' �� ��������� ������,���� ��� �������� ������ "58 ��������� �& +� ������ �' ��������� 4���� �������� �������� ������ �� ���� �*��� ����� ����� � �� ��������� 4��� ������� �� � ���� �3���� �&��� +��'�+�� �������� � ��� ��� � ������� �������� ������ #� �������� �� +� �������) ������ +�� �� ��� ��� �&��� �� ���������� +� ����� � ����� �� ������� �' ����� ��������� =� ������� �� �� ����� �� �� ��������� ������� ���� �������� �������* ������ �� ���� ��;��& � +��� ��'��� +��� �����;� ���������� ��� ������������� ���������

2�) �,-�! �"�1,!*�-"!# !� ��,-�-�/

I��*��������� �������� ��� � � �����'& '��6����& �������� ��� ��� � �������� �������� +����� � ���� ��� � ������ ���� ������ #� ��;�� A0�� ��*��������� �������� ������� � ������ �' ��� �������� ��������� 4�� ���� �' ��*��������� �������� �� � �����'& ���� ������� ����* �������� � �������� ������� �� ��� �������� ��� � ���� �� ��;��& ����/�1 �' � ���������� ���� ���� ������� ���� �� ���� �� �� ������& ����� � �� ��� ���� ������'������� �� �������� �� ��;�� A0� �� �� '���� �� �:�,��+��� ��� ����� $%%>��4� ��� ���� ��� ����� �� �&��� �;�� � ������� ��� �� �' �� �����

���� �� �� ������� � ������ ��� �������� �� � ��)������ �' �� �&������� ��� � ����� �� ��� ���� K���� ��� � ��)���� �&���� ��� ��� �� ���&��� �����*�� -��. ����� � ������� ��� ����� �� ��'������� � �� � ���,����� ����� 4�� �&��� ��& ����� � ���� ��� ��������&�� ���,�� ������ ������� � ������ �� ��� ������ 4�� �������� ��;�� �������� �������� ����� ������� �������� �� 8���� ?�?�"� �������� ��������&� �� �&��� ������� � ������� �� ��� ��� ��� �����

+������� � &���� ��� �� �;�� �� �� ������� �� � ������ �' � ������ 4� ��� ���� ��� ����� � ������ �� �� ���� ����� �� �' �� ����� ��� ����� ��������� �� �3�� �' �� ��� �������� �� �� �����9� ������ ��� ��� � ��3���=��� �� ��3�� �' ��� ��� �� '���� �� ��� ���� +����+ ����� 4�� ������� ���

�7� ��� � �������� �� � �� �� ������� ��D�� ��� �� ):: ����� �

Page 19: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

#! � ������� ��� �� ���

���������� ����' /�� � �;��� ��� ���1 ��� +�;�� �� ���� ��� "�� ��� #�������5�����,��� 4�� "�� ��� #������� 5�����,�� ������� �� ��� �� ��3�� ��� � ����� �� �&���� ��� ��� � ��������&� 4�� �&���� ��� ��� � �������� � ���' ��� ������ � �� �� �' *������+ ����,��� �-���+ ������.� +������ �& �� ������ �'���� ��� ���� +�� ��� ���� "'�� � � ���� �� �&���� ��� ��� �� �� "�� ���#������� 5�����,�� ����&,�� �� �&���� ��� ��� � � ��� ���� +� ��;��7���� �� "�� ��� #������� 5�����,�� �����*�� ��& ��� ����� �� ����� ���

� ���� ��� � �������� ������� �' �� ��� ��� ��� ������ 4���� ����� ��������*�� �� �� ��� ������ "�& �����6��� �� ������ �' � �� ����9� ���������� +��� �� �����*���& ���� ���������� �� ��� ��� � ������ �� ����/����� �����1 �' �� ���� ��� �� ������ 4�� �&��� ��� �� ������ ���� �������������� '����& ����� �� ���������& ������ � ���� ������� � *)�� �������������� 4��� '���� �������� � �� ���� ���������� ������ ������ ���� � ������+� � � ����� �����������& ���� ���������� �� ��*���� ��� �������� ��������� ���� ���������8����� �� "�� ��� #������� 5�����,�� ��������� �' �� � �����& � ������ �

�� ���� ��� ���� ������ ������ �� ����� +�� ��� � ���,�� ��'��� �� ��������� ��� 8�� ������ ���� �� ���� ���� /���� � �� ���� � ���,���������1 '�� '����� � ���� � 4� ����� �� �������� �' �����'&��� �� ��� ��*������������� �� ������,�� �)������ ���& ������ �� ��� ������& �� ���� � ����)���� � ���,���� ����� ��� �� �� ����� ���� ��� � �������� ������� �'�� ��� ����� ��� ����� 4�� ������,�� �)������ �� �� ���� ����� �� �����'������� '�� ��� ��� �� ����� � �������� �' �� ����� ������ �������� �� ��� ����� #' ��& ��� ������ ��� '����� �� ������,�� ����� ������ ��������� �� � �����& ��� ��6����� � '�� �� �������� � ������� ������� �������* ����� �������� �� 8���� ?�?�"'�� �� ����� ���� +� ��;�� �� "�� ��� #������� 5�����,�� �����������

�� ���� ������� ��� ��� ���� � ���� �� ��) ��3�� �' ��� ��� �� ����������"� �������� �� ���� ����� �� �� ���) �' �� 8��'��> �� ��������� �:S��,��

���@�� �� �&��� ������ �;� ��� +��� ���� ����� � ����� ��������& �� ����+�� '�����;������� ��������� � ������ �� ������� �������� �������� ��� ������ 4�� ;�& ����� �� ��� 8��'��> ��� �� ��� �&��� �� �� ��� � ��� ���� ���������� � ��& �� ������ � ��� �� �� ��*���� ��� ���� � ����� �� ��) ������' ��������� 4����'���� '������ � ������� ��� �������� �������� �� ����� �� ���&��� ��������� ��+��� +� �� ���� �������� �' � ������ ��� �����&��� ���3���� �� �' �������� ��������� "� �� ������� +��;� +� ����� ��� ������ �&�������� �� ��� ������ ������� �� �� ������� ������� �' �� ����� ��� ����������� �� �� ��+ �������� 5' ������ ��� �� ���� � �������� -���. ��� ����� �'�� � ������9� �������� �������K���;� �� �� ��������� �' ������� � ���,����� ��*��������� �������� ���

���� �� � �������� ������� � �����'& �� ��� ������ 4��� �� ������'&��� ��

��� ���� ������� ���� ��� ������ � ����� ����� �� � � ������� ������� ��� � ��� )C ������� ������� � 6�� �� ���� � �� ��� ��� ��� � ����� �� �� ;*C ����� �� ������� ��7� ��� � �������� �� � �� �� ������� ����� �� �� ������� ��� ��� �� AE ��� � ���������� ��� �� ;E� 4���� �� ������� ������� �� ��� ��� � ����� ����� �� ���� �� �������������7� ��� � �������� � �� � �� �� ������� ��� ��� ����� �� :�)CE�

Page 20: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � #"

������� ����������� ��� �� �� �� � �' �� �&��� �� ��� �� ������� ���& ���'��� �� ������ �� ��������� �� �������� �� �"����� � ��� $%%%��� 4�� ��� ������ +��;���� �' ��� ����� '�� �����'&��� �� ����� �� �� � �������� ������� �������� �� ��� �� ���� � ��)���,� ��'������ ��� �� �� �� ������ ��� � ��& ���� �������� ������ 4�� �&��� �� ���� '���� � ���& �� �� ������ ���& �' �� ���� +����� �� �� �&���� ��� ��� � � ������ ����+����� ������ � � ������ ���� ���'�� " ���� �������� ����� '�� ��*����������������� ������� �� � �� � � '�� '���� +��;�

2�2 ��� "�,,!" ��.,!�!� � -��

" �����& ������ ���� '�� �� ��� ��� � ���,���� �&��� �� � ������ ������� �������� '�����;������� � ���,����� 4����'���� +� ��6���� �� �������� �� ���������� � �� (�)���� ��� �)�������� "� +� ������ �) ������ +�� �� �&������ �������� �� ���� +�� ������ ������� ����� ��������� � ���� �� ����� ������4�� �������� �� � ������ ���� ����� �� ���� �� ��*��� ���� ��� � "'��

�������,��� "58� �� �������� ����� �� ���� ��� ��� ��� � � ��6������ ����� #' �� ���� �� ���������� �� ��6���� � ������ ���;� /��� ������ ���������� �����1 ���� �� ���� �� ���������� "�� �������� ����� �� ����� ������'�� +�� � ������ �����E ������� 4���� �'�� �����'���& ��6������ ������ �� �������� ����� ��� �& ����;�� �� ������ ����� ��� ���� �� +��;'�� �� ���� ������ ���� �� ����� ������ � �� � �' �� ���� ��� ������ � � ��6���� ������ ����� 4��� ������ ��;�� � ���& � ��� ��+ ;���� �'����� � �� �&��� /��� ���� �)��� �� ��������9� ��������1� �� ��� �' �� ����� ����� �� ���� �� ��*��� �& �� ����9� ������ ������ �� �� �� ��� �'�� �������� ������" '����� ����� �' �������� �� ��� ������ �& �� �������� �� ���� ������

�����& �� �� ����� ���� +�� ������� ���������� 4�� ������ ����� �' � ������� ���� ����;�� ������ �' �� ���� ������ �����& � �������� +������� �� � ����� ������ �� ���� ����� ��� �' �� � +�� � ���,���� ������ 4���������* ����� ����' �� ���� ���*�� �� � ���� �������& �' ������ � �������)������ ��� ��������� 4��� �� �' ��������� ������ � ������ �������� �� ���������� � �)��� � �����& �' ��������� 8������� ��� �� �� ������ �' 8������ ?�>� ?�� ��� ?�B� ��� ������� ����������� �������� /�������� �� �� ������6��� �����1 +��� ��� �� ������� �& �)������ �� � ���������� ��������

���D�� � � ��������� �����"����� ���'�� �������� '�� �) ���������� �� �� �����& � �����& ����� ��

�� � �������� � "58 �� ��*�� �� �) ��� �� ������ ���� ��� �)������ ��� �' �� ���� ��� '�� �� ������� �� ������ 2& ���&��� ���� ��������� ����� �����& ���� �� ��'��� ���������� �������* ����� � ������� � ����������������� /�& ��*���� ��� �� ��� � ���,���� ����� � �� �� ��*����1� 5�� �� �����) ���� ���� �� �� �' �� �&���� '�� �)�� �� �� ��������& �' �� ����� � ������& �' ���� �������� �"����� � ��� $%%%��� =� '���� ��� � �����& ��� �� ���'�� �� �� �&��� �� ��� � ������ ���� ������� �� ����� � �� ������& ���� ���� �������� '��� � *���"� ��� �������� �' �� (�)�����& ��� ���� �' �) ���������� ������� �& ���

������� �� �� ����� ������ �� ���� �� �� ��) ����� +��� ��� ������� �&

Page 21: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�$ � ������� ��� �� ���

�������������� �� ����� ����������������� ����� ��� ���� �!����� �� ����� �� ��� !

����������"��� ���������� ����#��� ���� ����� ����������������� ����� ��������� ��! ��� !� ���!

���������������" $!�� ���� ��!� �# ����% ������% ����&��% �� �!������ �� ����������������� ����� ��� �! ����

��������������� $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� '� �! ����* ����� #����� �� � �! �����

�������������"" $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� '� �! "����* ����� #����� �� � �! ���

��������������� $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� ' �! ����* ����� #����� �� � �! �����

����������""���� ���������� ����#��� ���� ����� ����������������� ����� ��������� ��! ��� !� ���!

����������"��� $!�� ���� ��!� �# ����% ������% ����&��% �� �!������ �� ����������������� ����� ��� �! ����

����������"���"��� $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� '� �! ����* ����� #����� �� � �! "����

����������"�����" $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� '� �! "����* ����� #����� �� � �! �����

����������"����� $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� ' �! ����* ����� #����� �� � �! ���"

����������"������ ���������% ��&�� � ���� �������� �# ����������������� ����� ��� ����� ��! �������+ ���"�

���������"���� ,��� �����% ��� ��&�� �� ����������������� ����� ���

��������������"� ,��� ����� ��� ��&�� �� ����������������� ����� ���

�������������� ���������� ����#��� ���� ����� ����������������� ����� ������"�� ��! ���� !� ���!

����������"���"� $!�� ���� ��!� �# ����% ������% ����&��% �� '�� �� ����������������� ����� ��� �! ����

�������������"" $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� '� �! ""�"* ����� #����� �� � �! �����

������������� $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� ' �! ����* ����� #����� �� � �! ����

-���� ��+ !� ���� ������!����.

���������������"�� ���������� ����#��� ���� ����� ����������������� ����� ������"�� ��! ����� !� ���!

��������������"�"�� $!�� ���� ��!� �# ����% ������% ����&��% �� '�� �� ����������������� ����� ��� �! ������

��������������"�"� $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� '� �! �����* ����� #����� �� � �! �����

���������������" $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� ' �! ����* ����� #����� �� � �! �����

�������������"����" ���������% ��&�� � ���� �������� �# ����������������� ����� ��� ����� ��! �������+ �"��

�����������"�������" ,��� �����% ��� ��&�� �� ����������������� ����� ���

����������"�������" ,��� ����� ��� ��&�� �� ����������������� ����� ���

�����������"���" ���������� ����#��� ���� ����� ����������������� ����� ��������� ��! ����� !� ���!

�����������"����� $!�� ���� ��!� �# ����% ������% ����&��% �� '�� �� ����������������� ����� ��� �! ������

�����������"��"���� $!�� ���� ��!� �# '() �� �����% ����������������� ����� ��� �� ' �! ����* ����� #����� �� � �! �����"

7��� @� 8����� "58 ���*�� ������ '�� � �� ����� �' $�> ����

������� � ������ ��;�� A0� ����� ��� ���&��� ���� ������ ��������� ����&�������� ��� �� ���� �������� �� �� ������ �����

2�4 �//-�/ ��� �!03//-�/

��� ��) �������������� �&���� ��� �� �� ��;�� A0� ��� ��� �&��� ������������� ��������� '�� �&��� ������������ ��� ���������� 0������& ��� �' �� ��*���� ��� ������ �& �� ������ ����������� �� ���� ������ '��� �������������� ���������� ��� ���� � �;�� &���� ����� 4�� �)� ����� �' ���������� �� ��� ���� �� ��*�� ���� ��3��� ����+�� ��� ��� �� � �������)����� 7���������� ���& � ���,��� �� ���� � ���,����� ���& �� ������ ��*��� �' ��������� ����� ������������ 8�� ���� �' �� ���� ����� �� ������� ���� � �� ���� � ���,���� ����� '��� ��� ��� � �� ��)� � ���� ���� ���� ������& ��3�����& �� ������ �� ��*��� �' ����� ������������4�� �����& �������� +� ��� � ������ ��� �� ��)�& �� �� �����& � ��� ���

�' �� ������ ��*�� ��� ������� ������ ��� ��� ��� '��� � ��; � �� �&��� ��� �����6��� ���� "� ������ ��� �&�������& �� ����� �� �&��� ���� � �������� �������� " �� ��� �' �� ���� �� ��� ��� �&��� �� � ������& ��� �� ��*���������� ��� ��� �� ��*��������� �������� ��������� ��� �� ����� ������������ �' ��� ���������� ��������� �������� 4��� ��� �' ������ ��� �� *��� �' ��*�� ��� �� ��� �� ������� �� �� �� � � ������ ������ /������� �� ���1+��� �� ��&� ������ �' �� ������ ����� ��� ��� � ������& �)���� �� �������� K�����& � '����& �� �� �����& ����� �' ������ ����� �� ���� ���D�� ���� ����� ��*�� ��� ���� � �����+ �� ���� �' � ���� � � ����� �� �'����� �;�� �& �� � ���,��� �� ����� "������ ��� ���� �� ������ � ���'��& ����� �� ��& �' � ������� ���� �� ���� +� ���� '���� �� � ����� �� ����� ����� ��� ������ ����� �& ���� �� �� � ���,��� �� �����

Page 22: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �#

#� ������� � ���� ���������� +��� �����& ��� ��������� �� � ���,����� ����� �� ��� ��� �&��� �� ������� � ��� *�� �� ������ ������� ��'�������� ���� �� ����� �' �� ������,�� ��� �������� ������� # �� ��� ���� �������� �' ������� �� ������ ��������� ������ �' ������� ������� /��� �������� �������� ��������1� 7��� @ ���+� � ����� �' �� ��� ������ �������� +�� �� ��������� �' �� ���� �����!� �������� "#$ ��������� ��% ���������� ��� �' ������ ������ �' �� 8I!�����C �������; $�> ����� 4� �� ���� ���������&�' �� *����� �� �;��� ��*) �� ������� '��� �� ����� ����� 4�� *�� ����' ������� ��� �� �������� ��; /������ �' ���� ������ � ���� �)����������1 ��� �� ����� �' �� ����+��� &�� ����� � �����������&' '�� �� ������&� 4���� ��� ������ ���+ �� �������* ������ �� ��� �& �� ��������'�� ������� ������� � ���,���� ����� ��� �� ���������� �' �� ����� '����������� �� ������ ������ +� � ���,��� ���� ������� /*�� � ����� % ������ � ����� �1�7�� �)�� ��� � �������� ��; ��� �$� +� ��� '��� ������ �� ���� �� ���

����� ��� '���� ��� /�� ��� �' �� �� ������ �� ��� �� ��� '�����)����� ��� �� � �����1 '�� ��'������ �� ���� ������ ��� '�� ��� � ����,���� ������ 2����� �� ��� '���� ��� '�� �� ���� ����� /?%1 �� ���� ����� ���� ���������� /?��C�� B$�@C� ��� $�>�?�%1� �� ����� �� �� �������� '������ ������� :�+����� � �������� ��; ��� ��%� �� ����� ��� ���� ���� ��� ���� �'��� 4���� �� ��� '���� ��� ������ �� � ����� �������� �� +����� ������ ����� /����� % ��� ����� �1 �� ��� ���� ������ ��� �;��� ������ ������ ����� 2����� ����� % ����� �� ���� '���� ���� ��� ������� ������� �& ����� � ���� ������ ���� �� �� ���� ������ �����& 6����� 4�� �����& '�� �� ���� �� �� ��3����� ��+��� �� '���� ��� '�� �� ��+ ����� ����� '���� ��� '�� ����� �)����� /�%� ���@? L $C�?�1�

4� �������� � � ����

4��� ����� �� ������& �������� �� ��� ��� � ���,���� �������� ��� ���&�������� �� �� ������� ������ �' ��� � ��� =� ������� �� �� ����� �' ��'������ ������� � ���,����� � ��*���& ���;��� � �� ����*� �' ������������ ���� ������� ����� ���� �� � ���,���� ������� ��� ��'������ '�����;������� � ���,������ #� �������� +� ������� �� �������� �������� �& ����&��� ��� �������,� ���� �' �� �������� �� � ��;��� ��� �� �� ������ �'������ ���� ���� ���� ����

4�$ �!�#���"5�

4�� *�� ����� �' 4���� ## ���� �� �������;� ���� �� ��� ���&� 4�� *������� �������;� ��� �� 8I!�����C �������; ���� �8������ I��'������!�������� ��� ������ ��� �()��!!"*** �� �� ������� �' � & ��� ���� ��������� � ������ �8������ I��'������ !�������� ��� ������ ��� (�����!! ��� ����*�� ������� �' 8I!����$%%% �� �)���� � *)�� ������ �' ��������������� ��� �)����� '�� � *)�� ��� ������ %���+,� �� � �������; �' �������� T�M ������� ������� �������� ���� �� 4�� +����� �������; ��������� ��� �� T�M I����� �)������ ����� �� " ��� T���� ����$ ����� �)���� ������ �� � �&���� �������� ����� '��� �#4 ����;�� �� -�.� �)������ � ���������� 8���� �&��� �;�+� �� �� �� � ���� �&���� ����&��� ��� ����'�������

Page 23: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

4���� ##� J���� ��� �' �������;��

���� ��� ������ ���� ���������

����� ; ���� �? ���� ����� ; ���� �? ����� ����� *@ ���� �? � ;::�� ; ���� �? ���� ����� ; ���� �? ����� ����� A) ���� �? � ;::�� ; ���� �? ���� ����� ; ���� �? ����� ����� )* ���� �? � ;::

���� ; ���� �? ���� ����� ; ���� �? ����� ����� *@ ���� �? � ;::��������� ; ���� �? ���� ����� ; ���� �? ����� ����� *C ���� �? � ;::���� ; ���� �? ���� ����� ; ���� �? ����� ����� @A ���� �? � ;::��! ; ���� �? ���� ����� ; ���� �? ����� ����� 0> ���� �? � ;::�� � <� ; ���� �? ���� ���!���� ; ���� �?����� ���!���� *@ ���� ����� ���!���� ��� &4F%���� � ��� � '-�%���� � ��� � ����!�� &��! � ����� G���� 3 ����� �!��� )5 ���� ��� ����� ;)5 ���� ��� ����� � ��� H����"���� ����� &��4��������� ����� � ���� &������� ��������� H��B ��������� � ���� ;:5 F�B ����� � �� ������� ;)�::: ���� ����� )::�::: ���� ����� �&13%���)::: � � C ��� ���� ��?

C ��� �����

'����+��; '��� ����� K�������& ���� �� ��!�� �� � �$!! ��� ��������� ��������� �� +���� #2� �A����� � ��� $%%?�� +��� �� �� T8M4 ������� �)���� ��U��� �' �� ������ �� ���� ��'��� � �� ���� 8I!� ��� ������ �� ��� ������

�� �� �����& �� �������& �� ����� � 8I!� �����#� �� �) ������� �� '����+� +� ������� ��'������ �� ��� �������; ��

��� �' +� -�������.E ���������� ��� �������������7�� ���������� ������ �) �������� +� ������� �� ��� '�� �� �������; �

��'��� � *)�� ���& �' +��;� ������ '��� � ��� ���� 7�� ��� �������;� +����� ��*��� � -������. ��*������� ��� � -�����. ��*������� '�� �� ������� �) ��������� 4�� ����� ��� ���� ������ �' 4���� ## ��� �� �� �� ����� ��*�� �� ������ ��� ����� ��*�������� �' ��� �������;�7�� ������������ ������ �) �������� +� ��*����� ��� �������; � ��� '�� �

*)�� ����� �' ����� ��� ��*�� � ���� � ����� ������ +��� ��'������ �� ���������� 4��� ������ �������� �� ��'������ �� �� ��������& �������� � ���� � ���� ������� � ������� =� ���� � @ ����� +��� � ����� '����+�� �& @������ �' ���� �)������ 8I!����$%%% *� �������& ��� ��� ������ ��� +����*����� +�� � @ ����� +��� � ��� @ ����� ���� �������� 4�� ����������������;� +��� �)���� �� �� ������� ������� ��� ��*����� � ������ '�� �%������� 7�� �� *�� @ ������ ������ +��� �������G '�� �� ����� @ ��������� ������� ��� �� ������� �� �� ����� 4�� ��� ����� �' 4���� ## ��*����� ����&���� ������ �������� '�� ��� �������;� 8������ �������;� �����)��� �����& �� � ��� ���� ��& ���& �� ��� ���G +� ���� �� ��*������&���� ������� �� ���� �����4���� ### �������,�� �� �������� �' �� �������;� �� ��� ���� '�� ��� �' ��

�������� 4�� *�� ����� �' ��� ������ �� ��� �� ������ �' ������ �)������� ����� ����� ���+� �� ��� ������ �' �&����� �� ���� /�� H1� ��� ��

�F���� �������� � ���� ��� ������ 4 ���� ����� ���� �� ����� �� �� ���� ��� ���

Page 24: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ��

����� 777� %������������� �� ������! ������� ���� ���������

��� 5 8% ���� ��� 5 8% ���� ��� 5 8% �������� ��� 3 � 3 � I J 3 � 3 � I J 3 � 3 � I J

����� )0* )) *�:> )0* )) )*�=@ )0* )) ;0�=C�� AA) 0) ;�C> A@C 0* ;C�AC A@C 0* @�*>�� )C> )0 :�@0 )A) )0 )*�** )A) )0 ))�;)���� =*= >A )�*A =A@ >@ );�>* =A@ >@ ;0�>)��������� 0;A A@ C�;0 0;C A@ )@�)) 0;C A@ ;=�:A���� *A> *; *�A: *A= *; ;*�)0 *A= *; A�C@��! 0@@ C) )�A> 0@> C) ;@�)= 0@> C) ;:�==�� � <� 0C= *; *�@A 0=: ** )*�)A 0=: ** ;*�@) ��� @;= A0 A�)A >)) @; ;;�@= � � ����!�� ;A@; ;0: ;;�A0 ;A@* ;0; A*�*> � � �!��� ;@=0 =A *�A0 *0=A ;A; ;A�;= � � �

��� ;);C ;;; ;)�:: ;@*0 ;)A C*�CC � � � ���� ;=@: );> @�0: 0*@) *@@ ):�;C � � � ���� ;C>) ;0) )�;0 � � � � � �� ������� C>@ C; C�:: C=@ C; C*�>> � � �&13%���)::: � � � � � � =A) >C )�;:

���� ����� ���+� �� ������� ��� +��� �)���� +�� �� ��� ��'��������*������� �' ��;�� A0� /���������� ����� +�� 7J51� 7�� �� ����&������*��������� �� ���� �� ��� �� ��� '�� ��� ��������

4�& �� � ��,,!# -�� �! ����,�/<

5�� �� ����� ��������� +�� ��'����� ����� � ������� �' ��;�� A0� �)����'��� �� � �� ����� �08 �� �����& �� �' ������&� $%� $%%?� +�� ����� ���*)�� � ������� "�� �) ������� ��� � /��������������� ��� ������ ����� ��������� ������ �� � ��������������� � &D���;��+�� �&���� �2��;���� � ���$%%?�� 4��� ������ ���� �� ������ ��'������ '�� ��� ������� �' ��;�� A0��4�� �&��� +�� ��� �� � ������� #2� A8D�%%% ����� 7C% +�� ��) @%%�:, �������� ��� ?�2 �' ���� �����&� ������� "#T ?�>�>� 7�� ��� �) �������� +�������� �� �&��� � ��� ���& ��� �������� 4��� ������� ���� �� ���������� �� �� ��� ��� � ���,���� �&���� ������ '�� �������������� ��������;�� �� �&��� ���� �F��� ��;������ �� ������ ��� � � ��� ��������4�� *�� ���� �) ������� �� 8����� ��? V ��� +��� ��'����� +�� '�����;�

������ � ���,����� ��������� 8���� ��B �������� '�����;������� � ���,������ �� ������ 8����� ��C ��� ��� ����� ������ ���������� �' �� ��� ����&��� +�� '�����;������� � ���,����� ��������"�� ��'������ ������ �� ���� �� ��� ����� +��� �� ��� �& �;��� ��

������ �' � ����� +���� � �� �% '�� �� ������ ��� ����� �������� ��� > '���� ����&���� ��������� 4����� #0V0## �� " ����) 2 �� �� �� ��'������

���� � ��� ���� ���� �� �� )�*�; ����� � �� ����� �� &����� C ��� �� ���������� ����� ���� �� ����������� ��� ��� � � ���6���� ��� ���� � �� ��� �� ������ ���� ������ ��� ��� ��� �� � 6�� �� �� ������! ��� ��� ;: ������ � ���� ��� ������� ��� �� �� �������� �� ����� &����� �� ������ ����������� �� ������� ���������� ���� C ������ � � ���� � ������� ��� ������ �� ��� � ���������

Page 25: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

����������� �� ������ �������� �� ������� ���� �� � ���� �� +��� �� ��+�)����� �����

4�( �"�-�-�/ �! ����,�/<

4�� ������ ��� �������� ���� � ������ ��� ��� ���� ������ & ����& �� ����� ���� �������,���� �' �&��� ��'������� 4� ���� �� ������ ��� ���������+� ������ �� �������; �� ��� � �������� ��� ��� � ��������� ���� =� ��*���� ������� �� � �� �� -��,� �%%. ���� �' �� 8I!�����C �������;�� ��� �� ������� �� � �� ��� ���� �������

"� �������� �� 8���� @� �� ��;�� A0� ��� ��� � ���,���� �&��� ����� ���������� �& ������ �� �� ����� �� �� ������ ��� ��� �) ��� � ���� ������� �& ��� � ���,���� ����� ���������� 4� ����� ���� ������� +� ��� ���������;� �� �� ������� �� �� � ������� ��� ���� '�� ��� �� ���� �' ������/2�������� 5 %� 5 �� �� 5 $1G �� ��� ������� ��� ����� ��� � ����������� �� �� ���� � � *)�� � ���,���� ����� �� *�� ��� � �� ����;��� ��� �� ��*���� �� ���� ������ �� ��'������ =� ���� � ������� ����� /�������������� �3 ��� ��� 0� ������ ���� ����1 +�� � ?%%�2 ��� ��� �� 0� �

/����������� +�� ���;��+�� ����� � ��1 ������� ������� ���&� +��� ����;�� A0�9� ������ ��'������ �����& ��������� �&��� � �� ��� �' ��������������4� ����� � ���� ��� +� ��� ��� �������; '�� *�� �������� ��� ����

�� ��� �' �� ��� ���G ��� ���������& '���� �� �� ������ ��� /+����� ���� ������ �� *�� ���1 ��� ��� �������� �� 6����& �' �� ��� ���������& �� �� ���� ����� ����� 4��� ����� +�� �� ���� '�� ��� �� ����� ��� ��������� � ���� '�� ��� �� ���� +�� �� ��� �& �;��� �� ������� ��������� ��� �������;� �� �� ������� ���4� ������� �� ������ ��� ���� +� ��� ��� �������; '�� ��� �������

��� �������� �� ������ �' �&����� �� ���� ��� �� ��� � �� �� ������=� �� ��� �� ������� �� ������ ��� /�&����� �� ����������1 '�� ����������; ��� ��� �� ��� �� ������� ���� ����� ��� �������;� '�� ���� ���,���� ������4��� ������� ��*������� ����+�� �� � ������� �� �������� �� ������ ���

'�� ��� � ���,���� ������ ��� ������ ������� � ���� ������� �& �� ����� �� ��'������ ��3����� ��+��� �� � ���,���� ������� 4�� ������� ��������������� +��� ������� �� 4���� # �' 8���� @G ���� ������ +��� ���� �� ������&� �������� ����� �������� ���� �) ��������

4�) !,!# -:! . -�-6� -��

2�'��� ��������� �� �����3 ��+��� ������� ������� � ���,���� ������� +�*�� ����'& �� '��������� ����� ��� �� � ������� � ���,���� ���& �� ��������&� 4��� ����� ��������� �� 6������E ��� ��������� �� ��������� �����������/4� ���+�� ��� 6������� +� ��*�� � ����������� �)����� �����& ����� �#4�

K���� ��� �����&� �� �&��� �� ���� ��� ����� +�� � *)�� � ���,����

���� ��� ��� ��K�� ����� ���� ��� ������� ���� �� �� ��� �� ����� ��� � ���� �� �� ������� ���� ��� ������! �

Page 26: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ��

���������

Training O

pt 0

Training O

pt 1

Training O

pt 2

Production O

pt 0

Production O

pt 1

Production O

pt 2

All O

pt 0

All O

pt 1

All O

pt 2

0

1

2

3

Spe

edup

JITmodel

��������

Training O

pt 0

Training O

pt 1

Training O

pt 2

Production O

pt 0

Production O

pt 1

Production O

pt 2

All O

pt 0

All O

pt 1

All O

pt 2

0

1

2

3

Spe

edup

JITmodel

7��� �� 8�����& ��'������ �� ������ ��+��� �#4 ��� ������������ ������ ��������,�� � ��������� A����� '�� ���������� �������; ��� ������� �� " ����) "7������ �� ��� �B�

Page 27: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

����� /��������� 5 ����� %� 5 ����� �� �� 5 ����� $1 �� *�� ��� �� ������� ����;���4� ��;� � '��� �� ������� +� ������� �� ��'������ �' ��� �#4 �����&

������� � � �&��� �� ��'���� ������� � ���,���� ����� ���& � ������ � ����,���� ������ 4��� ������������ ��� ��� �&��� *�� �� ���� ��� ����� +���� �������� �� ����� ��� ��� ���� �� �������* ����� � � �& �� � ���,����� ���� � �� �� ������G ���� +� ��'�� � ��� �&��� �� � ������������ ������7��� � �������,�� ��'������ �' �� �#4 ��� �� ������������ ����� ��������

����� ��� �������;� �� ��� -�������. ��� -����&����. �������� 4�� *���� ������ ��'������ �������,�� � �� � ��� �' � �&��� �� ���� �� ���������� ���� ���&� 4�� *�� ���� �' ����� ������� -4�������.� �� ��� � ������&�' �� ������ '�� �� ������� �������;� ���& /�������� �� 8���� ��>1� 4�������� ���� �' ����� ������� -I�������.� �� ��� �� ������& '�� �� ����������� �������;�� ��� �� *��� ���� � ������� -"��. �� ��� �� ������& ������� �������;�� "�� ��������� ��� �� ��� ����� �� ������� �����#� �� ������� ������� ��'������ �' �� �#4 �����& ��������& ������� �� ��

� ���,���� ����� ��������� 2����� ���� ������� ��� ��������& ���� �������/%�B<�>�> ������1� �� �&��� ���� �3��� � � �& �� ���& ����� $ � ���,������ � ����& ������ #� '�� �� �� ������� ��� ������� ��� ��� ������ �#4�� ������ �����& ����� ��'���� �� �������� �� ����� +��� ������ ���'���� ��� �� ���� ������ �' �� � ���,��� �� �����#� ������ �� �� ����&���� ������� �#4 ��*������� ��'������ ��������

�� +� � �& ���� �� ������� � ���,������ #� ��� ����&���� �) �������� ���#4 ��*�������� +��� �� ��� ��� ����� ��'��� �� ����� ����� ���������� ���� 6����& ��� �� �� ������� '�� '����#� �� ������� ������� ������������ ������� � ���,���� �� ��'���� ��

����� ������ �#4 �����& �� ��� ���� #� �� ������� ��� �� ������������ ������& �� ����� ��'������ ���� �� �#4 �& B�P /� ���,���� ����� %1 � ?�?P/� ���,���� ����� $1� 7���������� �� ������������ �������� �� ��'���� ���������� �� ���� �& ?CP � >%P� ������&� ������� � ���,���� �� �������& ������� �� ����� ��'������ �� �� ������� �������#� �� ����&���� ������� �� ������������ �����& �������� �� ������ ���

'������ � �� ����� ������ �#4 �����& �� ��� ���� ���������������&� �������������� �������� �� ��'��� �� ����� ������ �#4 �������� �& ��CP �?��P� =� ������� �� �� ������� � ���,�� ����*� '��� ����&�� �� �������4�� ������� �����& ����&� �� ������ ���� ���� �' �� ���� �������& ���������������G ��� ����& ����+� ���� �3���� ���� �������&������ � ���,����� ����� ���������#� ������&� ������� � ���,���� �����*���& �� ��'���� ��& *)�� �)�����

���� ���������� 4�� ����� �������� � ���,���� ������ � ��'��� +��� �� ��������� ������� �� � ���,�� �����������& ������ � ��� �� �)��� �� ��� ��'������ �� �� ����&���� �) ��������7���� �� ��� �B �� �� " ����) " ������ �� ������� ��� '�� ��� ����������

�������;� +��� 7��� � �������,��� #� �� ������� ������ ��� ����������������� �� ��'����� �� ����� ������ �#4 �����& �� $� �' $� �������;� +����)���� ����� �' C��@P� �$��P� ��� �C�CP '�� ������ %� �� ��� $� ��� �����&� #��� +���� ���� �� �#4 �����& ��� �� ������������ ����� �& >%�%P� @%�$P� ���

Page 28: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �

>>�@P '�� ������ %� �� ��� $� ��� �����&� #� �� ����&���� ������ ��� ������������ ����� �� ��'����� �� ����� ������ �#4 �����& �� @ �' � �������;� ������� % ��� � ��� � �' � �������;� � ����� $� 4�� ��)���� ����� ��� �B��P�$��CP� ��� $>�>P '�� ������ %� �� ��� $� ��� �����&� #� �� +���� ���� �� �#4�����& ��� �� ������������ ����� �& ?�%P� $��P� ��� $�?P '�� ������ %� �� ��� $���� �����&�

4�2 ���!,*�"-:!� .�,-#< !:�,3� -��

��� ���� 0�� �������� �� �� �������� ���� ���� ������������ ������ ������ ������� � ���,����� 4��� ����� �� ���� �� ������������ ������������������� � ���,����� �� +�� ������� �� �� ������� ������ +�� ������������ ������������ ������� � ���,����� #� �������� ��� ����� ��������� ��6������E ��� ��������� �� ������������ ��������� �����������/7�� ���� �) �������� +� �� ������� � ������������ ���� ������ ���&

�� �� ������� � ���� �� ���� �� �8������� � ��� $%%��� "� �� �� ��������) �������� +� ����� �� �&��� � +� ����� �' �)�����E ����������� �������� ��� � ���,�� ��� � � ������ � ���,���� ������ 4�� �&��� �������� ������ +�� ��� ������ ��� �� �������� �� ���� ������ ������������ �������� � �����9� ����� +��� ����� �1 �� ����� �� ����;��� �� �1 � ��;�+��� ����� �� �;�� +���� �� ������ =��� �� ����� �� � � �������������������� �� �&��� ���� ���� �� ����� +�� �� � ���,��� �� �������

4� �������� �� ����� ���������� +� ��'����� �� �)������� ����� ���� ������� �������� ������ '�� �� �������;� �� �� ������� ��� =� ������ ���������� �� ���� �� ��� ������� ��'������ �� �� ������� ��� 7���� �> V �@�� " ����) " ���+ �� ��'������ ����� ���� � ��� �� ����� ����������7��� B �� ���� �� ��'������ �' �� ������������ ������ ��� �� ������

������ ���& �� �� ������� ������� 5� �� ������� ��� �� ��'������ �'�� +� �������� �� ������& �� ������G �� ����� �� ��'���� �� ������ �&%�?P /����� %1� %��P /����� �1� ��� ?��P /����� $1� 5� �� ������� ��� �� ������� ��'���� �� ������ �& ����P /����� %1� >�?P /����� �1� ��� ��?P /����� $1�7��� B ���� �� ���� �� ��'������ �' �� ������ ��� ������������ ������

�� �� ����&���� ������� #� ��� ��*��������� ��'������ �' �� +� ������ ��+���� �P� 4��� �� �) ��� ������ �� ����&����� ��� �� ����� ������ ����������& ���� � ���,�� �� �� +��� � �����8������,��� ���� ������� +� ��� �� +��� �������� � ������� ������������

� ���,����� �� ����� �� ��� �� �)��� �� ��'������ �' �� ��� ��������� �����&� 4��� �� �����*�� ������ �� ����� �������� ��6����� �)�������� ����� ����� ���� �� ���� � �) ���� �� � �� �' ������� ����� �������4�� ����� �������� +��� ���� �������� �� ��& +��� �� �)��������& �����G �������9� ������ ��� ������� �& ��������� /���1 �� ���������� �' �� ��� ����� �� �� �&���� =���� ��� �������� ��& ���� ������ �� �� � �� ������������ 4������� ��� ����� �;�� ������& >% ������ ����� ��� ����� ��������������;�G ������� �� ����� ��� ������� �� 7���� �> V �@ �' " ����) "��6����� ������� ��&� �' �IK ����

��8� �������� #�!� $�� ������� ���������� � ��� �� � ������� ���������� ������ �� ����� � �� � �� ��� ��� ����������� �� ����� � ���� ������ ���

Page 29: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�! � ������� ��� �� ���

���������

Training O

pt 0

Training O

pt 1

Training O

pt 2

Production O

pt 0

Production O

pt 1

Production O

pt 2

All O

pt 0

All O

pt 1

All O

pt 2

0

1

2

3

Spe

edup

ctrmod

��������

Training O

pt 0

Training O

pt 1

Training O

pt 2

Production O

pt 0

Production O

pt 1

Production O

pt 2

All O

pt 0

All O

pt 1

All O

pt 2

0

1

2

3

Spe

edup

ctrmod

7��� B� 8�����& ��'������ �� ������ ��+��� ����� ��� ������������ �������������,�� � ��������� A����� '�� ���������� �������; ��� ������� �� " � ����) "� 7������ �C ��� ���

Page 30: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �"

!��� ���� �� ����� +� ������� �� �� ����� +��� �� ���� ����� +�� ��� �� ������ ��� +��� �� ���� ��;��& � ������ ���� ��'������ '�� ������� �������� ������� ��� 4��� �& ������ �� �� ���� �& ��� ���� �� �� ����� �������������*���& �� ��'����� �� ����� �������� �� �� ������� �� '�� �� ������� �������7���� �C ��� �� �� �� " ����) " ������ �� ������� ��� '�� ��� ����������

�������;� +��� 7��� B �������,��� #� �� ������� ������ ��� ����������������� �� ��'����� �� ����� ������ ����� �����& �� �� �' $� �������;� ������ %� �� �@ �' $� �������;� � ����� �� ��� $> �' $� �������;� � ����� $� 4����)���� ����� ��� B$�%P� $��%P� ��� ?%�?P '�� ������ %� �� ��� $� ��� �����&� #��� +���� ���� �� ����� �����& ��� �� ������������ ����� �& ���$P� �%��P���� �%�?P '�� ������ %� �� ��� $� ��� �����&� #� �� ����&���� ������ ��� ������������ ����� �� ��'����� �� ����� ������ ����� �����& �� � �' � �������;�� ������ %� �� ? �' � �������;� � ����� �� ��� �� � �' � �������;� � ����� $�4�� ��)���� ����� ��� ��CP� ���P� ��� $�>P '�� ������ %� �� ��� $� ��� �����&�#� �� +���� ���� �� �#4 �����& ��� �� ������������ ����� �& ?��P� %�@P� �����?P '�� ������ %� �� ��� $� ��� �����&�

4�4 �3, -.,! �. -�-6� -�� ,!:!,�

"�� �' �� ��� ��� �������� �������� �� '�� ���� ���� ����� ������������ �������� ���,����� ����� ����� ���& � ������ ����� �' � ���,���� '�� �� ������� "��������� �� 8���� ?� � �� ������'��+��� � ��*�� �� ������������ ���� ������ ���& � ������� ���� �� � ���,���� ������� ��� +� ������� ��� � �&��� �� ��������� 4��� ����� ��������� �� 6������E ��� ��������� �� ����������� ��������������������/=�� ���������� ������� � ���,����� ���� ��� ���� �� � ���,���� ������

�� �� �� ����� ��� � ����� ��& �� � ���,�� ���� �� ����� ��� ��� �� ���������& ������ � ���,���� ������ 7��� C �� ���� �� ���������� �������� ���,���� �&��� � � ������������ �&��� ����� ��� � ���,���� ������ 4������ ��� �������,�� � �� ���������� �&���� �� � ��� ����+ ��% ������� �� ������������ �&��� ��'���� ���� ��� �� ������������ �&���� 7�� �� �������������� �� ��� ������������ �����& '�� �� ������� �� �� � ���,���� ����� %G� �� ��'���� �� ���� ������������ ��������� ��� �� %�>P ���� ��� �� ���������� �&���� 7�� �� ������� ��� ��� � ���,���� ����� � �� �� ��� �����������������&G � �� ��'���� �� ���� ������������� �������� ��� �� +���� �P �' �� ��'������ �' �� ���������� �&����#� �� ����&���� ������� �� ��� ������������ �����& �� � ���,���� ����� $�

5 ���,���� ����� $ ������� �� ��'���� ����� % ��� ����� � �& $?��P ��� ?�%P���� �����&� :�+����� �� ���������� ����� ����� �� ��� ������������ ������#� ������&� ������� ������������ ������� � ���,���� ��'���� +��� �� ���

�������� � �&��� +�� � ���,���� ����� � �������� �� ��� ��'������ �� ��������� ������� +���� � ���,���� ����� $ �������� �� ��� ��'������ �� ����&����� 4�� ���������� ����� ����� �� ��� ������������ �� ��� ������� ��� ������ �� ������������ �����& �� �� ��� �� ���������� �����&9� ������� ��'������� �� ��� ��������7��� $% �� �� " ����) " ������ �� ������� ��� '�� ��� ���������� �����

���;� +��� 7��� C �������,��� #� �� ������� ������� �� ��'������ �' ��

Page 31: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�$ � ������� ��� �� ���

���������

Training

Production

All

0.0

0.5

1.0

Spe

edup mod0

mod1mod2

��������

Training

Production

All

0.0

0.5

1.0

Spe

edup mod0

mod1mod2

7��� C� 8�����& ��'������ �� ������ ��+��� ������������ ������ ��� ���������� ����� �������,�� � �� ���������� ������ A����� '�� ���������� �������;��� ������� �� " ����) "� 7����� $%�

���������� ����� +�� ��� � � � ������������ ����� ������ '��� ��P � >�P���$P � $�P� ��P � ??P� '�� � ���,���� ������ %� �� ��� $� ��� �����&� #� ������&���� ������� �� ��'������ �' �� ���������� ����� +�� ��� � � ������������� ����� ������ '��� �?P � @>P� �$P � $BP� ��P � @P� '�� ������ %� ����� $� ��� �����&�

Page 32: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �#

���������

Training

Production

All

0.0

0.5

1.0

Spe

edup AI

edgeboth

��������

Training

Production

All

0.0

0.5

1.0

Spe

edup AI

edgeboth

7��� �� 8�����& ��'������ �� ������ ��+��� '�����;������� � ���,������ ��� �� ���������� ����� �������,�� � ����������� A����� '�� �����������������; ��� ������� �� " ����) "� 7����� $��

4�7 �!!�0�#5*�-"!# !� . -�-6� -��

4��� ����� �������� '�����;������� � ���,����� #� �������� ��� �������������� �� 6������E ��� ��������� ��� ����������������� ������������/

"� �������� �� 8����� ?�? ��� ?��� ��;�� A0� ������� +� & �� �' '�����;������� � ���,�����E ��� ��� �������� ��� � ���,����� ������ �& ���� ��������� ������(�+ ��� � ���� ��*���� 7��� � �������� �� ��'������ �' ����� ���,������ 4�� ������ ��� �������,�� � ���������� ������� � ���,���� +���

Page 33: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

�� 7J5 /�������� �� �� ������� ��������1�4�� ������ ���+� �� �� �� ������� ������� �� ������� '�����;�������

� ���,����� ���� ���� �� �� �� ������ ��'������ ������� �& ���� ��� %�@P�4��� �� �� ��� ������ ������ �� �� ������� ������� �� ������� �� �� ������� ������ '�� �� �&��� � ���� ��� � �� ������ ��*�� ���� :�+�����'�����;������� � ���,����� ������ �)�� �������� � ���� ��*�� ���� ���������� '�����;������� � ���,���� ��� �� ������ � ������� ��'������������ ��� �� ���� �� "������ �� '�����;������� � ���,����� �� �� ��� ���� ������� ��'������ �� �� ������� ������� �� ������ ��������� �� ��'������ +�� �� �������� ������7��� � ���� �������� ��'������ �� �� ����&���� ������� 4���� �������;�

��� ���� ������ �� �� ����*� �' '�����;������� � ���,���� ����� �������� "�� ��� �������� �������� ���� ������� ��'������ /C��P1 ��� ������������ ���,����� /%��P1� :�+����� ���� � ���� � �� ���� �&����& +��� ��������� �� +� � ������ �� ��� ��� ��� �������� ��� ����������� � ���,������������ ������� ��'������ �& ��BP�7��� $� �� �� " ����) " ������ �� ������� ��� '�� ��� ���������� �����

���;� +��� 7��� � �������,��� #� �� ������� ������� �� ��'������ �''�����;������� � ���,����� +�� ��� � � �� ���������� ����� ������ '������?P � �>��P� #� �� ����&���� ������� �� ��'������ �' '�����;�������� ���,����� +�� ��� � � �� ���������� ����� ������ '��� ��% � $%�%P�

4�= ��.,!�!� � -�� �:!"�!��

"� �������� �� 8���� >� ��� ��� ��� �&��� �������� ���� ���� �� ��&��������� ���������� ������� +��� ����� � '��� ������ �' ��*�� ���� 4����������� �������� �� �������� �� ��� �������� �& �)������� +���� � �������� ������ � ���� �� ����7��� �% �������,�� �� �������� �' �� �&��� '�� �� ������� ��� ����&�

��� �������� 4���� 0### �� " ����) " ������ �� ���� ��� �� 7��� �% �� ����'���� 7�� ��� �������; +� �� �� �� ��� � �� �� ������� ������ �' � ���������� ����� ��*������� +�� '�����;������� � ���,����� /��� ��� ����������� ���� ����1 �������� =� ������ �� �)����� ��� ��� '��� ��������E� ������� ������� �������� ���� ������� ��� "58� 4�� ��� �����& �� ����� � �� �� ��� ������,��� ��� �� �������� ������� ����� � �� �� �������� �� ��*���� �� � ������ ���;��� '�� ������ � ���� ��� ��� �� ����������;��� ����� �' ������� +��� ������ � �� ���� 4�� ���� ���� ������ ��� �� ���� ���� �����&� ���� �������2����� ���� �������;� ��� & ����& ��� +�� � ������� �� '���� � �������

�������� ���� ��(���� �� �������� ����� '�� ��� �� ����� +� ����� ���������� ������ ��� �� � ������ ������ ��� ����� ����� +� �� �� ��� ��������� ���� 4��� �� ������� �& ����'&��� �� ������� � ��� � ���� 0� ������� �����'& �� ��������� ��� ��� �' �� � ������ ��� �� ������� �' � ������'�� �� ����&���� �������� 4�� ����&���� ������� ����� �� �)����� '�� ����������� /����;� �� ��'������ ������� +��� �������� �� *�� @ ������ �'�)�����1�4�� ������ ���+ �� �� ��� � �� �������� �� ��� ��� � ���,���� �&���

�� �������G �� "58 ������ ������ %�?$P ��� %��>P �' ��� &��� �� ����

Page 34: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ��

���������

0 20 40 60 80 100

Percent Execution Time

db-mediumxalan

javac-mediumjess-mediumjack-medium

kawa-mediummtrt-medium

ipsixql-mediumpseudojbb-mediumcompress-medium

xerces-mediummpegaudio-medium

daikon-mediumsoot-medium

kawa-largejack-large

xerces-largejavac-large

jess-largesaber-medium

mtrt-largedb-large

ipsixql-largesaber-largesoot-large

pseudojbb-largecompress-large

daikon-largempegaudio-large

Arith. Mean

��������

0 20 40 60 80 100

Percent Execution Time

ipsixqlSPECjbb2000

jackjavac

jessmtrt

dbcompress

mpegaudio

Arith. Mean

Application GC Recompilation AOS

7��� �%� 2���;��+� �' ��� � �� �� ������� ��;�� A0� �������

Page 35: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

��� ��� ����&���� �������� ��� �����&� #� �� ������� ������� �� �&���� ���� C�@�P �' �� &��� ���� ������ �� ���& ���?P �� �� ����&����� "� ��� ������� >�$CP ��� ���?P �' �� &��� ��� � �� �� ������� ������� �� ��������� ��� ����&���� ��������

#� ������&� �� �������� �' �� "58 ������ �� ���� ��� %�@P� �� ��������'��*����� �� ������ ��6������� '�� ��+ �������� �������� ������� �� 8���� $�

4�> �!#��.-,� -�� �# -:- <

7�����&� +� ���+ ���� ��� � 6���������& �������� �� �������� �' �� �&����7��� �� ���+� �� ������� �' ������ �� ��� ���� ���� �& �� ��� ��� �&����� �� ������� ��� ����&���� �) �������� 4�� ��' ��� �� ���� �� ��������' ������ �� ��� ����� � ���,�� ��� � ���,��� ��� �����& '�� �� ������� ��� ����&���� �������� 7�� �� ������� ������� �� �&��� ���� ������+��� %���V>>�%$P �' ��� ������� +�� �� ������� �' B��@P� 7�� �� ����&���� ������� �� �&��� ���� ���� ��+��� @�?>V?��B�P �' ��� ������� +�� ��������� �' $>�@CP� 4��� ���� ������� ���������� �� +����;��+� ������� ���� ������� � ��� ��� �' ���� ��� �� � ����� ����� �' ���� ������ �H�����B%�G �� ��� ��� �&��� ��;� ��� ���������

4�� ���� +� *����� �' 7��� �� '����� �) ���� �� ������ �� ��� � ���,���7�� �� ������ �� ��� � ���,��� � ���+� �� ����;��+� �' �� *��� � ���,����� ����� ����� '�� ��� ������ #� �� ������� ������� �� �&��� ���� ������ ��� ������& /�@�%>P1 �' ������ � � ���,���� ����� % �� �� #� �� �������������� ����&���� �������� $B��?P �' ������ ���� �� ������ � ���,���������� $�

7����� �$ ������ ���� ������ ����& +��� ��� ����� 8I!�����C �������;���� �� � ������ 0� ������� 4���� ��������� ���+ ��3���� ������ �' �� ��������;�� 4�� � ��� � ���� �� �������;� �� �� �������� ����� / "*# �������

� � � ""1 ����1� 4�� ��) ��� � ���� �� �������;� �� ������� ������ 4�� *������ � ��� �� �� ���� �� �� *�� ��� �� �� +�� "#$ ����� *���

4�� ���)�� �� ������ ��� ���;�� ��� ��;�� �' �6��� ��,�� 4�� ����� �'��� ��� �� ������ �� ������ �' ������ ���� ���� ������ �� ��� ���� 4��������� �' �� ���� ���+� �� � ���,���� ����� � +��� �� ����� +�� �� �����4�� �; ���;� ����+ �� ���)�� ���+ +��� ��� �������; ����� ��� *�������)������

4�� ���� �� 7����� �$ �������,�� *��� � ���,���� ����� �' ��� ������ 4��*�� ������ �� ������ �� ���� �' ��� �� ���� ������� +���� �� ������ �� ��������� �� �� ������� ������ �' �� ��������

4���� *����� ��*�� �� ��� �' �� ���� ������ ����& ���� ���� ����������� �' ��� �������;� 7�� �������;� ��;� ��� +��� ���� � ����� �������' ���& �� ������� � ����� ����� �' �� ������ ���� ����& �� �� �)��������� �� ��������� �� ������ ����& ���� '�� �� ��������� �' �� �������;�:�+����� '�� ������� ��;� ����� +��� � ����� �� �)����� ���� � ����� �������' ������� ���� ������ ����& �� �� ���� �������� �� ������� ������)������

4���� ��� �� ���� ��*�� �� ������� �� ����� �� �������;� ��� ��� +����

Page 36: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ��

4����4���

����� ��� ��������

0 20 40 60 80 100

Percent of All Executed Methods

db-mediumxalan

javac-mediumjess-mediumjack-medium

kawa-mediummtrt-medium

ipsixql-mediumpseudojbb-mediumcompress-medium

xerces-mediummpegaudio-medium

daikon-mediumsoot-medium

kawa-largejack-large

xerces-largejavac-large

jess-largesaber-medium

mtrt-largedb-large

ipsixql-largesaber-largesoot-large

pseudojbb-largecompress-large

daikon-largempegaudio-large

Arith. Mean

Baseline Optimizing

������������ ����

0 20 40 60 80 100

Percent of Optimized Methods

Opt Level 0 Opt Level 1 Opt Level 2

8���&�8��

����� ��� ��������

0 20 40 60 80 100

Percent of All Executed Methods

ipsixqlSPECjbb2000

jackjavac

jessmtrt

dbcompress

mpegaudio

Arith. Mean

Baseline Optimizing

������������ ����

0 20 40 60 80 100

Percent of Optimized Methods

Opt Level 0 Opt Level 1 Opt Level 2

7��� ��� 4�� ��' ��� �� ���+ �� ���� �' ������ �� +��� �� ���� +���� ���& �������� �� ���� ������ ���� �� +��� ��������& �� ���� +�� ��� ���,��� �� ����� 4�� ��� �� �� �� ���� ����;��+� ���+ � ����;��+� �'�� *��� � ���,���� ����� '�� ������ �� +��� �� ���� +�� �� � ���,����� �����

Page 37: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

������ ����

0

10

20

30

Num

ber

of M

etho

ds R

ecom

pile

d

compress jess db javac mpegaudio mtrt jack

Level 2

Level 1

Level 0

������� ����

0

10

20

30

Num

ber

of M

etho

ds R

ecom

pile

d

jack mtrt mpegaudio javac db jess compress

Level 2

Level 1

Level 0

����� ����� ����

0

10

20

30

Num

ber

of M

etho

ds R

ecom

pile

d

javac compress jess db mpegaudio mtrt jack

Level 2

Level 1

Level 0

�������� ������� ���� ��� ��� � ��� � ��� �

������ ����� ������ ����� ����� ���� ����� ���� ����� ���� ����

��� ��! ����� ������ ����� ����� ���� ����� ���� ����� ���� ����

"�#��$��� ����� ������ ����� ����� ����� ����� ���� ����� ���� ����

%����� &��� ����� ������ ����� ����� ����� ����� ���� ����� ���� ����

7��� �$� A��� ������ �������� ���� ��� '�� ��� 8I!�����C �������;� �� ���0� ������� 4�� *�� ���� ���� ��� �����& �� �� �� ���� ������ ���������+���� �� ���� ������ �� ��+ ����

Page 38: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �

�� 0� ���� �� ���� ��� �3� �� �� �� ������ ����& �' ��� �������;���

4��� ����� �� ���������� ��� �� �� ��� ������ ������ ��� ����� ����� ��;�� ����� ������ ������� ����� �����& �� �� ������ �' ��� ��� �' �� �����G � ������ �;� ��� ���� ��+ ��� ��� ��� ����� ���� �� 0� ����� �)������4��� �� �� �� ������� ���� � ������� ������� �' �� �&��� �� ���� �� �"������ ��� $%%%���

7� �� �% ��

2�������� �� ������ ��� ���������� �� ��;�� A0� ��� ��� �&��� ��� ���� ������&���� ����� ����� ����� #� ��� ����� +� ������ ���� �' �� ������� +����� ������� �� �� ������

7�$ ��.,!�!� � -�� �! �-,� �� !"

"������ �� ��� ��� � ���,���� �&��� ���� �� � ���������& ����� '���������� ������� -�� ��������� ������. ���� ��& �� �� ���� ���� �� ����������������� ��'������� 4��� ����� �������� ���� +�&� �� +��� ��������& ����� ��� ��������� ����� �� ��� ������� �&��� ������ ��� ��'������ �� �����*��+�&��

B���� 0������ ��� ����� ����������� ,������� =��� +� �������& ���� ����� ��� �&���� ���� �� ���� �� ���������� +��� ���� ����� ��� ������5��������&� ��� �������& ����'���� ����' �� �� '��� �' �����& ��� ����� ���� ��'������ �� ���������� �' ���� � ������� ��� ��� �������� #� �������� ���� ��'������ �� �� ���� ��� �� ���������� �� ���� � ���������� ���� �&��� �� ����� �� ��� � �� ����� '�� � ���� -���������������. �' ���� � �������� #������ �� ���� � ������� ��� �& ������ �������� �� ������� �� � ���� ���� ������ '��� �� ����7�� �)�� ��� ��� �' �� ;�& � ������� �� ������� � ���,���� �� �����'&���

������ �� +��� �� � ������ � ���� �����*�� ��� /*����� �� -�� � ��.1�4�� �&��� ���� ���������� ��� ����G ��� ��� � ����� +�� ��� ���� �� �&���� �������� �� �����9� ������ I���������&� �� ������,�� +���� ��� ��� �'�� ������ ��� �� �� ������ +���� ������ �)����� �������� ������ � ����������� 4�� ������ �� ��������� +�� ������ �+��� ���� ���������� �'�� ������� # ��������� �� ����& �' ������� ����)�� �& ����� ��G �� �������� � ������ +�� � ��� �� ����& ����� �������� ��� ����� :�+����� *������� -���������. ������ ��6����� �� ������,�� � ��� �� ����� ����� ����&/+��� ������� ��� �' �������� �' ������1� #� ��� �� ���������� �����'&���'��6����& �)����� ������ �� ���� �� �������� �' � ��)�����& �P �"������ ��� $%%%��� �������& ��� �������� '��� �� ������ ����� "� � ������ +� � �������*�� �3�� ����� �� ������� � +��� �� ������,�� ������ �� ���������& ��� �������� ��� ��� ������ �� ��������D�������� ��� ������� ������� �� �� ��������� =� ��������& ��������� ��� �� ��������� ��� �+����� ��� �� +��� ��� ��� ������� �� � ��3��� =��� �� ��3�� �� '���� �� �������,�� � ���� � ��� ������ �� +��� ��� ����,��� ������ ��� ;� � "�� ������

���� � ������! �� ��� ��� ����� ������� ������� � ��� �� ���������� ��� ��� ��������! � ������������

Page 39: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�! � ������� ��� �� ���

�� +��� ��� ��� �� �� ������� +����+ /����� �� +��� �� �� ��3��1 ��� ��� ���� � �� ��������� =�� ��� ��+ �� ���������� ���� +�� � ����� /���������� ���1 ��3�� ��,� �' $% ��� ���� ����� ��� �� ������,�� �������� �� ���&%�%?P�:�,��+��� ��� ����� �� ������� ���)��������� '�����; ������ ��������

�� ��;�� A0� �:�,��+��� ��� ����� $%%>�� #� �� ����� ��& ��������� ���� ���� '����� ���� �& �� ��� ��� � ��� ������ +�� ���������& ������ ������ ������ �' �� ����& ����� �� � �� ��� �� �������� 2& *)��� ��������� � ������� ��& ������ �� �������� �' �� "�� ��� #������� 5�����,�� �&� '��� �' @%� 4��� 6���������& ������ �� ������� ������ ���� �� ��*��������6�� ��� ����� 6��� ����� � � �& �������4�� ����� ��;�� A0� ��� ��� �&��� �� ��������� �� �� ���& +�&� ��� ���

��� �� �������� �� �"����� � ��� $%%%��� 2& ������� �������� ��� �&��������� � �� ��������� ������� +� +��� ���� � ������ �� ��) '�����;��� � �� +��� ������� � ����� ��*���� ��� ����������;��� ��������� 4������� �&��� �� ���� �3���� ��� �� ���� �����*���& ���� ��������� #� �"������ ��� $%%%�� +� �� ���� ��� ��� �&��� �������� /�� �������� ���� ������1�' >��P �� ������������ ������� ��� >�%P �� ����&����� #� ��;�� A0� �������$�>�>� +� ��� ��������� �' %�?$P ��� %��>P� ��� �����&� 8��� ���� �������� ����+ ��� ���� �' � ������ +� �� ������ '��� �� �� ������ �� ����& �' �� ��*���� ��'������� ��� �� �� �������� �' �� ��������9� ����&� ������

B���$ 1��������� ��� ����������� "� �� ��� ��� � ���,���� �&��� ����� ���� ������� �� �&��� ��� ���� '�� ��+ �� �������� ��*�� ��� ��(���� ��� �' �� �&��� ���� � ��� ����� �� ������ ��� �� ��� ��� ��+ ������������ �� ������� �� ����� ��� ��� �� ��� ���� � ����� ������� � ���,������ #������&� +� ��� �� ������� �� ����� �' ���� ������� ��� �� �� ����������� '�� ��� �������� �' �� ���� ������ � � ��'��� ����� �' %� 7�� '��6����&�)���� ������� ��� �������� �� ����������� ����& ��+��� �� ������ � ����,���� �' � ����� � � ������� � ���,���� ����� /5% �� 5�1 ��� �����6������� ���,����� � ���� ������ � ���,���� ������� =� ��������& ��������� ���� ���� � ���� /��� ���������& ��� �� ������&1 +�� � ����'�� �� ���� ��� '��� �� ��� �� ���� ������� �' �� ����� � �� ��+ ���� ������ ��� ��+��& �� �) ��� � ���� � =���� �� ����� � ��� ������� �� ��������& ����� ���; � +���� � �����'& ��� ����� +��� ����'���� �� � ����������� �� ����������� �� ������� �&��� ��'�������

B���> 1������ )������ 231 "� �������� �� 8���� @��� �� ��������9� �����&� ����� �� ���� ������& �� ����������� �' �� ������ ��� ��� �� �)� ��� ����*� '��� � ���,���� /�� -�� ���� JU".1� =� ����� ���� �������& ��'������ � ������ �' �) �������� � �������� ������� �� ������ ��� ���� ���� '�� ��� � ���,���� ������ 4���� ������ ���� � �� ������� �� ����' ��;�� A0�9� ��'����� ��� ��� ������& ���� ��� ��'��� ��� ����� ��������' �� �&���� :�+����� '�� � ����� ������� �' ��;�� A0� �� � ����� ��'���� ������� �� �' ������ +��� �� ���� �� ������� �' ���&��� ��; � ���� ��� �������

���� ���� � �� �� ����� �� � � �������� ��� ������ �� 'L4 ����� ��� ������� �� ��#�!� $�� ���� ���� ����� � �� ����������������� ����� �������

Page 40: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �"

��'������� U� ��� �������&� �� ������ ��� ����� � �� ����� � ���� '������ ��3������ �� ������� �&��� ��'������ �� �������� 4����'���� �� ��� ���� �&��� ���������& ���� ��� �������� �� ������� ��� �������� � �&���������� �' �� �������� �� ������ ���� 4��� ����� �� ��� ���� � ���� � ����+� �� �� ������ ���� ������ �� �� JU" ����� � ��� �� ������ ���������� � �� ���� ����+��� �� +��� ��;�� A0� �� ��������

B���? �������� 4�������� #������&� ��;�� A0� ���� &���� ���� �� ����� �������� ��� �� ��� ��;������ 4��� ������ +�� ������ ����� '�� �� �� ���� �' 6����� ���� ��� ����� ��������� /�� �������� ������� '�� �� ������������� &���� ����1� 5�� �� ��� ��� �&��� ����� � ��� &���� ���� '������������ ��� ���� +� ��������� �� ��� ������ +�� �� ����� '�� �������& ���������� +��� ������ �� � ������ +�� � ������ ���� #� ����������� ������ ����� � ����� � � �� ������ ��� �'��� ���' ������� #� ���� �������� /�������� +�� � �����& �)���� �)�� ��1� �����*�� �)����� ��� ��� �� �� ��� ������� ��� ��& +��� ����� ������ '�� � ���,����� 4� *) ��� ������� +� ����� � ������ &���� ���� � ��;�� A0��" ������ ����� �� �� ������ ��+��� �������� -�������. &���� ���� �� � ��

��,�� ��� ��� �������� ����� &���� ���� � ������ ����� ��*����� 4��������3 �� ��������& ������ �� -������. ������ +���� �� ������ �' � &����� ��� ������ �� � ���,��� �� ���� '��� ������� �� ������ �������D� ��������6����� 7�� �)�� ��� � ������ ���� ����� �� ��� �& ������ �� ������ *����� �������& �� ���� �& �� � ���,��� �� ���� ��� +� ��������� �� �;� ��&�� �' #">$ ������ ���� #' +� '��� � &���� ��� �� ��� ������ ��� �� '��� �������D� ������ ��6���� ��� �� �������� ��� �� ����� +��� ����� �@ �)����� #">$ ��������� / ��� �� �3 ������� �' �� &���� ����1 ��� ������ �?�&�� �' ������ ���� "� � ������ �� �&��� ������& ��� � &���� ���� '��������� ���� ���; ���' ������� 4��� �� ����� ��+�&� � �� ���� �� ������ ����� ��� ��� �� +��� �������& ����� ����* '��� ���� ������ �' � ���,����� :�+������ � �������� � ������� � �� �� ��*���������� �&���� ��� ��� �� #' ��������� ����� �� '��6����& ����;�� ��� � ������ ���� �& ������� �� &���� ��� +� ������ �� ��������& �' ��*��������� �������� �' ��� ����� ��� �� ������ "���������� � ���� +���� �� � �� ����� � �����;�+�� ��� � ���,���� ��+���� ���& �)��� �� ������ �������D� ������ ��6���� +��� �� &���� ��� +�������& �;��� 4��� +���� ������ �� ������ ��� �' �������� &���� ���� ������� ������� �� �� �� ������� �� ��� � ���

7�& ���."!�!��-:! �!"9�"���#! �:�,3� -�� -� �"- -#�,

"� �� ��;�� A0� ��� ��� �&��� ��� �� ����� ���� �� &����� �� ��� ��� ����������& '�� ��������� �� =� ���� �) ����� �� �������; ���� +�� ���� ��������������;�� �� ������� ���� �� ������� �������� � �� ��� ������� ���������� �� ����� �' ������� ��� �� ����� ��'������ ��� � ����+ ����'��6��� ��� ����� �� ��������"������ +� ��+�&� ;��+ �� �� ��������� ��'������ ��������� �� � ����

����� +� ����������& ������������ �� �� ������ =� ��� ��+ ��������� � �� � ���� ��6������� '�� �������� ���� ������� ������ �' ���������� !���&��� +� ������� ��� ��'������ ��������� ���������&� +� �������� ��+ ����

Page 41: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�$ � ������� ��� �� ���

�� �� �&���G ��� �� ���� �� �����&� ���������� �' ��� ����� �' ��*���� �� �� ������� �&����7�� �)�� ��� �� ��� �������� ��������� �' �� �&��� �"����� � ��� $%%%�� +�

��� �� �� ��� ��� ��� �������� ����� ������ �� ��������� �����&� ��� ������� ������� "'�� ����� ��� +� ��������� � ����� ������ �' �������;�'�� +��� �� ����� ��'����� ����& ������� � �� ����������� �����&G �'��� ������������ +� ��������� ��� *)�� ������� ��'������ ������ ���� �� ��������& +�� ��������4�� �����& �� �� �� �� ��)�& �' ������ ������� ������� � ��������

��� ����� ��������� ��+��� ����� ����� ��;�� ��� ��������& ���� ������ ��� ����� 4������� �������� ��� ��'������ ����� �� � �������&�� ���� � ������ ���� � ������� ����� �' ��*���� �� �� �&����

7�( ��.-�/ ;- � ���*�! !"�-�-��

4�� ��� ��� � ���,���� �&��� /"581 �������� �� ��������� ����� �' �������������� �� +� +�&�� "� 8���� @�$ ����� �� "58 �� �� ������� �� *������ ������ �� ��� �� �� '�� �� ���� �&��� �������� �� �� ������� � �������� #� �������� ��������� ��������� �' ������ �� ��������������� �������' ���� �&��� ����& �� ���� �� �� '�� ��������� ��� �� �� � ������ �&����9� ������ �������� 4����'���� '�� ��3���� ���� �' �� ���� � ������� ������� ��� '��6���& �� ������ ��� ��� ��� ��& ��3��� ������ ���& ��� ������ �;�� � ����� �+�� ���� 8����� ������ ���� ������ �������� ��� �������& ��������� ��� ���� �� ����� �� ������ ��� ���� ���� ���� ��3��� '��� ���� ���� :�+����� �� ����� �� ������ ��� � ���,�� ��& ���� �3� �� �������� '��6���& �� ������ ��� ��� ���E �� ������ �' ���� � ����� �� ��� ����� �) ��� � ������� +��� �� ����� �� � ���,�� ������ � ���� '���� ����)���� '�� � ������� ����� �' �� ��� �)����� ����4��� ��������� �������������� ��;�� ��������� ��� �������;��� ���� ��'�

*��� #' � ��� �� ���� �� �� ����� �� ������ �)���� ��� �� ����� ������������ �' ��������������� ��� �� ������� �� ��� ������ ����� 4� ����+�� ��� ��������������� +� ������� �����*�� �3�� ��� ������� ������������ �� ��& +�� �F���� ��*���� J�������� ��6����� ����� ������ ������ �� ������� �� ��&��� �� "589� �������� � �������������& �� ����� �� �)������J��+��� ��������� ���� �� ��'������ ��+��� ��3���� ���� �' �� � ����

��� �� ����� ������ �� � ���,���� ����� �' � ����� ��� +��� �� ������� � ���,�� ��3��� '��� ��� � ���� #� ��� ����� ���& �' ��� ����� ���� ��� ��� - ��������� ���. � ���� � �������� ��� ��������������� "'�� �)������ �� � ������ '�� � *)�� ������ �' ���� ��� �������� �� *��� � ���,��������� �' ��� ������ �� �����9� ������� � ���,���� '�� � ������& �' ������ �������� 4��� ������� � ���,���� ����� �� ��� ���� �& �� ����� � ��������� �� � ���,���� ����� �� �� ����� �� �� ���� � �� *�� ��� ������� �� ����;��� *)��� �� ��� +��� � ����� �� � ���,�� ��� *)��� �� ������' � ���,����� 4�� ��������� ��� � ���� �������� �� ����� �' ��*���� �'�� ��������� �� ��� ���+� ���� �� ��'������ ��+��� ��3���� ���� �' ��� �������U����������� �������������� ��& ����� ��������� �������� ������ �' ��

���������� �� � ��������� 7�� �)�� ��� � �&��� �� ���� ������ �� �����

Page 42: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �#

��� � ���� �� ������ ���� ��� �' � �� �' ������ ��� �)��� �� ���� ����������� �������� ������ �� ���� ���� K���� � ��������� ��� ���� � ������ �������� ���� ���� �� ������ ���� �����

7�) ��� -�3�3� �!#��.-,� -��

5�� �� ����� ��������� ���������� �� �������� ���� ������ �� � �������&� 8���� ��� ���������� �� ��& *)�� �����& �� �������& �� ���� ����� ������ � � ������� � ���,���� ����� +��� ����� ��'��� � ���������������� �� � ���,�� ������ ���& +��� � �� ��*����� #� �������� ���� ���'���& ��6���� �� � ����� �� ���� ���� � �� � ���,�� �� �� ���) �' � ��+ ����� 8���� ��� ���������� �� �� '� � ������� �� �)��� '�� � ���������� ����� �' ��� ��� �� ���� /��� ���� ����1 �������� �� � ������9��)������ 4��� �� ���� �� ���� � ���,�� ��� ����� � �� ��*���� !�������&����� ��� �� 8��' �:S��,�� ��� K���� ������ ��� �� �� �� �� ��*���� �' � ����,�� ���� ��� ������ � �������� '�� �� ����� ��'������� 5' ������ +���������� ���� ������� �� ���� ��� �� ������� � ���+ �����& ���; ���������� ��� �� �������� �� �������� �� 8���� @���>�5�� ����� � ������� �� ��� ��� � ���,���� �&���� �� +�� � ���,���� ��

���� ������ ��� +��� � ������������ � ������ ������ � ����&����Q 8������� �&��� ������ � �& � �� ���� ��'������� �� ������ � ������� ����&���� � ��+ ���� �' �)����� �� �����Q 4�� ���� ���� ������ ����� /8����� ?�$1 ��� �� �� ��������� /8���� @�@1 ������� ��� ����� ����&� # +��� ���&������� ������ '�� ���� ������ �� ���� ���� �����& ��� ���� =��� � ������������ � ������ ������ � ����&����� ��� �' �� �)����� ������ +��� ��;��&���� ������ ���� ������ � ���,���� ������ #' ���� ��� �� ���& ������ ����� ��� ���� �� �������� +��� �����& ����� � �;� �� ���� ������ �������� �� �� '� �� ���� �) ��� '���� ��� +��� ������ � ��������

7�2 ���!,-�/ ���.-,� -�� ��� ��� �8.!# !� �!�!1

=� ���� ������� � ���� ��� � ���� � ��������� �� ��� ��� �&��� ���������+��� ���� � �������* ����� � ������ �����3� ��� ���� ��*���� ������"� +� ���� ������� �� ����� �� �������� � �����& �' �)������� � ������� ������� ��� ��� ������� �������� � ������'��+��� ���& �& +��� ��+��� ��� � ���,����� �� �� ���� ����� ��� � ������ ������� =� ���������� � ���� ������ �� ��)�& �' �� ��������� ��� ����� �� ���� � ��������� �� �� � ������ ��������& ��������4�� ������������ ���& ������ �� ������� �' ��� ��� ����*� �' ������ ��

����� 4�� �� ��������� �� �������� ������ �� ������ ���������� ������� �' ����� ��� ����*� �' �� ���� � ���,����� ����� �� �F��� ����������� �' �&���� ��������� 4�� ����� �� ��������� ����� �� ������ ��� � �� � ������'����� �' ����� ��,�� ��� �� �) ��� � ���� '��� � ������� � ���,��������� � �� �� ���� � ���� �������� '��� � ������ �' �) ������� ��'������F����#� ����&� �� ������������ �������� ���� ��'��� ���� +�� ���� �����

������� �' �� ������ ��� ��� �) ��� � ���� � :�+����� �������� ���� ������ ������� �� � ���� � �� ������� =� ���� ��� �� � ���� � ���� �' ���������� ������ ����� �� ��� ���������� ��� �� ��� �� � ��� �������

Page 43: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

�������� �' � �����9� �������� ��)�� 8� '��� ��� ������ ���� ���� �������G+� ���� �� ���� ���� � �����'& � ��� �� �' ��� ����� ���������� ����������� � �����*�� ��������� +�� �) ��� � ���� �=� ������� �� ��� ���������� � �� ������ �� ��� ���� ������ ��+ � ���

����& ����� �� �� ������ ��� ��� �� ������ ����*� �' ��������� 5�� �������� ���� '�� �������� �� ������ ����*� �� �������� ����� �J��� ��� �����������?�� �� � ���� +�����& �� �� ���� ������� �� �3�� �' �������� �� � ��� ����� ��� ������ � ������� � ���� '���� �3��� # ������� �� � �� 6������+����� �� ����� � ���,���� � ������ ��� �� �������� ����� ��� ����6����� �� ��&�� �� �� "J"I4 �&��� �0��� ��� !������� $%%�� +���� �� ���� �������� ��'������ �� ���� � �� ����� ������������ ������� =� ������� �������� ����� � ���,���� ������ ���� ���� ������ ��� �� ����� '����� ������ '��'���� ��������

=� ������ ���

4�� '��������� ����� �' ��� ��� � ���,���� ���� �)���� '�� ������� �������4��� ����� '����� �� �� +��; ��� ������� � ��� ��� � ���,���� �� �������������� =� ��'�� �� ������ � "����� � ��� �$%%@� '�� � ���� �� ��������������& �' ��� *��� ��� � "&�; �$%%>� '�� �� ����� � �����+ �' �� ������� �'��� ��� � ���,���� ��� � �����& �' �&���� �� ������ ����6��� �� ����������� ��� ������ ��������

=�$ ��?3!� -�, ���. -:! . -�-6� -�� <� !��

8������ ;�& �&���� ���� �� �� �� �����& �' ��� ��� � ���,���� ��������&� 4�� ��� ��(������ ������ �� "�� ��� 7����� �&��� �:����� ��B?���� I��I��� 8������; ������ ������ �J���� ��� 8��3��� ��C?�� �� 8��' ���� ��������� ��� K���� ����G :S��,�� ��� K���� ���?�� ��� ���& ���� ������� ������� �I���,�& � ��� $%%�G 8������� � ��� $%%%G 8������� � ��� $%%�G"����� � ��� $%%%�G "����� � ��� $%%$G �������; � ��� $%%%G �������; � ��� $%%>G"���4������� � ��� $%%>G 2!" $%%>��:�����9� "�� ��� 7����� /"71 �&��� �:����� ��B?� ������� �� *�� ����� �

�) ������� �' ������ �� ������ ��� ��� � ���,����� :�� ��B? ����� �������� ���&�' �� ��������� '���� ��� ��� � ���,��� +�� ������ � ������� � ���,������������� ������ ��� �������� � ����� ���� ������� ������� +�� ���� �� � ����,���� ������� ��� ������ ��*���� ��� ����� �&�����4�� "7 �� ���� ������ �� ���������� '��� �� ���� ����� �� �����&

���� ����� �� '����� � ���,��� 4�� �&��� +���� ��������& � �& � ���,������ ���� ���;� �� ��� ���;� -�������. �' ���� 4�� �� ���� �������� � �����+�� ��� ���� ���;� +��� �������� ������� �� ������ �' ��� ��� ��6����������� � �� ������&�������� ��������� "'�� �� ����� ������ :����� ������� � �&��� +�� ���� ������ �' � ���,���� �� ������� � ���� ���� �������4�� �� ���� � ���� ������� � ���,���� � ������ �' �� ���������� ������4�� �� ���� ��� �� ��'��� ��������� ��� ��� ���� �� ��������& � ���,������ ������� ����������� 4�� �) �������� ������ ���+�� �� "79� ��� ���

���� � ������� �� � �������� ���� ����� ���! ��� 8������ $���� ��� #����� 6��������

Page 44: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ��

� ���,���� ������� ���� ������� ��'������ ��� �#4����& �������� +�� ��&������ � ���,���� ������4�� I��I��� 8������; ������ ������ �J���� ��� 8��3��� ��C?� +��

�� *�� ������ ������ ������� 4�� �&��� �������� ���& �' �� ��� ���� � ���� ���&� �������� � '����(����� �&���� �� ����� ������ ���� � � ����,� ��&��� �� ��� ��� ��� ����� ��� ����� 4�� �&��� ���������� ���� ���� ������& �)������ �)����� ��������E �� ���� ����� � ��� ������� ���,��� �� ����� ��� �� � ���,��� �� ����� 4�� �)����� �����& +������� ���� � �)������ 4�� 8������; �&��� ���� �������� � ��� ��� ����� +�� �������� � �� '�� � ���,�� ���� =��� � �� +�� ���� ���� �&���+���� ������ ����� ��� ��� ��������� � �� ������� 8����6����&� ��� �������� ���� �� ��&�� �� ���� ���)� '�� ��'���� �� +��� ��� � �� �� ����/���� �2��� � ��� $%%%�1�4�� 8��' ���� ��������� ��� K���� ����G :S��,�� ��� K���� ���?� ������ ��

���� ������� ����6���� ��� �� ��&��� �� ������ ����� �����; �� ��������&���� ��� ���,����� ������� ������� �� ������ +�� ���� �� �� ������ ��*��������� �������� �������� +�� ��� ��� ���� ������� ��� & � �������� ��� � ������ 4�� ��������� �' �� ���� ���������� �������� ��������� ��� ����� ������� �� �����*�� �������� �������� ����� ������� � ������������ �� ���������� �I���,�& � ��� $%%�G 8������� � ��� $%%%G 8�������� ��� $%%�G �������; � ��� $%%%G "���4������� � ��� $%%>G 2!" $%%>�� 4�� ���������� �' �� ������ M������� A����� ������� ��� ����� � '����� ���������� �� ����� �' ������ ����� ��'������ ������ �������� A��������� �������� �) ����� ������� ��� ��� � ���,���� ����� �� ���� ��������� �H����� ���7���, $%%>��

=�& . -�-6� -�� "� !/-!�

4�� I��I��� 8������; ������ ������ �J���� ��� 8��3��� ��C?� +�� ��*�� � ������� � �&���� �� ���� � �� ���� ������ ��'������� 4�� �&������� � ������'��+��� ������ �� ������ ���&E �� ��� ��� ����� �� *����� �� ����� �� ������ 4��� �&��� ��� �� ���� ��� ������� 4�� 8��'����&��� ��������� ��� K���� ����� ��� ������� ���� �&��� �"���4������� � ������CG H���� ���CG W��� � ��� ����� ���� �� ��&�� ��� ����6������� ���� ������ ������� �) ����� ������� � ���,���� �������� � ���

�� ������ ��'������ ��� ��������� ���& �&���� +���� �������& �)��� ��������� +�� � 6��; �)����� ������ /�� ���� ���� �� ����� ���,��� �� ����1��� ��� ������ �� �)����� � *�� �������� '�� �� ������ �& �� � ���,���� �� ����� 8������ 0�� ���� ��� �� ��� � ����� ��� �� 8��'��> �:S��,����� K���� ���?�� �� :�8 � ������ �0� �I���,�& � ��� $%%��� �� #2� JH '������ 4�������&� ������� ��>�� �8������� � ��� $%%%G 8������� � ��� $%%��� ��5AID�KJ5 �&��� ��������; � ��� $%%%�� �� ��;�� A0�D���� ��� �&��� �"������ ��� $%%%�G "����� � ��� $%%$G ��;�� A0� �� �� �A�;� �0� �2!" $%%>�� ����� �� 0� ������;� � ��� $%%?�� 4�� #2� JH '�� ���� 4�������&� :�8 �� ����� �� 0� ��� �� ���� ���� '�� ������ �)������ 8��'��>� ��;�� A0�� 5AI� ����A�;� ��� � ����� ���,��� �� ���� '�� �� ������ �)����� �������4+� �� ���� �� ����� �' ���� �&���� ��� �� ������ ��*���� �&����

��� �� ���& '�� ������� �������� '�� � ���,����� ��� 0�� ����� ����

Page 45: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

�������� ��� ��� �� ����� �'�� ���&��� �� �� �� �������� '�� ��;��� ������������� #� ������ ��� �������� ���� ��� ���� �������� �& ��������� ������� ��������& � �� ���� �� ������

2����� ���� �� ����� � ���� ������ ������ ������ �)������ �� �&������ ������,� ���� �������� � ��)���,� ��'������� 4+� ��������� ����������� '�� �������� � ��+���������� ������������� ��� � ����� ������� � ����,����E �������� �:S��,�� ��� K���� ���?G I���,�& � ��� $%%�G �������; � ���$%%%G �������; � ��� $%%>� ��� ������� �2!" $%%>G "����� � ��� $%%%��� 4������� �������� �������� � ������� ��* ����� +�� ��� ������ 4������� ���� ����� ��������� ���� � ������&� ��� �������� �� �� ���� ����3���� ������� ��* ������ 2����� ��� �������� ��������� ��� ��������� �� �� �� ��&�� �� � ���,�� ���� 4�� ��� ���� �������� ���������&������ � �� �&��� ��� ������ �� ����� /�� ������1 �� �� � �' �� �����;� 5'��� �� �)����� ��; ������� ��� ����� +��� ����+� �����*���& ��+����������� ��� ���������� � ����� �� ��� ����� ��������� :�+����� ������� �)����� ��; �� �� ������ �������� ��������������� +��� �� �� ����� �&��� ���������� 8��� �&���� �8������� � ��� $%%�� �� ��& � �&����� ����� ����� ������ '�� ������ �� ������ ��� ��� ���� '�� '����� �����'&���� ���� ������ ��������� "� �������� �� 8���� @� ��� �� ��������� ����� ����������� ��� ��; ��� ���� � ����� 4��� ��*���� � ���� ������� �������'��+��� ��������� ��� ������� �' ��� � �� �� ������� � ��6��������' �� �������* ����� �� ��� ����� ��������

2���� �� �� ��*�� ���� �� ����������;��� �� ���� ����� ������ ����� ��6����� '�� � ���,����� ��� �&���� �:S��,�� ��� K���� ����G �������;� ��� $%%%G 8������� � ��� $%%%G I���,�& � ��� $%%�G 8������� � ��� $%%�� ��� ��& � *)�� �������� �����&� +���� � ����� /����� ����� �� ��� �� �����1�)������ � *)�� �������� ������� �� �� ������ �' ��� �� ���� ������� ��������� �� � �� ���� �������� ����� '�� ��� �������;� �� 6��� ����������� 4�������� ������� ����� � ���� ���������&��������� ���& /� �������* �����1'�� ������� +��� ������ � � ���,� ��� � +�� ������ �' � ���,����� 4���� ���� ����+� ��+�� � ���,���� ������ � �� �;� �� �' � ����� �� ������ ��� ��������& �� ����� 5��� ������ ��6���� ������ � ����� ��6�������&������ � ���,���� ������� �' ��& ��� ���� �����

I��,��� ��� �&��� ����B�� ��������� ������� ������ �������� '�� �������� ���,����� 4���� -���������. �����& �� �� ������ +���� ����� ���������� ��������� �� �� ������ �� +��� �� � ��� +�� �� �F��� /�� � ����1��� 4��& ������� � ��������������� ���& �� � �� ������ +�� � *�����������������&� 4��& �� ���� -�#4����&. ��� ������� � ���,���� � ������� ��+��� �� ���������� � ��;������ �� ������ ����� �� ���� � � ��� ������� ����������& �� ���� 4�� ���& �������� � ������ �' �������� ��� �����������;����� ���� �� ������ ��+ ���� � ������ ��� ��� � ��;� � ����������� ������ ������� ��*�����H����� ��� 7���, �$%%>� ��'����� � ������� ����&��� �� � ���� ������� ���&

����� � ������ ������ '�� 5������ 4��& ��������� � ���� �� ������� ������������� ������� '�� ������� �� ������� �� +��� ��� �� ���� ���� ��������� �+� � ���� ����� �� � ��� �� �' ��*�� ���� H����� ��� 7���, ��'����� ���)������ ���& �' ����;����� ���� ����� �� ��� ������ �� ��� �� �� �����

Page 46: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ��

�� ������������ ������ �������� �� �� ������ �������5��� ������ ���� �������� �� �������& �' ������� � ���,����� "�����

� ��� �$%%%� 6����'& ������� � ���,����9� ������ '�� �� ��'������ � *)���#4 �����& ����� ��������& ������� ��*�� ��'�������� A����;������� � ����$%%%� ���� �� H�3� 0����� ������ � �������� �� ��)���� ��'������ ��� ������� ������� �& ���� ������ ����� ��� �� ������ ��� �������J���'� ��� "����� ������� ������ �� �����3 ��+��� �� ���� ���� ��� +�

�� ������ K���� �� ����� � �������� �� �������������� ������� ��& '������ � ��������� �' �� '�� �#4 ��� �������� ��� �' �� ���+ �#4 �� �� �������������� ������ ������� �� ��� �������"����� � ��� �$%%%�� ���& �� ��������& �' �� ������� ������� �' �� ��;�� A0�

�������* ����� � ������ �� �� �� ���� JU" ������� �������� �� ����������� � JU" ������ �� �� �� � ��'�������H���, ��� ������ �$%%�� ����� �� �������� '����+��; �� �� �� ���� �

����� �� �� �' �&���� �� ������ �& ���������� �F��� ����&��� ��'�������� � �� ���� � ����� � �&���� �� ����� #� ���� +��;� H���, �$%%>� ���+���+ � ������ �F��� ��*��� ������ '��� � ������� ��� +�� ������ ��*����� � �� ���� ��'������� 8���&� �$%%?� ���� � ����� � ������ �F��� ��������� ��*�� ��� � ����� ������� � ���,�����8������ � ��� �$%%%� ������� �� 5����,����� �&���� +��� ��� � � ����� ��

��� �' �&���� �� ������� K���� ���� � ����� �� � ������ �� ����)������� �� �� ���� ������ ��� +���� � � *�� ��'��� �� 0� ��������� =���� �� ���� ����� �� ������ ������ �����6��� �)������ �' �� � ������� ���&���� �� ���� ��;� � ��� �' � ���� ���� ����� �' �� ����� �)���� ��� �'�� ������� ��� ���;� �� ��� ��� �� ��+ 0� ����������� #' �� ����� �)������ �&���� �� ���� �� ���� �� ������

=�( �!!�0�#5*�-"!# !� ��,-�-�/

4�� 8��' �� ���������� �������� �����������& �� ������� � ���,����� � ���� & ��� ��� ������ ��� � �� ��� ����� �� ��� & � �������� 8��'��> �:S��,�� ��� K���� ����� �������� ���� ����6��� +�� ��� ��������� +������ 0� +���� ������ �� ������ �� ���� +�� � ��*�� �' ������� & �� ������'��� �� ����� ���� 4�� 8��' �� ���� ���� ��� ��'������� � ����� ���������������� ��� � ����� �� ����'�������� � ���� +�� ������� �&���� ��� ���4�� �� ���� ������ ���+ �����*�� � ���� /��B) �� �������1 '��� ����� & �'�����;� ��� ���+ �� �� ��*��������� � ���� ������ �� �����*���& ����� ��� ��� � ���� �� ������� � ���,�� /8��'���1 �� ������ �� ��� & ���������4�� 8��'��> ��� ��� � ���,���� �&��� ���� ����� �������� �������� ���

�� ���� ������ ���&� +��;��� �� ��� ��; � *�� � ������� ��� ����� ����� ��� +�� ��������� 4�� :�8 � �0� �I���,�& � ��� $%%�� ��� �� ��8��'��> ����6�� �' ������� ���� ������ ������ ����� �� �������� ��������� # ��'���� ������� �������� +��� ���� �������& ����&��� �� �� ��*�� ������� ������� ������� & ��J��� ��� �������� ����?� ������� #������� 4������ �� � ���� � ���� �&��

�������& �������� �������� ��������� #� ��� +��;� �� 8��' �� ���� +�����������& ������ � ��� ���� ��� ������ �� ���� ����'�������� � 6����'& ��

Page 47: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

������� �3� �� � ���,������ 4�� ������ ������ ��������� � �����& �' ��������� �������� ��� ������� �3��� ��� +���� ����� '���� �������� �������� ������� �� �����&� 4��� � ���� ���� ��� ����� ���� ��������� �������� �������������� �� �3� �' �������� �� � ���,����� �� ���� � ����� =������ ���J&���� ����B� �� �� � ������� � ���� '�� � �&���� 8���� �� �����8������ ������ �"����� � ��� $%%%�G 8������� � ��� $%%$G "����� � ��� $%%$G

"���4������� � ��� $%%>G �������; � ��� $%%%� �� �� �� '���& ������ ������ ��*��������� �������� '�� ���� �� �� ����� ��'������ �& '���� �' � ��)������& �%��BP� �� �� ���� � �� ������ �������� �� ������ ��*�� ����"����� � ��� �$%%$� ������ �� �������� ����� �� ��;�� A0� �"����� � ���

$%%%��� +��� �� ������� � +�� +�� ���� �� ��� ������ �& ��*���� �� ������� �������� �� ���� ���;� +���� ���� ������� #������� ������ '�� ��� ������ ��� �� ���;� ��� ���������8������� � ��� �$%%$� �) ����� ������ ��*��������� �������� ��������� ���&���

�� �� � ��)������ �' �� �&���� ��� ��� � ������ �& ����������� ������ ������ '�� ���� ��� ������� 4��& ������� �� '�� ������& ��������������� ����� �����& �� ��*�� ��� �� ��'����� �������� �� ���� ���& ����� ���������4�� 8���#4 �� ���� �"���4������� � ��� $%%>� ���� ��� ��� '��6���& �

������ �������� �������� ��� �� ���� ������� ���������,���� ��������� :�,���+��� ��� ����� �$%%>� �) ����� ���� ������� �������� �������� �� ���������� ��� ��� �&���� ���������� �' �� ��� ��;�

=�) �!" "!,� !� ;�"5

J&���� �����& � ���,��� /��� �� J&���� �2��� � ��� $%%%�1 ����� ������� �����/�� ���� ��'������1 ��� �������� / ��*���� ��� � ���,���� ��� � �������1 +�� 0� ��� ��� � ���,���� �&����� �� � ���� �� � ��+�������� �������� ���������� ��� �' ���� �&���� & ����& �� ��& � �������������� �����&����� �� �)����� ������ '�� ��*���� ��� ���� ������ ��������� 4���� ������� '���& ������� ��*���� �&���� �:��;+�& ��� :����� ���BG X���� � ������BG "������� � ��� ���B� �� ��� ���� ���� ��+ �������� ��*���� � �� ���� ��'������ �' '���� �)�������"����� ���� �' ������� �������� ������ � ���,����� �� �) ��� ��������

������ ������ �"�������� � ��� ����G ���� � ��� ����G ����� � ��� ����G M������� M�� ���CG ������ ��� U�S�� ����G ����� � ��� ����G I���� � ��� ���B�� 2�������� ������ ��� �� ������& ������������ ���� �&���� ������ � ���,����� �������� �� ��������� +�� ��� �� ������� 4�� ���� ����������� �'���� ����6��� �� �� ��& ���& �� ��������� �������� � �����'& �� ��������' ��� � �� � ���,������� ������ ���� ������ ��*�� ������ � ���,����� �� �� '���� �� �"�����

� ��� $%%@��

>� ���% ��

=� ���� ������� �� �������� ��� ���& '����+��; '�� ������ ��� ��� � ����,���� �� ������ �������� 4�� �������� ������� � ���� �� ������ �'������ �� ��� � ������ �� ��)�& �� � ������ ������ ������� � ���� ����� ��������� �� ������� � ���,������ 7��� ��� �) ������ +�� ��;�� A0��

Page 48: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �

+� ������ �� �� �������� ������� �& ����+��� �� � �)��� �� �&���+�� � �����& �' ��+ ��� ��� ���������� +���� ���������� ����� ��'�����������������4�� ��� '��������� ��3����� ��+��� ��� � ���� ��� ��� ������� +��;

���� �� �� � ���� � ��� ��� � ���,���� ���&� "�� ������� �&���� ���& ���� �� �������� � ����� ���� ���& ��������� :�+����� �� �� ��)�& ����������� ����& �� ����� ���� �������� ��������� #� ����� ������& ����� 0�������� ����������& ��� � �����& �' ����� ��������� � ��� ��'������ ������:����� ������� �� ������� �� ��B?E

J��������� � ���,���� ���� ����������& ��� �� ���������� '�� +�'���� � ���� � ����� �� � ���,���� ��� �� ���& � ����� �' �� ��'������ ���� �� �3���� 4����'���� �' ��& � ������� ��������� � �� ����� � ���� �������� ����� '�� ���������� ��� ��� �������� ��� �:����� ��B?�� ���$�

=� ���� ������� � �������� ���& '����+��; ����� �� �� ����&� ����� �'��� ��� ����*�� �� �� ��� � ������ � ���� �������� ����� '�� ��� ���� ���,���� ���&� 4�� ����� ���������� ��'���� +��� �� �� �������;� +����� ���������� ������� ���& ��������� ��� � �� ������ ������� U�����������+� ������� �� ����������� '����+��; ������� � ����� '�������� '�� �������� ����) ��������� �' ��� ��� ������ ��������

����������

������������ ������ �������� ��� ���� ������ ������� ����������� ������ �� ������ ��� ��� ���!��� �� )::*� �� &���#7� �������(4 ������ ������� ��� ������� ������� ����������� � ����� ��������� ������� �� ; I6���J�;=M*;�

������������ ������ �����" ��� #��� ������ $��"� �� ��� ��� �%����� �� �� ;==>� 6� �� �D����� ��� ���������� �� � �� ��������� #��� ����������� ���� �! !������ ""� C I���J� )>:M)=:� 1���� �� � ���� �� �� ��������� �� 1B'7�=>�

������ ��������!� �� ��� ����� �� ��� ��"� �� �������& $�������������%%� ���'�" � ������(� ���)�� ���)����� � '��#�������#�(��( ������&�� �� '��*&� �����!!��� �� ��� ��"�� ��� ������� �� ��� ������� �� ��� ��� � +�� ������� �� ��� ��(�!��)�� ��� ,����� �� ):::� �� #�����9�� ������� ������ �#� � ���� ������� "$� ;I6���J� );;M)*>�

������ �� ������!� �� ��� ��%%� ��� #���� ��� ��� �� *&� ��� ����� �� ���)����� � '�� ������ �� ��� ��� ���&�� �� ;===� 7������������ #�����9�� �� #���� ��� ���� �! !������ "%� ;: I-��J� *;0M*)0� 1���� �� � ������ �� ��������� �� --1&B4�==�

�����!�� �� ��� ��% #� ��� ���� ��� �������� �� )��-�&�� �� �����" �� #���& �� ��! �� #�������(����� �� ���,���!���&�� �� ������ ,��� ,� +� ;==@� %�������� ��������( "��� ��� ��� �� ��� ����N ��������������� �� ������� � ���� &'� 0 IL���J� *C@M*=:�

������ ��� '�" �� ���(� ��� )�� ��� ��� ������ $� ):::�� 4������������������� �� �� #�����9�� #��( �� ���������� ��������� ������ 7� "�� ��� (��)������ *���+��),-������� ��� - ���� ���������� .*--�,"/�

������ ���'�" �����(� ���)�� ������ ������ $� '� ):::�� 4������������������� �� �� #�����9�� #��� ��� ���� �! !������ "'� ;: I-��J� 0@MAC� 1�������� �� �� )::: 4%� &721B4L %�������� �� -���� -������� 1����������� &� ��� � B������� ��� 4��������� I--1&B4�::J�

Page 49: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�! � ������� ��� �� ���

������ ��� '�" � ��� ���(� ��� )�� ��� ��� ������ $� '� )::C� 4

����� �� �������� ������������ �� ������� ����� � ����������� �0 ��� �111 $"� )� &������ �� �� 1������ 2���������� -������������ ��� 4����������

������ ��� )�� ��� ��� ����� � �� ):::� 4� �������� ���� �� �������������������� 7� &"�� ������������� (��)���� �� �������� ��� �������� 0�� �������� ��,������� 0=MA@�

������ ���)�� ��� ��� ����� � �� )::)� -����� ������!�������� �������������� #���� ��� ���� �! !������ "�� ;; IL���J� ;;;M;)=� 1�������� �� �� )::) 4%�&721B4L %�������� �� -���� -������� 1����������� &� ��� � B������� ��� 4��������� I--1&B4�:)J�

��!������ ��� $����!� ��� �������! ��� +&&��! � ��� ��� ��!��� � *� ;==A� 6� �� �D����� ������ ����������� ��� ���� �! !������ "&� C I���J�;0=M;C=� 1���� �� � ���� �� �� ��������� �� 1B'7�=A�

��%�%" �� )::*� 4 ����� � ���� �� �� ���������� ��� �������� ����� � "'� )� =@M;;*�

��� ������!������� +�� ��� ������ � ):::� '�����( � ���� ������ ������������������ � ���� ��� ���� �! !������ "'� C I���J� ;M;)� 1���� �� � ���� �� ����������� �� 1B'7�::�

+�� )::*� 834 ������� #$�!��( #��� ��� �� �������� �� ������ ���� ����� ��������� �����(??�����������

��%"���� �� ����& $�� ��� �%.���� .� )::0� ��� ��� �������( �� ����

������� ����� �� ������� ��������� 7� ��� ����1�2��� 3 ���0������ 455%� ������������������ ���0������ �� ���������� ��� �������� �0 ������� � ����� )CM*A�

��"� �� ��� ��� ������ '�" �����(� ��� )�� ��� ��"�� ��� ������� �� ��� ������� �� ��� ��(�!�� )�� ��� ,����� �� ;===� ��#�����9�� ������ ���������� ������� ��� #���� 7� ��� &$$$ ���� ������ ���0������� ;)=M;0;�

�������! �� ��� /�&�� �� ;==;� ��!��� ���� �������������� �������� ��������7� ��� ���0������ �� �+6���,�������� ��������� � ����� ��������� ��� �������������;M;C�

�����" ��� +�& ������� *�� #��! �� ��� �%����� �� )::*� �� ����������� ��������( 4 K� ���� ������������� ������� ������� ������������ ����� ��������� ������� �� ;� CM;>�

�����" ��� #��� ������ ��� �%����� �� �� ):::� 1������� #O'-( #�������� ������ ������������ � ��� ���� �! !������ "'� C I���J� ;*M)A� 1���� �� � ������ �� ��������� �� 1B'7�::�

������� ���� %������� 8��� ���(??��������� ������������?��!��?������ ?������� ����

���!�� �� ��� *�0�� '� ;==A� 4 ������� ������ ��� �������� ������������ ��� �� ���������� �� %� 7� ���0������ 2����� �0 ��� 4"�� ��� ���� �!,������ � ����� ������������ �0 ��������� ��������� ;0CM;CA�

������ ��� '������� ��� ��!�� � .�� ,�&��� �� *�� ��� 1���%"'� .� ;==;� 3������ �������� ���� ����� � ������� ���� ��� �� ������ �������������� ��� ������������ �� ��������� �������� ��� � ���� &"� 0 I-��J� 0C;M0=:�

���!��� �� '��!�� ������ ��������� �������� ���(??���� �����������?���!���

���� �� ��� �������! �� ;==0� ������ ������ �������� ��� ��� � ��� �������� ����� �7� ��� ��� *��������� ���������� )@*M)>)�

���� ��� ���(� ��� ��� �������! �� ;==C� -����������� �� �������������� �������� � ��� ���� �� ������ ����� � � 7� $�� 1������� ���0������ �� �+6���,������������������ @@M;:;�

�����2! �� ��� �&�!�� 3� ;===�� �� � � ��� �������� ������� � 7� ���� �7$$ 8�(��)����9 �������� � ���0������ ��� �����+���� �� 8������ ������� -������ ;>:M;=0�

�����2! �� ��� �&�!�� 3� ;===�� 7������� �� ������� ����� � 7� &"�� 1����������0������ �� �+6���,�������� ���������� )C>M)@>�

Page 50: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �"

����!%� #� $� ��� %�22��� �� �� ;=>0� 3���� �������������� �� �� &�������!�

>: � ���� 7� ���0������ 2����� �0 ��� 1������� ������ ��� � ����� �� ���������� �0��������� ��������� )=@M*:)�

+��� 4������������ )::)� &������� 3%�4�**0� %P B������� &�������������(??�������������������������?���������� ? ������� ?3���**0����

'�" �� ���(� ��� ��� )�� �� )::)� �� �� ��� ��� �������������� ���� #�!� $�� ���������� �������� �������� L��� ���� --1&B4�:)� 4�������� ������������?������������! ?� ?��!� ���?�����������?��� �������� � ����

'�" ��.���� .����� ��"�� �� ):::� O����� ����� � �� ����� ��� ����� �������� �� ������� ����� �������� � 7� ������� ������������� ������ ���� ��� � ����� .4555/�

'�" � �� ��� 5�� '� )::*� '� ���� �������������� ��� ���������� �� �������� ������������� ��� ��� ��! ����������� 7� ������������� � ����� �� ���� ���������� �������������� 7333 %������� &������ )0;M)C)�

��!��& ��� ��� �� ��� ����� �� ;==A� ��� ���� ������� �����:������� 4��� ��"� ����

����� �� $����!� �����%" ��� +&&��! � ��� ��� �������! �� ;===�4� ���������� �� �������� ������������ � ��� ���� �! !������ "%� C I���J� )=*M*:0�1���� �� � ���� �� �� ��������� �� 1B'7�==�

��%�(!" *��.�!��� ��� ������� .�� ������� ��� ��� ������!���� )::0� #��� �� ��������� ������� ��� ������� ����� ����������� ��� ����� ��� ����������� ���������� � 7� ;����< "�� 8������ ������� 2������� ��� ��������� � �����.8�75%/�

)��!�� �� �� ;=@0� 4������� � ��� ��� �� ������ �������� ������������ �� ������� �1�'� �� � � %�������������� O����� ����

)�-������ .� ��� ���(� �� )::*� 4������� ������ ���� �� �� ����� ��������� 7�

������������� � ����� �� ���� ���������� ��� ����������� 7333 %������� &������)C*M)A0�

)0��-�� /� ;==C� 4������� ������������ ��� &���( $�������� �� ���������� ��� � ���������� ������������ 1�'� �� � � &������� O����� ����

)0��-�� /� ��� /�&�� �� ;==0� 4 ���� ���������� &3B6 ��������������( $���������� ��� ����� ��� ����������� ��� ���� �! !������ 4$� ;: I-��J� ))=M)0*�

)0��-�� /� ��� /�&�� �� ;==A� $�������� �� ��� ����� ��� ���������� �� ������������������ �������� � ��� ������������ �� ��������� �������� ��� � ���� &=� 0I#���J� *CCM0::�

)��"��� �� �� ��� )����& �� �� ;==@� '727�4B 6FQ*)( %�������� ��������� ��������� ���� ������� -������ ��������� ������� $� ;� *M;)�

#�!� $��� #�!� $� ��� ������� ����� I$��J� ���(??����������?������������! ?� ?��!� ����

!���� 5���� �� #������ �� &��� � ���� ���(??�����������? �������?!����

.������ �� 3� ��� ���!! �� �� )::*� �� �� ��� �� �������� ��������� �111������� ">� ; I#���J� 0;MC:�

.!���� �� ��� '���- �� )::*� %�������� ������� ������������( 4 � � ����� ���

������������ �� ��������� �������� ��� � ���� 4'� 0 I#���J� C::MC0>�

.���� �� +� ;=@:� 4� �������� ���� �� 6-$�$4L ������� � $% *)@A�

.���� �� ;==>� 3���� #����� #� ��������� ����������� 7� ������������� ���0������ ���������� ������������� ��� ���������� ������?���� #��B� 2������� 3�� ):CM);)�

.���- �� )::*� %������� ������� ��� �D����� ������ ����������� �� ������� ������� ������������ 7� ��� ����������� � ����� �� ���� ���������� ��� ���������� @��� �������1������ �� *���+��),-������� ��� 2����� ����������� A=M@>�

.���- �� ��� ������ � )::;� O ��� ���������� �� ����� ������ ����������������� ��� ���� �! !������ ">� C I���J� ;CAM;A@� 1���� �� � ���� �� �� ��������� ��1B'7�:;�

#���� �� ���#�� $� ;==>� '����� ������������ �� �� 6���� � ���� ��� ������������� � "5� *� I&����J� ;MC� 4����� )*�

Page 51: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�$ � ������� ��� �� ���

������ ��� ���!�� ��� ��� ���� $� ;===� 3���� ���������� �������� ���

���������� ��� ����� ��� ���� �! !������ "%� C I���J� )>;M)=)� 1���� �� � ���� �� ����������� �� 1B'7�==�

����� +� ��� ���&� �� ������ �������� �� �� %����� B������� $�������

$���%-�� ��� �%" ��� ��� ��%" �� )::;� �� #��� H�� ��� ����� �������� 7�

;����< ���� 8������ ������� 2������� ��� ��������� � ����� .�8�75&/� ;M;)�

$���! .� ��� )��!�� �� �� ;==:� 1����� ������ ��� �� ��������� ��� ���� �!!������ 4'� A I#���J� ;AM)@� 1���� �� � ���� �� �� ��������� �� 1B'7�=:�

$��-���� �� $� ��� ������ �� .� ;==@�� '�� R�� � �� ����� S R������ ���� ���������N 7� ���0������ ������ �0 ��� 7$�� ��� 4%�� ��� ���� �!,������ � ������� ���������� �0 ��������� ��������9 ������ ��������� �� ��� � ������ ������ *������&'A&� ������ &$$�� 4%�� 3�� 4%� 1�� � L�� T��!� LT� O&4� ;):M;*;�

$��-���� �� $� ��� ������ �� .� ;==@�� '�� U�� � �� ����V S U������ ���� ��������VN 7� ���0������ 2����� �0 ��� 4%�� ��� ���� �!,������ � ����� �� �����������0 ��������� ��������� ;):M;*;�

$������ ��� +�&��� �� ��� ��� .��!���" �� '� ;==@� �( 4 � ��� ��� �� ��K� ����� ��� �������� ������ ��� ����������� ��� ���� �! !������ "4� C I���J� ;:=M;);� 1���� �� � ���� �� �� ��������� �� 1B'7�=@�

$������ �� ��� ��"�� �� ;===� B����� �� ���� ��� ���������� ��� �������������� ��������� �������� ��� � ���� 4&� C I&����J� >=CM=;*�

�����"�!���� �������"�!���� *�� ���� #� .�� ��� (�!����������� ):::� 4��������� � �� �� #��� ������� � ��� � 7� ��<�� ������������� � ����� ��B��� ���0������ ������� ������������ .B���,>/� ������ �� 6����� *>@M*=>�

����� ��� %������& +�� ��(�! .�� ��(�!�� )�������� �� �����!�� ���.��!������� ��� ��� .�(�� #� )::0� &����( &���� ����� � �� �� �������������� 7� ������������� � ����� �� ��0�@��� ������� ��� ���� ���� )C)M)A)�

����� � �� )::0� #������ �� #�� ��� �D����� ������ ����( ��� �� ���N ��� ���� �!!������ "$� > I4���J� A;M@;�

������ ��� ������"�� ��� ��"22 �� ��� ����� �� ):::� G��! �����(� <�� �� ���� ������� ��� #���� ��� ���� �! !������ "'� ;: I-��J� AAM>)� 1�������� ���� )::: 4%� &721B4L %�������� �� -���� -������� 1����������� &� ��� � B������� ��� 4��������� I--1&B4�::J�

���� &���� � #��� 8������ 4���� � ��� ���� ��������� 6�������!����(??���� ������������? �������?P ����

������� $��2�����%� +(������� ����������� &13%���)::: #��� 8� ��� 8�����!� ���(??���� ������?���):::�

������� $��2�����%� +(������� ����������� &13%���=> 8�����! ����(??���� ������?���=>�

�&����� ��� 3&�!����� ��� ��"��%� ��� ��!�� ��� .������ ���4!�-�" .�� .����!� )�� ��� *�"���� �� ):::� -������� �� �� 78� #���#� ��������� %�������� �#� � ���� ������� "$� ; I6���J� ;@CM;=*�

�&����� ��� ��!�� ��� .������ ��� .����!� )�� ��� *�"���� ��)::;� 4 ������ ������������ ��������! ��� � #��� �� ��������� �������� ��� ���� �!!������ ">� ;; IL���J� ;>:M;=C� 1�������� �� �� )::; 4%� &721B4L %�������� �� -����-������� 1����������� &� ��� � B������� ��� 4��������� I--1&B4�:;J�

�&����� ��� ��!�� ��� ��� *�"���� �� )::)� 4� �������� ���� �� �������������� ��� � #��� �� ��������� �������� 7� ;����< ���� 8������ ������� 2������� ��� ����,����� � ����� .�8�754/� =;M;:0�

��!! �� �� ��� +&����� �� )::;� H�������� �������� ������� ������������ ���4'41�� ��� ���� �! !������ ">� @ I#���J� =*M;:)�

,������ 3� ��� ���(& �� .� ;==@� 6� � ��� �D����� �������� ��������� 7� %��������������� � ����� �� ������ ���� ��� I1��� � 6����J�

,����� �� ;===� '����� ������������ ����� �� � � �� �������� ������� ���������������&� �� � � �� �� ��� 7� ������ �� ���������

Page 52: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �#

����� F�����#��� F&B� ���� ��� ���(?? �����������? �������

��� � F��� ) #��� 1�� �� $������ ���(?? �����������? ��� )��?���� �����

���& �� ������ �����$��" �� #�� ��� #�� ��$��" �������& �� ���.� �� +�%�&�� .�� ��� ������ +� ;===� B����( 4 #��� �� #� ���������������� ��� �� � ��� ����� ���� ��� ���������� 7� ������������� ���0������ �� ��������������������� ��� ���������� ������?���� ;)>M;*>�

1���& 6�� ,��& 1�� ���� *�� ���� �� �� ��� ��� �� �� ;==@� &� ��� ������ ��� ��������� �������� ��� ������������� 7� &>�� � ����� �� ��������� � ��������������� -�������� &� ��� $������ *;ICJ� ;CM)A�

�� �������� ����

4��� � ����) ������ ��������� *����� �� +��� ��������� �� �� ������� ��8���� ��

10000 100000 1000000

Counter Threshold

0.50

0.52

0.54

0.56

Nor

mal

ized

Run

ning

Tim

e

7��� �>� 4����� ������ '�� ������������ ����� �����& ����� � ���,���� ����� %�4�� ���)�� � ��*�� �� ����� ��������� ����� � ��� ���� ��� �� ���)�� ������� ������� ��� ������� � �������� �� ����� 4�� ���� ��'������ ����� �������@�%%%� �� ���+� +�� � �������� 4��� ����� �� ���� �� 8���� ��@�

Page 53: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

10000 100000 1000000

Counter Threshold

0.45

0.50

0.55

Nor

mal

ized

Run

ning

Tim

e

7��� �?� 4����� ������ '�� ������������ ����� �����& ����� � ���,���� ����� ��4�� ���)�� � ��*�� �� ����� ��������� ����� � ��� ���� ��� �� ���)�� ������� ������� ��� ������� � �������� �� ����� 4�� ���� ��'������ ����� �������%�%%%� �� ���+� +�� � �������� 4��� ����� �� ���� �� 8���� ��@�

100000 1000000

Counter Threshold

0.55

0.60

Nor

mal

ized

Run

ning

Tim

e

7��� �@� 4����� ������ '�� ������������ ����� �����& ����� � ���,���� ����� $�4�� ���)�� � ��*�� �� ����� ��������� ����� � ��� ���� ��� �� ���)�� ������� ������� ��� ������� � �������� �� ����� 4�� ���� ��'������ ����� ������>@%�%%%� �� ���+� +�� � �������� 4��� ����� �� ���� �� 8���� ��@�

Page 54: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ��

��������� ��� ��� �

jack-large

javac-large

jess-large

mtrt-large

db-large

compress-large

mpegaudio-large

db-medium

xalan

javac-medium

jess-medium

jack-medium

kawa-m

edium

mtrt-m

edium

ipsixql-medium

pseudojbb-medium

saber-medium

compress-m

edium

xerces.medium

mpegaudio-m

edium

daikon-medium

soot-medium

kawa-large

xerces.large

saber-large

ipsixql-large

soot-large

pseudojbb-large

daikon-large

0

1

2

3

4

5

Spe

edup

JIT0mod0

��������� ��� ��� �

jack-large

javac-large

jess-large

mtrt-large

db-large

compress-large

mpegaudio-large

db-medium

xalan

javac-medium

jess-medium

jack-medium

kawa-m

edium

mtrt-m

edium

ipsixql-medium

pseudojbb-medium

saber-medium

compress-m

edium

xerces.medium

mpegaudio-m

edium

daikon-medium

soot-medium

kawa-large

xerces.large

saber-large

ipsixql-large

soot-large

pseudojbb-large

daikon-large

0

1

2

3

4

5

Spe

edup

JIT1mod1

��������� ��� ��� �

jack-large

javac-large

jess-large

mtrt-large

db-large

compress-large

mpegaudio-large

db-medium

xalan

javac-medium

jess-medium

jack-medium

kawa-m

edium

mtrt-m

edium

ipsixql-medium

pseudojbb-medium

saber-medium

compress-m

edium

xerces.medium

mpegaudio-m

edium

daikon-medium

soot-medium

kawa-large

xerces.large

saber-large

ipsixql-large

soot-large

pseudojbb-large

daikon-large

0

1

2

3

4

5

Spe

edup

JIT2mod2

7��� ��� J������ ������� ��'������ �� ������ ��+��� �#4 ��� ������������������� �������,�� � ��������� 4�� ������� �� �������;� ��� �� �� ��'� �� ������� �� �� �� �� ����� " ������& �' ��� ��� +�� ������� �� 7����� ��

Page 55: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

�������� ��� ��� �

jack-steady

javac-steady

jess-steady

mtrt-steady

db-steady

compress-steady

mpegaudio-steady

SP

EC

jbb2000

ipsixql-steady

0

2

4

6

Spe

edup

JIT0mod0

�������� ��� ��� �

jack-steady

javac-steady

jess-steady

mtrt-steady

db-steady

compress-steady

mpegaudio-steady

SP

EC

jbb2000

ipsixql-steady

0

2

4

6

Spe

edup

JIT1mod1

�������� ��� ��� �

jack-steady

javac-steady

jess-steady

mtrt-steady

db-steady

compress-steady

mpegaudio-steady

SP

EC

jbb2000

ipsixql-steady

0

2

4

6

Spe

edup

JIT2mod2

7��� �B� J������ ����&���� ��'������ �� ������ ��+��� �#4 ��� ������������ ������� �������,�� � ��������� " ������& �' ��� ��� +�� ������� ��7����� ��

Page 56: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ��

��������� ��� ��� �

jack-large

javac-large

jess-large

mtrt-large

db-large

compress-large

mpegaudio-large

db-medium

xalan

javac-medium

jess-medium

jack-medium

kawa-m

edium

mtrt-m

edium

ipsixql-medium

pseudojbb-medium

saber-medium

compress-m

edium

xerces.medium

mpegaudio-m

edium

daikon-medium

soot-medium

kawa-large

xerces.large

saber-large

ipsixql-large

soot-large

pseudojbb-large

daikon-large

0

1

2

3

4

5

Spe

edup

ctr0model0

��������� ��� ��� �

jack-large

javac-large

jess-large

mtrt-large

db-large

compress-large

mpegaudio-large

db-medium

xalan

javac-medium

jess-medium

jack-medium

kawa-m

edium

mtrt-m

edium

ipsixql-medium

pseudojbb-medium

saber-medium

compress-m

edium

xerces.medium

mpegaudio-m

edium

daikon-medium

soot-medium

kawa-large

xerces.large

saber-large

ipsixql-large

soot-large

pseudojbb-large

daikon-large

0

1

2

3

4

5

Spe

edup

ctr1model1

��������� ��� ��� �

jack-large

javac-large

jess-large

mtrt-large

db-large

compress-large

mpegaudio-large

db-medium

xalan

javac-medium

jess-medium

jack-medium

kawa-m

edium

mtrt-m

edium

ipsixql-medium

pseudojbb-medium

saber-medium

compress-m

edium

xerces.medium

mpegaudio-m

edium

daikon-medium

soot-medium

kawa-large

xerces.large

saber-large

ipsixql-large

soot-large

pseudojbb-large

daikon-large

0

1

2

3

4

5

Spe

edup

ctr2model2

7��� �C� J������ ������� ��'������ �� ������ ��+��� ����� ��� ������������ ������� �������,�� � ��������� " ������& �' ��� ��� +�� ������� ��7����� B�

Page 57: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

�������� ��� ��� �

jack-steady

javac-steady

jess-steady

mtrt-steady

db-steady

compress-steady

mpegaudio-steady

SP

EC

jbb2000

ipsixql-steady

0

2

4

6

Spe

edup

ctr0model0

�������� ��� ��� �

jack-steady

javac-steady

jess-steady

mtrt-steady

db-steady

compress-steady

mpegaudio-steady

SP

EC

jbb2000

ipsixql-steady

0

2

4

6

Spe

edup

ctr1model1

�������� ��� ��� �

jack-steady

javac-steady

jess-steady

mtrt-steady

db-steady

compress-steady

mpegaudio-steady

SP

EC

jbb2000

ipsixql-steady

0

2

4

6

Spe

edup

ctr2model2

7��� ��� J������ ����&���� ��'������ �� ������ ��+��� ����� ��� ������������ ������ �������,�� � ��������� " ������& �' ��� ��� +�� ������� ��7����� B�

Page 58: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �

���������

jack-large

javac-large

jess-large

mtrt-large

db-large

compress-large

mpegaudio-large

db-medium

xalan

javac-medium

jess-medium

jack-medium

kawa-m

edium

mtrt-m

edium

ipsixql-medium

pseudojbb-medium

saber-medium

compress-m

edium

xerces.medium

mpegaudio-m

edium

daikon-medium

soot-medium

kawa-large

xerces.large

saber-large

ipsixql-large

soot-large

pseudojbb-large

daikon-large

0

1

2

Spe

edup mod0

mod1mod2

��������

jack-steady

javac-steady

jess-steady

mtrt-steady

db-steady

compress-steady

mpegaudio-steady

SP

EC

jbb2000

ipsixql-steady

0

1

2

Spe

edup mod0

mod1mod2

7��� $%� J������ ��'������ �� ������ ��+��� ������������ ������ ��� ���������� ������ �������,�� � ���������� ������ " ������& �' ��� ��� +�� ��������� 7����� C�

Page 59: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�! � ������� ��� �� ���

���������

jack-large

javac-large

jess-large

mtrt-large

db-large

compress-large

mpegaudio-large

db-medium

xalan

javac-medium

jess-medium

jack-medium

kawa-m

edium

mtrt-m

edium

ipsixql-medium

pseudojbb-medium

saber-medium

compress-m

edium

xerces.medium

mpegaudio-m

edium

daikon-medium

soot-medium

kawa-large

xerces.large

saber-large

ipsixql-large

soot-large

pseudojbb-large

daikon-large

0.0

0.5

1.0

Spe

edup AI

edgeboth

��������

jack-steady

javac-steady

jess-steady

mtrt-steady

db-steady

compress-steady

mpegaudio-steady

SP

EC

jbb2000

ipsixql-steady

0.0

0.5

1.0

Spe

edup AI

edgeboth

7��� $�� J������ ��'������ �� ������ ��+��� '�����;������� � ���,�������� ���������� ������ �������,�� � ���������� ������ " ������& �' ��� ���+�� ������� �� 7����� ��

Page 60: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �"

�� ���� �������@

4��� � ����) +��� �� ��������� �� �� ������ � ����)�

Page 61: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�$ � ������� ��� �� ���

4����#0�A�+����'��4���4����������4��*������������������������������� ����&�;�������������'�%

�����4���������� ������������������������������� ��������'����������7���)�� ���������������*�������

�'�!2��������������������������'������+�����$BP�'����������

8�����!

�� �

��:

��;

��)

���:

���;

���)

���������

:�@*I:�)@J

:�@AI:�0;J

:�>>I:�C;J

;�*)I;�@)J

*�*AI:�;=J

0�)AI:�)>J

A�C=I:�:=J

����

)�;:I:�);J

*�@AI:�*)J

)�A*I:�0)J

)�;*I:�*=J

;C�=>I:�;CJ

*:�=@I:�;:J

;0>�=;I:�:0J

�����������

)�)@I:�*AJ

)�=;I:�A;J

)�C=I:�;AJ

)�A>I:�*;J

;:�*)I:�):J

;@�=>I:�0>J

0A�*CI:�:>J

�� �������

)�**I:�:>J

;�@:I:�)CJ

;�0>I:�*;J

)�;>I:�*;J

A�:>I:�;=J

=�)@I:�0*J

))�=)I:�:@J

��!�������

)�C*I:�);J

*�;)I:�*>J

*�*AI:�*:J

)�=0I:�;*J

@�)=I:�;*J

;C�C)I:�0=J

*:�>:I:�;@J

!����������

*�C=I;@�CAJ

0�)*I;)�*=J

0�)>I;;�=0J

*�>0I0�*>J

;)�>=I)�ACJ

);�)=I)�*AJ

@:�:*I;�;0J

�����������

*�@*I:�)AJ

0�;>I)�A;J

*�;AI:�;AJ

*�0)I:�)AJ

A�:>I:�*)J

A�0=I:�)=J

;A�A0I:�;)J

�� � <��������

0�=0I:�0=J

*�0:I:�@*J

*�0AI:�C)J

C�:CI:�C:J

0�@@I:�A:J

C�@*I:�CAJ

;*�0;I:�;;J

� ��������������

A�:0I:�A;J

0�@AI:�CCJ

C�0*I:�0>J

A�0)I:�C;J

*�*=I:�0@J

)�A=I:�**J

0�*:IC�A@J

�����������

>�0:I:�)*J

@�0:I:�*0J

@�C)I:�*>J

@�>>I:�0)J

)C�@=I:�:@J

0=�0;I:�;*J

;*@�@AI:�)0J

����� �������

=�>)I:�:CJ

)�>AI:�;)J

)�>CI:�*:J

0�;=I:�)@J

0�>)I:�);J

C�;CI:�);J

A�@0I:�:>J

��� �������

;;�@)I:�:*J

))�*;I)�@;J

A�*@I:�*;J

;*�::I:�)CJ

>�>CI:�;*J

;*�==I:�;*J

*@�*AI:�:@J

����������������

;;�>)I:�:)J

0�CCI:�:@J

C�*AI:�:=J

>�@:I:�;:J

A�==I:�;:J

@�C*I:�)AJ

;@�*AI:�:@J

���!���������

;)�)*I:�;@J

;)�C=I:�):J

;C�@CI:�);J

);�C=I:�;;J

);�C@I:�;;J

*A�;0I:�;:J

=0�)AI:�:*J

����������

;*�;0I:�;>J

;;�>@I:�;=J

;*�)@I:�)@J

;)�=*I:�)CJ

)*�>=I:�;:J

*>�:;I:�:AJ

;C:�>*I:�:=J

!���������

;@�C)IA�;;J

;@�0:I0�>)J

;=�)*I*�=)J

;>�A=I*�=AJ

**�=>I;�*AJ

A;�;)I)�CAJ

;0::�>0I:�>*J

��!������

;=�0>I:�):J

;@�C@I:�;0J

;@�*>I:�))J

;@�==I:�)AJ

):�)>I:�;)J

)C�;>I:�*;J

0:�A@I:�;)J

��� ������

))�;0I:�:>J

)@�:=I;�A@J

;;�)>I:�*AJ

)C�>AI:�):J

;0�@)I:�:=J

;>�CCI:�:>J

00�*)I:�:CJ

����������

)0�=;I:�*@J

)*�@=I;�))J

)0�0)I:�)>J

):�@AI:�*:J

0>�=*I:�;=J

=*�0:I:�;CJ

)@)�=@I:�:=J

����������

)>�0)I:�;0J

);�;*I:�;>J

))�C>I:�;@J

*:�@CI:�)0J

)C�@AI:�:=J

*)�;)I:�C*J

A*�@;I:�:=J

�� ������

*;�)*I:�:CJ

;A�A=I:�)0J

;0�@@I:�;0J

;@�C*I:�)*J

;=�CCI:�;;J

;>�=@I:�)AJ

*;�**I:�:AJ

����������

*>�)@I:�0)J

;=�0>I:�*0J

;;�0CI:�)AJ

;@�0CI:�;AJ

):�>@I:�*AJ

;*�>@I:�)>J

))�*@I:�:>J

��������

0;�C=I:�)@J

*:�C=I:�0=J

)>�0CI*�C0J

)>�=AI)�*;J

*0�);I:�)*J

*)�A>I:�**J

*;�>)I*�00J

�� � <�������

0A�;=I:�:>J

)*�C@I:�CAJ

))�;0I:�))J

)C�)>I:�;0J

)@�C0I:�;@J

)A�@AI:�)AJ

**�@)I:�;)J

����������

AA�>0I:�:@J

C)�=;I:�;)J

CC�*>I:�;>J

@:�=>I:�;>J

A;�0;I:�;AJ

@>�C)I:�:0J

):A�:0I:�;AJ

� �������������

=@�)>I:�;CJ

C0�@>I:�;AJ

C)�AAI:�)>J

A;�*;I:�);J

0=�C*I:�;0J

00�>)I:�);J

0*�>CI:�)>J

����� ������

;:@�>=I:�:*J

)@�@>I:�@>J

)@�:=I:�*@J

))�@@I:�:=J

)A�>*I:�;)J

)A�*>I:�;>J

))�@)I:�;*J

���!��������

;:>�;)I:�:CJ

AA�):I:�;0J

A*�=CI:�;;J

@=�C;I:�)0J

@*�)CI:�:>J

>0�;:I:�:=J

;0:�)>I:�:*J

���������������

;:=�:*I:�:;J

)A�);I:�A0J

)C�);I:�:AJ

*0�CCI:�:=J

)@�>@I:�:)J

)A�A)I:�:0J

*0�@CI:�:0J

Page 62: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � �#

4����0�A�+����'��4���4����������4��*������������������������������� ����&�;�������������'�%

�����4���������� ������������������������������� ��������'����������7���)�� ���������������*�������

�'�!2��������������������������'������+����>�??P�'����������

8�����!

���:

���;

���)

���:;)

���:;)��

���:;)����

���:;)���

���������

:�@*I*�00J

:�=)I=�0;J

:�@=I*�*@J

:�@*I*�A>J

:�@0I)�0=J

:�@0I:�=;J

:�@0I)�=0J

����

)�;0I:�>=J

)�;0I:�A>J

)�;;I;�)CJ

)�;CI:�0)J

)�;CI:�@>J

)�;0I:�C0J

)�;0I:�>)J

�����������

)�*CI:�AAJ

)�*=I;�;>J

)�0:I)�:AJ

)�*>I)�>AJ

)�*CI:�=)J

)�*AI;�)>J

)�*AI;�*CJ

�� �������

;�A;I;�@;J

;�C;I;�@*J

)�;*I;�=@J

;�C@I*�;>J

;�C@I;�=)J

;�C@I)�A>J

;�C>I;�CCJ

��!�������

)�A@I)�)0J

)�@=I0�A@J

)�A=I;�**J

)�A>I;�>@J

)�@)I;�=>J

)�A=I)�))J

)�A>I)�;;J

!����������

*�A>I):�;>J

*�A*I;)�@=J

*�=*I;=�ACJ

*�CCIA�0=J

*�A>I;>�;:J

*�A:I;*�;)J

*�A0I;*�=AJ

�����������

*�C=I;�=>J

*�0*IA�A:J

*�0:I;�=*J

*�C@I;�A)J

*�C=I;�*AJ

*�C>I;�*>J

*�A:I;�0AJ

�� � <��������

*�@0I)�*=J

*�@@I)�;0J

0�A0I)�0;J

*�>;I)�)CJ

*�>;I;�@=J

*�>:I;�0;J

*�@AI)�;;J

� ��������������

0�>@I;�CAJ

C�**I*�)0J

A�*0I*�@;J

C�:AI;�@)J

C�:CI;�A)J

C�:*I;�=CJ

C�::I;�@)J

�����������

@�**I:�@CJ

@�0@I;�)*J

@�>)I;�0CJ

@�0;I;�)>J

@�*=I:�0=J

@�0:I:�A>J

@�0:I:�0=J

����� �������

)�==I:�>CJ

*�:)I;�:AJ

0�A@I;�=0J

*�:>I)�:*J

*�;:I;�*;J

*�:AI;�)>J

*�:>I;�)CJ

��� �������

A�;=I;�)*J

A�AAI;�=;J

;;�0=I;�>;J

A�*CI)�)*J

A�)>I;�@;J

A�):I)�*;J

A�)AI)�C0J

����������������

C�;)I;�;>J

C�0CI;�>;J

>�>*I*�C@J

C�;CI:�@*J

C�;AI:�>>J

C�;@I:�=@J

C�;0I;�);J

���!���������

;;�;CI:�@@J

;;�ACI)�;)J

;*�:AI*�:>J

;;�>)I;�)0J

;;�A>I;�;:J

;;�ACI;�00J

;;�A0I;�:0J

����������

;)�::I:�CCJ

;)�)@I;�:CJ

;*�C=I)�CAJ

;)�;CI;�;:J

;)�);I:�A>J

;)�:)I:�)*J

;)�;:I:�C@J

!���������

;A�*0I0�C)J

;A�C;I*�)@J

;@�)CIA�)@J

;A�*:I)�;;J

;A�CCI*�=:J

;A�;0I*�>>J

;A�;=I0�)>J

��!������

;@�*;I:�*@J

;A�@@I:�A:J

;>�*=I:�>CJ

;@�;AI:�*CJ

;@�*:I:�>AJ

;@�;)I:�CCJ

;@�)=I:�A)J

��� ������

;;�@:I:�A:J

;)�:)I;�*0J

;>�A:I)�0;J

;;�=>I;�*)J

;;�=>I;�)@J

;;�@0I;�))J

;;�@=I;�>@J

����������

):�0)I:�A;J

);�@;I:�0>J

);�:*I*�A=J

):�))I:�A0J

):�*@I:�A=J

):�;=I:�@:J

):�;CI:�*)J

����������

);�A0I:�0AJ

))�*@I:�0*J

)C�@)I:�=>J

);�>;I:�C0J

);�>>I:�=@J

);�A=I:�A*J

);�>*I:�@@J

�� ������

;@�:AI:�@CJ

;C�;)I:�A;J

;@�0AI;�*;J

;C�>;I:�@CJ

;C�@:I;�*@J

;C�@AI:�A>J

;C�ACI;�:>J

����������

;=�*)I;�>*J

;;�@@I)�;=J

;@�)AI;�:;J

;*�)@I;�:)J

;*�*0I;�C0J

;*�);I:�C=J

;*�)0I:�@0J

��������

)>�>*I:�*>J

)A�AAI;�;)J

)A�@*I:�A*J

)A�C)I;�;CJ

)*�;@I)�)AJ

)A�C@I:�0:J

)*�**I;�;@J

�� � <�������

)0�00I:�C@J

))�@)I:�A0J

)C�;@I:�>>J

))�>=I:�A=J

)*�00I:�A0J

))�@CI:�0@J

)*�)AI:�@AJ

����������

C*�)*I:�*CJ

C0�C=I:�A)J

A:�ACI;�>=J

C)�>:I:�*CJ

C*�A=I:�C0J

C)�>0I:�**J

C*�CCI:�@;J

� �������������

C@�:AI:�0;J

C*�C:I:�0*J

A:�A:I:�>@J

CC�>>I:�C0J

C0�*0I:�@*J

CC�C:I:�*=J

C*�>>I:�==J

����� ������

)@�@;I:�**J

)@�:>I:�0>J

)*�:AI:�0=J

)C�:*I:�C;J

)0�)=I:�0*J

)0�@>I:�)AJ

)*�=@I:�;CJ

���!��������

AA�A;I:�)=J

A*�A0I:�AAJ

@A�@:I:�@@J

A0�;=I:�0CJ

A0�**I:�@)J

A*�=)I:�C*J

A*�*>I:�CCJ

���������������

)A�A;I:�)CJ

)C�*AI:�)@J

*)�;>I:�>AJ

)A�==I:�A*J

)@�>AI)�)AJ

)A�>@I:�0:J

)@�))I;�A:J

Page 63: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

4����0#�A�+����'������&�����������4��*������������������������������� ����&�;�������������'>

�����4���������� ������������������������������� ��������'����������7���)�� ���������������*�������

�'�()��!!2$**��������������������'������+�����>�P�'����������

8�����!

�� �

��:

��;

��)

���:

���;

���)

&13%����*::

0�@AI:�*=J

)�0@I:�*CJ

)�)AI:�AAJ

)�))I:�:=J

)�0;I:�)=J

)�);I:�:=J

)�;@I:�);J

��!�����

;C�0)I:�)*J

;)�*0I:�0@J

;;�*;I:�;0J

;;�C;I:�0;J

;)�0AI:�;)J

;;�*)I:�:>J

;;�C0I:�:@J

���������

)A�A;I:�;=J

;C�*=I:�;AJ

;0�C>I:�:>J

;C�C@I:�0*J

;C�>>I:�:=J

;0�>=I:�:AJ

;A�:0I:�:AJ

�� �����

)A�A@I:�:)J

;;�C)I:�:AJ

=�)*I:�;:J

=�:=I:�;)J

;;�0@I:�:AJ

=�;;I:�:CJ

>�==I:�:*J

���������

*A�;>I:�;;J

;0�@*I:�;;J

@�:CI:�:)J

@�)AI:�;@J

;0�>0I:�))J

@�;@I:�:@J

@�*0I:�*CJ

�������

0:�A)I:�*@J

)>�=0I:�>@J

)A�;*I:�00J

)C�=@I:�>0J

)=�;@I:�CCJ

)@�::I:�)@J

)@�@AI:�:;J

�� � <�

0;�>AI:�))J

;>�A;I:�:@J

;A�C)I:�:=J

;A�)AI:�:>J

))�)@I:�)*J

):�=:I:�:AJ

);�:0I:�:0J

����� �����

;:@�0AI:�)*J

)*�)>I:�;)J

))�*>I:�:@J

;A�):I:�:AJ

)*�))I:�:0J

))�*)I:�:0J

;A�;@I:�:;J

��������������

;:>�C>I:�:;J

)*�C:I:�)AJ

);�A;I:�:@J

):�)>I:�:AJ

)*�C>I:�:;J

);�CAI:�::J

):�::I:�:)J

Page 64: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ��

4����0##�A�+����'������&�����������4��*������������������������������� ����&�;�������������'>

�����4���������� ������������������������������� ��������'����������7���)�� ���������������*�������

�'�()��!!2$**��������������������'������+������@P�'����������

8�����!

���:

���;

���)

���:;)

���:;)��

���:;)����

���:;)���

&13%����*::

)�0>I:�ACJ

)�)@I:�@*J

)�)*I:�*;J

)�)AI:�@AJ

)�;CI:�*CJ

)�))I:�C=J

)�;:I:�0@J

��!�����

;)�*;I:�)=J

;;�)*I:�;)J

;;�*AI:�A>J

;;�;=I:�*0J

;;�*)IA�;*J

;;�;AI:�00J

;:�==I:�**J

���������

;C�AAI:�;=J

;0�A>I:�*CJ

;C�>;I:�)CJ

;0�=@I:�;CJ

;C�@)I;�@)J

;0�>;I:�0;J

;0�>)I:�;)J

�� �����

;;�C*I:�:AJ

=�;CI:�:@J

>�>>I:�:AJ

>�>>I:�0AJ

@�00I:�0;J

>�>;I:�:=J

@�*>I:�*:J

���������

;C�))I)�A)J

@�:@I:�;>J

@�)CI:�:AJ

@�)CI:�);J

A�@:I:�:>J

@�;*I:�;0J

A�C@I:�);J

�������

)>�>:I;�:*J

)A�:>I;�:CJ

)C�=)I:�>0J

)C�>>I;�:)J

))�;0I:�>>J

)A�:>I;�;0J

))�;)I;�A:J

�� � <�

;>�)>I:�:=J

;A�**I:�;=J

;A�;0I:�;=J

;A�:=I:�)@J

;*�=;I:�C:J

;A�:>I:�>)J

;*�@)I:�;@J

����� �����

)*�)AI:�:=J

))�*@I:�:=J

;A�;=I:�:;J

;A�)@I:�:@J

;C�:)I:�;*J

;A�;@I:�:>J

;0�=CI:�):J

��������������

)*�0=I:�)>J

);�A@I:�0;J

):�:AI:�;:J

):�:AI:�;0J

;=�:)I:�;=J

):�;:I:�*AJ

;=�:AI:�;AJ

Page 65: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

�� � ������� ��� �� ���

����� �777� 1�������� �� ���� ���� �� ������ #�!� $�� ����� ����������

8�����! 4��������� 2% $����������� 4-&

��������� =:�:* :�:: >�C* ;�00

���� =>�A= :�:: :�@) :�C=

����������� A>�;C )C�=> C�*: :�CA

�� ������� =0�C* :�:: 0�C= :�>>

��!������� =)�*) :�:: @�:; :�AA

!���������� =C�;> :�:: 0�)@ :�CC

����������� >)�*: :�:: ;@�)C :�0C

�� � <�������� >=�>) :�:: =�AC :�C0

� �������������� >@�C@ :�:: ;)�;A :�)@

����� ������� =C�@: :�:: *�>= :�0:

��� ������� >*�;C :�:: ;A�0: :�0C

���������������� @A�;) :�:: )*�0; :�0@

���!��������� >@�@; :�:: ;)�:: :�)=

���������� =C�=; :�:: *�=: :�;=

!��������� =0�*@ :�:: C�): :�0)

��!������ >@�C; *�*> >�@C :�*A

��� ������ >0�A0 :�:: ;0�=* :�0*

���������� >:�*@ ;:�=> >�)= :�*A

�� ������ >)�0> 0�)A ;)�=* :�*)

����������� =A�*= :�:: *�0) :�;=

���������� >=�A0 :�:: =�=C :�0)

�������� =>�;; :�:: ;�@@ :�;)

�� � <������� >C�>= A�;; @�@) :�)>

���������� =C�)A :�:: 0�0> :�)A

��������� @=�@0 ;C�:: C�:@ :�;=

� ������������� >A�;C 0�)* =�*) :�)=

����� ������ =0�:@ :�:: C�>: :�;*

���!�������� >0�CC A�:: =�;A :�)=

��������������� >C�@= :�:: ;*�=A :�)C

4���� ���� >>�*C )�A) >�A; :�0)

����������

8�����! 4��������� 2% $����������� 4-&

�� � <� >=�0@ =�*) ;�;) :�;:

&13%���)::: =)�00 0�0= )�>0 :�)0

��! >=�>* A�;= *�>0 :�;C

���� @*�@A ;=�0@ A�C) :�)C

�� =:�:A >�)A ;�C@ :�;;

���� =;�C: C�*: *�:0 :�;A

�� =>�@A :�=C :�)A :�:*

����� =>�0A ;�)C :�)C :�:*

��������� =@�A= :�:: )�)* :�:>

4���� ���� =;�** A�;0 )�0; :�;*

Page 66: IBM Research Report · 4 4 0 20406080 100 Percent of All Executed Methods db-medium xalan javac-medium jess-medium jack-medium kawa-medium mtrt-medium ipsixql-medium

���������� � ������ �� � ������ ����������� � ������ ������� � ��

����� 7F� 1�������� ������ �� ���� ������������ ����� ��� ��� ����� ���������

8�����! 8� ����� ����� -�� -�� : -�� ; -�� )

��������� =@�A) I)0AJ )�*> IAJ )�*> IAJ :�:: I:J :�:: I:J

���� ==�>; I;C@=J :�;= I*J :�;= I*J :�:: I:J :�:: I:J

����������� ==�:0 I=)CJ :�=A I=J :�@C I@J :�); I)J :�:: I:J

�� ������� =>�A) IA0CJ ;�*> I=J :�A; I0J :�@A ICJ :�:: I:J

��!������� =0�)@ I000J C�@* I)@J 0�)C I):J ;�0= I@J :�:: I:J

!���������� =>�>= I;@@0J ;�;; I):J :�>= I;AJ :�)) I0J :�:: I:J

����������� =;�== I***J >�:; I)=J 0�@: I;@J *�*; I;)J :�:: I:J

�� � <�������� =C�0) I0*>J 0�C> I);J *�@: I;@J :�>@ I0J :�:: I:J

� �������������� >C�AC ICCCJ ;0�*C I=*J >�=C IC>J 0�@> I*;J :�A) I0J

����� ������� =C�>: I))>J 0�): I;:J )�;: ICJ )�;: ICJ :�:: I:J

��� ������� =;�=* IAA;J >�:@ IC>J A�C0 I0@J ;�C* I;;J :�:: I:J

���������������� =:�=C I*@)J =�:C I*@J A�;; I)CJ )�=* I;)J :�:: I:J

���!��������� =0�=@ I;C>AJ C�:* I>0J *�C* IC=J ;�C: I)CJ :�:: I:J

���������� =>�;; I;;=*J ;�>= I)*J ;�)* I;CJ :�AA I>J :�:: I:J

!��������� =@�;0 I**=AJ )�>A I;::J )�*@ I>*J :�0A I;AJ :�:* I;J

��!������ >=�)) I0))J ;:�@> IC;J 0�>A I)*J C�@; I)@J :�); I;J

��� ������ >@�)* I@;@J ;)�@@ I;:CJ @�=; IACJ 0�@0 I*=J :�;) I;J

���������� >;�)= I@>)J ;>�@; I;>:J ;*�*; I;)>J C�*: IC;J :�;: I;J

�� ������ =0�:; IA)>J C�== I0:J )�;: I;0J )�>0 I;=J ;�:C I@J

����������� ==�*0 I;=CAJ :�AA I;*J :�0; I>J :�): I0J :�:C I;J

���������� >;�>) I)=@J ;>�;> IAAJ C�@= I);J ;;�C@ I0)J :�>* I*J

�������� =>�:C I)C;J ;�=C ICJ :�@> I)J :�:: I:J ;�;@ I*J

�� � <������� =;�A* I00=J >�*@ I0;J 0�)= I);J *�>> I;=J :�): I;J

���������� ==�:0 I0**;J :�=A I0)J :�@* I*)J :�); I=J :�:) I;J

��������� >=�>0 I;CC@J ;:�;A I;@AJ A�)* I;:>J *�C> IA)J :�*C IAJ

� ������������� AA�=> I0*0J **�:) I);0J ;C�;) I=>J ;0�=@ I=@J )�=* I;=J

����� ������ =C�*> I))@J 0�A) I;;J :�0) I;J )�C) IAJ ;�A> I0J

���!�������� =:�*> I;C;)J =�A) I;A;J C�;0 I>AJ *�C* IC=J :�=A I;AJ

��������������� >*�>) I*0)J ;A�;> IAAJ A�;* I)CJ =�*; I*>J :�@0 I*J

4���� ���� =)�*C I=@CJ @�AC IC>J 0�;= I*0J *�:> I);J :�*> I)J

����������

8�����! 8� ����� ����� -�� -�� : -�� ; -�� )

�� � <� >A�=0 I0)AJ ;*�:A IA0J *�)@ I;AJ 0�=: I)0J 0�=: I)0J

&13%���)::: @;�A= IC>:J )>�*; I))=J 0�0C I*AJ ;)�@* I;:*J ;;�;) I=:J

��! AA�;@ I*;*J **�>* I;A:J ;;�); IC*J ;*�=C IAAJ >�A@ I0;J

���� C:�); I0>*J 0=�@= I0@=J ;>�@; I;>:J ))�CA I);@J >�C) I>)J

�� >;�=0 IC0=J ;>�:A I;);J >�*A ICAJ C�>) I*=J *�>> I)AJ

���� @)�C* I)A0J )@�0@ I;::J 0�A@ I;@J ;C�*> ICAJ @�0) I)@J

�� =0�C@ I)00J C�0* I;0J ;�=0 ICJ ;�CC I0J ;�=0 ICJ

����� =;�A: I);>J >�0: I):J *�*A I>J )�=0 I@J )�;: ICJ

��������� @)�;* I)=CJ )@�>@ I;;0J A�;; I)CJ ;)�@; IC)J =�:C I*@J

4���� ���� @A�0) I*@0J )*�C> I;00J A�=: I00J ;:�)> IA*J A�0: I*@J