79

people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

  • Upload
    others

  • View
    41

  • Download
    0

Embed Size (px)

Citation preview

Page 1: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��� ����� �� ��� � ���

��

����� �� ������

��������� � �� ��� ������ � �������� � ����������� �� �������

�������

�� � ��� � ���������� � �� ������������ �� �� ������ �

� ���� � ����������� �� �������� � ����������� �� ������� �������

� ��

������������� ��������� ! ����� " #$

� � %&&'

�� ���( ���)* ��� ����� �����+��*

�� ��� ����� �� ��� � ��� ��������� � �������� ��

���������� �������� � ��� �� ��������� ����� � ��� ����� �������

�� ,�� � �� � ��*

���� * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *

��� ������ � �������� � ����������� �� ������� �������

� � %&( %&&'

�������� ��* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *

-���� �� �+�.�

����� �� /������

����� �����+���

�������� �� * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *

����� �* ����

� ��� �( ��� ������ �������� � #� �� �� ��������

Page 2: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��� ����� �� ��� � ���

��

0�� � �* / ����

��������� �� �� ��� ����� �� ����� ���� ������� ��� ��� ������� ��������� ��� ��� ����� �� �� ���� ���������� �� ��

���� ������ �� �� ��� �� ������� �� ������� ��� �� ����� ���� ������� ��� ��� ������� �������

�� �����

������ ������ ������ ���� � ���! �� ��������� �� �"� #��� ������ �� ������ � ������$� ��� �� ������ �� ��"����� � � ���� �� ��%#��%� � ������ �& '� � �� �� ����� ���� ��� �� ������ ���� � ��� ���� ��������� ��%#��%� ��� ���������� ��� ������������ ����� ��� �� ����������� ��� ��� ����� � �� �� ������������& (�� ����� ��������� �� ������ ��� �"�������� �� �� ��� ��#�%� � ������������ %�� ��"� ���� �� ��%� #��"��� ����� �� �� ���� � ��� ���� %�������������� ���������� ������ �� �� �����& �� ��� ��������� ��� ������ � ����� �� ��)� ��� ������ ��������� �� �)��� �� ��� �� ���� �������� �� ������ ��� �� ����� �� ����� �� �"�������& (� ������� �"� ��� ������ ������ ������ �� �� �� �� ��� ��������� ��� ��� ��#����� � ����� � � � ������� ��� �"�������& (� ������ ����� %��������*�� �� ��� ��#����� � ����� ������� ���� �"� ��� ��� �� ��"���� �� �+&,- ������� �� �� �� ��#�� �� ����� ������ ������ %��� ���� ��� ������� �� ,&,-�� �� ����� ��� �������&

(���� ���� "��� . / ��� �����"�0�(����. ��������� 1 ������

Page 3: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��������������

'$� ��2� �� ���2 �� ��"��� � / ��� �����"�0�� �� ��� �� ����� � ��� �������� �� '

%� 2�� �� ��� �����& 3���"� ' %�� ����2� � ��%��� ������ �� �"� �� ���������

��� �)����"� ��������& �� ����� ������ ����� ��%� �� �� ����� ��������� � %��

�4� ����� ���� �������� ��� ����� ��"�&

'$� ���� ��2� �� ���2 � �� 5����� �� �� ��"������� ���������� �� ������� ���

��� �"��� �� ���6� ��� �������� & 7�� ����� ������ �� ���#���2��� ��� �4#

�����"� ������� ��� �� � �� �� � ����� ��� ������ �������� ��� ' %���� �"�

� ������ ��� %���&

8������� '$� ��2� �� ���2 �� ��������� ����0�� �� � �� � ��� ������ ����� �

��� ���� �������� � ������ �� � �����& '$� �� � �� ����� � ���� �� �� � �����

%���% �� � ����� ��� �� %���� �"� ��2��� ��� �� ��"� ������ �� ����� ��� ���

����� � ��&

9

Page 4: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��������

� ����������� �

+&+ ������� 3� 2 & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & +�

� � ���� ���� � �� �� � ��

�&+ �#'' ���� :"� "��% & & & & & & & & & & & & & & & & & & & & & & & & +�

�&+&+ ���� �� ���� � & & & & & & & & & & & & & & & & & & & & & & & & +;

�&+&� �#'' ���� ���� � �������� & & & & & & & & & & & & & & & +<

�&+&9 �#'' 1�%� ����� & & & & & & & & & & & & & & & & & & & & & & & +=

�&� ���� � ������ ����� & & & & & & & & & & & & & & & & & & & & & & & & & & ��

�&�&+ �'1 '��� ���� & & & & & & & & & & & & & & & & & & & & & & & & & & & ��

�&�&� ������� ������� & & & & & & & & & & & & & & & & & & & & & & & & �+

�&�&9 ���� � ������ & & & & & & & & & & & & & & & & & & & & & & & & & ��

�&�&� �#'' ���� ���� ���� & & & & & & & & & & & & & & & & & & & �;

�&�&; ����� ������� 5�)� & & & & & & & & & & & & & & & & & & & & & & �,

�&�&< ��������� ������� ������ & & & & & & & & & & & & & & & & & & & �=

�&9 1����� ������� & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & 9�

�&9&+ ��� ��� ( ������� & & & & & & & & & & & & & & & & & & & & & & & & 9�

�&9&� ������ ������� & & & & & & & & & & & & & & & & & & & & & & & & & 9+

�&9&9 1�%� ������� & & & & & & & & & & & & & & & & & & & & & & & & & & 9+

� � ��������� ��

9&+ (� ���6� ��� �������� & & & & & & & & & & & & & & & & & & & & & & 9�

9&+&+ 1����� ������� & & & & & & & & & & & & & & & & & & & & & & & & & & 9�

Page 5: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

9&+&� ������ 1� ����� � & & & & & & & & & & & & & & & & & & & & & & & & 9;

9&+&9 ���������� >��� ��� ��� ��� �� ����������� & & & & & & & & & & 9?

9&� 1������ '������������� & & & & & & & & & & & & & & & & & & & & & & & & & 9?

9&9 5����� 2 ��������� & & & & & & & & & & & & & & & & & & & & & & & & & & & 9,

� ���� � ����� ��������� ��

�&+ ������ ������ ����� & & & & & & & & & & & & & & & & & & & & & & & & & & & ��

�&� ��� ��� ������� 1������� & & & & & & & & & & & & & & & & & & & & & & & & �;

�&�&+ > ����� ��� & & & & & & & & & & & & & & & & & & & & & & & & & & & & �<

�&�&� ��� 5��2 ������� & & & & & & & & & & & & & & & & & & & & & & ;+

�&9 ������ ��������� 1������� & & & & & & & & & & & & & & & & & & & & & & & & ;9

�&9&+ ��%#5���� ��������� 1������� & & & & & & & & & & & & & & & & & & ;9

�&9&� 5��2 '��� ���"�� ��������� & & & & & & & & & & & & & & & & & & & ;�

�&9&9 ����#5��� �#3 ��� ��������� & & & & & & & & & & & & & & & & & & ;;

�&9&� ������� & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & ;;

�&� 1�%� ��%� 1������� & & & & & & & & & & & & & & & & & & & & & & & & & & & & ;,

�&�&+ 1�%� ��%� ��������� & & & & & & & & & & & & & & & & & & & & & & ;=

�&�&� ������ 1�%� ��%� 1������� & & & & & & & & & & & & & & & & & & & & <9

�&�&9 ������ 1�%� ��%� 1������� & & & & & & & & & & & & & & & & & & <=

�&�&� '����� �� 7��#��% 1 ������ & & & & & & & & & & & & & & & & & & ?+

�&; ����� � & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & ?9

�&;&+ ������#: �� �)���� �� �� 1����� '��� ������ & & & & & & & & ?9

�&;&� 1����� ��������� & & & & & & & & & & & & & & & & & & & & & & & & & & ?�

� ��������� ��

;&+ 8��� � 3� 2 & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & ??

;

Page 6: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

���� �� �����

�#+ ���� ��� � ������� � & & & & & & & & & & & & & & & & & & & & & & & & +<

�#� � ���� ���� :�� ����� & & & & & & & & & & & & & & & & & & & & & +?

�#9 1�������� � ���� ����� �� ����"� ��%� & & & & & & & & & & & & +?

�#� 3 ��� 8����%�� �� ���� �� ����"� ��% & & & & & & & & & & & & & & & & & +?

�#; � ���� ����� �� �)� ��� ��%� �� 5��2 & & & & & & & & & & & & +,

�#< �#'' ���� 1�%� ����� ( ��������� ������"� ��� �� �� 1� ��#

������ � �� �������� %�� � �������� ���� �� ������! & & & & & & & & & & +=

�#? ���6� ���� � ������ & & & & & & & & & & & & & & & & & & & & & & & & & �+

�#, (�����. ,#%� � ��� � '��� ���"�� �� ��� � ������� & & & & & & & & & & �9

�#= ���� � ������ & & & & & & & & & & & & & & & & & & & & & & & & & & & & & ��

�#+� � ���� ���� ���@�% & & & & & & & & & & & & & & & & & & & & & & & & �;

�#++ 7��#��% 1 ������ 1����� & & & & & & & & & & & & & & & & & & & & & & & & �?

�#+� ���#( ��� 1������� '����� ����� & & & & & & & & & & & & & & & & & & & & �,

9#+ (� ���6� �������� & & & & & & & & & & & & & & & & & & & & & & & & & & 99

9#� ���6� ��� �������� :�A��� 7�� � �� & & & & & & & & & & & & & & 99

9#9 ��� ��� �� ����� ����� 5�� � & & & & & & & & & & & & & & & & & & & 9,

9#� ��� ��� �� ����� ����� 5�� � 1���� ��! & & & & & & & & & & & 9,

9#; ���� � ������ 8 ������� �� ���5� 5����� 2� & & & & & & & & & & ��

9#< ���� � ������ 6������� �� ���5� 5����� 2� & & & & & & & & & & & ��

�#+ ���6� �������� ������ ����� & & & & & & & & & & & & & & & & & & & & & ��

�#� 1������ ��� ��� ( ��������� & & & & & & & & & & & & & & & & & & & & & & �<

�#9 �)��� �� > ����� ��� �� ������� ��������"� 9�#���� ���� 6���� & & �?

<

Page 7: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�#� > ����� ��� "�& ��� �� & & & & & & & & & & & & & & & & & & & & & & & & & & �,

�#; > ����� ��� "�& ��� �� & & & & & & & & & & & & & & & & & & & & & & & & & & �=

�#< > ����� ��� "�& ��� ��B���� & & & & & & & & & & & & & & & & & & & & & & ;�

�#? 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� > ����� ��� & & & & ;�

�#, '���2 ������� "�& 1� �� ����� & & & & & & & & & & & & & & & & & & & & & ;�

�#= 5��2 ������� "�& ��� �� & & & & & & & & & & & & & & & & & & & & & & & & ;�

�#+� 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� 5��2 ������� & & ;9

�#++ ������ ������� 1� �� ����� '����� & & & & & & & & & & & & & & & & & & ;;

�#+� ������ ������� 1� �� ����� '����� +#������ ������ �����! & & & ;<

�#+9 ������ ������� ��� ��B���� & & & & & & & & & & & & & & & & & & & & & ;?

�#+� 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� ������ ������� & ;?

�#+; ��������� ���� 1�%� ����� ( ��������� & & & & & & & & & & & & & & ;=

�#+< �����% 1�%� ����� "�& 1� �� ����� & & & & & & & & & & & & & & & & & & <+

�#+? �����% 1�%� ����� "�& ��� �� & & & & & & & & & & & & & & & & & & & & & <+

�#+, �����% 1�%� ����� "�& ��� ��B���� & & & & & & & & & & & & & & & & & <�

�#+= 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� �����% 1�%� ��%�

����� & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & <�

�#�� �(1 1�%� ��%� 3��� "�& 1� �� ����� & & & & & & & & & & & & & & & & & <�

�#�+ �(1 1�%� ��%� 3��� "�& ��� ��B���� & & & & & & & & & & & & & & & & <�

�#�� 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� �(1 �����% 1�%#

� ��%� 3��� & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & <;

�#�9 1� �� ����� ������� �/� ������� & & & & & & & & & & & & & & & & & & & & <<

�#�� �(1 ��� 1�%� ��%� 3��� "�& 1� �� ����� & & & & & & & & & & & & & & <?

�#�; �(1 ��� 1�%� ��%� 3��� "�& ��� �� & & & & & & & & & & & & & & & & & <?

�#�< �(1 ��� 1�%� ��%� 3��� "�& ��� ��B���� & & & & & & & & & & & & & <,

�#�? 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� �(1 ��� 1�%� #

��%� 3��� & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & <,

�#�, 1�%� ��%� 1����� "�& 1� �� ����� & & & & & & & & & & & & & & & & & & & <=

�#�= 1�%� ��%� 1����� "�& ��� �� & & & & & & & & & & & & & & & & & & & & & & ?�

�#9� 1�%� ��%� 1����� "�& ��� ��B���� & & & & & & & & & & & & & & & & & & ?+

?

Page 8: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�#9+ 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� 1�%� ��%� 1����� & ?�

�#9� 1� �� ����� '����� �� 7��#��% 1 ������ �� 1�%� ��%� 1������� & & ?�

�#99 ��� ��B���� '����� �� 7��#��% 1 ������ �� 1�%� ��%� 1������� & ?9

�#9� 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� ��� 1������� & & & & ?�

�#9; 1� �� ����� "�& 1����� ������ ����� & & & & & & & & & & & & & & & & & & ?;

�#9< ��� �� ����������� "�& 1����� ������ ����� & & & & & & & & & & & & & ?<

�#9? ��� ��B���� "�& 1����� ������ ����� & & & & & & & & & & & & & & & & & ?<

,

Page 9: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

���� �� �����

9&+ ���6� ��� �������� 1� ����� � & & & & & & & & & & & & & & & & & & 9<

9&� ��� �� ����� ������ �� �#'' ���� :�� ������ & & & & & & & & 9?

�&+ 1�%� ��%� ��������� & & & & & & & & & & & & & & & & & & & & & & & & & & <�

�&� �#'' 1�%� ����� ���������� & & & & & & & & & & & & & & & & & & & & & & <�

=

Page 10: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������� �

������������

�� ��"����� � � ���� �� ��%#��%� � ������ �� �� �� ���� �� � ������$� ��� ��

������ ��� �� �� ���� � ������ ������� ����������& '� �� �� ��� � ���� ���� ��

����� ���� � ��� �� ����������� %��� ����������� ���������� �� �� �����&

(� ��� ��� ��� ���� �� ��%#��%� ���� � �������� ���� � ���� ���� ���

�� ��%� �� ��%� %�� ��� �� ���� � ���������� ������� ��� ��%� �����������&

������"����� � ��� ��� �� ��%� �� ��%�� �%�"� � ��� ��� ����� � ����������

�� �� ����� �������& ��� ������� ���� �� ��� � �)����"��� ������ ��� ��� ��#

�� �� ����� � ����)&

�)����"� �� �� ����� ��� ��� �� ���������� �� � ���� � ��� ������ ��

����� ������4& �� �� ������ ���� ���� �������� �� � ����� �� ����������� ���� �

������� ��� ���� ���� � ����� �� ������ ���� ���� ���� �)����"��� ���

���� � �������� ���� �� ��� �� ���� � �%� �& (��� ������� �������� ��� �"� �

� ������ �)��� �� �� �� �� ����� ��� ��� �� ����������� �� �� ������&

'� ��������� ���� � �#'' ���� ���� ��������� � ����� �� ��)� ���

��%� #��%� ������� %�� �)� "� ���� ��� ��� �� ��� �� ��"���� �� �� ���� �� �� #

�� �����& �� ��� ��#�%� � ���� � ������ ���� �� ��� � �)����"��� ������ ��

� ��������� �� ��� ���� ���%��� ���� ��)� ��� ������& �� ��)� ��� ������ � � � ��� #

���� �� ��)� ��� �� ����������� ��� ��� �� � ������4 ���2&

(�� ����� ��� ����� ���� ������ �� ���� � ������ ������ �� ������� �����

�% � ���#%� �� ��� ��������� ��� �� �������� �� ��4���*� �� �� ����� %���

+�

Page 11: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������*��� �� ��� �� ��������& (� ����� ��������� �� ������ �� �� ��� ��#�%� �

���6� ��� ��������� �� %��� �� �� ������ ��� �"�������� �� "� ���� ������

��������&

���6� ����%� �#���� ����� � ������� �� �� 6�% ��� ��! �� �� ���#�� ���� � �#

� ������� ��������� � ������� �& (� ���6� ��� ��������� �� � �� � �������#

�� ���� ��� �����#��������� ��� ������ �������� �� ��� %�� �� ���6�#� � �#

����� & (� ���6�#� � ������ �������� �� � �'1� ���� �� � ������ ��� � �#����

"���� #� ��� ����C<D& (� � ������ �������� � ������ 9�#25 ����& ��� �������� ��

�� ���6� ��� ��������� � � ����� � �� ��� % ������2� �� ��� ����&

(� ���6� ��� ��������� �� ������ �� �������� ��� ��� ������ ��������

��� �� ������ ���� ������� ����%��� �"�������� �� ���� �������� ��� ��������������

�� �� ���� ������ �� � ��"�� �����������& ������ � ����� �� ��)� ��� ������ ����#

���� ��� � ����� ��@����� �� �� �� ����� ��� ��� �� �� ���� ������ �� �� �������

��� ����� ������� � ��� ��� �� � �� ��������. �� ��� ��� ������� ������� �� ������

��������� ������� ��� �� ��%� ��%� ��������� ������& (� ��� ��� ������� ������

���� ����� �% ���� � �������� � � ������ ���� �� ������$� � �%� �& (� ������

��������� ������ ���� ����� �� � �� �� %�� ����������� ������� � � ������ ��

� ��"�� ���� ���& 8������� �� ��%� ��%� ��������� ������ ���� ����� %�� �

��� �� �� �� ��%� �� ��%�� ��� %�� �� �� "� ���� ��%� ��%� ������ �� �����

���� &

(� ���6� ��� ��������� �� ���� ����������� ��� �� � �%� �� �� �

� �� ������� ����� ��"��� ��������� �� � ���� ����� ��� �� � �����#���� ���

����%� � �����& (� ����%� � ����� ����%� ���� ������ ��"�������� ��� �"��������

%��� �� � �%� � �������������� %��� � �"��� ���#%� �� ��%� ����� ������& (�

� ��� � ���� ������� �� ��� ����� �� �� ��� �� ��� �������� �� ��"���� ��� �"������

�� ������ ��������&

++

Page 12: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��� ������ ����

1 �"���� %� 2 �� ��� ��#�%� � ���� � ���� ���� � �� ������� � ��� ��� �� ��%� #

��%� ���������& �����* �� ��&C9D �"� ������� ���� ��� �� ����#���� �������� �

���������� �������� �� ��� �� �������� ��� �� ����"�� %��� ����������� ���� �� #

�� ����� �� ����������� ��������� ��� ��%� ��%�& (� ���� ���� ��� ����% ��

��� �� ����� ���� �� � �� ���� ����� �� ������� �� ��� �� ���� � ��%� ��� ��%�&

(�� ��2�� ��"������ �� ������� �������� �� ���� � ��� �����. �� � ���� � ������

�������� � �� ���� ���� �� �� ��2��� ��� � ���������� ������ %��� ��� �� �� ���� ���&

(� ���� ���� ����� �� ��� � %��� �� ��%� ��%� �� ��� �� �"��� ��������� ���

������ �� �� �� ����� ������� �� �����"����� �� ��� �� � ���������� ������&

8� � ������ %�� � �%�#��"�� ����� �%�"� � �� ���� ���� � ��� �������� � ��

�4�� ��� ���� � ��������& 8�� �� ��& C;D �"� ������� ���� ��� �� ��� � ������

������ ������ � �� �� ����� ������ 2�� �� ���� ��� ��#����� � ����� �� ��������

�� ������ ��%� ��� ��%� �� ���� �� ���� �� ��������&

7�%�"� � �� ��������"� ���� ���"�� ���� ���� �������� ��� �� ������������ ���

�� ��� ���� %��� ��� ��� ����� �4���� ��� �������� "���� ������ #���� ��� �������

�� �4�����!� ��%� ��%� ��������� ��������� � � ����� "�������� �� ������� ���� ��

��� ��������&

�����* �� ��&C9D ������� �� � �%� � ��%� #��%� ��������� �� ����� %�� �

������� �� �� ��� ����� ������� %�� ��%� � ��%� ��� ����"���� ���� � ���2�

���� �����4� �%�����& �"� � ��� ��� %��� ��2��� ��� �� �������� �� �� �� ���

� ����� �� ��%� �� ��%�& (�� ��� ��� �� �� ��"������ �� ������� �� � �%� �

���� ������� ��� �� ���� "��� ���%��� ��%� ��%� ��� ����"����� � � ��� ��� �� &

6����2 �� ��&C?D ���� � ����� ����%� � ������������ �� � �%� � ��%� ���#

������� ���������� �������� � ��� ��� �� ��� ��#�%� � ���� ��������� ���������&

(��� ��������� ������ ��� ����� �4��� �� ������ ����� ��� �� �� ��� ����� %��

�������� � � ���� ���"�� �� ��� ����&

(�� �� ��� %� 2� �%�"� � ������� �� � ����� ������ �� ��������� ���2� �� ��#

���� ��������� ��"����& (�������� �������� �� ��#�� �� ����� ���� � ��������

+�

Page 13: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��� �� ���� ���"��� ���� ����� �� ��� �������� ���� � ����� � � ��� �4��� ��& ����#

��������� ��#�� �� ����� ������� ��������� � "���� ���� %��� ���� ��� ������������

��)� ��� ���� � ������ ����� �� ��� �� ����� � ������ � ���� �� ���� �� ��� ����#

���& (� ��� ���������� �������� ��� �� ��� � ���� �� "� � ��)� ��� ������ �� ���

� ������& '� ��������� �#'' ���� ���� ��� ���"� ����� ��)� ������ ��� ��

�� �� �� �� �� ����� ��� �� �� �����"� ��� ��#�� �� ����� � ����)� �� ��%� ��%��

��� �� ���� ���� ���� �� ���� �������& (�� ����� �� ��� � �"����� ����

�� ���� �������� %���� �� � ���%� 2 �� �� ���6� ���� ������& �� �� ����#

%� � ��� ����� ��������� ���"� ��� �� ����������� � � �%� �� ��� ����� �������

������ �� � �%� � ��%� #���������� �� �������� %�� �� ���������� ��� ����%� �

����� ������ ��� �)����"�����&

'� �������� �� �� ��� ���������� ������� �� ��%� ��%� ���������� ��4�� ��

��&C,D � ����� ���������� ���� � �������� �� ��� �"� ��� ����%���& (��

������� ��� ��� �� �� ���� �� ������ ������������� ��� ����"��� ���������� ���#

� � �������� ��� � ���������� ��� �"� �� ��� ����%���& ������ ��� %� 2

���� ������� �� �� �� ����� ������������ �� ��� ����������� �� ��� ���� �����

��� �� �����������E �� ���� ���� %��� �� ����� � ��� ���� ��� ����"����� �%�� ��

��� %��� �� ����"� �� ���� ����& ���� ��� �� ��� � ��%� ��%� �� � ����2�� ���

����� "� ��%� & (�� ����� �� ��� � �"����� ���� � ��������� �������� %���� ��

� ���%� 2 �� �� ��� ��#�%� � ��� ���������&

(�� ����� ������ ���� ��� � �"���� %� 2 �� ��"������� � ���� ��#�� �� �����

��� ��������� %�� ���������� ���� ��������& '� ��������� �� ����� �"���#

���� ���� �������� %���� �� � ���%� 2 �� ��� ������& 8������� �� ����� ���������

���������� ������ �� ��� �"��� �� ��� ��#������� �� �� ��� ���������&

+9

Page 14: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������� �

������ ������ ��������

(� ��#�� �� ������ ����� ��������� ���6� ��� ��������� ������ ����������

� ����� �� �� �� �����#���������� ��� ��%� �������� ���������& (��� ���#

������ � � ����������� �� � �� ��� �� ������� %�� ���� ���� �% ���� � ��������

� � ������ �� � �%� �� �� %�� � �� ��� � � ������� ��� %�� ���� ��%� ��%�&

(�� ����� � ������ �� �"� "��% �� �� ���6� ��� ������& 8� ��� �� � ������

�� �"� "��% �� �% �#'' ���� ���� ��� ���& '� ��� ��������� �� � ������� �

�� �� ���6� ��� ���������& 8������� �� ��������� �� �������� ��� ��� ��

����������� �� �� ������&

��� ��� ��� !"��"#��

(� ���6� ��� ��������� �� �������� �� ���� ���� %�� �#'' ��� ��� �����

������ ���� �����! ���� ���� ����� ������ ���! ���� � ����& ���

������ ������ ������ ���� �! ���� ��� ��� � ���� �� ��� ��� � �� �� ��

���� ��� �������� �& ���� ����� ��� ����! ���� � � ������ ����2�� ���

����& (�� ����%� �� ���� �� �� ���������� � ����� ��� �"��� ��� ����%���&

�#'' ���� ���� � � ������#���� ����� ����#����# ��� ���� ����& ���#

����# ��� ��������� ��� �� ���$� ���� ��� ��� ���� �� �%��� �� � ������� �� ��

������� ���& ��� �� �� ��� � �"������� �� ��� �� ����� ��� ������� ���� �� ��

����2& (�� �������� �� �� ���� � ������� �)����"��� ������� �� %��� �� �� ����

+�

Page 15: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

���E �� ,#��� � ��� �� ��� � �� �� ���� ����%��� �� � +<#��� ������#����#

��� ���� ���& �#'' ���� ��)� � �� � ���� � ��� ��� �� �� �� �� ��%�

�����������& �#'' ���� ��� ��� �� � ��%� ������ "������ �� �������� �� � �"�����

� ����� �� ��%#��%� ��� ����� �����&

����� ��� ���������

(� ���� � ��������� �� �� ���� ��� � � ��� ������ � ����� �� � ����� � ���

��� � � � ����� �� � �� � ����� �� ���� �& ��� ���� ��� �� � ����*�� ����

���2�� �%�� ��� �������� �� ������ ���� �� 8��� � �#+& �� �� ����� ��"��� ���

��� �������� � ����� �� ����������� ���2�� ��� �� %�� �������� �� �����������

��� ���� � � ��& (��� � ��� � � ��"���� ���� �%� ��� �������& ��� �%

�������� ���� ����� �� ������� %�� ������� ���� �� ��� ���&

���������� %�� ��� �� ���� � ��� �� �� ����������� ��� �� ����� ������� ��

����� �� ��*� �� �� ����� ����� �� ���� � ��������� �� � ������ �% �� �� � ��&

(��� ����� ������� � ������ �� ����� ������ �� "������ �� �� � ��$� �������� ���

���� ��� � �� ��� ������� ������ �� ���& �� ��� ��������� ��� �� ����#����������

�� ����� ������� � ���� �� "� �� � �% ����& (� �% ���� ���� �� �� ��� ����E

���������� �������� �� �� ���� �% ������ ���� � � ��������4� %�� ������� ��

��� �� ���� ������ �� �� % ����� �� � ��� � �� �� ���� ����& ��������� ��)� ���

�%�� �%�"� � ���� �� � ��� ���� �� �������� 1 ��� ��! �����%�� �� ������� ��

��% �% ���� �� ����� ������� � ����"�����!& ��� ���2 ��� �"� ��� ����"� �%&

3�� �� ���� ��� �� % ����� ��� �� ���� �� � �"�� ���� �� ��� �� ���� �����&

(�� ���� �� �� ������ �� ���� 2��%� �� �� % ���# ���"� � ����& (� ��� ����

�� ��� � %��� �� ��� % ���# ���"� � ���� �� ���� ���� ���� �� ���� % ����� ���� �

�� ���2 ��� �� � ��� ��� � ����"����&

�� �� ��� ������4 �� ���� � �� ���� ���� ���� "� ���� ���� � ������ ���#

�� �� �� �� ���� ����� ��� ���� � � ���������� ��)� ��� ������ �� ���� �� �� �� �&

������ ����� �� %�� �4���� � �� ��� �� �� ������� �������� %��� �� ��� ����� ��

�% ������� %�� ���� � � ��� �� ��� �% ����"������ %��� �� ��������&

+;

Page 16: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Active Row

Bank

Precharge Activate

data bus

Write

Read

Row

Column

command & address busses

Controller

8��� � �#+. ���� ��� � ������� �

����� ����� ��� ����� ���� �

�� ���� ���� ��� � � ��� ������ ����� � ���� ���� � �������� ���� ���� ��

��"� �� ������& 8� ��� �� �% �� �� �������� ���� �� ����"����& (�� ���� �� ���#

����� �� �� �% ��� ����� ��� �� �� ���2$� ����� ������� �& :��� �� ��� �� ����

����� �� ������ �� ������� �� �������� �� �� ����"� �% ��� �� ��������& '� � ���

������� �� ������� �� ������� � �������� � ��� �� �������� ��� �� ���� ��

�"������� �� �� ���� ��� ���� ����� �� ������ ���� & (� �� ����� �� ������ ���%���

�� ����� �� �� ��� ������� ��� �� ����$� �"���������� �� �� ��� �� 2��%� �� ���

������ ������! �������& ���� ���� ��� ���� ��� ��� �� �� �� ����� �� %��

� ������ ��� � % ��� ������� �������� � ����� �� ���������� �������& '� � ��� ��

������ �� �� � �� �� ����� �� �� �� �4������ � ��� � �� �% +�� ������ � %����

��� � �� �������� �� ������� � � ��� ? �� ����������& �� � ���#���#����

���� �� �������� �� ��2� ��"������ �� ��� �� �� ��� ����� �� � ���� ����%���&

� � ���� ��� ������ �� ��� �� ����� ��� ������� ���� �� �� ����2& � �� ��

�� �� �� ��� �� ��� �� ��������� �� A��� �%� ������ �)��� �� �� ��� �������!& �

������ ����"�����# ��� ��������� %�� �� �� ����� �� �� ������ ���� �� ��� � �#�&

��������"� ���� � % ���� �� �� ����"� �%� ��� �� ������ �� ����2�� �� �� ����

+<

Page 17: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

command

data bus

ACTIVATE READ

0 1 2 3

address bus ROW COLUMN

8��� � �#�. � ���� ���� :�� �����

��� ��� ����� � ���& '� �� ���� �� � ���� ������ �� %�� � �� �� ����� ��

�� �� �4������ ���� � % ���� �� �� ����"� �%� ��� �� ������ �"� � ��� ����� �� ��

���� � �� ��� ��� ���� �� � ������ �� �� ���� ���& (� ������ �� ���� ���������

���� %��� ����� �� �� ������� �� � ���������� �� ���� �)��� � �� �� ��������

�� �� ��� �������� �� ������ ���� �� 8��� � �#9& (� �������� �� ���� ���� ��

��� ��� ���� ��� % ���� ��� ��� �� ������ �� ��� ���������� ������& 1� �� ����

� ��� ���� � % ���� � "��� "� ��� ���� �� � �� ���� ����� �� ���� ������ ���%���

�� ��� ������ �� ������ ���� �� 8��� � �#�& '��� ���"��� ��� ��� % ��� ��� ������

�� ��� � ��� ��� ����� ���������� �"� ���&

command

data bus

READ

0 1 2 3

READ

0 1 2 3 0 1 2 3

READ

address bus COLUMN COLUMN COLUMN

8��� � �#9. 1�������� � ���� ����� �� ����"� ��%�

command

data bus 0 1 2 3 0 1 2 3

WRITE READ

address bus COLUMN COLUMN

8��� � �#�. 3 ��� 8����%�� �� ���� �� ����"� ��%

��������� ��)� ��� �%� �� �� ���� ���2 ��� ���� ���� �� ���������� �"� ���&

�� ������� ���� �� 8��� � �#;� � ��� �� � ������ �% ���� �� � ��� �� �� �� ���2

��� ����"����� �� �� ��% �% ���� � �� ��� ��� �� ������& (� � ��� �� ���

����"����� �"� ��� �� ��� ���� �� �� � ��� ?;- �� �� ���$� ����%���& (��

�"� ��� ��� �� ������ �� ������� �������� �� ��)� ��� ���2� �� ��� �� ����

+?

Page 18: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������ ���%��� �� �������� ������ �� �#;&

command

data bus

PRECHARGEACTIVATE READ

0 1 2 3

ACTIVATE READ

0 1 2 3

8��� � �#;. � ���� ����� �� �)� ��� ��%� �� 5��2

�� �� ���2� ��� ��� �������������� � ������� ��� �� ���� �� � �� ������ ���2

���������� ������������� �� %�� ����� ���2 �� ������ �� ���� �� �� �������

%��� ��� ���� �� ���� ��� ���������� ���%��� �� ���2�& (� ���� ������ ���%���

����"����� ��� ��� �� ��� ���2� �� �4������ ����� �� ���� �� ����"��� � ��)� ���

���2& ������ ��� ���� ����% ���� ��� �"����� �� ����%���� �� �� �� �������

������� ���� �� %�� � ������ �������� � ��)� ��� �% ��� �� ���� ������ �� ���

���2 �� ���"�������&

'� � �� �� � �� �� ���� �� ��� � �� ��������� � ��������� ��� ��� % ���

��� ������ ��� ���� ������� �� ����#� ��� �� @��& 3�� ��� @�� �� ���� �� ���2

%��� ������������� � ��� �� �� ���2 ���� �� ��� � % ��� �� �� �� ���& (�� ��

���� ���� %�� �� �� ������� ��� �� ��4� ������ �� � ���2 %��� �� �� � ��)� ��� �%

��� �� �� ��� ������&

�� �� ���� ���� � �� �������� �� �� ���2��� ��� ���� �� �������� �� ��

���� � ��"����& '� � �� �� � �"��� ��� ��"��������� �� ����� �� ���� ��������

���� �� �� ��������� �� ����& ��� �� �� ������� ������ �� �� ���� ���

�� ���� � ������ �% �� �� ���� � � ��& �� ���� ��� ������ ���� ����� %��

�% %��� �� �� ���� ���� ��� �� �� �������& ��� �� �������� ���� �� ������

�� ��� � %�� ��� �� �"� ��� ���� "�� ���%��� �� �� �������� �� + F ����� ��

�%�! ����� �� ��4���� ���� "�� �"� %�� ���� �� ��� ������ �� �� ��� "����&

8� ��� �� �� �� ���� � �� ��� ��� �"� �� ����"� �%�& ��� ���2� ���� �� ��� �

�� � ��� ��� ���� � �� �� �� ������� ��� �� ������& (�� ��� ���� �� ����������

�"� ��� %�� � �� �� ���� ���� � �� ��� �� ���� � ��������&

�� ����"����� �� � �% %��� �� �� �� �������� �� � �%� ������� �� �� ���#

����� �� ��������� � �� ��� �%� �� ����� ��� ��� ���� � � ����"���� %���� �� �#

� �� ���� "��& '� �� ���� � ���� ���� ��� ��� ����� ��� �� �%� %��� �� ��������

%�� ��� �� ���� � �������� �� �� �� �� �� ����� ������� ��������� ���"� ��� ��

+,

Page 19: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�"�����&

����� ����� ����� ���

'� � �� �� ����� "� ��%� %�� ����� �#'' ���� �)� � ����� �� ��%� �����&

��� �� ���� ����� �)� � ���������� ��"���� �� ��%� %��� ��� ����� �� �� �����&

����"� ��%� ��%� ����� �� %�� �%� ��� ����� ����"����� �)� � ���������� ��%�

��"���� %�� ������� �� �� ����� ��� �������& 3�� �� ��%� ��%� ���� �� �4�����

�� ������� ��� ���� ����� ���� �� � ����� ����� �� ������ �� ����� ���*�#

����& ����"� ��%� ��%� ���� �� �� �� ��"���� ���� 8���#�4�� ��� ���%#�4�� ����&

�4����� ���%#�4�� ����"� 1�%� ��%� ���� �� � � ���� ����� ���*����� ����� ���

�� ��%� ����������� %��� �� �� 1�%� #��%� ���� �� � ����� ������&

1 ��� �� 1�%� ��%� �� ������ �� ����"� 1�%� ��%�� ��� ���� �� ��� ��� ���2�

�� � ��� ��� ���� � ���� ��� �� ����& (�� ���� �������� ���� ��%� ��� ����

����"� 1�%� ��%� ����� ��� ���� �� � ������ ����� �� ���� �� ���%#�4�� ����"�

1�%� ��%� �� ��� � �� ����"���& (� �������� � ��������� ���%��� ��� �#'' ��%�

������ %�� ���������� ����� ���*����� ������ � � ������ ���� �� 8��� � �#<&

ACTIVE

Active Powerdown, Fast−Exit Active Powerdown, Slow−Exit

PRECHARGED

Precharge Powerdown

Self−Refresh

2 6

200

3

3

1

16

1

1

1

(1) (1)

(0.5)

(0.01)

(0.1)(0.25)

8��� � �#<. �#'' ���� 1�%� ����� ( ��������� ������"� ��� �� �� 1� ����#���� � �� �������� %�� � �������� ���� �� ������!

5�� ����"� 1�%� ��%� ��� 1 ��� �� 1�%� ��%� ���� � ��� �� ��� �� �� �#

�������� ����"����� �� ����� ��� ��� ��%� �� ���2 ��%�& ����� ��� ���2� ���� ��

+=

Page 20: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

� ��� ��� �� � �� �� �� ��� �� �� �� ����� ��� %��� ����� � � �������� �� ��

1 ��� �� 1�%� ��%� ����� �"�� �� �� ��� %�� ��������� �� �� ����"� 1�%� ��%�

�����& �%�2����� �� ���� �� ������ ��� ��� ��%� ��� ���2 ��%� ��� �������

� ������� ���� ������ �� ��%� & �#'' ���� ��� ���� �� ����#��� �� ���� ��

%�� �� ��� �� ���� ������ ��� ��� ����� ���� ����� �� �� �� �� �� ���� ���� &

(� ��� �������� ���� ��%� �� ����#��� �� ���� ��� �� ��� ��� ����& ����"��#

��� �� ���� �%�"� � ��� ������ � � �������� �� �� ����� �������� �� ����"����� �

��� ��� �� ���� �� ����#��� �� ���� ���� �� ��"� �� ��� �� ������&

��� ����� �� ��� �� #��

(� ���6� ��� ���������� ������ ���� �� 8��� � �#?� �� � ��#�� �� ������

��� ��#�%� � ��� ��������� �������� �� ����% ���� �������������� �� � �����

�� ������ ��������& (� ������ �������� �� � �'1 ������ '��� ���� 1� �! '��� �����

� ������� ������� � � ����� ������� 5�)� � � ��������� ������� ������ � ���

� ����� �� ���� � �������& ��� �� ���� ���� � ������� ���� ����� %�� ���

� �� � ���� ����& (��� ������� ��� ��� �������������� ������ � ������ �#

����� ��� ��� �� �������� �������& (�� � �"���� ������� �� ��� �� �� ������ ��

������� ��� �� �� "���� �� �� ������ ��� ��� ��� �� ���� ������� ��� ��%� ��%�

��� ���� ����&

����� ��� ���������

(� ���6� ���� � ������ ���� ����� %�� �� ���6� ��� "�� � ��������� �'1

�� ��� '��� ���� 1 ������! ����������� ������ �� ��� �7*& ��� �'1 ������ ��������

�� � ���� �� ��� ����� �� �� �� �� ��� � ��������4�� 9�#��� ��� ���F���� ���& (�

�'1 � ������ � �"���� �� ���� ��� ��� � ������� �� ������ ��� %� ��� �#���� %� ���

��� ,#%� � ���� �����& ��� ���� ������� ���� � � ������ ����� �� �� � ��������� �"�

�� �'1 ������& 5���� 7���#3� �� ��� 3� � ��� �� ��� ���� � � ������ + ����� ��

�� ��� ���� + �� ����!� %��� 6��� ��� �� ���� � = ������&

(� �'1 ���� �� ������ �� �� ����� ����� 8'8: ��� ����%� �� ��� ���#

��

Page 21: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Channel RequestBuffer

LoadBuffer

StoreBuffer

Access Scheduler

Power Scheduler

DRAM Controller

32 32

Channel RequestBuffer

LoadBuffer

StoreBuffer

Access Scheduler

Power Scheduler

DRAM Controller

32 32

Channel RequestBuffer

LoadBuffer

StoreBuffer

Access Scheduler

Power Scheduler

DRAM Controller

32 32

Channel RequestBuffer

LoadBuffer

StoreBuffer

Access Scheduler

Power Scheduler

DRAM Controller

32 32

SIP in SIP out

Request Dispatcher

Address Translator

Master Request BufferCompleted Request

Manager

Channel Channel Channel Channel

DDR-IISDRAM

DDR-IISDRAM

DDR-IISDRAM

DDR-IISDRAM

32 32

8 8 8 8

8��� � �#?. ���6� ���� � ������

������ �� ��� ��� �� � ��)� ��� ����2 � ������� ��� �� ����2 � �"���� �� �� �'1

������& '� �� ��� ��������� �� ����2�� �� �� �'1 ����2� ��� ����� �� �����#

����� �&

����� � �� � �! "������

(� ������� ������� �� ���������� �� ���� ������ %�� � �%� � ���� ��� %���

�� ���� �� �� "��� �� �������� ������� ��� �� ���������� ���� ������� �� ��

��� �� ���� �������&

3�� �� ������� ������� ����"�� � ������ � �� �� �'1 ���� ����� �� ������

�� ������$� ��� ��� � ��� �� ��� ��� ( ������� & (� ��� ��� ( ������� ����#

����� %�� ������ � ������� ����� �� "��� �� ������& (� ��� ��� ( �������

���� ��������� �% �� ������ ����� ��� ���� �� ���� ���� �� �� ������ �!

�� ���������� �� %�� ���� ���� ���2� �%� ��� ������ �� ������ ����� ���&

(� ������� ������� ���� ������� �� ������ �� �� ��� �� ���� ��������

�+

Page 22: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� ��������� �� �� ��� ��� ( ������� � �� %��� �� �� ����� ������� 5�)� ��5!&

'� �� ���� �� � ���� ������� ��� ������� ���� ���� �� ��� �����. �� � �%� �

������� ���� ������� �� ���� ����� �� �� ��� ��� ( ������� � �� � ������� �� ���

�� ������ ������ ��� ��� �� ������� ������� ���� �� �� ������ ��)� % ���

������ ������� ��� ��� �� ��� �� ���� ������� ����"� �� ������& (� �������

������� �������������� % ���� � ��% ��� � �� �� ��5� ���������� ���� ������

����� �� ������ �� %��� �� ������ � �� �� ��� ��� % ����� �� �� ������ �������

5�)� � �� �� �)����� �������&

'� �� ���� �� � ��� �� �� ������� ������� ���� % ��� �� �������� ��� �

���� �� �� ��� �� ���� ������ ��� � 5�)� � ��5�!& :��� %�� � ������ ��

����"�� ��� �� ���� �� %�� �� �� ���������� ��� �� ������ �� % ����� �� ��

������ ������� 5�)� ��5!� �� �� % ����� �� �� ��5 �� ������� ������� ��

��� �������� ��� �� ���� �� ���� �� �� % ����� �� ���& (�� ���� ����� �� ���

�� @�%#���� �� ����� ����� �� �� ������� ������� & (� ������� ������� ���

�� ���� ����� �� @�%#���� �� ������� �� �� �� ������ ��� � ���� � �� �� �'1 8'8:&

'� �� ������� ������� ���� ��� %��� ����� �� �� ��� �� ���� %� � � �� �� 8'8:

��� �� ���� �� �� � �� ���� ������ ���� � ���������� ��� �� ������ ��� �� "���

�� ������� �� ������ ��� ���� � ��� ���� ���� � �� ������� �"�������& �� ��

��� ����� ����� �� �� � ��� ���� �� ���� ��A����� %� �� �� �� ���� ������� ���

��� ���� ���"��� �� %� �� �� ��� �������& (�� ����%� �� �� ��� ������� �� �����

�� �� "��� �� ������ �"�� �� �� � �� �� ���� ������ �� �� �'1 ���� �� ���& '� ��

���� %� � � ��� � �� ���� ���"�� �� ��� �������� �������� �� ������� ����"� ��

������ �� � ������ �� ������� �� ������ ���� �� 8��� � �#,&

(� ������� ������� ���� % ��� �� ������ �� �� ��5 �� �� ����� ��� ��

������ ���������� � ������� ���� ��� ��� �� ��� �� ���� ��5 ��� ��� �"� ����

� ����� ���� � ��� �� �� ������� �� "��� �� ������&

����� ����� ������#

(� ���� � �������� ������ ���� �� ��� � �#=� � � ���������� �� ������� ������� ��

�� ��� ���� ���� ��� ��� ���� �� ������ �� �� ��5 ��� ��������� �������

��

Page 23: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

clock

channel data bus

channel 3 channel request buffer write

channel 3 store buffer write

channel 2 store buffer write

channel 2 channel request buffer write

channel 1 store buffer write

channel 1 channel request buffer write

channel 0 store buffer write

channel 0 channel request buffer write

Word 0 Word 1 Word 2 Word 3 Word 4 Word 5 Word 6 Word 7

8��� � �#,. (�����. ,#%� � ��� � '��� ���"�� �� ��� � �������

������ & 3�� �� ������ �������� ������ � ������ �� � ������� �� ������ ��

� �� % ����� �� �� ������ ������� 5�)� ��5!& (� ��5 ��� �� ��� ���� ������

������ �� �� ��� ���� ���� �� %��� �� � ������ �� �� ��5 ��� � �� %�� ���

������ ��� �& '� �� ���� �� � ��� �� �� ���� �� �� % ����� �� ���� � �� ���� % �����

�� �� ������ ��� � 5�)� ��5!&

(� ������ ������ ������� �� �� ��� ���� ���� �� ��� � � � ������ �� ��

��5& (� ������ ������� ���� ��� %�� ������ �� ������ �� ���� ����� �� ��� �#

� ���� ������� �� �� ��5& �� �� ������ ������� ��� �������� ��� ������� �����

�� ������ ���#��#� �� ��� �� �� ���� �� ���� ������ �� �� ������� �� ������ ����#

��� ���� ������ �� ���� % ����� �� �� ��5 �� ��� �� �� �%� � �� %�� ������

����� �� �������� ��4�& (� ������ ������� �� ���� ���������� �� ���������� ��

�� ������ ���� ���� %��� �� �� ��� ������ �� �� ��5 �� � "����� ���� "����

������&

(� ������ ���� ���� �� "�� �� �� ���� ���� ���%��� �� ��5 ��� �� ���

���� ���� & 3�� �� ������ ������� ���� �� �� ������ ���� ���� ��� �� �� #

��� ������ �� ������ �� �� ��5 �� "����� �� ������ ���� ���� ������ ��� ������

�� �� ��� ���� ���� ��� ���� �� �� ������ ������� ��� �� ������ �� ����

�� "����& �� �� ��� ���� ���� ���� ������� 9�#��� %� � �������� �� ������

�9

Page 24: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

mrb_index mask chip bank row col size op

Channel Request BufferStore Buffer

Access Scheduler

Channel Controller

DDR DRAM Controller

Powerdown Scheduler

From Request Dispatcher

To MasterRequest Buffer

Completed RequestManager

Load Buffer

DDR-II SDRAM Chip

8��� � �#=. ���� � ������

���� ���� ���� � ��2 �� �� ������� ���� 9�#��� ���# ������� �� ����� �� �� ���

���� ���� & '� �� ���� �� � ��� � ������� �� ������ ���� ���� ���� ���� ���� ���

�� ��� �� ���� ������� �� �� ��5 �� ��� �� ��� ���� ���� % ���� �� ��� �� �#

��� %� �& 8������� �� ������ ���� ���� ���� ����� ��� � ��� %�� �� ����������

%�� �� ������& (�� ��� �������� � ������ �� �� ������ �� �� ��5 �� ��� ��

��� �� � ��� �� ��"�������� �� �� ��������� ������� ������ � � ������ �� �� �#

�����$� ��� � �� �� ����� ������� 5�)� ��5! �� ��� �� ��� ���� ���� ���

���� � �� ��5 ��� �� ������ �� ���������� ��� �� �� ���� �� � 6��� �������

� ������ �� �� �� ��� �������� �� �� ������ 6��� 5�)� �65!& ������������� ��

��� �������� � @�� �� �������� %��� �� ������ �� �� ���� %� � �� � ������ ���

�� �� �� ��� ��� %� �&

(� ������ 6��� 5�)� ��� ������ ��� � 5�)� � � 9�#��� ������ ����� %��

� ����� �� ��� ��� ����� �� �� ����� �� ��� ��� �� �� ��5 ���������� �� ��

��4���� ������ ��*�� �� %� ��& (� ��#� �� ���� �� � %� �$� ����4 ���� ��

��

Page 25: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� ��������� ������$� ����4 �� �� ��5� %��� �� ��%#� �� ���� ������� �� %� �$�

�)��� �� �� ������& 7�"��� ���� ��� ��)� � �� 6���� ��� ��� �� �� ��������� ��

�� ������ %��� ���� ����� �� ��� �� �65 ��� �� ��5& '� � ������ ��� %�� �

% ��� �� �� ��� � ��� �� �� �� �"�������� ���� ��)� � ��� �� �������� ���� � ������

������ ��� 5�)� & (� ��)� � � � ���� ��� �� ��� ������ �� ��� ������ � �#�� �

������ ���� ��� �� ����&

����$ ����� ��� ������##��

(� �#'' ���� ���� ���� � ������ ���� �� 8��� � �#+�� �������� �� � ����� ��

���2 ���� ���� � ��� �� ��� ���� ��� ��� ���2! ��� � ��� ���� ���� & 3�� �

������ �� % ����� �� �� � ���� ���� � �� �� % ����� �� �� ����� ����� 8'8: ��

�� ��� �� ���� ���2 ���� ���� & (�� ����� ����� 8'8: ����%� �� �"� ��� ������

�� ��� ��� �� � ��)� ��� ����2 � ������� ��� �� � ���� ���� ������� %�� ����

��� ��� �� �� � ������� �� �� ���� ����& (� ��� ���� ���� �� ����������

�� ��� ��������*������ �� ��� ��� ��%� ���� � ���������& �� ��� ���� �� � ������

�� � ���� �� ��� ���� ������� �� ���� ���� ��� �� ���� �� �������� ���� �� � ������

�� ���� �� � ������ ��� %�� GB� ���2�� %� � G �� �� ����� �� ���2� �� ����

��� � �� �� ����� �� ����&

BankCtl

BankCtl

BankCtl

BankCtl

Incoming Request

OperationRequests

OperationArbiter

to DRAMcontrol bus

ChipCtl

8��� � �#+�. � ���� ���� ���@�%

�;

Page 26: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��� ���2 ���� ���� � ��2� �� �� ��� ����� �� �� ���2 �� %�� �� �� �����#

�����& '� � �� ���� � ������ � �� �� 8'8: ��� ���� ����� %�� ��� ������ ��

�� �� �& '� �� ������ �� �� �� ����"� �%� �� ���2 ���� ���� ��� ������ �����

� ��� � 3�'(� ��� �����& :�� %���� �� ����� �% �� ����"�� �� ���� ����� �

1���7��>� �������& '� �� ���2 �� ���� � ��� ���� �� ���2 ���� ���� ���

����� �� ��('H�(� �������&

�� ��� ���2 ��� �"� � ��)� ��� ����������� ������� �� :�� ����� � ���� ����

������ %�� �� �� �������� ��� ������ �� ����� �"� �� ���� ���$� ���� �� ���&

(�� � ���� ������ ���2 ������� �� � ����# ���� ������� ��� ������ �� �� ���

��%� ���� � �������� ��� ������ �� ��� � � �������� �� �� ��� ���� ���� &

��!"�� �� �����

5��2 ��� ��� 3�'(� ������� ��� ���� ������ ��� �� ���2 �������������

� ��� �� �� ����"� �% ���� �� ��� ����� �� ���������& (�� �� �� ��"������

�� � ����� �� ���� �� ��� �� �� ����� ��� � 1���7��>� ������� %���� �� ������

�� �� �����%��� ������ %�� �� � ��)� ��� �%& (�� �� � �����"������� �%�"� � �� ��

���� �� ���������� ������� �� �� ���� �%E �� ���2 �� ���������� ��� � ��� ���

��� �� �% �����"���� �� ��� ������� ��� ������� ���������� ����� ��� ��� ��

�"� ���& '� � �� �� � ��� � �� ����#1 ��� �� %�� ��� �� ����� ��� �� �"��� ��

�"� ��� %�� ������� ������ �� ���� �%� �� ���2 ���� ���� �������� � 7��#��%

1 ������ & (�� � ������ ���� ����� %��� �� ����� �� ����#1 ��� �� ������

����� �� ���� ������ ���� �&

(� 7��#��% 1 ������ �� �������������� �� ������ �� � ������ ��� �� ������

� ��� � ������ & �"� � ���� �� ���� ��� �� ��������� �� ��# �% � ������

���� ����� %��� �� ������ �� � ��� �� ������ �� �� ����"� �%� � � ����� ��

������ �� � ��)� ��� �%& (� � ������ ���� ��� ���� ������ �� ���� ���� %���

�� ����� �� ����#� ��� �� ������� %�� �� ������� ��� �������� �� � �����%���

������ �� � ��)� ��� �%& (� ����� ���� �� �� 8��� � �#++ ������ ���� �� �#���

� �������� ����� ���� �� �� ��# �% � ������ &

(� ���6� ��� ��������� ���� � ������ �#��� � ������ �� ��� ��� ���2&

�<

Page 27: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

(�� � ������ �)����"��� ��2�� ��"������ �� �� �% �������� �� �� �� ��� ������

�� ��� %��� ��� ������� ������� ������4��� �� �� ������& �� � ��"����� ��������

�� %�� �� � � ������ � ����4�� �� �� ������ ��� ��� � � ����� � � ������ ��

����� �� ��� ��������&

Auto Precharge Auto Precharge

Don’t Auto Precharge Don’t Auto Precharge Hit

Miss

Miss

Hit

MissHit

Hit

Miss

8��� � �#++. 7��#��% 1 ������ 1�����

���!#������

�� ������ ���� �� �� �������� ���� �� �� 8��� � �#+�� �� ��2�� � ����� �� ������ ��

� ������ ��2��%��������� �� � ������� � ��� �� ��� � ��������& (� ���

��������� ��� �� ��� � �"� ��� ��� ��2��%��������� ������� %�� �� ����

������& (� ���� ���� ���� ������ ��� ����� ��� �� ������ %��� �"� ���������

���� � �� ��������� ������� ������ %��� ���� �� ��� �� ������ � �� �� ������

6��� 5�)� &

(� ���� ���� ���� ��� 2��% %�� � ��"�� ������ %��� �������� ����� �� ���2

� ���� ������ �� ��� � % ��� �������& �� ��� ������ �� ���� ���� ��� ���� ����

�% �� �� �� ��� ������ ��� �� ������ �� ���� ���������&

'� �� ����� �� ����� ��� �� ������ ��� ��� � % ��� �� ����� ���� ���

%��� B �� �� �! �� � ���� ��� �� %��� �� �� �'1 ���� ����� �� ���� ���� ���

�������� ��� �� ������ �� ���� ��������� ���� � ����� �� ������ ����� ��

�?

Page 28: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Issue commandto DRAM

DRAM AccessLatency

DRAM AccessLatency

DRAM AccessLatency

Read MRB Calculate CLB Index

Data ready in CLB

Read CLB Send via SIPSet Channel Done

Flag

Write data to CLB

CAS Latency DRAM Pipe Delay

Read Data

from DRAM

Read Data

from DRAM

Word Size / (2*Data Bus Width)

Cut-through Delay

Return Pipeline Length

8��� � �#+�. ���#( ��� 1������� '����� �����

��� ������! I� � ��� �� �����!

��� �����

I ��� ���� ���!� ������ � ������� ������!

(� ��� 1��� ���� �� ������ �� ����� �� ������ ���� �� �� �� ����

� �� �� ���� �� ������ �"������� �� �� ������ �� �� ������ 6��� 5�)�

(� ���� � 1������� 6���� �� �� ����� �� �������� ������ ���%��� �� ����

���� ���� ��� �� ��������� ������� ������ & '� �� ���������� ���#� ��� �����

�� ���� ��� �� �� ���� ���� ��� ����� �� ��2��%��������� �����������&

'� �� ����� �� ����� ��� �� ������ ��� ��� � % ��� �� ����� �� ���� ���

�� %��� �� �� �'1 ���� ����� �� ���� ���� ���� %��� � ����� �� ������ ����� ��

��� ������! I� � ��� �� �����!

��� ������

����� � ����

��� �����

I ��� ���� ���! I +� ������ � ������� ������!

������ �� ��� "���� �� ���� ��� �� �� ���� ���� ��� ����� �� ��2��%���������

�����������&

����% � ��� � �� � &�'��

(� ����� ������� 5�)� ��5! �� ���������� �� ���� ������ %�� ��� �������

��"��"�� �� � �� ������ ������ �"� ��������� ��� �� ���� �� �� ������& '�

��������������� �� ��5 �� ������ �� � ���� ����� ��� �� ������ $� �� �� ��)� &

�,

Page 29: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

3�� �� ������� ������� ������ � ������� �� % ���� � ��% ��� � �� �� ��5&

8� ��� ������ %�� �� ��"��"��� �� ������� ������� ���� % ���� � ������ ��

�� ��� �� ���� ������ ������� 5�)� ��5! �� �� ��5&

'� �������� �� �� ��)� ���������� ��� ������ ���� ������� �� ��5 ������

�������� � ��� �� ������ ���� @��� �� ��� ������� ����� �� ����� �� �� �����

�� ��� ��� �� �� ��5& (��� @��� � ��2 %��� �� ������ �� ��������� �� ��� �

��� �� �� �� �� �� ��������� ��� � �� �� ��5& 3�� �� ������� �������

% ���� � ��% ������ �� �� ��5� �� ���� ���� �� ��� �� ���� @��� �� ��� ������&

'� � ������ �� ��� ��"��"�� �� � ��"�� ������� ��� ������$� @�� �� ��������� ��

�� ������$� �������� �� ��� �� +& '� �� ������ �� ��"��"��� �� ��� �� ���� @�� �� ���

�� �&

�� ������� �������� ��� �� ����� �� � ������� ��� �������� �� �� ��5 ���

��� �"� ���� ��& '������� %�� ��� ���������� ������ �� � ������ �� �� ������$�

��� � �� �� ��5& (� ��5 ���� ��� ���� ������ �� ��� �� ��� �� ���� ������

���� @�� �� +& :��� ��� ������ ���� @��� �� �� ������ ������� ������ �"� ����

��� �� +� �� ��5 ������ �� ������ �� �� ��������� ������� ������ ��� ��"��

�� �� �� ��4� ������ ������&

����( ���"#���� � �� � ���)��

(� ��������� ������� ������ ���! �� ���������� �� ���� ��� �� ��� �� ����

���� �� ��� � �"� �� �'1 ������ ���� �� ����"�� � ��������� ������ � �� ��

����� ������� 5�)� ��5!& '� �� ���� �� � ��� � ������� �� ��������� �������

������ ������ ����� � ��� � ��2��%��������� %�� �� ��� �� ���� ��� �"� �� �'1

������& '� �� ���� �� � ���� ������� �� ���� � �� ���� ��� �� ��� �� ���� �������

�� �� ������ 6��� 5�)� � �� ��� �� ��� �� ���� ���� %��� �� ���� �"� �� �'1

������ �� �� ��� ��������& �� ��� ���� � �"�� � �� �� ������ 6��� 5�)� ��

�� ��� ���� ���� �� ���� �"� �� �'1 ������&

�� �� ��� ����� � ������ �"� �� �'1 ������� �� ��"�������� ��� ������$�

��� ��� �� �� ��5 ��� �� ��� �� �� ������ ������� 5�)� ��5!& (�� ��"���#

������ �� ��������� ��� ��� �� ��� ���� ����� ����� %�� �� ��5$� �� "����� ��

�=

Page 30: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� ��4� ��������� ������&

��$ %��#�� �����

(� ���� � ������$� ��%� ���������� ��� �� �� ����� ���������� �������� � �

����������� �� � �� ������ �������. �� ��� ��� ( ������� ������� �� ������

������� ������� ��� �� 1�%� ������� ������& '� ��� ������ ��# �% � ��������

�������� � � ������� �� � �4�� ��������� �� �� � ���� ���� � ��� � � �� ��� �

��� � ����� �� � ���� ��� ������ ������& ��� �� ���� � �� ������� ���������� �

�4�� ���� ����� ��� ��� �� ��� � �� � ����� �� �� ��� �� �� ���� � ������ �� �

����2 ��4& ������� � ���� ���� ������ ������ ���� �� �%������ �� �� ��� �� ����

������ ������E �� ��� �� �� ������ ������ ��������& (��� �������� � � �"�������

�� ����� �&

����� ����� ���� #����

(� ��� ��� ( ������� ������ ���� ����� �% � ������� ��� ��� ���� ���� � �#

%� �& >�"�� � ������� ��� ���� �� ��� ��� ( ������� ���� ����� %�� ������ �!

����� ����� �� ������� �% ���� %� �� ����� �� ���� �� ��� �� ���� ��������

��� %�� ��� ���� ���2� �%� ��� ������ �� ������ ����� ��� ��& 8� �4#

������ �� ���� ���� ���� ���� ���"��� �� ������������ �� ��� ��� ( ������� ���������

��� �� ������ ����� �� ���� �� ��� �������� ��� ��� �� �� � ������� �����

����� � %� �� �� �� ,#%� � ������& ���� ����"���� ���� ����� ����� ��� �� ����

� �������& (�� %���� ���� �� ������ �� �� ������ ��� ����������� ���� ��� ��� ��

�� ������ ������� ����� �� ��%� �� ��%�& (� ��� ��� � ������� ������ %����

������ ���� �� �� ������� �� �������� ��� ���� � ������� ����� �� ����� ��� �

%� �� ����� �� ������ �� ��� �� ���&

9�

Page 31: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

����� ���� ������#��

(� ������ ������� ������ ���� ����� %�� �� � ������$� ������ ������� �����

�� ������ �� �� ��� ���� ���� & (� ������ ���� ����� %�� ������ �� ������

�� ������ ��� �� ������ ������� 5�)� $� ���� �� ������� ��� ���� ������ ��� ���

���� ����� ��� �� ���� ��� ��� % ��� ������� �� �� ������ ������� 5�)� & 8�

�4������ �� ���� �% ������C,D ��� �� ����������� �� %�� ��� ������ ��������

�� �� ���� �% � � �� �� ������ ���� � ��� ��� ������& (� ������ �������

������ %���� � ��2 %�� �% �� �������� �� ��� ������� ��� �� ����� ������

�������� �� ���� �%� �� ������ ������� %��� � �"��� �� ����4 �� ��� ������$�

��)� ��� � �� �� ������& (�� ��� ���� �� ���������� �� �� �% ���� ������

�� ��� ������ %���� �� ��� �� ��� �� �� ������ ������� 5�)� ��� �� ������

������� � ��� �� %���� ����� �� ������ ��� �� �� ������& (� ������ ������� ��

���� ���������� �� � ��2��� %��� � ��"�� ������ ������� 5�)� ��� � �� "����

�� %��� �� %��� �� �� ���� ��������� �� �� ���� ���� ���� &

����� ����� ������#��

(� 1�%� ������� ������ ���� ����� %�� �� ���� ��� ����� �� ��%� ��

��%� �� %��� �� �� ��%#��%� ����� ���� %�� �� ����� � ��������& (� ������

������� �� �� ���� ���� ���� $� ������ ������� �� ���� ���� �% ���� �� ��� ��

���� ���� ��� ������� �� �� ���� ���� %�� ��� �� %�� ���� �� ����� ��%�

�� ��� �! ��%�& 8� �4������ �� � ������ �� ���� ���� �� +� ������� �� 1�%�

������� ������ ����� ���� �� ���� ���� ���� �� ��%� ��%� ��� �� ������$�

���� ����&

9+

Page 32: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������� �

����������

(� ���� �� �� ���6� ���� � ������ �� �� �� �� � %��� �� ������� ������������ �� ��

���6� � ������ %��� ����� �� ������ ��� �� �� ��������& �����*��� �� �� �� �����

��� ��� �� �� ���� ������ �� �� ������ �� ����� ������4 ��� �� �� ���� ���� ��

������ �������� ��� �� ���#����� ���� � �� �� ��� ���� ������"��&

(�� ����� � ������ �� ���������� ���� �� ��� ����� �� ���� ����� �����*� ��

�� �� ����� ��� ��� �� ����������� �� �� ���6� ��� ���������& ������� 9&+

��������� �� ���6� ��� �������� � � �����#���� ��� ����� �� �� ���6� ���

���������& (� ������� ���� ��������� �� ��� �� ����� ���� �� ��� �������� & �������

9&� � ��@� ��������� �� ������� �������������� �� �� ���6� ��� ���������

%�� %��� � �"��� �� �� � ���� ��� ��%� ����� ������ ���� ��� ����������& 8�#

������ ������� 9&9 ��������� �� �� ���� �*����� ��� ��������� �� �� ������ 2� ��

�� ���� �� �� ������ �� ���� �*����� �� ����� �&

$�� ��� ����� �� �#�������

'� � �� �� �� ���� �*� �� ������ ��� ��� "� ���� ��������� �� ������ �������� ����

�� ������ � �������� ��� �"������� �� � ����� �� ������ 2�& (�� � ���������

��� �"�������� �� ���� �������� �� �� ���6� ��� �������� � %�� ������ ��

���6� ��� ��������� ��������� �� ����� �& (�� �����#���� ���� �4�������#

� �"�� �������� ���� ����� %�� �� ���6� ��� �� ������� �� �������� �� �����#

9�

Page 33: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

SCALE

simulatormicroarchitecture

SCALE cache simulator

SCALEDRAM simulator

Mem

ory

Sys

tem

8��� � 9#+. (� ���6� ��������

� ���� �� 8��� � 9#+& (� �������� ����%� � ����� �� ���� �*����� �� �� ������ ���

���� �"�������� �� "� ���� ������ ��������&

(� ���6� ��� �������� �� � �II ����� �� �� ���� � ���6� ���

������� � �� �� � ������ ���� ���� �� �� ���� ����& '� ���������� �� �����#

1������'8 ���� � ���� ����� ��� ����%��� �� �� �� ����� ���� %�� �� ���6�

�������� � ��� ��� �������� ����� �� ���� ���� ����& (� �����1������'8 ��

� �����#���� ���� � ���� ���� ���������� �� ������ ��� ������� ������& 3��

��������� � ���� ����� ������� ���� ������ ��� ������� ����� � � ������ ���� ��

�����E �� ������ ����� ��� ������ � ��% ���� � ������ �� �� ������� ��� ��

������� ����� ��� �� ��� ��������� ���� � �������&

Simulator Interface

DRAM

DRAMChannel

DRAMChip

DRAMBank

8��� � 9#�. ���6� ��� �������� :�A��� 7�� � ��

(� ���6� ��� �������� �������� �� � ����� �� �II ��A���� � ����� ��

� �� � �� %�� �� � � ��� �� �� ������� ������& (� �� � �� �� ������ ����

�� 8��� � 9#�& (� ��� ��A���� %�� ���������� �����1������'8� �� ����������

�� �� ���2� �� �� �'1 ���� ����� ������� ������� � ����� ������� 5�)� � ���

��������� ������� ������ & (� ��� ��A��� �������� ��� ����� �� �� � ��

�� �������� ��A����� %�� ����� �� ����������� ��� �������� %�� ���

�������"� ������ ������ ��)� �& (� ��� ���� ���� ��� ���� ���� � �

99

Page 34: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������� �� �� ����� ��� ��5��2 ��A����& (� ������ �� �� ���� �����

�� �����#���� ���� ��������� �)���� ��� �� �% ����"����� ��� � ��� ��� �� ��� ��%�

���� �%������� ��� ��� ����������&

��� ��A��� �� �� �������� �� � �� �������� � ����� �����& ����2��� �� ��

�������� �� �� �� ��� �� ������� �� ��� ��A���$� ����� �����& ��� ��A����

����� �� ��A���� ����% ��� �� �� �� � ��& (�� ���� � ���� � �� ��A��� ����

��� � ��������� ��� ���� ��� ��� �� ���� � ������ �� ������ ���� � �� ����� ��

�������&

����2��� �� �� ������ �� �������� �� ������� �� ������� �����& �� ��� �����

����� ���� �� ������ ���� �� ������ �� ��� ��A��� ����2� ������ ��� ���� �#

������ �� ������& (� �������� ���� ���� ����� �� ��� � ��"� �� ����� ���� ��

����� �����&

��� ������ ��� ��� �� ������������ ��� �� � ����� ������ ���� ��� �� �� ���

��A���& '� �� �� ��� � ��������� ��� �� ��� ������ �� ����2�� �"�� %�� �� �

� � �� ����������� �������& (� ���6� ��� �� ������� �� �������� �������#����

�� ����� #����#� ��#��%���#����� ���� �� ��� ��� �� �� ����&

����� ��#!�� ���#�

'� � �� �� ����� � ���� ��"�������� ��� �"�������� �� "� ���� ������ ��������� ��

������ �������� � � ����������� �� � �� ��� �� �������& 3�� �� �4������� �� ��� ���

� ���������� ������������ � ��% ������ ������ ���� �� ����������� �� ��� �� ����

"� ���� ����� ��� ������������ ��� �����$ "� ���� ���������&

����� $��� ��#���������

(� � ��������� �� � ������� ��� ��� �� � �%� �� ��������� ���� ���� ���� ���"#

��� ��� ������ ������������ �� �� �� ��� �� �� ��� ���( ������� �����& (�

��� ��� � ��������� ������ �� ���� ����� �� ������� �� �������� $� � ����� ��� ���

����2 ������� �� ����� �& ��� ��� ������� �� �� �� ��� �� ����� ������ %���

��"�� �� ��� ���� ���� ���� �� ����� �� ������� ��� � ������ ���� ��� �� ���#

9�

Page 35: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� �� ����� ���� �� ��� ������� �� � �� ������ �� %�� �� ������ ����� ���

�� ���� ���2� �% ��� ������ �� %�� �� ���� %���� ��� ������&

����� %������ ��� �

(� ��������� "� ���� ����� ���� ��� �� � �� �� %�� ������� � � ������ � ��

�� ������ ������ ����� �� �� ��� �� ���� ����& � ������� ������ ������ ����

���#����� ��������� ��� ��������� �� ��4�������� "� ���� ������ %�� ��

���������� �� ���"��� �� ��� �� ���� ������ � �� �� ������ ������ ����� ���

��� ���� �� �� �� ������� ��������&

����� %������ ���� ��� �

(� ��1�%� ������� "� ���� ����� ���� ��� %�� �� ��%� ���� �� � ���

��� �� �� �� ������& � ��%� ������ �� ����������� �� ����������� �� ��1�%#

� ������� ����� ��� ������������ � ����� �� "� ���� ���������& (� ��4�����

�������� ���� ����� %�� ���� �� ��4� �� �� ������$� ��%� ����� ��������& (�

����� �������� �� ������ �� �� ������ �� �"� � ������ ��� �� ���������� �� �������

�� ������$� 1�%� ��%� ����� %�� ��� �� ����& ������ � ��� %��� �������#

������ %�2� �� %�� �� ����"�� � ������� �� ��%� ������� ��� �������� ���

�� ��� ����� %�2� �� ������������ �� � ���� � ������ �� ��� ���� � �� � �� ���

������3�2� ��������& 8������� �� ������ �������� �� ������ �� �� ��� %���"� ��

������ ������& (� ��%� ������� ������� ��� ���� ��� ����� %���� ��� ��������&

����� �� ��� ���������

(� ���6� ��� �������� �� ���� �� ���� �*����& (� ���� ���� ���� ��#

����� � ���� �� �� ������� �� ��� �������� � � ����� �*�� �� (���� 9&+& (���

�� ����� � ��� % ����� �� �� ���'' ���� ���� �� ���� �� %�� ���� �� ������ ��

�� �������� %�� �� #����#� ��#�� ��� � ������&

9;

Page 36: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

����� � � % ���&��� $�� &��'� (��� � ��� � � �� ��� ������ ��2��%������ � � + ����!

������� ��#� �� ����2 ��"��� ������ ����2 J ������

�� ����2 F ����2 ��"��� � �� ����� ���� ���� �������� �� � � + ����!

� ��2 ����������������� ��������� ���� ��� 8'8:� :1�G �:3�

�6( 5�G/� � 58 3�������� � ����� ������� � ������ ������

�� �������� �% ������ �� �% � �������� ������ �6:��� :1�G� 1��'�(:�

�� �% � ������ ���� �� �% � ������ ��*� ������ ��%� ��%� ������ ������ ��%� ��%� ������ �63�K� �3�/�� �(1� �(1��%� ��%� %��� ���� ������ ���� � ���� ��� ������

�����% ��%� ��%� ��������� ��%� ��%� %��� ���� ������ ���� � ���� ��� ������

���� ��%� ��%� �������%� �������� ��%� ��%� �������� ��18� ��1�� ��18��

��1���� �11� �11��� ����� ��� ��� ��� ������� � ����� ��� ��%� �� �� � ����

��� ��4 ������ ��*���"���� �� ����� ��

�����������2 ������� ��� ��� � ������� ���2 ������� � � +��4 ������� ���� ����� ��� ������� ������

������ ��� ����� ������� ��*� ������ ������� L���� ��*� ������ ���2����� ��*� ��*� �� ����� ����� 8'8:� ������

�� � 5��2 ���� ���� ���� ������� G���� �� ���� � ������� ��%� �� �

���� �� ������ ���� ���� �� ������ ������ ���� ���� %��� �'1 ���� ���� %��� �����! ��%� �� ����2� �� ��� G���� �� ���2� �� ���� ���� ��%� �� ��� �� ����� ���� �� �� ����� ��%� �� ����� %��� ���� ���� ��� %��� ��%� �� ����� ��� ���� ��� ���� � �� ���� �%� ���� ��%� �� 5��2 ��%� �� � �% ��*� ���� ������� �� ��% ��%� �� �

(���� 9&+. ���6� ��� �������� 1� ����� �

9<

Page 37: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�& ����� �� ��� ���� )�*+'��� ����� �&�,,

����"� 1�%� ��%� ����� # 8��� �4�� �&+9;����"� 1�%� ��%� ����� # ���% �4�� �&�<9

1 ��� �� 1�%� ��%� ����� �&�9����� ��� �� ����� �&��?

5��� 3 ����� �&;,;5��� ���� �&�=;����"����� �&�;�1 ��� �� �&�;���� �� 9&?<�

(���� 9&�. ��� �� ����� ������ �� �#'' ���� :�� ������

����� ����! �!� *�����!�) ��� ����)� ��#��#��!��

'� �� � ��#����� �� ����� �� ���� ���� �� �������� %��� � ��2 � ����� �� ������#

���� �� �� ��� ����& 8� ��� ����� ��A���� �� �������� � ��2� �� ����� ��

������ ����� �� ��� ��%� ������ �� ����� �� % ���� �� %��� �� �� ����� �� �����

% ������ �� ����� �� ���� ��� ����� ���� ��� �� ����� �� � ��� ���� ����#

"������ ��� �� ���� �� �� ���& ��� �� ���� ��� ������ �� �� ���������� ��� ��

���� ��� ��� �� ��� �� ��� �� �� ���������� �� ����� �& :��� �� ���������� ��

���������� �� �������� ���������� �� ����� ��� �� �������� �� ��� �� ����������

��� ��� �� �� ����� %�� ���� ����������&

M���������� �� ��� �� ����� �� "� ���� ��� ������ %��� �� ����� �� �� ��������� ��

������� 9&�& �� �� ���� �� % ����� �� ��� ������ ���� ����� ������ � � ���"�������&

(� ������ ��%� �� ��� � ��� �� ��� �� ����� ������ �� (���� 9&�& (��� ����� � �

�� �"�� � �� �� ���� ���� �� ��� �� �(�?79��, �#'' ���� ���� C+D&

$�� %�� #��� �&��������#��

(� ������� �������������� �� �� ���6� ���� � ������� ������ ���� �� 8��� �

9#9 ��� ����� ���� �� 8��� � 9#�� �������� �� �� 81>� ��� � ����� �� �#''

���� ����& (� H� ���� ����� �� �� ���� � ������ �� �������*�� ��� � �#

� ����� ���� �� 81>�& (� 81>� ��� ���� ���� �"� ���� ��� ��%� ���#

9?

Page 38: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������ �� �� ��%� �������� �� �� ��� ���� ��� �� ����� �� ���� �����& 3��

��� ��� � ������� �"�������� �� ��%� � �%� �� �� ���� ���� %��� �� ����� ��

��� ���� �� ���� ��� �� � ���� ��� ��� �� ����� ������ �� ��� �� �� �������� &

XilinxFPGA

DDR-IISDRAM

DDR-IISDRAM

DDR-IISDRAM

DDR-IISDRAM

Test BoardPower Monitoring

Hardware

PC

8��� � 9#9. ��� ��� �� ����� ����� 5�� �

8��� � 9#�. ��� ��� �� ����� ����� 5�� � 1���� ��!

$�$ '�������� ������#��

'� � �� �� �"������ �� �� �� ����� �� �� ���6� ��� ������� �� �� ������� �

�� ������ ������ 2� ��� �� ����� � %��� ���� �� ������� ������������& (� ����#

�� 2� ���� �� ��� ����� � � �������� � �� �� ���5� �������� ��� �� ����#

9,

Page 39: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� 5����� 2 ����� ����! ������ 2 �����& (� ���5� ������ 2 ����� �� ��

������ �#������ � ����� �� �"�������� �������� � ������ �C�D& (� �������� ����

�� �� ������ 2� ���� �� ��� ����� �� ���� ���#������*�� �� ������� �� �� #

����� �� �� ���6� � ������ &

(� ��� ������$� �� �� ����� �� �)����� �� � ��� �� ����� �� ��� � ��� �

����� ��� � � �� � ������� %�� %�� �� ������ �� ������ ���� � ��������

�� ��*� �� ���� �������� ��� �� ������� �������� �� �� �������& '� � �� �� ��� ��

�� ��������� �� ������ 2� �� ��� �� ������ �"��������� �� �������� ���������� ��

�����"� ���� � ������ � �������� �� �"� ��� ������ ��*�� ��� �� �"� ��� ��������

���%��� ��������"� �������&

(� � ������� %�� %�� �� ���� � ������ ����"�� ������� %�� ������ �

�� ���� ������ 2 �� ���������� ��

����� � �������� J������ ! ����� �

�������� � ������ ���� !

�� �� �� ��� ���6� ������ ���� ���� ���� ����#���� �������� ��� ������� � �

�� ��*� 9� �� ��*� �� � ���6� ���� ����!&

(� ���� � �������� �� ���������� ��

����� � � ����� J � �� ���

�"����� ������ ! ��� ���#��� ����� � ����� � !

��� ���� �� ������ ����"�� � ������� �� ��� ��� �� �� ���� ������ �� ���� �����

� �� �� ��� ��� �� �� �� ��� ������& (� �������� "���� �� ��� ��)� ���� ��

�"� ���� �"� �� ��� �� �� �� ���������� ��� ��"� ���& �� ��� "���� �� ��"� ���� ��

��� �� �� "���� �� ��2�� �� � ����� � ����� ������� 8 ������� ��� ��&

(� ���� � ������ � ������� ��� �������� �� � ����� �� ������ 2� � � �����#

� ���� �� 8��� �� 9#; ��� 9#<� �������"���&

'� � �� �� �"������ "� ���� ������ �������� �� �� ���6� ��� ���������� ��

�� ���� ���� �� ��� ������ 2� %�� "� � ������������ �� ���� �� ���� ������� ���

������ ����� �� �)��� �� �� �������� �� � %��� ���� �� ������������& '� ���������

��������� �� ������ 2� ��� "� � ������������ �� ��� ��� �� %��� �������� ������

9=

Page 40: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Memory Access Frequency

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

vite

rb00

fbita

l00

rout

eloo

kup

conv

en00

cjpe

g

rota

te01

pktflow

rgbc

my0

1

Benchmark

Access F

req

uen

cy

(req

uests

/cycle

)

8��� � 9#;. ���� � ������ 8 ������� �� ���5� 5����� 2�

Memory Access Locality

0

20

40

60

80

100

120

140

160

vite

rb00

fbita

l00

rout

eloo

kup

conv

en00

cjpe

g

rota

te01

pktflow

rgbc

my0

1

Benchmark

Lo

cality

(lo

g2(2

^64/a

vg

dis

tan

ce b

tw. re

qu

ests

))

8��� � 9#<. ���� � ������ 6������� �� ���5� 5����� 2�

��

Page 41: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� �� ��� � ����%� �� �)��� �� ��� ��� �� �� �� ��������& '� ������� ����� �� ����

����� �� �� ������ 2� ������+� �2�@�%� ���� �+� ������+� ��� �������2�� � �

���� �� �� ���� �*� ������ �� �� ����� �� ����� �& ������+ ��� ���� �+ �4����

������ �������� %��� ��)� ��� ������������ �� ������ � �������& ���� �+ ��� ������+

�4���� ������ ������ � ������� %��� "� ���� � ����� �� ������ ��������& ������+

��� �������2�� �4���� ������ �������� %��� �4������� ��)� ��� ������ � �������&

�� ���� ������ 2� %� � �������� ������� �� ��� �4� ��� �������� � � ��������

�2�@�% �� ���� ���� �� �� �4���� ������ ���"�� �� ��� � ������� ��� ��������&

(��� �"� ������ 2� � ����� � %��� �� ��� �� ���� �� ���� ������ %��� ����%���

�� ���� �������� �� ����"����� �� ���� ������ �� �� �����*��&

(� ������+ ������ 2 ��"��"�� �� ���"� ���� ����������� �� �� G(�� "����

������ %� ��� �>5 ������ � � ���"� ��� �� ��������� ��� � �������� ���� ��#

����& (�� ��� ����� ��"��"�� � ��� �4 �������� ����������� �� ��4��& �� �� ������

��"��"�� � � ����� �� ��� �� ��� ������ �� ��� ���� %��� ��� �� ���� � ������ ��

�� ��� � �� ����� � �&

(� ���� �+ ������ 2 ������ � ������ ������������ �� %�� � � ������� �����

�� ���� �� ���� ���� �� �� 8����#������� � � � �)����� ���� ��� ���� ���& (�

������ 2 ���"� �� � <�/ � ������� ,��� ����� �� �� ,/ ���� � ����� ��� ���������

�%� � � � ���& (� ������ 2 %�� �������� �� ���� �� ������$� ������� �� ������

�� �� ���� ����� ��� �� ������ 2$� ��% ������ � ������� �� ������ ���� �� 8��� � 9#;

�������� ��� �� ������ 2 ����� ��������� %���&

(� ������+ ������ 2 ��"��"�� �� =�#��� �� ������� �� �� �����& (� ����#

�� 2 %�� �������� �� ���� ��� ������������ ���������� �� �� � ������ ��� ���

�� �� ��� �� ���� � ������� ��� �� �� ����� ��� ���� ��� ���� %���� �� ���

������ �� ����� ��4��& �� �� ��� � �� �������� � ��� ��� �� ���� �"� @�%� ��

�����"��� ������*�� ���� � ��� ����� ��4��� �� �� �����!� �� ������ 2 �4�����

�� �������� �� ������ ���� �� 8��� � 9#<&

(� �������2�� ������ 2 ������ �� ����"��� ��� �� %� ���� �� '1 ����� ���

�� � ���� & (� ������ 2 ���������� '1 ���2�� ����� �� � 1�� ���� ( �� ����

�� ���� �& (� ������ 2 ��������� ���2� � ��� ��� ���� �� ���� � �"� ��

�+

Page 42: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��� �� �� �4�������& �� ��� �� ���� � ����� %���� �� ��� � �� �� ��%� ��� ����

������ � � ����� ������*��&

8������� �� �2�@�% ������ 2 �� �� �� '1 ���%� 2 ���� �� %� ���� ����������#

���& (� ������ 2 ��������� � ���� %�� ��� ���%� 2 ���� ������ ��� %� 2� %��

� �� �� ;+�/5#��5! ����� �� ��)� ��� �� �� ���� �& (� ��� �� ��� �� �� ��)�

����� �� � ������ ���� ������ ��� ������� ������ ��������&

��� ���� � ������� ���� �� �� ���6� ��� ������ �� ���� ������ 2� � �

�4������ � � ���� �� �� �� ���6� ����& (� ���6� ���� �� � ������ 9�#%�� ���#

���������� ����� ��"���� ���� ��� ���2�& 8� �� ���������� �� �� ���6� � �������

� ������ � �� ���6� ���� ������ ������ ��� �� ��� ����� �� ���� ������ 2� ��

��� ������ ��� �� ����� �� / �����2�C<D&

��

Page 43: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�������

������ !����� "���������

(� �� �� ����� ��� ��� �� ����������� �� �� ���6� ��� ������ � � � �����

�������� �� �� �������� ����������� �� �� ������& (�� ����� �4��� �� � �� ���#

�� ��� ����� �� ������. ��� ��� ������� ��������� ��������� ��������� ��� ��%� ��%�

��������& ������ �� ��# �% � ������ ������ ���� ��@������ ������ �� �� ������

���� �� ������ ��# �% ������ ��������� �� ������� �&�&� �� ���� �� ��� �����& ���

�� ���� �������� �� ����������� �� � ���� ��� ������ �� �� ���6� ��� �������

����%��� ��� �� �� ������ ���� ������& (��� ��������� ���� ����������� ����#

���������� ��� ���� ��� ����������� ��� ��@����� �� ������ �� �� �����& (� ��� ��

������ ���� �� ���� �������� �"� ���� � �"������ �4��� ��� ���� ������ ���%���

��� ��� ���� �� ����� ��)� ��� ������&

'� � �� �� ������� ��� �����*� �� �)���� �� � ��"�� ������� �� ������ �������� � �

�4�� �� ���� ���� �� ������� �&+& (� ������ �� �������� �� ��� ����������� �� �����

�� �� ������� "���� %��� �� ��� �� �� ������ �������� ����� �4��& �������� �&��

�&9� ��� �&� �"������ "� ���� ��� ��� �������� ���������� ��� ��%� ��%� �������� �#

������"���& ��� ������� � �� ���� ���� "� ���� �������� ��� ����� �� ����������� ���

�� ��������$ � ������� �)��� �� ������ �� �� ����� ��� ��� �� �����������& (�

������ ������� ��� � ������ ��� �����*�� �� �� �� ������ ��� ��� ��� ��� ��#�����

� ����� �� ������ �� ������ 2� �� ��������� �� ������� �&+� %�� �� ��� �� ����

���� ����"� �������� �� �����& �� �� ���������� �� ��� �� ���� ��������� �� �������

������� %�� ������*�� ��� ��#����� � ������ �� �����& ��� ���� �� �� � N�"� ���

�9

Page 44: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� �� �����O � N�"� ��� ��� ��O � � ���� �� �� ��������� ��� ��� � �� �� �"� ���

�� �� �� ����*�� "����� �� ��� ��� �"� ������ 2�& (� ��� �� �� �%� ������ 2�

�)� � ������� �� ;- ��� +�- �� ����� �� �� ��� ���� ������ ������ �� �"� ���

������� �� ?&;-& (� ������ ���� �� ��� �� "�& �� �� ����� � ��� �� ������ �

�������� ��� ��B����� ����� �� ��� �� �� ���� ������ �����& 8������� ������� �&;

����� �*�� �� ������� �� �� ����� ��� � ������ � �� ������ ������ ������. �

��#�� �� ����� ������� � ��%#��� �� ������� ��� � ������ %�� ������*�� ��

��� ��#����� � �����&

(�� �� ��� ���)�����#��

��� ������ �� ��� ����� ����� � �� ������ ���6�#������*�� "� ����� �� ��

���5� ������ 2� ��������� �� ������� 9&9& (� ������ 2� %� � �� �� ��

���6� ��� �� ������� �� �������� � ����� �� ���6� ��� ����� ��������� ��

������� 9&+ �� �� ���� � ���2���& (� �������� ������ ������ ������ ���� �� ��� �

�#+ ��"��"�� �� ���6� ��� �� ������� �� �������� � �� ���6� ���� �������� �

��� �� ���6� ��� �������� &

SCALE

simulatormicroarchitecture

SCALE cache simulator

SCALEDRAM simulator

Mem

ory

Sys

tem

8��� � �#+. ���6� �������� ������ �����

(� ���� �������� ���� ���%��� �� � ������ ��� �� ��� �������� E ���

���� � ������� ������ �� ��� � � ���� ����� ��� % ���#���2�& (� ���� ��

� �#���2� ���#����2���� 9�#%�� ���#���������"� ����& ��� �� �� � ���2� �� ,25�

������� �� � ���� ��*� �� 9�25& �� �� ���� �� ���#����2���� ��� ���2 ��� �����

��

Page 45: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� �� 9� ���� ������� ��� �� ��� � �������� ����������� ������� �� �� ���

���������� �� ��� ����& ���� ����� � � 9� ����� �� ��*�&

(� ��� ��������� ��� �'1 ������� ��� ��� �� ��� �7*� %��� �� ���6�

� ������ ��� ���� �� ��� �7*& (� �� � ����� ��� �� ��� � ��� �� ��)� ��� �� ����

�� ���� ��������� �� �����4�& 3�� ���������� ��� ��������� ��������� ��� ��

�� ����� �� ������ �� %��� ���� � ��%� ��%�� ���� ������ � � �� ��� �7* ���

������& 5����� 2 �� �� ����� � ��� ��� �� �� �� ����*�� ������ 2 �4�������

���� �� ����� �� �� ��� �7* ���6� ������&

M����� ��� %��� ���������� �� ��� ��������� �� ������ �� �� � �#������

������ %�� ��� ���� ��� �� ������& ��� ������ �� � ���� ��� %��� �� ,

����� ������� �� �� �)����"� ����%��� �� +< ����F����� �� �� ���� � � �& ���

���� ��� �� �;< ��� ������� �� � ����� ������ �������� �� +�,�5& ��� 9�#����

���� ���� �� ���� ���"�� �� ��� �%� �������� %�� ��A����� ���� ��� ����� �������

�� ��)� ��� �������& (� 7��#��% 1 ������ �� ������� ��� ��� ���� �� ���������

�� ������� �&�&�& (� ���� ���� ��%� ��%� ���� � ������ ���� ����� �� ��

����"� 1�%� ��%� # 8��� �4�� ���� �� �� ��� �� ��� � �� � ���� �%�� � �� ��

1 ��� �� 1�%� ��%� ���� �� �� ��� �� �� ���� �%�& ���� ;� ���������� ����

������ �� %�� �� ��� �� �� �� ����"� 1�%� ��%� ����� �� ��� %��� �� ����"�����

� ��� ���� ��� ��%� �� ��%� �� �� 1 ��� �� 1�%� ��%� ����& ��� ������ %���

����� ��� ������ ������� �� 8'8: � �� & 3�� ��� ������ ����� �� ������ �� �����

"� ���� ��������� �� ����� �� ����� �� ��� ������$� �������&

(�� ����� �&&#�� %��#�#�

(� ��� ��� ������� ������ ���� ����� �% �� ��� ��� �� ������ ���� � �%� �&

(�� ��� �"� � � ������ ������ �� �� �� �� ����� ��� ��� �� ���� ������ �� ��

��� ������& (� ������ ������ ���� ���� ���� %�� ������� �� ��� � ������

���� ��� �% �� ��� �� ������ ���� �� ���2�� �%�� ��� ������� �� �� ����

����&

(� ���6� ���� � ������ ��� ��� ������� ��������� ������ ���� �� 8��� � �#

�;

Page 46: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

CHANNEL ROW BANK

CHANNELROW BANK COL(high) COL(low)

CHANNELROWBANK COL(high) COL(low)

COL

CHANNEL ROWBANK COL

granularity>row_size, ibank_mapping=1

granularity>row_size, ibank_mapping=0

granularity<row_size, ibank_mapping=1

granularity<row_size, ibank_mapping=0

MSB LSB

8��� � �#�. 1������ ��� ��� ( ���������

�� ��� �� �%� �� ����� �. � ����� ��� ��� ���2 �������& > ����� ��� ���� �����

�% ���� ���������� ����� ��� �� � ������& 5��2 ������� ���� ����� %���

���������� �%� �� �� ��� ��� ����� ��� �� �� ���� ��� ���2� � � � ���� ���"��

�� ��� ��� ���2�&

$���� *����#��!��

(� ��� ��� ������� � ����� ��� ���� ����� �% ���� ���������� ����� � � ������

�� � ������& '� �� � ����� ��� �� ���� ��� �� ��*� �� � ���� � ������ ������� ��

������ �� ����� ��� ���� �� �������� �������& '�� �� �4������ �� ������ ����"��

� ���� ���� ���� �� 9� ����� ��� �� ������ �� %�� � � ����� ��� �� ,� �� ������

%��� �� �� ��� �� ��� � �������& '� �� � ����� ��� �� +<� �� ���� ������ %��� ��

�� ��� �� ��� ���� � �������& (� �)��� �� � ����� ��� �� �% � 9�#���� ���� ����

�� ������ �� ���� � �� ������ ���� �� 8��� � �#9&

'� �� ���� ��� �� � ����� ��� �� � ���� ��� � ����� �� �� ������ ��*�� ��� ��

���� ��� �� ��� �% ��*�� �� ������ %��� ��� �� � ������ ������ ��� �������

��� � � ��A����� �� �� ���� � ����� ��� ��� �� � ��)� ��� ������& � � ����� ���

�� 9�� �� �4������ %���� ��� � ���� ���� �� � ������ ������� ��� ��A����� �����

%���� ��� �� ��)� ��� �������&

'� �� ���� %� � �� � ����� ��� �� � ���� ��� � ����� �� �� ����� �� �����

�� � �%� �� � ����� ��� �� ���� ��& (� ��� ��� ����� �� ����� �� ��"���� �� ��

�<

Page 47: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

0

1

0 1

2 3

0 1 2 3

4 5 6 7

granularity = 8 granularity = 16

granularity = 32 granularity = 64

0

1

2

3

4

5

6

7

8��� � �#9. �)��� �� > ����� ��� �� ������� ��������"� 9�#���� ���� 6����

����� �� �������� ��� ��� ��� ����� %���� ��� �� ���� ��"������ ��� �� � ������

������&

> ����� ��� ��� �"� � � ������ �)��� �� �� �� �� ����� ��� ��� �� ���� �#

����� �� �� ���� � ������& � ��% � ����� ��� �� %�� ������ �������� � � �� ���

�� ��� �������� ������� %��� ���� ���� ����� �� �� ���� �� �� ������ �� ������ �� �

������ � � ������ �� �� �����& (�� ��� �"� ��"� � ��� �� ������������� �%�"� �

�� ��� ������� ��"��"�� ���� ����� ����"�&

:� �� ��� ���� � �� � ����� ��� %��� ����� "� ��� �� %��� ������� �� #

�� �����& '� ������������ ��� �4���� ������� �������� �� ���� � ��� ������ ����

���������"� ������� %��� ���� ������ � ������ ������& (�� %��� ����� � �� �� �����

���������2� �� ��� ������ ���� �� "��� ��� �� �������& (� ��� ������� ���

�� ��%� �� ��%�� �%�"� � ��������� ������� ���� ���� ��� ��& �� � ����� ��� ��

��� ������ ���� � �������� ��� �� ������ �� �� ��� � ��� ����� ������� ��� ���

�)���&

" �����

8��� � �#� ������ ���� �� �)��� �� � ����� ��� �� ������ 2 �� �� �����& �� ���

�� ���� �� ��� ��� �� �� �� ����� �� ��"� ���� � ��� ������ �� �� � ����� ���& ���#

���� �������� �� ���� � ��� ����� ���� ���� � ��� �� ��� �)���� �� �� � ������*��

������� ����� �� �� �� ������ ������� ��� ����� �� �� ����� ��� ����%��� �� ��#

�?

Page 48: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

���� ������� �� ��%� ��%�& 7�%�"� � �� �� �� ����� ������ �� ��������� ��

�� ���� � ������ � �������& (� ����� ������ 2� %�� �� �4� ����� �� ������

� �������� ������� ���� � �� �� ����� �� �� �� ,+- �� � ����� ��� ��� ������ %���

�� ��%#� ������� �������2�� ������ 2 ���� ������� ���� � +&?- ��� ������� ���

� ���� ��������& (�� �� ��� �� �� ���� ��� �� ��% ������ � ���������� ������� �� ���

� �"� ����2�� ����� �� ��� �� �� ������ ������E �� � �� �� ��� � �� ���������2

�� �� �������& 8� ��#� �� ������������� �%�"� � �� �� � ����� ��� �����

��������"� �������� %��� ���2 �� �� �� ������ ������� ������� �� �� �� �� �����

��� �������&

Performance vs. Granularity

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

8 16 32 64 128 1024 32768

Granularity

No

rmalized

Execu

tio

n T

ime

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#�. > ����� ��� "�& ��� ��

(� �� �� ����� ���� �� � ����� ��� +< "�& , ����� �� �������� �� �� �'1

������ ���� ��� ���� �� �%��� �� ����%��� �� ��� ������& ��� ������ �� ,

���� %���� ��� �� �� �� �� �� �� �)����"� ����%��� �� ��� �5F���& (� �'1

������� ��� ����� �� ��� �7* %�� � 9�#��� ���� %���� �� � ����%��� �� ,��

�5F���& (� ��� �� �� � � ����� ��� �� +< %��� ��� �%� ������� �� � ��"�� �������

��� ������ %��� ���� ����� ��� �5F��� �� � ����� �� ,�� �5F���� ��� ���� �����

�� �'1 ������& 7�%�"� � �� ��� �� ���� "�� �� 8��� � �#�� � � ����� ��� �� +<

��� ������ � �� �� ����� �� �� �� �� <&;- �"� � � ����� ��� �� ,& (�� �� �� �����

�,

Page 49: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� �� ��� �� �� ���� ��� �� ���� ��� ����%��� �� �� ��"��"�� ������� �� ���

���� ����E �% ������ ��� ��� �� �� ���� ���%��� ���� ��� % ���� ���� �� ����

������ �� �� ���� ��� ��� ��� ����� �)����"� ������ ����%���& � � ����� ��� ��

, ����������� �� ���� ���� ������� ��4���*��� �� �� ����� ��� �� � ������� ����

��� �� ���� ��� �� �� ����"����� �� ��� ����&

Energy vs. Granularity

0

0.2

0.4

0.6

0.8

1

1.2

8 16 32 64 128 1024 32768

Granularity

No

rmalized

En

erg

y rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#;. > ����� ��� "�& ��� ��

(� ��� �� �� ���� ������� �� ���� �� 8��� � �#; ���"� �� �4������& �� ��

� ����� ��� ��� ������ ��%� ������� � � �� ��� ����� �� ��� ����& (��� ������

������� ��� �� ��%� �� ��%�� ����� "��� ��� ��& (�� �)��� �� �������� �%�"� �

�� �� ����"� ������� ���� ����� ����"� ����� & (� ��� �� ���� ��������� �� � ��

�� � ����� ��� �� ��� �����&

�� ��� �� ���� �� �� ��� ��B����� � �� �� 8��� � �#<� ���� ��� �� ��"���� ���#

%��� �� �� �� ����� ��������� �� � ����� ��� �� �� ��%#� ������� ������ 2�& 8�

��#� ������� ������ 2�� �%�"� � �� �����"� �� �� ����� ������� ��� ������ ��

�� �� � ����� ��� "����� ��"�������� �� ��� �� ��"����&

(� �� �� ����� ������� �� ��� � ����� ��� ���%���� �� ��� �� ��"���� ��

��#� ������� ������ 2�� ������� �� �� ��� ��#����� ������� �� �� �� <�- "� ���

�� ,#���� ����& �� ������ ���� �� 8��� � �#?� � � ����� ��� �� +< �� �������& (� �"� #

�=

Page 50: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Energy-Delay vs. Granularity

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

8 16 32 64 128 1024 32768

Granularity

No

rmalized

En

erg

y-D

ela

y

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#<. > ����� ��� "�& ��� ��B����

Performance Impact vs. Energy Cost of Granularity (Base = 8)

-30

-20

-10

0

10

20

30

-30 -20 -10 0 10 20 30

Average Performance Improvement (% of base)

Avera

ge E

nerg

y S

avin

gs (

% o

f b

ase)

16

3264

1281024

32768

8��� � �#?. 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� > ����� ���

;�

Page 51: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��� �� �� ����� ��� ������� %�� � ����� ��� +< �� ���� �&;-� %��� �"� ��� ��� ��

��"���� � � <&;-& ������ �� � ��� �� ��� �� ��"�� �� ��� ������ � ����� ���� 8��#

� � �#? ������ ���� ��� ���� ��� �� ��"���� �� ����� �� �� �� �� ����� ��� �������

� � � ����� ��������� �� � ����� ��� �� ��� ����� ���"� 9�&

$���� �� &��+ �""!�)

5��2 ������� ���� �)���� �� �� ����� ��� ��� �� ���� ������ �� �� ������& '�

���2 ������� �� ��� �� �� �� ��� ���$� ��� ��� ����� �� ��"���� �� �� ����� ��

��� ���2�� ��� ���������� �%� � � �������� �� �� ���� ���2& '� ���2 ������� ��

��� �� +� ��A����� �%� �� �� ��� ��� ����� � � �� ��� �� ��� �� ��� ���2�& 8��� #

� ����� ���2 ���� ���"��� �� ������ ����� �� ��� �������� ��� ������ � ������ �% ���

�� ������� ���������� ���� ��� �� �% � ��� ��� � ����"������& '��� ���"��� ��������

��� %���� �� %���� � ������ �% �� ��� ���2� �� ��� � � �"���� �� �� �� �����

��"������� ��� ��� ���� � �� � ��� �� �� �������� ���2� � � �� ��� �����&

� ���2 ������� �� + ����� �4���� � ���� �� �� ����� ��� � ���2 ������� �� �

�� ����� %� � �� ���� � ��� ����� �4���� ������� ��������& �� ��� ���2 ��� �"�

�� ����"� �%� ��� ��A����� �%� ��� �� 2��� ����"� �� �� ������*�� �������� �� ���2

������� �� �& '� ���2 ������� �� +� ���� �������� %��� ���� ��� �� � ������ ���2E ��

� ���2 ��� ���� �"� ��� �% ���� �� ��� ����� ��� ��� ���� � ������� ���� �� �

� ��� ��� ��� ����"������& 7�%�"� � ��%� ���2� %��� �� �� ��� ������ �����������

������� ��� �� �����������&

" �����

8��� �� �#, ��� �#= ������ ��� �� �)��� �� ��� ���2 �������� %�� �� ���� ���#

��� ����� �� �� ����������� �� �� � ����� ��� ����� �� ������� �&�&+ ��� � � ����� ���

�� +<& ������ �� �� ���� ���� � ������ ����� ��� � ���2 ������� �� � �� � ��� �����

�� ��#� ������� ������ 2� �4���� � ���������� ��� ������� �� �� �� �����E ��

��� ���� �� �� ��� �� ����� ����"� �� � ����� �� ��� �� ���� ��� ���� �� �� �

�% � ��� ��� ��� ����"������� ��� ���� ����� �� �� ����������� �� �� � ��� ��& ��

;+

Page 52: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Performance vs. ibank_mapping

0.95

0.96

0.97

0.98

0.99

1

1.01

1.02

1.03

1.04

1.05

rgbyiq dither rotate routelookup pktflow

benchmark

no

rmalized

execu

tio

n t

ime

ibank_mapping = 0

ibank_mapping = 1

8��� � �#,. '���2 ������� "�& 1� �� �����

Energy vs. ibank_mapping

0.8

0.85

0.9

0.95

1

1.05

1.1

rgbyiq dither rotate routelookup pktflow

benchmark

no

rmalized

en

erg

y

ibank_mapping = 0

ibank_mapping = 1

8��� � �#=. 5��2 ������� "�& ��� ��

;�

Page 53: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Performance Improvement vs. Energy Reduction for Bank

Mapping (Base = 1)

-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

Performance Improvement (% of Base)

Avera

ge E

nerg

y R

ed

ucti

on

(%

of

Base)

0

1

8��� � �#+�. 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� 5��2 �������

������ ���� �� 8��� � �#+�� � ���2 ������� �� � ��� ������ �� �"� ��� � +- ������� ��

��� ��� �� ��� �� �� �����& � ���2 ������� �� + �� �� ��� � � ��� ���� �� ���

��#�� �� ����� ��� ��%#��� �� ������������&

(�$ ���� �������#�� %��#�#�

(� ������ ��������� ������ ���� ����� %�� ������ ����� �� �������� � �� ��

������ ������� �� ����� �� �� ��� ���� ���� & 8� ����� �� %�� �� ������

����"�� ������� �� � ��� � ���� ��� �� ��� �� "��� ���� ������� %��� ����� �� ��

�� ������ ������ ������& (��� ������� ��� �� �� �� �� �� ��� ���� ��������

��� ��� �"��� �� �� ���� ��� ������� ��� �� ���� ������& (�� ������� ���������

�� �� ��� �������� ����� �� �� �%� ���2� � ��� ����� �� �� ������ �������&

$���� ���&� �� ������#!�) ��#!�!�

������ ��������� �������� �� %�� �� �������� � � ������ ���� ���� �� �� �% ���

��� ���� � � �4��� �� �4�����"��� �� ��4�� ��& ��C,D& (� ������� ���� � ��2

%�� �%� � � ���� ��� ����� ������� ���� ������& '� ��� ��� ������� �� :���

;9

Page 54: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��% ������� ��� ������� �� � ������ �% � � ������ ���� � ��� ��� ������� � � �������

���� ��� ��� �� � � � �� ���������� � � ��� ��� ��� ����"������& '� �� ������

��% ������� � �% �� � ��� ��� �� ���� �� �� � � � �� �� � ����������� ������� ��

��� �%& (� �%#����� ��������� �������� ��������� �� ��� �������� ��)� � ��

���� ��������� �� ��4�� ��& ��C,D �� ��� � ��� �� �� ��� ���� ����� �� �� ������� �

��� �� �� ��# �% � ������ & 8� ���� ��� ��������� �� �� :��� ��% ������� ��

��# �% � ������ ���� �� ��������� ���� � ��� ���� %�� �� �������� ������ ��

�� � ��)� ��� �%& '������������� �� �� ������ ��% ������ %���� ���� � ��� ��

������ ������� �"� ��� �� ��# �% � ������ � ��� "�������� �� ������ ��� �� ��

������& :��� �� :��� ��% ������ �� �� ��� � �"������� � �&

$��&�� "��!,�� � ���� �

'� � �� �� ���� �� ��"������� �� ��� �� :��� ��� ������ �������� �� ���������

�� ��4�� C,D� �� ��# �% � ������ ��� �� ���� �� � ���� �� ������"� �%#�����

��������� ������& '� ����� %� � ���� �������� � � �� �� ���� �%� �� ��# �%

� ������ %��� ��� ����������� �� �� :��� ��% ������� ��� � �"����� �� ������� ��

�� :��� ������& '� �� ���� %� � �������� � � �� ��� �� ��� �%�� �� ��# �%

� ������ %��� ����#� ��� �� ���� ���� ��������& (� ������ %��� ��� �� ���� �� ��

������������ �� ������ ������& (� ������� �� ��� � ���� ��� ����� � ������ %��

�% � ��� ���E �� ������ %��� ����� �� �� ������� ������&

$���� &��+ �����#��,�� ������#!�)

�� ���� ����"� ��� ��� �� ������ ���������� %�� ��� �� ����� ���� %�� �� ���

��������� �� ���2#���� ���"�� ���������& � ���2#���� ���"�� ������� %��� ������� ��

����� ������� �� ��)� ��� ���2� ���� ��� �����& (�� %��� ���� � ������ ���� ��

���2 ���� ���� �� �� ���� ���2� �� ��������� ������� �� ��� ����� ������� �� ��

��� ���� ���� &

;�

Page 55: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

$���� ����&������-�!�� ������#!�)

� ���� ��������� ��� ���� ������� � �� �� ��4�� ��������������C,D ������� ��#

"��"�� �� �� ��� �������� ���� ���� �� �� ��� ����� ��� � � �� �� �� �& �� �%���#

��� ���%��� ���� ��� % ���� ��� ������ ���������� �"� ���� �� �� ��� �������� ���

��� ��� ���� � � ������ ������ ���� � % ���� � � ������ ��� ������ ������� �� ��

��� ���� ���� & '� �� ���� ����� �%�"� � ��� ���� � � ��� �� ������� �� �����

�� ���2�� �� � �� % ���� �� �� ���� ��� ���& :�� %���� ���� � ������ � �� ���

�� ��� ����������& ������������� �� ������ �� ��������� @���� ��� % ���� ��� �� ��

������ � �"������ % ��� ������ ��� "�����&

$���$ � �#�

Performance vs. Access Scheduler (4 channel configuration)

0.9

0.92

0.94

0.96

0.98

1

1.02

1.04

1.06

1.08

1.1

FIF

O /

PR

ED

ICT

OR

FIF

O / O

PE

N

OP

EN

_R

OW

/ O

PE

N

OP

EN

_R

OW

/

PR

ED

ICT

OR

ALT

_B

AN

K

RD

_B

F_W

R

Scheduler Policy

No

rmalized

Exectu

ion

Tim

e

rgbyiq (4 channels)

dither (4 channels)

rotate (4 channels)

routelookup (4 channels)

pktflow (4 channels)

8��� � �#++. ������ ������� 1� �� ����� '�����

�� ������ ���� �� 8��� � �#++� ������ ��������� �� ���)����"� �� �� ������ � �#

������ ������ ����� �� �� ���6� ��� ��������� �� �� �������� ������ 2�

%�� �� �4������� �� � ����� ��"������ �� �� ����#5��� �#3 ��� ������ �� �� �2#

�@�% ������ 2& ��� ��� ��)� ����� � � ��� ������ �� �� �)���� �� �� ��# �%

� ������ & (�� ���)����"����� �� �� ������� � �� ��� �� �%� ����� �. �� ������

;;

Page 56: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� "���� ������� ����2�� ����� ��� ��� ����� ������� ����� �� �� �� ������

������� 5�)� � �� �� ��������� ���� ���� �� �� �)����"�� ��� �� ���6� � �#

����� ���� ���� � ��� ���� �������� �� ���� � ��������E ��������� ���� ���� ���

��2� ��"������ �� ������� �������� ��� �� �� :���#��% ������ �� ��� � � � �������

�� �)����"�����&

Performance vs. Access Scheduler (1 channel configuration)

0.75

0.8

0.85

0.9

0.95

1

1.05

FIF

O /

PR

ED

ICT

OR

FIF

O / O

PE

N

OP

EN

_R

OW

/ O

PE

N

OP

EN

_R

OW

/

PR

ED

ICT

OR

ALT

_B

AN

K

RD

_B

F_W

R

Scheduler Policy

No

rmalized

Execu

tio

n T

ime

rgbyiq (1 channel)

dither(1 channel)

rotate (1 channel)

routelookup (1 channel)

pktflow (1 channel)

8��� � �#+�. ������ ������� 1� �� ����� '����� +#������ ������ �����!

(��� �������� ��� ����� � �"� ������� �%�"� � �� ����� %� � � �� �� ����� ��

���� � �������� ����� �� �� �� ������& �� �� ����� ��*� �� �� ���� ���� �%� ��

������������ �� �� ��� �� ����� �� �������� ��� ����� ��2� ��"������ �� �� ��#�����

������� ��������& (�� �)��� �� ������� ���� �� 8��� �� �#+� ��� �#+9& (��� �� ��

������� ��� �� ������ �� ������ �� ������ 2� �� %�� �� ���� � ������ ���#

����� ���� � ������ ������& (�� ������#������ ������ ������ �� %�� �� ������

����%��� �� ������� ���� ���� ��� �� �'1 ����%���� ����%� � �� �� ����� ��

������� �� ����� �� �� �� ������& (� �� �� ����� �)���� � � ������� ��� �� �)��#

��"� ��������� ��� ����� �� �� ����� �� %��� �� ������� ��� ��� �� ��� ��B����

������ ��� �� ����������� �� �� ���� ������ 2�&

������ �� :��� ��% ������� %�� �� 7��#��% 1 ������ ������� �� ����

�)����"� ��� �� :���#������ �� �� %�� �� 7��#��% 1 ������ �������� �� ��

;<

Page 57: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Energy*Delay vs. Access Scheduler (1 channel

configuration)

0

0.2

0.4

0.6

0.8

1

1.2

FIF

O /

PR

ED

ICT

OR

FIF

O / O

PE

N

OP

EN

_R

OW

/ O

PE

N

OP

EN

_R

OW

/

PR

ED

ICT

OR

ALT

_B

AN

K

RD

_B

F_W

R

Scheduler Policy

No

rmalized

En

erg

y*D

ela

y

rgbyiq (1 channel)

dither(1 channel)

rotate (1 channel)

routelookup (1 channel)

pktflow (1 channel)

8��� � �#+9. ������ ������� ��� ��B����

Performance Improvement vs. Energy Reduction for Access

Scheduler Policy (1-Channel Configuration) (Base = FIFO)

-4

-3

-2

-1

0

1

2

3

4

-4 -3 -2 -1 0 1 2 3 4

Average Performance Improvement (% of Base)

Avera

ge E

nerg

y R

ed

ucti

on

(%

of

Base)

FIFO

Open Row

Read-Before-Write

8��� � �#+�. 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� ������ �������

;?

Page 58: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������#������ ������ ������ �� ���� � �� �� �� ����� ������� �� �� �#������ ���#

��� �����& '� �� �� ��� � �� ������� ������� �� �� ���� � �� ������� �� ������� �����#

������� ��� ��� ���� �� ��� �"������ �� ����� %� � �� ���� � ������ � �������

�� �4� ����� ��& �� ������ ���� �� 8��� � �#+�� �� �� +#������ ������ ����� ���

������� ��� ������ �� �"� ��� �� �� ����� ��� �"����� �� 9&�- ��� �� �"� ���

��� �� ��"���� �� �&9-&

(�( %�������� %��#�#�

1� ��� �� ���� ���� ���� ���2 ��� �� ��� ��#�%� � ��� ���� ���� ���� �� #

�� � �� �� ����������� ���������� �� ��� ��%� ������& �� ��%� ����� �����#

���� ��"��"�� � � ����) ���%��� ��%� ����������� ��� ����� ���*����� ����� ��

���� ���� $� ��%� ��%� ������ ��� � ����� ������ ��� �� �� ����� ��� ��� �� ���#

�������� �� �� ������& 1�%� ��� ��%� ��� ������ � ���� ��� ���� � ��%� �����

%��� ��"� ���� ������ �� �� ������ �� �� ����� ���*����� ���� ���� �� ���� ���

���� �� ��� �� �� �� %�2��& '� �� ��� ��%� � ��%� ��� ����� ��� �� %��� �� %�����

�� �� ��� ���� ���� �� � ��� ��%� �����&

�����* ��& �� C�D �"� �4�����"��� �4��� �� "� ���� � �%� � ��� ����%� �#�� �����

��%� ����� � �������� ��������& 7�%�"� � �� ��%� ������ ������� �� ��� %� 2 � �

���� ������� �� ��������"� �� �� ��%� ������ �� �#'' ����& '� ��������� ��

���� � ������ ����� �� ���� ���� �� �� ���6� � ������ � � ��2��� �� �� ������� #

���� ��)� ��� � �� ���� ���� �� ��� %� 2& 5������ �� ���� ��)� ������ �� �� "�������

�� �#�4��� � ���� �������� �� �� ���6� ��� ������&

'� �� ���6� ��� ������� ��� ��%� ��%� �� ���� ����� �� � ��%� ��%�

������� ������& (� ������ ������ � ��� ��� ����"���� ��� ������� �� �

���� ���� %�� �� ��� ����� ����� ��%� ������& (� ��� �� ������������� %�2��

�� �� ���� �� �� ����"�� � ������ � �� �� ������ ������� &

;,

Page 59: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

$�$�� ��������� �� �����

�� ������ ���� �� 8��� � �#<� �� �#'' ��%� ������ � ����� � ������4 ���%� 2

�� �������� ����� � ���������& �)����"� �4��� ����� �� ��� �������� ����� � ��������

��������� �� ��� �������& (� �������� � � �4��� �� �� ��� � ������ � ��������� ���

�� ����� � ��������� �� ������ ���� �� 8��� � �#+;& '� � ��� �� ����� �� %��� �"��������

��%� ��%� �� � N�����%O ��%� ��%� �����& �� ��)� ��� ��%� ������ � � �"�������

��������� �� %��� � ��� �� �� ���� �% � �� ���� � ��� ���� �� � �� ��

����# �% �����% ��%� ��%� ����� ��� � � ��� ��� �����% ��%� ��%� �����& ��

�� ����� �#'' ��%� ������ ���� � ��� �� ��� �� � ��� ���� �� � �� ����

� ������ ���� ��%� �����& ( �������� � �� �� ����# �% ����� �� � � ��� ��� �����

�������� �� �������� %�2����� �� �� ���� � ��� ��� ��� ��� � �������� �� �� �� ���

�����& � ������ �#'' ��%� ����� ��� �� ������ �� ��� �� ���� ��������� �������

� ��� ����� ��� �� ����������� �������� �� �� ��%� ��%� ������&

ACTIVE PRECHARGED

Shallow Powerdown (Open Row) Shallow Powerdown (Precharged)

Deep Powerdown

8��� � �#+;. ��������� ���� 1�%� ����� ( ���������

(� � � � � ����� �� �������� �������� � �� �� �#'' ��%� ������ �� ��

��������� ������ �� 8��� � �#+;& (���� �&+ ������ ���� �� �������� ����������� ��

�� ���6� ��� �������� & (� �����% ��%� ��%� �� �� ���� %�� �� ���2 ��

� ��� ��� ��� �� 1 ��� �� 1�%� ��%� � ���� ��� ��& �� ����#��� �� �� � ���

����� ���*����� ����� �� �� ���� ������� �� �� � ���� ��%� ��%� �����& (� �����%�

� ��� ��� ��%� ��%� ����� �� �� ��� � ��%��� � ��� �� ��%� ��%�& (� �����%

����� %�� �� ���2 �� �� ���� �%� �%�"� � ��� �� ���� ����"� 1�%� ��%��

8���#�4�� � ����"� 1�%� ��%�� ���%#�4��& (� ��� ����� ���� � ��� �� ��� ���2��

��� ��� ��%� ��%� �� 1 ��� �� 1�%� ��%�& (� ���� ��%� ��%� ����� ��� ��

���� 1 ��� �� ��%� ��%� � ���� ��� ��& (�� ������� ��������� �� ���������� ��

;=

Page 60: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

��� ����� ������� ��� ����� ������� ��� ����� % & ��� ������ -� �� ���� )�& � "��+ ���� )�� ����� �+ ���� ��18 ����"� 1�%� ��%�� 1 ��� �� 1�%� ��%� 1 ��� �� 1�%� ��%�

8���#�4����1� ����"� 1�%� ��%�� 1 ��� �� 1�%� ��%� 1 ��� �� 1�%� ��%�

���%#�4����18�� ����"� 1�%� ��%�� 1 ��� �� 1�%� ��%� ����#��� ��

8���#�4����1��� ����"� 1�%� ��%�� 1 ��� �� 1�%� ��%� ����#��� ��

���%#�4���11 1 ��� �� 1�%� ��%� 1 ��� �� 1�%� ��%� 1 ��� �� 1�%� ��%�

�11�� 1 ��� �� 1�%� ��%� 1 ��� �� 1�%� ��%� ����#��� ��

(���� �&+. 1�%� ��%� ���������

��� � ���� �� ���.���� )�*+ " ��������/���� #� ���� �

����"� 1�%� ��%�� 8��� �4�� �&+9; �����"� 1�%� ��%�� ���% �4�� �&�<9 <

1 ��� �� 1�%� ��%� �&�9� <����#��� �� �&��? ���

(���� �&�. �#'' 1�%� ����� ����������

��� �� ���� �#'' ��%� ����� �� ��� �� ���� ��������� ������&

������� ��� ����� ���� � � ����

�� �� �����% ��%� ��%� ����� �� �� ���� %�� � �% �� ���� ��� �� ��� �� ��"� ��

������� ��������� �� �� ��� �� ���� ����� ���� �� �� ���� �������� �� �� ��� �� ���

�� �� ����� ������� �� ��� ���������& �� ��%� �� (���� �&�� ��� ��������"� �����

�������� ���� ��� �� ��� ���� �� � � ���� ����� ���*����� ����&

�� ��%� �� 8��� � �#+<� �� � ���� ����� ���*����� ����� �� �� ��%� #��� ��

������ � � �� ����� �@����� �� ������ �� �� �����& ������ ����"� 1�%� ��%��

���%#�4�� ��� 1 ��� �� 1�%� ��%� ���� �"� �� ���� ����� ���*����� �����

�� 1 ��� ��#1�%� ��%� ���� ���� �@���� �� ���� �� � ��� ���� ��� ���2� ���� �

��%� ��� ��%�& (� �� �� ����� ������ �� �� ����� �� ������ %�� �� ���� �

������ � ������� �� �� ������ 2E ��� #� �� ������������ ��� � � ���� ���%#��%�

<�

Page 61: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Performance vs. Shallow Power State

0.8

0.85

0.9

0.95

1

1.05

1.1

1.15

APDF, wait=1 APDS, wait=1 PPD, wait=1 APDF, wait=10 APDS, wait=10 PPD, wait=10

Powerdown Sequence

No

rmalized

Execu

tio

n T

ime

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#+<. �����% 1�%� ����� "�& 1� �� �����

%�� ����� �� ��%� #��� �� �#'' ������ �� �� ����# �% �����% ��%� ��%� �����&

Energy vs. Shallow Power State

0

0.2

0.4

0.6

0.8

1

1.2

APDF, wait=1 APDS, wait=1 PPD, wait=1 APDF, wait=10 APDS, wait=10 PPD, wait=10

Powerdown Sequence

No

rma

lize

d E

ne

rgy

rgbyiq01

dither

rotate

routelookup

pktflow

8��� � �#+?. �����% 1�%� ����� "�& ��� ��

������ �� ��%� #��� �� ������ ���� � �� �� ����� �������� ��� ���� �� � � �#

����� �������� �� ��� �� �������� �� ��%#� �� ������ 2�� �� ������ ���� �� 8��#

� � �#+?& :� �"� ���� �� ������ ���� �� 8��� � �#+=� �� ����"� 1�%� ��%� # ���% �4��

����� � �"���� ���������� ��� �� ��"���� �"� ����"� 1�%� ��%� # 8��� �4�� +�&,-!

%��� ���� ��������� �� �� ����� �� 9&�;-& �� ��%� �� �� ��� ��B���� ����

�#+,� ��� �)��� �� ��� � ���� ��� �� �� �� ����� ��� ������� �� ��%#� �� ��#

����������& 7�%�"� � �� ��#� �� ������������� �� ����������� �� �� ����� ��� �#

<+

Page 62: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Energy*Delay vs. Shallow Power State

0

0.2

0.4

0.6

0.8

1

1.2

APDF, wait=1 APDS, wait=1 PPD, wait=1 APDF, wait=10 APDS, wait=10 PPD, wait=10

Powerdown Sequence

No

rma

lize

d E

ne

rgy

*De

lay

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#+,. �����% 1�%� ����� "�& ��� ��B����

Performance Improvement vs. Energy Reduction for

Powerdown Sequence (Base = APDF)

-12

-7

-2

3

8

-12 -7 -2 3 8

Average Performance Improvement (% of Base)

Avera

ge E

nerg

y R

ed

ucti

on

(%

of

Base) APDS

PPD

APDF

8��� � �#+=. 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� �����% 1�%� ��%������

<�

Page 63: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������ ����� �� ������ ���� ��� ��B���� �� ���� ������ �� �� ��%� #��� �� ������&

(�� �������� ��� � ������ ��� ��� ���� �� �����% ��%� ��%� ����� �� � ��������

�� �� ���� � ������ � ������� ����� � ����� ��� �"� �� ���� �� ��� ��B���� �� #

�� ����� �� �� ������& '� � ������ ����� ���� �� �������� �� �� �����% ��%� ��%�

������ �%�"� � ����"� 1�%� ��%� # ���% �4�� �� �� ������� �������� �� �� �4�����

�� ���� ��� ��#����� � �����&

% & ��� ����� ���� � � ����

�� �� ���� ���*����� ���� �� �� ����#��� �� ���� �� � ���������� �� �� ���

��� �� �� ��� ������ ��� �� ��� �� ����������� �� ���� �� ������� ����� ���

� ��� �� ��%� ��%�� �� ��� ���� �� ���� �� � ������� ���� ����� �� ���� ���� �

���� ��� ���� ��� �� ���� �� ��"������& (� ������ 2� ���� �� ��� ����� ������ ��

���� � ������ ��� � �������� �� �� ���� �� �"� �� ���� �� ��� ����& (� ����

��%� ��%� ����� �� �� ��� � ��%��� 1 ��� �� 1�%� ��%�� ���� �� ����������

��� ���� ��� �� %��� ���������� �� ���� �� ���� � "� � �� �� ����� �� ���� ������&

$�$�� ����!� ��������� ��#!�!�

(� �������� ��%� ���������� ������ �� ������ �� �����* ��& ��C�D �� �� ��������

( ����� 1 ������ � � �(1& (� �(1 %���� �� �� ��� �� �� ���� �� � �� ����

����� �� ������� ��� � ��������� �� ��� �� �� �����% ��%� ��%� �����& '� ��

��� ������ ���� ���� � ������ � ����� "����� �� ��� �� � ���������� ���� �� ����

��%� ��%� �����& ��������� �� �� �����% ��%� ��%� ������ �� ��������� ���"�� ��

%��� �� ����������� �� ���� � ����� "����� ��� ������������ ������ �� �� �� �����

��� ��� �� �� ���� ������ �� �� ������&

������� ��� ����� 0�� ���������

(� ����� �� ���� ������ �� ���� ���� %���� ���� � ��%� ��� ��%� ����� �"�

�� ��"� �� ��� ��#����� ����������E ��%� ��� � ��� ��%� ��� �� �� ��� ��"� ����

������ �� �� ����� ��� �� �� ����� ���*����� ����� ��� ��%� ��� � ��� ��%� ���

<9

Page 64: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

���� ��� ���� �� %����� ��� �� �� � ��#��� �� �����& 8�� ��& �� C;D �"� ������� ����

��� ����������� ��� �"� ��%� ��� �� � ������ %�� � �%�#��"�� ����� �� ��� ��#

����� � ����� �� ���� %�� �� ��� ��%� � ��%� �����������&

�� �� ���6� ��� ������ �� ����� ���������� �� ��%� ��%� ������� ���

%�2� � ��� �� ���� �� � ���� � ������ ���� � �� � ���� ���� ��������& (�

���� �� ��2�� �� �� ���� � ������ �� � ������� � ��� �� ���� ���� �������� ���

�� ��� � �"� ��� %�� �� ���� ����� %�2��� �� ���� ��� ������� �� �� �� �����

������ �� ����� ���*�����&

Performance vs. Powerdown Wait

0.965

0.97

0.975

0.98

0.985

0.99

0.995

1

1.005

1 2 4 8 16 32

Powerdown Wait

No

rmalized

Execu

tio

n T

ime

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#��. �(1 1�%� ��%� 3��� "�& 1� �� �����

Energy*Delay vs. Powerdown Wait

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1 2 4 8 16 32

Powerdown Wait

No

rma

lize

d E

ne

rgy

*De

lay

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#�+. �(1 1�%� ��%� 3��� "�& ��� ��B����

�� ������ ���� �� 8��� � �#��� �� �� �� ����� ������� �� %������ �� ��%� ��%�

�� ��� � � � ����� ���%����� �� �� ��� �� ��"���� �� ��%� ��� ��%� ������#

<�

Page 65: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Performance Improvement vs. Energy Reduction for CTP

Powerdown Wait (Base = 1)

-14

-9

-4

1

6

11

-14 -9 -4 1 6 11

Average Performance Improvement (% of Base)

Avera

ge E

nerg

y R

ed

ucti

on

(%

of

Base)

16

32

8��� � �#��. 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� �(1 �����% 1�%� #��%� 3���

�����& 3������ +< ������ �� ��%� ��%� ���� ��� ������ �� �"� ��� �� �� ����� ��#

� �"����� �� �&9,-� %��� ��� ������ ��� �� ����������� �� �&<-& (� ��� �����

�� ��� � �� ��%� �� ��%� �� ���� �� �� ������� ����&

�1� � ����� �2 ���

8� �� ���6� ��� ������� �� ��� ��#����� � ����� �� ���� %�� �� ��� ��%� �

��%� ������������ �� ��%� �� 8��� � �#�+& 7�%�"� � �� �� �� ����� ������ �� ��

��%� ��%� %��� �� �� � �����& �� ������ ���� �� 8��� � �#��� �� �� ����� ��� ��������

��� ��� %�� �� ����� ��� ��%� ��%� %��� "�����&

(�� �)��� �� ��� �� �� ���� ��� %�� � ��� �� ��%� �� ��%�� �� ���� �����

��%� �� ��%� �� � ������� ����� �� ������ ��/�!& '� � ��� �� �%�2���� ����

���� �� �� ��%� �� ��%�� �� ���� %��� �� �� ��� �� �"� ���� ���� �� ��� �����

�� ������ ���� � �� ��� �� ����"����& (� ����� ����� �� ������ ����� %������ �� ���

��������� �� �� ��� �� ������ �� ����� %�� �� ����� �� ������ ���� �� �� �4�����

�� ������ 2� �� ������ ���� �� 8��� � �#�9& (� �� �� ����� �� �� �� �� ��� %��

��%� ��%� %��� �� 9� ������� ��� ������ �� �� ����� �� �� ��� �� %�� �� ������

�� ������� �������E �� ��� 2���� ��%� ��� ��%� ����������� ���� � ����"��� � ��%

<;

Page 66: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Simulation Time against CKE penalty

1075000

1077000

1079000

1081000

1083000

1085000

1087000

1089000

1091000

1 8 16 30 32 34 36

powerdown_wait

sim

ula

tio

n t

ime (

cycle

s)

0

2000

4000

6000

8000

10000

CK

E p

en

alt

y (

cycle

s)

Simulation length

CKE penalty

8��� � �#�9. 1� �� ����� ������� �/� �������

������� ��� ���� ��� ��� �� %��� �� �� �/� ����� ����� �� �� �������� �� ��������

�� ������ �� ����� ���*����� �����&

'� � �� �� �"��� ��� �)���� ��� ��� ��4���*� �� �� ����� �� ������� ��� ��

����� �� ��� ����� �� ��� � �� ��%� �� ��%� �� ���� �� ��������&

% & ��� ����� 0�� ���������

8��� �� �#�� # �#�? ������ ��� �� �)���� �� ���� ��%� ��%� %���� � �� ����� �� ����

������ ���� � �� ��� � ��������� � �� �� �����% ��%� ��%� ���� �� ��� ���� ��%#

� ��%� ����& (��� ������ � � ���� ���� �� � ������ ����� �� ��18 ��%� ��%�

��������� %�� � �����% ��%� ��%� %��� �� ��� �����& �� �� ����� ���*����� ����

�� �� � ��� �� ��%� ��%� ����� �� � ���� ��� ��� �� ����"� ��%� ��%�� ���� #

��� �� ���� ��%� ��%� ����� ���� ��%� ������ ���� ��"� ���� ������ �� �� �����&

7�%�"� � �� ����������� ��� �� ��"���� ��� ������ �� ���� ��� ��� ����� �� ��� � �#

���� ���� ���� ��� ��B���� �� ���� ������ �� �� ��%� %��� "�����& �� %�� ��

�����% ��%� ��%� %���� �� ��% ����� ���*����� ����� ������� %�� �� ��� ��

��"���� �� �� ��%� ������ ������� ��� �� ��� ����� � �������� � �� �� �����%

��%� ��%� ����� �� �� ���� ��%� ��%� ����� ���� +� ���� ������&

<<

Page 67: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Performance vs. Deep Powerdown Wait

0.88

0.9

0.92

0.94

0.96

0.98

1

1.02

10 20 50 100 500 1000 10000

Powerdown Wait

No

rmalized

Execu

tio

n T

ime

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#��. �(1 ��� 1�%� ��%� 3��� "�& 1� �� �����

Energy vs. Deep Powerdown Wait

0

0.2

0.4

0.6

0.8

1

1.2

1.4

10 20 50 100 500 1000 10000

Powerdown Wait

No

rmalized

En

erg

y

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#�;. �(1 ��� 1�%� ��%� 3��� "�& ��� ��

<?

Page 68: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Energy*Delay vs. Deep Powerdown Wait

0

0.2

0.4

0.6

0.8

1

1.2

1.4

10 20 50 100 500 1000 10000

Powerdown Wait

No

rmalized

En

erg

y*D

ela

y

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#�<. �(1 ��� 1�%� ��%� 3��� "�& ��� ��B����

Performance Improvement vs. Energy Reduction for Deep

Powerdown Wait (Base = 10)

-10

-8

-6

-4

-2

0

2

4

6

8

10

-10 -8 -6 -4 -2 0 2 4 6 8 10

Average Performance Improvement (% of Base)

Avera

ge E

nerg

y R

ed

ucti

on

(%

of

Base)

100

50

500

10

8��� � �#�?. 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� �(1 ��� 1�%� ��%�3���

<,

Page 69: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

$�$�� �����!� ��������� ��#!�!�

�� ��������� �� �������� �&�&+ ��� �&�&�� �� �� �� ����� ��� ��� �� ������ �� ���#

�� ��� �#'' �� �����% ��%� ����� �������� ��� ��%� ��%� %���� �� ��������#

( ����� 1 ������ �������� "� � ������� ���� �� ��)� ��� ������ 2�� %�� ��)� ���

�����% ��%� ��%� ������ � �"��� � ��� ���� �� ��)� ��� ������ 2�& (�� ��������

��� �� �� 1�%� ��%� ������� ��� ����� �� �� �� ��� ������ ����� ��� �� ���

������ �� ������� ������� �� �� �� ��� �����������&

Performance vs. Powerdown Policy

0.96

0.97

0.98

0.99

1

1.01

1.02

1.03

1.04

1.05

1.06

CTP ATP HBP

Powerdown Policy

No

rma

lize

d E

xe

cu

tio

n T

ime

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#�,. 1�%� ��%� 1����� "�& 1� �� �����

������"� ( ����� 1 ������ � � �(1C�D ��������� ���� �� ��%� ��%� � �����

�� � �������� �� �� �� ��� ������ ����� ��& ��� ���� � ��� �� �%�2����� �� �����

�� ������ ��� �� �� ���� ���� �� �"�������& '� �� ��� %�� ���� �� � �� �� �����

�� ������� �� ����� �"� ��%� �� ��%� �� ��� E �� � ����� �� �� ��� � ������&

���"� ����� �� �� ��� %�� ���� ��%� �� ��%� �� � ��% ������� �� ��� �����

�"� ������ ����"� �� ����� �� ��4� ������E �� � ����� �� �� ��� � ���������&

7�%�"� � ����� ��%� ��� ��%� ����������� �� �� ���� �� �� �(1 ������� � �"��

�������� �� �(1 ������ ����� � �"��� �������� �� ��� ��� �"�����& �� ������ ����

�� 8��� �� �#�, # �#9�� ��� ���� � ��E �(1 ���� � �"���� � ������� ������ �"� ��

�(1 ������&

<=

Page 70: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Energy vs. Powerdown Policy

0.88

0.9

0.92

0.94

0.96

0.98

1

1.02

CTP ATP HBP

Powerdown Policy

No

rma

lize

d E

ne

rgy

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#�=. 1�%� ��%� 1����� "�& ��� ��

���� ����"���� �� 1�%� ��%� ������� ��� ���� �� �����% ��%� ��%� ����� ��

���� ��� %�� �� ������� �� �� �� ��� ������ 2& �� �� ��������� �� �� �����%

��%� ��%� ����� ��� ������ �� �� "� ������� �� ��� �� ��� �� ��� �� �� ����� �� ��

������ 2�� �� �)����"� ������ %��� ������ �� �����% ��%� ��%� ����� �� %���"�

����� �� ������� �� �� �� ��� ������ ����� �& (� 751 ������� � ������� "� ����

�� �� �����* ������ �� �� ���� ����C�D� ���� A��� ���& (� ������ ��A���� ��

�����% ��%� ��%� ����� �� � �������� �� �% ���� �� ��� �� ���� ��%� �� ��%�

���� ����� �%�2����& '� �� �� ���� ���� ��%� �� �� � �� � ����� �� �����%

��%� ��%� ����� ����� �� ����"� 1�%� ��%�� 8���#�4��� �� �� ����� ���*�����

����� � � ��%� & 7�%�"� � �� �� ��� �� ���� ��%� �� ��%� �� ���� ����� ��

����� ���*����� ����� �� �� ����� ��%� ������ %��� �� �� ������� ������ %���

����%��� ���������� ��%� ��"����&

8� ��%#� ������� ������������� �� 751 ������ ���� � ����� ��� �"������ �� ��

+�- �"� �� �(1 ������ %�� ����"� 1�%� ��%�� 8���#�4�� �� �� �����% ��%� #

������ %�� �� �� ������� �����% ��%� ����� �� �� ��#� ������� ������ 2�&

751 ���� ��� ������ � ������� ������� �� �� ��#� ������� ������ 2� %�� ���#

�� �� %�� ��� ������� ������� ��� ��� ������ ���������� ��� �"������ �� ����#

?�

Page 71: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

�� 2� �� %�� �� ��18 ������ �� ��� �������& �� ������ ���� �� 8��� � �#9+�

751 ��� ������ �"� ��� ��� �� ��"���� �� 9&��- %�� ����� �� �� �� �(1 �������

%��� ���� ��� ����� �� �"� ��� �� �� ����� �� +&9-&

Energy*Delay vs. Powerdown Policy

0.88

0.9

0.92

0.94

0.96

0.98

1

1.02

CTP ATP HBP

Powerdown Policy

No

rma

lize

d E

ne

rgy

*De

lay

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#9�. 1�%� ��%� 1����� "�& ��� ��B����

$�$�$ ��"��� �� .����� ����!����

(� ��# �% � ������ ��� � ����� ������ �� ��%� ������� �� �� ������ �� ��

�����% ��%� ��%� ����� ������� �� %��� �� ��� �� �� ���� �% � ���& '�

�� ��# �% � ������ ��%��� � ��� ��� �%�� �� �4������ �� ��� %��� ��"� ����

�� ����# �% �����% ��%� ��%� �����& (� ��1� %��� ���"� ��2� �� ��� ��#

�� �� ���� �11 ������� ����� �� ��� %��� ��"� �"� �� ���� �% ��� %��� �� ��� �

��%��� ���� �� 1 ��� �� 1�%� ��%� ����& (�� ������ �� ������ ���� �� 8��� �� �#

9� ��� �#99& ���� ����"���� �� �� ��# �% � ������ ��"� � ��� ��� �%� ����� �� ���

�� �� �� �� � ������ �� � ��)� ��� �%� �� ��� %��� %���� ��� �� �� � ��� #��� ��

�����& '� � �� �� ��2� ��"������ �� �� �����% ����� %�� ��%� ����� ���*�����

����� %��� ��� ������ �� ��� �� ���� �� ����� ���� ����# �% ������ �� ����� ��

%�� �� �% ����� �� ������� �� 7��#��% 1 ������ �� ���������&

?+

Page 72: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Performance Improvement vs. Energy Reduction for

Powerdown Policy (Base = CTP)

-4

-3

-2

-1

0

1

2

3

4

-4 -3 -2 -1 0 1 2 3 4

Average Performance Improvement (% of Base)

Avera

ge E

nerg

y R

ed

ucti

on

(%

of

Base) HBP

ATP

CTP

8��� � �#9+. 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� 1�%� ��%� 1�����

Simulation Time vs. Powerdown Policy, Hot-Row

Predictor Policy

0.85

0.9

0.95

1

1.05

1.1

APDF, P

redictor

APDF, O

pen

APDF, C

lose

d

PPD, P

redictor

PPD, O

pen

PPD, C

lose

d

Powerdown Policy, Hot-Row Predictor Policy

No

rma

lize

d C

yc

les

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#9�. 1� �� ����� '����� �� 7��#��% 1 ������ �� 1�%� ��%� 1�������

?�

Page 73: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Energy*Delay vs. Powerdown Policy, Hot-Row

Predictor Policy

0

0.2

0.4

0.6

0.8

1

1.2

1.4

APDF, P

redictor

APDF, O

pen

APDF, C

lose

d

PPD, P

redictor

PPD, O

pen

PPD, C

lose

d

Powerdown Policy, Hot-Row Predictor Policy

No

rma

lize

d E

ne

rgy

*De

lay

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#99. ��� ��B���� '����� �� 7��#��% 1 ������ �� 1�%� ��%� 1�������

(�* �������

8��� � �#9� ������ ���� �� �����"� ������ �� �� �������� ��������� �� ��� ��������

���� ��� �� ������#� �� �)���� ��� �� ���� ������ ���%��� ���� ��������& > ���#

�� ��� �� �� � ������ �"� ��� �)��� �� ������ �� �� ����� ��� ��� �� �����������&

(� ��%� ��%� �������� ��� ���� �"� �� �� � +�- ������ �� ��� �� ������������

%�� � ������ ������ �� �� �� �����& �� �� ���� � ������ �� ��� ��4�� �����

�� ���� ������ 2� �� � ���������� ����� �� ����� ��� ������� �� ������ ��

������ �� �� ������ ������� �� �������&

$�%�� �������/���� �'��� ��� �� ��#!�� ��������!��

������ �� �������� ��� ��� �������������� ��� �)���� � � ��� �����������& (�

� ����� ��� �� +< ����� �� ���� ��� �� ������� ����� ���� �� � ��"�� ��� �����E

�� ��� ���� ��� ��%� ��%� �� ��������� �� �� ��%� ��%� ������& � ��)� ���

� ����� ��� %���� ���� �� ��)� ��� ���� ���� "��� ���%��� ��� ������� ��� ���������

%�� ��%� ��%� ������ %���� �� � ��� ����& (� � ����� ��� ���� ���� ����� �%

���� ������� ���2 �� �� � ������ ������ ��� ���� ������ %��� �� ������

��������� ������ %��� �� �� ���& (� ��# �% � ������ ��@������ %�� ��%� ��%�

?9

Page 74: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Performance Impact vs. Energy Cost for All Policies

-20

-15

-10

-5

0

5

10

15

20

-20 -10 0 10 20

Average Performance Improvement (% of

Base)

Avera

ge E

nerg

y S

avin

gs (

% o

f B

ase)

Granularity

Bank Mapping

Powerdown Sequence

CTP Shallow PowerdownWait

CTP Deep Powerdown Wait

Access Scheduler

Constant Energy*Delay

8��� � �#9�. 1� �� ����� '�� �"����� "�& ��� �� ��"���� �� ��� 1�������

������ � � ����� %�� �� �� � ��@������ �% ����2�� � ������ ��� �� "��� ��� ������

�������& (��� ������4 ���� ������� ���%��� �������� ������ �� ��� ��B����

�� �� ����� ������� ��� �� �������� ��� �����E �� %��� �� ������ � ���� ��� ��

��� �� ��� �� ��&

$�%�� ��#!�� ��#���!��

��������� �� �� ��� �� ���� �������� �� ��� �� �� ���6� ��� ��������� �#

��� �� �� ���� %������ �� �� ���� ����� �� �� �� ����� "� ��� ��� �� ��"����� ��

�� � �� � �� 2�� � ���#�) ���%��� ���� �%� ��� ��� �� ������ ���� �� 8��� � �#9�&

'� �� �� ����� �� �� ���� ��� �� �� ���� ���� ���� ����� ��"� ��%� ��%�� ���

� ����� ��� ����� �� �� ����� �� �������� , �����!& '�� �� �� ��� ���� �� ������

�� �� ������� �� ������ ��� �� �� ��������� �� � ����� ��� ����� �� "� � �� ��� ���

�� ��%� ��%� ������� � ����� ��� � �(1 ��������� ������� ��%� ��� ��%� �� ��

����"� 1�%� ��%� # ���% �4�� ����� �����������& '� �� ��� ��B����� � ����� �� ��

�� ������*��� � ����� ��� ����� �� ���# ���� +< � 9�!� ��� �� 751 ��%� ��%�

��������� ������ ����� �� ����& ������ �� ������ ������� ��� ������ � ����#

��� ������� ����� �� ��� �"�� ��� ��� �� ��� �� �� ����� �� :��� ��% ���������

?�

Page 75: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������ ����� �� ���� �� ��� � �� �����&

8��� �� �#9; # �#9? ������ ��� �� �� �� ������ ��� �� ������������ ��� ��� ��B�����

�� � �� ������� �� �� �"� ������ 2� ���� �� ��� �����& ������ + �� �� ��#

�� �� ������ ��#��� �� ������ ���� ���� ���"�& ������ � �� �� ��%#��� ��� ��%#

�� �� ����� ������ ���� ���� ���"�& ������ 9 �� �� ������ %�� ������*�� ��

��� ��B����� � ������ %�� � ����� ��� +<& ��� � �� �� ���� ������ ������ � � "���#

���� �� ��)� ��� ����������� ��� �� � ���� ��#�� ���� ��� ��#�%� � ���� � �������

������ 9 �� �� ������� ������ ����� �� �� ������*�� �� ��� ��B����� � ������ ���#

������ �� �"� ��� �� �+&,- ���� ��� �� ��� ������ +� %��� ���� ��� ����� �"� ���

�� �� ����� �� ,&,-&

Performance vs. Policy Configuration

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

System 1 System 2 System 3

Policy Configuration

No

rma

lize

d E

xe

cu

tio

n T

ime

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#9;. 1� �� ����� "�& 1����� ������ �����

'� �� ���� ���� �� ���� ��� ���� ��� �� ��"���� � � ���� ���������� �� ��� ��

�4������� �� �� ������ 2�& '� � ������ �� � ������ %��� ����� �� ����� ��� �������

������� � ��� 9 �� ������� ������� ���� ���� ��� �� ��� ������ +&

?;

Page 76: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

Energy vs. Policy Configuration

0

0.2

0.4

0.6

0.8

1

1.2

System 1 System 2 System 3

Policy Configuration

No

rma

lize

d E

ne

rgy

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#9<. ��� �� ����������� "�& 1����� ������ �����

Energy*Delay vs. Policy Configuration

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

System 1 System 2 System 3

Policy Configuration

No

rma

lize

d E

ne

rgy

*De

lay

rgbyiq

dither

rotate

routelookup

pktflow

8��� � �#9?. ��� ��B���� "�& 1����� ������ �����

?<

Page 77: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

������� #

����������

(�� ����� ������� ���� ��� � � ��� ��#�������� ��� ��������� ����� �#''

���� ���� ��� ������������ ����� ��� ��� �� ����������� %��� ���� ���#

������ ��� ����� �� �� �����& (�� ���� �� ��� �� ���� �������������� ��� �����#

���� �� "� ���� ������ ��������� ��������� �� ��� ���#��#� �%� � ������� ������� ��

��� ��� ��%� ��%� ������� ��� �� ���� � ������ ��������� ������& �)� ���

�������� ��� ����� ���������� "� ������ �� �� ������$� ��� �� ����������� ��� �� #

�� �����& (� ����� �� ��� � � ������ �� ������� ����������� �� ������ ��������

�� ������*� �� ��� ��B����� � ������ ������� �� �"� ��� ��� �� ��"���� �� �+&,-

%�� �� ,&,- �� �� ����� ��� �������&

*�� +����� ����

��� %� 2 ������ �� �� ���� �� ��� ��#�%� � ��� �������& 5� �� ����� ����

��� ����� ������� �� �4�����"� ����� �� ��� �������� ������ ��������E �� �� ������

��"��������� ��� ���� �� ��� ����� ��� �� ��� �� �� ����� �����& ������������� ��

����� ���� ��������� � �%� � ��������& ��� ��#�%� � ����%� � �������� ��� ������#

���� �� � �%� � �������� ��������� �� ��� �����&

�� ��� ��#�%� � "� ���� ���� � ������ ����� � ����� ��� �"� �� �� ����� ��

��� ������& �� ��� ��� ������� �������� ���� � ��� ��� �� �� �� �� ������ ��

������� ���� �� ��� ������ �� %���� �� "������� �� �� ��� ��� ������� ������ ��

??

Page 78: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

����� �� �� �������� ������ ����� �. �� �� ������� � � �� ��% � �������� �� ��� ���

������� �������� ��� ���� �� ��� �� ��"���� �� �� ���� �� �� �� ����� ����� ��

����E �%�"� � �� ��#� ������� ��������� �� �� �� ����� ���� �� ���� ��%#��� ��

�������� %���� �� ������������& 7�%�"� � �� ��� ��� ������� ������ ��� ��� �����

����������� %����� �������� �"� � ���� ��� �������� �� ���� �� ��% �����&

� �������� %���� �� �� ����� �� �� ������ �� ��� ��� ������ ������������ ��)� ���

�������� �� ��)� ��� �������� �� �� ��� ��� �����& (� ��� ��#�%� � "� ���� ���� �

������ ����� ���� ���� �� ��� �� ��� �� �� ����� ���� ������ �� � �� ���� "� ����

��� ��� ���� ��� ��� �� ���� � ������� ��� ���� %�� ���� �� ���� ��� ���

������� ������&

8������� �� ������� �������������� �� �� ���6� ��� ��������� ����� ���

�� ��������� �� �� ���� �� % ����� �� ��� �����& :��� �� � ����� �� ���� ��� � ��

���� ���������� �� ��� �� ���� �� ���� �� � ���� ��� ��� �� ����� ������ �� ��

���� � ������&

?,

Page 79: people.eecs.berkeley.edukrste/papers/brianp-meng.pdfChannel Request Buffer Load Buffer Store Buffer Access Scheduler Power Scheduler DRAM Controller 32 32 Channel Request Buffer Load

$����������

C+D �������� ��� �� �(�?79��,51#;� ���.FF��%�����&��� ��&���F���F

���������F� ��F�� �F�;<�� 4�4,4+< �� 5&���

C�D H& �����*� �& /������ � G& H�A��2 ������ �& ��"���� ������� ��� �& P&

' %�� ��� ��� �� ���������� M���� ����%� � ��� 7� �%� � � ����� 1�%�

���� ���� �� '� �� ����� P���� � ��#��� ���+� G��"� 6����� ��4���&

C9D H& �����*� �& ��"���� �������� �& /������ � G& H�A��2 ����� ��� �& 7&

' %�� ������� #5���� ��� ��� �� ���������� '� � � ����� P��� +�#+��

����� G�% : ������ 6��������� M��&

C�D (� �������� ��� �� ������ 5����� 2 ����� ����

���.FF%%%&�����&�����2&���

C;D Q& 8��� �& ����� ��� �& 6����2 ���� � ���� ���� 1������� �� ��� 1�%�

���������� '� ���������� ������ <#? ���+&

C<D �& / �����2�� �& 5������ �& 7������� �& >� ����� 5& 1� ��� P& ����� ���

/& �����"�$� (� H���� #( ��� � ������� � '� ��� ����

C?D �& 6����2 �� ��& 1�%� �%� � 1��� ���������� '� ��������� G�"���� ����&

C,D �& ��4�� � 3& ����� M& /������ 1& ������� ��� P& :%��� ���� � ������

��������� '� ��� ��� ����&

?=