167

rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

������� ��� ���� � ��� �� � ����� � �� ������

��

������ � �

� ��������� ������ ����������� ����� ��������� ������ ����������� ����

� �������������� �������� �! "���������� ���#

� ������������ ���$����� �� %������ �����!������ �! ���

��&����$���� !�� ��� ������ �!

'����� �! (������%��

��

��$%���� ������

�� ���

)*�'��"+ ' , -

�! ���

� ,+* "� �! ��. /-* �0 �+*1+.+�

��$$����� �� ������2

��������� ����� � ������ ������������ ���� �������������� ����� ���������������� ���� �����

%���� 3445

Page 2: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

"�� ������������ �! ������ � � �� �%%�����2

����� ����

����

����

����

���������� �! ����!�����0 ���6����

%���� 3445

Page 3: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

������� ��� ���� � ��� �� � ����� � �� ������

��%������ %���� 3445

��

������ � �

Page 4: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�������

��%��� ��� %����� ������ �� *���!����$��� ��������

��

������ � �

'����� �! (������%�� �� ��$%���� ������

���������� �! ����!�����0 ���6����

(��!����� ������� 7�����0 �����

������������� ������� ����� �������� ��� �� ����� ��� �� ������ �������� �����

����� ���������� �� ��� �������� � ������� �� �� ����� �� ���� �� ��� �� ������ ��

���������� �� �� �!����� "� �� ����#���� ����� �� ��� ������ �� �������� �$�����

�������� �� ���"��� �� ��������� ��������� %���� �� ��� � ����������� ���������

����� ���� ������� ������ �!��� ������� �� ������

������ �� ������������� ������� �� �� ��� �� ������ ������� ��� ��������

�� �� ������� ������� �� ����� �� �� ����� �� ���������� �� �� ����� �� �� �����

����� "� !����� &� ����� �������� �����'�� �� ������� ��� &� ��� �������������

������� �������� ��� �� �����"�� ����� �� ����� �� �� ��� ������ �������� �� ���

����#����� ����� �������� �� ��!�� ��������� (����) �� �� ������� ������� *���

�� ��������� �� ���� ����+����� ����� ������+����� ������ �����'��� ���� �� ������

�� ������ ����� ����� ������ ����� ���� �� ���"��� �� ����������� ��� ��

Page 5: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,

���� ���� ��������� �� "� ������ �� ��� ������������ �� ��!� ����� �� ����� �����

�� ���� �� ���� ���"���� �� "� ��������� &�� ����� ������ ��!�� ���������� ���

��������� ���� ����� ������ �� �� ������� ��!� �����'��� �������� �� �� �������

������� -� ��� ��� �� ����� �� ���� �� �� ��� (������) ������� �������� ��

����� �� ����

&� (����� �� �������������) ������ �� �� �"���!���� �� ��� ������ ����#

��������� ������� ��������� ���� "��� �� ��������.����� ���� �$���������� ��� ��

��.� �� �� ���"��� �� �� ��� ��������� ��� ��� ���������� �� ��� ������������ ��

�������� �� ������ ���� ����� �� ������������� ������� /���� �� ��� �� ������

���������� ���� ���� ���� ���������� ��� �� ����������� ��� ��� -� ��� �� ��� �����

�� ������ ���� �� �"������ ��������� ���� �������� �� �� ����� �� �� ����������� "����

���������� -� ��� �� ������ ����� ���� ������ ���� ��� �� ������ ��!� ���������

���� �������� -� ��� ������� �� ������� ������ ���� ������ ��� �� ����!�� �����

�� ���������� �"���!���� �� �� ������������� ������� ���"���� �� "� ���������� ����

���� �� ��� �� ���� ���������� 0��!�� �� ������� ���� �� �����1 �� �������������

-� ��� �� ������� � ����� ������$��� �� ����� � ���� ����������� ��� ��

��.� �� �� ���"���� �� ��!� ������ �������� �� �� ����� �� �� ��������� �� '��� ��

����!��� ���� �������� �� ��� ��� �� ���� �� 2� ��������� �� ����� ������$��� ��

�� ������ ���� �����!���� ������� �� ���� ��� �� �� ������������� ������� ��������

��� ������� �� ��� ���"���� �� ���� � �� �������

3������ �� ���� ���� ���� �� ��������� ���������� ��� � ��������� ���#

������ ���������� ��������� %��� �� ������ !����� � ������ ������� ���"��� 4����

Page 6: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

5

����� �� �� ������� ������ ���� ������ �� �� "�� �� ���������� ������

��"�� �!����� ���������� ��� ���������� � ���� � ��� �� %� ���"�� �� ���������

����!��� ���� ���� � �� ��������� �����������

��������� ����� � �����6���������� ��������� ���

Page 7: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�!

��������

���� �� ����� ��

� ���������� �

� � ������������ �� ������������� ������� �� , ��������� �� �����!���� ������� 7� 5 &���� ������� �� ������"������ 8

� ��������� ������ ��� �������� ��

, � ����! �������� ��������� ��, , ���� �6� ���������� �� �������� �7, 5 �6� �������� �8, 9 ������� �"���!"�� ����! �������� ��������� ,,

� ������� �� ��������� ������ �

5 � ������ �� ����� �������� ,:5 , ����� ������ ,;5 5 ��� ����� ������� 5�5 9 <$��������� 5=5 7 6��������� 9,

! ������" # ��$��% ���� ����� �� $�� ���� ��� ������ �

9 � ������ ���� 799 , ������ ���� �������� 78

9 , � 6������������ �������!� ������ 7;9 , , ������ ���� ������� :,9 , 5 2� ��������� �� ������$��� :=

9 5 &� ��>������ ����� ����� =?9 9 ������ ���� ����� =9

9 9 � &����������� �� 0�@1�6�� =79 9 , �������A � ����� ��� ������ ���� ==

9 7 ��� ��������� ������� 8?9 7 � &� ��� �� '���� ����� ����� 8?

Page 8: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

!

9 7 , &� ��� �� ��'���� ����� �����A (������) B �� ��������� ��� ���#���� ���!������� 8,

9 7 5 4������ ���!������� �� �� ��� �� ��'���� ����� ����� 899 : <$��������� 8=9 = 6��������� �� ������ ���� ;?

#��������� �$����� &���� ��� �������� $����� ��

7 � ������������ �?:7 , ����� ������'����� ��?

7 , � C����� ������� ���������� ���7 , , ����� ��������� �� ������������ ����� ��������� ��9

7 5 C������ �� /�!�� �,�7 9 3����� ����������� ����!��� �,;

' (���$������ ��)

*�+$������% �!�

Page 9: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

!�

���� �� �����

� � *������� ��������� ��������� ,

, � 7$7 ����#����� �� ��� �� ���� ����� � � �� ���� ��� ��� �� �� ����� � �5

5 � 01 �?$�? ����#����� �� ��� �� ���� ����� � � �� ���� ��� ��� �� ���� ��� � 0"1 7$7 ����#����� ��� 7 ��"���� 0��������� ��� ����1� ������� "� !������ �� ����� �� ,� 5� 9� � 58

5 , 01 <$�������� ��� �?$�? ����#����� ���� �� ����� ���� �� ��� !� �������"�� 6����� ���� �� ��� �� �����D ���#�� ���� �� ��� E F ?�7E�D����� ���� �� ��� E F E� 0"1 <$�������� ��� 7?$7? ����#����� 5;

5 5 01 ������� �� �$�������� ��� 7$7 ����#����� ��� ��"���� ���� �� ��������� �� ��� !� ���� ���"�� 6����� ���� �� �� �����D ���#�� ���� ����� E F E�D ����� ���� �� ��� E F E� 0"1 ������� �� �$�������� ��������� 8$8 ����#����� ��� ���� ��"���� 9?

5 9 &� ���"���� ���� ����� ���������� �� "�� ������ ��� ����� !� ���"#"����� � &� ���� 0��� �� G��1 ������ ����� H�,� �� �� ���� ����� !�.��� ����� 9=

9 � 01 � ��������I�������!� ����� ��� � �6�� �� ���� � ����� �� 0�� �1#���� �� ������� �� � ���0�1 0"1 � ������ �������� ������������� �� ��������� �� ��� ����� ���"�� �������� �� ����� �� ������� �� ���� ������ �� �� �������� � ������������� �������� 0�� �� �1 �� � �� ���� ������ �� � :?

9 , ����� ���� �!������ �� ������ � ����� �������!� �����I�������� :99 5 � ��>������ ���� =�9 9 ������� �!������ �� ������ � ����� �������!� �����I�������� =79 7 01 7$7 ���������� ��� �� 8 �"���!����� 0"1 ������� ������� ����� ��

����� �� ������$ ������������� �������!� ������ &� ������� ���.��#�� ���� ���� �� !��� �� �� "��� ������ �� BD �� ����� ���!� �� �� ��������� !��� ����� �� ����� �����D �� ����� ���!� �� �� ��� ������ !�������� �� ������$ ����� &� 0����� �������"��1 � � � "�� �� ��� ������� 8=

Page 10: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

!��

7 � *������� ��������� ��������� �?=7 , <$����� �� ����� �������� 0���"���1 ����� ����� '� ����� �� ����#

����.���� ������"�� �� �� ��$� 0����� �����1 �� ���� ���� ������ 0��#��������1 <� ����� ������� ���� �� ���#� ���� ����� "������ �� ���#������ !��� �� ���� !��"��+��� ����� 0�������� ����� �����1 �� ������ �� ������� �� ���������J� ������� ��� ������ ������� �������� ���� �#$��+�� �� ���� !��� �� �� ���� !��"�� 0� ������� �� ������1 ���� �� ��� ������� &�� ����A ��������� �� K�#����� �� ����� �������� �$�� ���� ��� !��"��� &�� ����A ��������� �� K�#����� �� ������� ����� �� ��������� 0"��1 ���� *�����A ��������� �� K� �� K� ������� ������������� ����� ������'�� "� L;:M ��8

7 5 &� ����� ���� �� �� ���� ��������� K ���� �� �?� �� ���� �� &� ��#������� �� �� ��������� ���� ��������� "� ��� ������ ��!�� �� ������ ����� ���� ? �� �� �� ����������� ������� ������ &� ������ ����� ��� ,������ ��!������ �� �� �������� ���� 0��������� ���� �� �����#��� ���#����� ����� �� ������ ������"��� �� ���� ���� �������� ������ �$������ N��� '����� �� ����� ������ ����$������ �� �� ����!������ � �� L:=� ,�M 1 <!��� ��� �������� �� �������� ���� �� (�����)�� �� ���� ����� �� �� ���� ����� ��� ��� .��� ����� O��� �� ���������� ���� �� �� �� ����� ��#���������� ���� �� �� ���������� "������ K �� ���� ��� ��;

7 9 ������ ���� B ���� �� ���� ���������� ��� �!����� &� �������� �������� ������� ������� ����� �� ���� �������� �� ������� �� ��� �� ���������� �� �� �� �� ��� ����� <� ���� ��� � ���� �� �� �������������� ���"�� ������� �,5

7 7 /��������� �!����� ����� ������� �� ������ ������ �,:7 : ��������� �� �!����� ���������� �� ������ ���������� 0"��� ����� ����D

������ ���� !��"��1 !� ������ ��� ����� 0��� ���� ����1 ������� �� �� ��� � �� �� 0"��� ���������1 !��������� �,=

7 = ��������� �� �!����� ���������� �� ������ ���������� 0"��� ����� ����D������ ���� !��"��1 !� ������ ��� ����� 0��� ���� ����1 ������� �� �� �� �� � 0����� ���������1 ��������� �,8

7 8 6����� �� ����!��� ���� � �� ��������� ����������� �����.�� "� �������� �� ����� ���������� L������A ���������������� M �5?

7 ; ������ ���� B ���� �� ���� ���������� ��� %���� ����������� ����!��� &� ���� ����� ��� �� �����#���� ����� �5,

7 �? ����� �� �$���� ��������� ��>�������� 0� �������� "� �� ��"��� ������#���1 %���� �� ���� ����������� ����!��� �5:

Page 11: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

!���

����� �� � ���

3����� � ���� ��� ��������� ����� ����� ��� ������� �!���� ������� ��

���������� �������� �� ���� � ������ ������� � � ������ ����"��� �� ���������

����� ��� �� �� � ������ ���� �� "�� �� ����� �� ������� ��������� �� �� �����

�� ������ ������ �� ��� ���� ����� !� "��� �������"�� ������ �� ��� �� �������

������ ������ �� � ���� ����� �� �� ���� �� ��������� ����� �������

��������� �������J� �!��� �� �� �� ��!��"�� �� �������� ��������D � ������ ����������

���� ��� ����������� ����������� ��� ��� �� ���� ���!������ �� !� � �������������

�� ���� ��� �� � � ��� !��� ������� �� ��������� ���� ����� ��� �� �������

�� �!���D ������� ��� ���"��� �� �� ������ ����� �� ��� ����� ������!� ��

�������� �$�������� � ��� ��� ��������� ���� ����� ��� ������ ���!�������� "���

��� �����������

� ����� ��� ���� �� ���������� ��"� �� ��������� ����� N���� -������

��� �� �!�� �� ��� 8 ���� � �����'����� ��%������ �� ������� �� ������D �������

��� �� �� ������� ����� ����� �� � ��� �������� ��� ���� ����� �� �J� ���������

������ ���� �� ��� � �� � ������������ �� � ����� ������ �������"�� ����� ��

!� � �� � ������ �� �������� �!�� �� ����

�� �$�������� � ������ ������� ����� !� "��� ��� ������ "�� ��� ��

���� ���� �� ������ �������� � *������� 3�� ���� ��������� �� ��� ��� �����������

�� �������� ����������� �� ����"�������� � ����� ���� �� ��� ���������� 6!�� ������

3����� *�� 6!�� *���� /�� ����� O��� �� 3������ 6��� /��� /����>�� N���

P������ C������� ��� ��������� N�!�� ������ 2������ ��!�������� ��� ������

Page 12: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�$

/�� ����� 6���� &�� ���� &������� Q�� -����� <��� R���� �� ����� S���

&�� ���� � ��� "���'���� ���� ���!�������� ��� ����� *������� Q��� ��#

����� ����� ���� ������� ����� �� *�� 2� ���� �� �� ���� ���� �� ��� ���

���� �� �� ���� ��������� �� ����� 5 �� ���� �� ����"������ ��� 6���

/�� �� ����� ������� � ��� ��� ����� ����T! �� ���"�� �����T� ��� �� ��� ��

�� "������ ��������� �� <��� R��� ��� ������ ���!�������� �������� �� ���.�� ����

�������

&� ���� ��������� �� ����� 7 �� ���� �� ����"������ ��� /����>�� N���

�� �� ��������� �� ��� �� �$��������� ���� ��� "������ �� ��������� ���� �����J�

������ ����� � � ��� ����"��� �� /����>�� ��� ��� ����������� ���!�������� "���

������� ������ ��� !� �����'����� ��%������ �� �� � ���� "��� �������������

������� � � ��� ������� �� /�� ���� ��� �� !��� �����'��� ����� �� ��� ��

� �!� �� ������� ��������� �$���������D �� 6��� *����� �� �� 6!�� ��� ��� ���

������ ���!�������� �� ����������� "��� ����������D �� ��������� ����� ����� ������

� ��� �� ��� �� ������� �� �$���������D �� �� ����� �� ��� �� ��� �����.��� �����

��� �$��������� ���!�������� ��� 6��� *����� !� ��� �����'����� ��%������ ��

������� "��� ��"��� �������

&� ���� �� ��������� "� *������� ��������� �� ��������� ������

��������� &�� ���� �� ��� ��������� "� ��@ �4�� ���� 6��/?9#;:#�#?59�� @O�

���� O???�9#;=#�#?;9�� �� O����� ������� 3�������� ����� <��#;8=59=9 �� ���#

;;88:9,

Page 13: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

������� �

�����������

�� ��� ������ �� ��!� � �������� ���#�������� �!��!��� �� �� ���������#

���� ������� �������� �� �� ���� �������� �� ��� ����� -� ��� ������"� ���� �� ��

������ �� ������������� ������� �� �� ���� ��� �� ������� �� ��!� � ������� ��� �� ����

��� �����������

��� ���������� �� ��� ������� �������

P�!�� ��������� ��� � ���� �� 3����� � �� �� �� �� ����� �� ����������

������� ���������� �� ��� �� %�U

@�� �� �� ��������� ���"���� �� ����'��� ������������ �� ������� �� �� ��

�� ������ �������� ����� �� �������� ������� � ��������� �� %��� �� � �$���� ��

�������� ������� �� �� �� �$�"��� ������ ���������"�� "�!���� �� ���� �����

�� ���� ������"���� �� ���� �� �� ��!� �� ���$������ ��� /��������� ������� ���

���������� �� ������ ��������#����� ���"���� �� �� %���� ��������� ������ ������#

Page 14: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,

3����� � �A *������� ��������� ���������

Page 15: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

5

���� �������� �� ��� ��������� �� ��� �� ������� ����� &�� ���� �� ���� ���"���

�� ���� ���� �� �� �� ����� ���� �� ��� ������ ���� �������� � ������ �������

�� ����� � �� �$�"��� �� �������� �� ���� �� ������������A &� ����� �� � �������� ��

���������� "� ��� ����#���� ����������� �� �� �� ���� "� ������� ���� �� ���������

���� ����� ��� ��� ��� ��� ������� ������ ����� �� ��������� ������� �� ���� ��

��������� �� ��� ����� �"���!"����� �� ��������� �� ������ ����� �"���!� �� ���#

������ ��������I���� ��������D "�� ������� ��� ���������� "��� �� ���� �� �� �������

�� �� ����� �� ����� �� ������� ���� ������� ������� �!��� ������� �� ������ �� ����

�� �� �� ��

-� ����� ������.��� �� ����! �������� ������� 0�6�1 �������� �� ����� ,

*���%�� �� ������ ������ 0��� � �� ���������1 �� �� �� ���������� �� ����������� �

"���� �� ���� (����) � �� ���� �� ���� 3�� �������� �� ���� �� ��������� ����

"� ����������� "� ��� �������� �� ���������� �� ������ �� �� ������ �� ������� ���

������ ��� ��!�� ����� ���� �� ����� �� ����� @�� ��� �� �� ������ ������ �� ��

�� ������ ����� �� ��� �� (����) ������ ��� � ���� ������������� �� �!����� ��"���

�� !��� ("�) ������ ��� � ���� ������������� �� ������ � ���� �� ��!���� ���

�� ���"���� �� "� ������� ����� �� �6� �������� ���� �$����� ������� �������

�� ��"�� �!������ L;;M� ��!������ �������� L87M� ����� ��������� L:9M� �������

������� L,?M� ���!��� ������� L,:M� �� "������� ����������� ������� L9=M

������������� ������� L;;M ��!�� ��� �� ����� ��� ���!��� ���"���� ����� �� ��

�6� �������� 6������ ��� �������� ���������� ������� �������� ����� !� �������

��� ��� ���"����� �� ���"�� �� ������ �� �������� ����� -� "���%� ������"�

Page 16: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

9

���� �� �� ������ �� �� ���� ��� ������ ������������� ������� ���"���� ����������

���������A

� 3����� ���� �� �� ����� �� �� ��������� ���"���� �����'����� ������ ���������#

���� ������� ��������� ���� "��� �� ��������.����� ����� ���� �$���������� ���

�� ���"�� �� ���� !��"��� &�� ���"���� ��� �� ������"� �� ���� ����� ��

����� ,� �� ����� � �� (����� �� �������������) L�9M �� �� ������ �������

�������� �� ���!"�� ���� �� �� ���� "����� �� �� ���������� ���"����U

� ����� ���� �� �� ���"��� �� �� �� (����� ��������) �� ����� �� �������������

�������� �������� � �� ������� �������� �� ����� �� 0��1 ��� �� ���������

�� %���� ����� �� ��� �� �� %���� "��� -� !� �����'��� ������� �� �������

��� ��������� "�� � �� ���� ��� �� ����� 5� ������ ������ �� �������� �������

"� ������ �� ��������� ���� ����� ���������#"����� ������ �� ��� �� !��� ����

����������� "���� ������ �� �� ������ ����� ��������� �� �� ��� ����� ����

���� ���"����� �� �� ������ ������������� ������� �������� �� ���� ����� ��

������U

� ����� �"���!"����� ������ �� �� ������� �� ��� �� ���� �� �� ������ "���� ���#

������� ����� "� �"���!�� �$����� ��� � ��� �� ������� �� ��������� ��

������ ��� �������� ���� ����$������ ����� �"���!"����� ���� �� ���"���

���� ������� �� ��� ������ ������������� ������� �������� �� �������"��

�� "����� !��� ������ �� ���� �� ��� ������� /�� �� �� ����� ����� ���� ��������

��� ������ �� �� �� ���� ��� ����$������ �� �� �� �����U

�� ��� ������ �� ��!���� ������ �� ������ �� ������ �� '��� ��� �� ����

Page 17: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

7

������ @�� ��������� �������� ���� ��� ���� ���� �� �� ������� ������� �"���!"��

�������� �� �� ���� ��� ������ �� ����������� �� ��������� ���� �� 3����� � � ��

����� ��� �� ��� !���� ������ ��� � ������ ������'����� �� !���'����� �� �� ������

���� ������� ������� �����

��� ��������� �� ��������� �������

�����!���� ������� �� ����� ������ ���"��� �� ����'��� ������������ �� ��

"� ����� �� � ���� �� ������������� ������� �� ��� �� ���� �� ������� ������

���� ��� ������ ���� ����� �� �� �� ���� �� ��� ���� ���#��� ��������� ���� ��

�� ������ ��������� -��� ��� ��������� �� ��� ���� �����'���� ��� ����� ��� �� ���

�����!���� ������� �����'����� ����� ���"���

3�� �������� �$����� �������� ������� �����!���� ������� ������� �� ��

���"��� �� ���������� ����� ������ � ��� ������� ��!�� !����� ����������� ��

(�������) �� �� ������ 0��� � ��� ���� ����������� �� ������� �� !����� ������

�����1 /���� �� ������ �� �� �� ��!�� ������� ��� ���������� �� ���� �$���� �������J

�������� �� ���������� ��������� ����� �� �� ���� ������� � ��� ������ -�

���� ��� ��� �����!���� ������� ������� �� '� ���� ��������+�� ����� �� L5?M

�� ���� ����� ������� L:;M+�� ��� �� -�� ��� ������ ���!��� �� �� ��� ���

��� '���� �������� �� ��� �� �������� � �������� �� �� ��� ������J� �������� �����

�� � ��� ������D �� � ������ �� ��� ���#��� ����������� ��� ������ ��� ���� ��

���� �� ��� �� �� ��� ������ �� ���������� 0��� � �� �� ������ �� ��� ������

���� �������� "�� �� ��"�� ���� �������� ��!��� �� ���� �� ������ ����� ���� ��

Page 18: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

:

�� �� ������� �� ����������1� ��� �� �� ��� �"���!� ��� ����� ������ ���� ���

�� �������.� �� ���� ���� �� ������

�� �������� �� ������������� ������� �� ����� ������ �� ��� ������ �� �����

������� �� �� �� "������ ��� ���� �� �������.� �� ���� ���� �� ����#���� ������

�� ��� ������ 3�� �������� �� �� ���� �� ���� 0�� ���1 ��� �� ���� �� ��!� :5� ��

�� "� ���#���!�� �� �������.� �� �� ������� � "��� ������������� "� "������

0�� "������� ��!�1 �� �� � ��� "�� �� ��!� �= &�� (������ ���������) ���"���

���� �� ��� ���� �� ���� �� !��� ��� ������� �� ����� ��� ���������

3������ �� �� ������ ����� �� ������������� ������� ���"���� ��� ���� ��

�������� ������ �� ����� �� �� �� �����!���� ������� �������� �� �� � ���!������

��������� �� ������ �� ���� ��� �� �$����� �� �������� �� �� �� ����� �� ���� ���

����� ������� ��� ���������� ��� ������� ��� �� �� ����� ���� �� ���� �� ��� �����

�������J� ����������� �� ��� ��� �� �$����� ����� �� ���� ��������� �� ������ ��

��� ����� �� "� ���� �� "� ���������� �� �� ������������� ������� ������� ���!���

������� �� � ���!������ �$�����!��� ������ ���������� �� %��� �� ��������� ������

���� 0��� ��� ���� ������!�� �$����� ��� �� %��� �� ��������� ������ ������� �� ��

����D ��� �� ������ ���� ��� ���� ������+��� ����� 71 &� �� ������ ������

���� ����� ���� ��� ��!� �� !��� ���� ��� �� �� �� ��������� %��� ������ �����

"�� �� �� ������ �� ��� �� ���� "� ������ �� �!����� ��� ��� ���������� �� %���

�� ��������� ������#��#��!�� &��� �� ����� �� �� ���� ���� �� ���� ��� ��

�� ���� �� ��� ���������� �� ���� %� �� ��������� �� ������� �������� �� ��

���!���� ���� &�� �������� ���� ������������� ������� �������� �� ���� �����'�����

Page 19: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

=

���� (��) �� �����!���� ������� @�� �� �� ���� �� ��� ���� ���� "� �� �$����� ���

�� �� �������� ����� �� �� �� ������� �� ������������� �������� �� ��� ��� ����

���� �� "� �$������� �� ��!� ������� ������� ��������

C����� ��� ������ ���� �� �����!���� ������� �� �� �� (������� ������� ) L7,�

�?,M 0�� ��� ���� �� ��� �� �������#������ ������ �� "������ ��������� L8;M 1 &�� ������

�� �� ��� �� �� �� ����� ������"�� �� �������� �� ��� �� �����"�� �����'��� ���������� 3��

�������� �� �� ��� ������ �$����� ���� �� ����������� �� �����"�� ��������� ��#

���� ���� �������J ������� �� ��������� �� ��������+��� �� ��� ���� �� ���������+

�� ���� ������ �������� ��� �������� �� ���� ���� ��� �� ���������� �� �� ���������

����� ���������� �� �� ��������� ���������"�� "� ������#��.�� ����� ������� &��

�����'����� ������� �� ���� �� �����'��� �� �� ���� �������� �� �� �� ����� ��

�� (����) �������� "������ �������� ������� ��� �� ������� ������ ��� ������

�� �� �$������� ���������� �� �� ����� ������� �� ��� ������ ����������� ��� ��

���"���� ��� ����� �� !� ���������� ��� �������� �� ��������� ����������� "� �����

��������� �� ���� ��� '�� ���� �����'�� *�� �� �� ���� �������� "������ ����� ��� ��

"� �� ����������� ��� ��� !��� ���������� �� ��� �� �����'��� ���������� ����� ���

�� ��� �� ���� (����) ����� �� ������� �� �� ������ �� '� ��� ����� �������

���� �����'����� �� ����� ��� �� �� ����� �� �� ������ ������� ���� �� �� ���"��

�� (���� ��������) �� �� ����� �������� "�� ��� �� �� ���������� (������$���) �� ��

����� 0������"����� ��1 ������� �� ��� ������ ����������� L�?,� 7,M &��� ������� ��

���!�� �� �� �����!���� ������� ������� ����� �� ��� �� �� �� �����!���� ������� ��

"� ������ �� ����� 9� �� ���� �������.� ���� �� ���� ������� �� �� ������� �� ���������#

Page 20: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

8

���� �������� �� ��� ��� "� ����������� ��� �������� �� ���� ���� ��� �� ����������� ���

������������� ������� ���"���� �� �� ��� ����!� ������ �������� ��� � "����� ��

�� (����� ��.�) ������ �� ���� ����

��� ����� ������ ��� ����������

&� �������� �� ��� ����������� �� ���������� � ������� �� ����� ,� �� "����

"� ������.��� �� ����! �������� ������� 0�6�1 �� ������� �"���!"�� ����! ��������

������� 0�@�6�1 ��������� -� ��� ��!��� ���� ������ �������� ��� ���!��� �6���

����� ��� ��� ��� �� �� �� ��� ���� ����� �� ������� ���� �� �� ��������� ���

������ ��� �� ���� ���"���� �� �� �@�6��

�� ����� 5� �� ������"� ������ ������� ��� ������ �� �� ������� �� ����#

��� �� ��������� ����� �������� �� ��� �������� ���� -� ������"� �� ���������

����� ������� � ����� �� ��� �� !��� ���� ��������� "���� ������� �� ��!� ��#

��� �� ����� �� ���� �� ���� ���"���� �� "� ��������� -� ��� ��!� ����������

��� ��������� ���� ����� ��������� �� �� ������� ������ �� �����'��� �������� �� ��

������� �������

����� 9 "����� "� ��������� �� ������ ���� ��������� �� ��� �� ��������

��� �������� �� ���� ��� �� �����"�� ����������� ��� � �6�� �� �� ������� �����

��� (�������) �� ��� �!������ �� '����� ���� ����������� @�� ������ ��� ������

���� �� �@�6��� �� ����� ���� �� ���� ���"����A -� ��!� "����� �� �� ����� �� ��

������ ��� ��������� �� �� �$�� ����������� ����� � �� ���������� �� � � ����

��������� ���������� �� �� ��������� �� �� ���"���

Page 21: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;

3������ �� ����� 7� �� ���� ���� ���� �� ��������� ���������� ��� %���� ��

��������� ���� �� 3����� � � -� "���� ��� ����������� �� �� ������ ������'�����

�������� �� ��� �� ���� �������� �������� ����� ��� �� ��������� ������� -�

��� ���� ��� ������� ��������� '��� �� ��� �� ��������� �!��� �� ��� �� ��� ��

%� ��������� ����!��� ���� ���� � �� ��������� �����������

Page 22: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�?

������� �

������������� ������� ���

��������

�� ��� ������ �� ������"� �� ������������� ������� ���"��� �� ���������

�� ����! �������� ������� 0�6�1 �� ������� �"���!"�� ����! �������� �������

0�@�6�1 ��������� �� ����� ��� �� ��� ��������� �� ������� �� ���� "� ���� ��

�� �������� �� ��� ����������� -� ��� ������"� ���� �� �� ��� ���� �� ��������

�� ������������� �������� �� ��� �� ��� �������� ���"���� �� �������� ����� ��

������� �� "� ����� �� ��� ��������

3�� ���� ������� ������������ �� ������������� ������� �� �6�� �� ����

������ �� ��� ����� �� ������ ��$�� ��� � L;;� �=� 87M� �� �� ���!�� "� N��"���� ��

� L98M

Page 23: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

��

��� ������ ����� ��������

����! �������� ��������� ���!��� �������� ��� �������� "��� ������� ��

����� �� �� ��� �� ���������� &��� �� ��� �����"�� ��� �� ��'���� �6��� ��

��� �� ���� ��'������� �� � ��!���� �� �� ���� ������������� �� �� ���"��� @��

��'������ �� �� � �6� � �� ����� 0������ ����0�1�� �� �1 ���������� ��A

� �A � ��� �� �����"�� ����� �� �� �����

� �A �� ������$ ���� �����+����� 0 ���""����� ������"����� �!�� �1

� �A � ��� �� �����"�� ������� ���� ��� �� �� ����� �� �� ���� ���� 0��� � , 1

� ���0�1A &� ���� ��������� �����+������ 3�� �� ���� � � � �� ����� � � ��

��� ��!�� �� ������"����� �!�� �� ��� ���� �� ���� ������� ��������� �� �� ���

����� � �� ���� �

� �A � ���"�� �� L?� �M ����� �� �������� �����

� � A � � �A &� ����� ��������� "������ "� ���� 0��0�1� ���� ��� �� � 1

<!���� �� � �6� ������� � ������� -� "���� �� � ������ ���� �� ���� ����

�� ������"����� � �� �� ���� ���� �� �� ��� !� �� ���� � ����� ��� � ������ ��

��� ��� ���� ���������� �� ���� ���� ���� ���� �� ���""����� ��������� ������"�����

�����0�1 *� ��������� ������� ������� �� ��!���� ���� �� ����� �� ����� ��� ��� � � � @��

���� ���� �� ��� �� ��� �� ���������� ������ ���� ��� �� ����� �� �����

�0��1 V ��0��1 V ���0��1 V � � � � 0, �1

Page 24: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,

/���� �� �������� ����� �� ��� �� �������� �������� ���� �� ���� ����� ������ �"�����

�� ���� �� �� ����� �� "� ��!�� ������ ����� �� �������� ����������� � � �����

������������� !� �� ����#���� �������� ���� �� �� ����� 0������1 �"����� ����������

�� ���� !��"�� �� ���� �"����� �� �� ������ �� �� ��� � "� ����� �� �� �� �� ���

����$���� � ������������ ���"���

������ �� ��� "� �������� ���� �� ������������� ��������� �� �� �����

�� �� ��� ��� ������ ������� �� ������� �������� ������ ��� � �0��� ��1 0��������� ��

�� ������� ���� �� �����1 �� �0��� ��� ����1 0��������� �� �� ������� ����� ������

�� �� ��������� ����1D �� ���� ��� ���������� ��� ���� ����� �� ����� ��������� ��

�������� �� ��� �� ���� ��� "� ��������� ��� �� ������ ���� ������"������ �� ��� �����

� �6� � 0���� ����0�1�� �� �1

�� ������������� �������� ��� ��� �� �� '�� �� �� ������� ������ ��� ��� � � �

�!�� ����� �� � �� �$���.� �� �$������ !��� �� �� ������ ��!�� �� < ����� 0, �1

3����� , � ���� ������� ������ �$���� ���"��� �� �� "� ������� � �

�6� ������ ��"�� �� ��!�� �� �� 7$7 ���� &� ,7 ����� ��� �������� ��� ���� ���� �

�� � ��� � �� ���� ������ �� ��� �� ��!� �� �� �� �� �� ���� ������ ���������� *��

����� "����� ��� ����� ����� �� �����J� ���� ���� �� �� ���� �� ������� ��� �� ����

��� ���� ���� ���""������ ��� ���� ���������� �� ������� ����� ����"����� ����

���� �� �� ��� �� �� �������� ��������� �� ��!����� &�� �������� "�!��� �����

"� ������� �� �� ���� ��������� ���""������� 03�� �������� �������� � 005� 911 F ?�87�

�������� � 005� ,11 F �������� � 00,� 511 F �������� � 009� 511 F ?�?7�1 &� ��"�� ����� �� ��

"�����#���� ����� �� � ������ �� 0�� �1 ���� ���""����� �� �� ��� �� ����� �� ����

Page 25: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�5

G

S

3����� , �A 7$7 ����#����� �� ��� �� ���� ����� � � �� ���� ��� ��� �� �� ����� �

�� �����!�� ����� �� ���� ��� 0���� � 007� 711 F �1 �� �� �� ����� ���� �������� � � ��

�� ����� ��� ������ �� ��� �� ���� �� �"��� �� ������ ������ ���� �� ������

�� ����! �������� �������� ��� ���� �"���!�� � �� ���� �� ������� ���� ���

�� �� ��� ������ �� ����� ��� ��$� ����� �� � �������� �� �� ���!���� �� �������

����� ��� � � � � �� *�� "����� �� �� ����! �������� �� �6�� 0���������� �� �� ������

�� ������������ ����������� �� �� ��� ��!�� �� ������� ����1� �� ���� �� ������

�$������ ��� �� ������� �� ����� �� ����� ������ ���� �������� �� �� ������� ����

�� L�;� ;;M &��� �� ������������� ������� �� "� ����� � �� �� '����� ���� ��$��%

A � � � �� �� �� �� �� ���� � �� ��� ����� 0�1� �� ���� �"��� ���� �$������

��� �� ������A

,�L�0��1 V ��0��1 V ���0��1 V � � � M� 0, ,1

Page 26: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�9

0/���� ��� ���� "��� �� �������� �� ��� (,�) �� ������ � �$�������� ���� ���

������� �� ������ ����� �������� �� 1

&� ����� �������� � �� ��� �� (��� ������������) �� �����'�� �� �">����!�

�� �� ���� �� ������.� ���������� �� !� �����'��� ������� �� ������� � 3��

������� �� ��� ���!���� ��������� �$����� ���� �� ��!��� �� ���� �� ����� �� V�

����� ��� �� ���� ����� �� ���� �� ���� ������ ��!� �� ����� �� #� ����� ��

�!��� ���� ����� �� ����� �� ��� ��������!���� �� ���� ��� ��� ��!��� �� ������ V? �

����� ����!�� �� ���� �������� ������ �� ��� ������ ������ �� ������ �� ����

� ���� �� ���� ������ �� �������� �����D ���� ������ �� ���� �� ���� �� ����

���� ��"������ ��������� &� ����� �� ����� �� !� �����'��� ����� �� ��

���������� �� ��� ��������� �� �� ����� 5� �� ���� �$����� �� ������� �� !� ��

������� �� ����� ��������� �� ���� �� ��������� �� �� ���� ����� � �� ��������

�������� "�� ������ ������������ �� ����� �� �� ��������� �����

���������� �� ������������ ������� �� � F � �� ��� "� �� �������� �� ��� ����

�� ���� �� ������ �� �� �$�������� �� �� ������ �� < ����� 0, �1 �� ����� ����#��'���

-�� � �� '����� ��� ��������� �� �������� ��� �� �� ����� �� ���� �� ���#

��������� ("���"��� ����) ��� �� �� �� �6� (�����) �� �� �!�� ����� ��� �����

�� �����!�� ����� �� �� ��������� ���""������� �� �� �� �� ����� �� � ����

������ �� ������� �� ���""����� �� �!������� �������� ��� �� ��� 0���������� ��

������� (��) �� ��� ���� �� ������ � "���"��� ���� ���� �� �� ������ ���� 1 ��

���� ���������� ����� �� �� �� �� ��������� ���""������� ���0�1 �� ���

Page 27: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�7

C����� �����"����� �� ��� �����'��� ����� ��� ���� ��� ������� �� �� �� ��

���������� �� ��������� �� �� ���� ����� �� ������ �� ����� �� "� �����"��

�� �����"��� �� �������� ������ �� ����� �� �����"����� �� �� ����������� �� ���

���� ������ ���������� �� ������� �������� �� �����"����� �� ����! ���� �� ��

����! �������� ��������� �� ����� ��� � � � L5�� 97M

��� ���� ��� ��������� ��� ���������

-� ��� ��!��� ���� ������ ��'������� �� ������� ��� �6��� ���� �� ��� ����

"� ������ �� �� ��"�� ���� ������ <!������� ��������� �� ��� ������� ���� ���������#

����� ��� ���������� �6�� ��� '���� ���� �� ����� �����D ��� ���� ���� ����'�#

������ ��� ��� ��� ��� ������������� ������� �6�� �� ��� ��'���� �6�� ���� ������

������� ��� ������ �� �� ������� �� ���� ��� �������� � � � L87� �;� ;8� �7� �:� �9M

�� ��� �������� �� ���� ��� �� (�0�� �1) ���� �� ������ P�!�� ������ � ��'��

��� ��$� �������� � � A � � � �� "� �� �$������ ������� 0��� �� ���������� ������1

��� ����� ������ �������� �� �� ������� ���� ���� �A

� �0�1 F ,�L�0��� ��1 V ��0��� ��1 V ���0��� ��1 V � � � ��� F �M� 0, 51

������� ������ �� �� !��� �������� �� ��� �� �-�������� 3�� ��!�� ������ � ��

�#�������� ��� ��� �� A � �� � � ��!�� �� �$������ ������� ��� ������� �� ��!�� �����

'��� ����� �����'�� ������ �� ��� ��������� ������ ��������A

��0�� �1 F ,L�0��� ��1 V ��0��� ��1 V ���0��� ��1 V � � � ��� F �� �� F ��� � � ? �� F 0��1M�

0, 91

Page 28: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�:

-� ��� ��'�� �� ������$ ��$� �������� � � A � � � �� "� �� ������

�$������ ��� �� ������ ��� ������� ���� ���� �A�

� �0�1 F �$�

� �0�1� 0, 71

��������� �� ������$ �-�������� �� ��� "� ��'��� �

��0�� �1 F �$�

��0�� �1� 0, :1

���������� ��� �� �� ������� ��� �������� �6��� �� ���� ��� ��� ��"������

� �� ������� �� �������� ������ �� ��� ������ �6� � 0� �� � �� 0�1� � � ���1

&� �������� � � �� � � ��� ������ ��������� � ������A�

� �0�1 F �$�

�0�� �1 V ������

���0��1� �0��1 0, =1

� �0�1 F �0�� 0�11 V ������

�����0��1� �0��1 0, 81

&��� *$$��� .������� ��!� �������!� ��'������ �� � � �� � � 3�� �������� �� ����

�� �� �$ �� < ����� 0, =1 �� ��� �� �� �$������ ������� �� �� ��� ����� 0�"������

����� �0�� �1 ����������1� �� ��� "�!� �������� ���� ��� �� 0�"������ �$������

�� �0��1 ������� ���� ��� ��������� ���� ��1 < ����� 0, =1 ��� ����� �� � �0�1 �� ��!��

"� ������� �� "��� ����� �� �� ��� "�!��� �������� �������� < ����� 0, 81 �

������ �������������A &� �$������ ������� ����� �� �� �������� ����� ���� ��

������ �$������ ������� �� �� �������� �� "�!� �������� �� ����� ��� �� ��� ��� � ��� ��� ���� �� ��� ��� � �� ������ �� ���� ��������� ���� ������������

������� ���� ��� � �� ��� ���������� ������� �� ����� ���� ��� ������� ����� �� ��� ��� ��� ������� � ��� ���� � ����� �� �������� ��� �� ��������������� ������ � ������ ������ �� �������������� ��������� � ��� � � �� ����� �� ��� ��� � ����� � !� ��� ���� �� "������ #$�%&$�'( �������� ��� ��� � �� � ���� �� �������

��� ��� ����� ���� ���� �� ������ ���� ���#�( � � ��������� �� ������� ��� �� �����#���� ) ����� ) �� �� ) �( ) ���#�

�(� �� � ���� ������� ��� ���#�( � � ������� ��� �� �� ���"������ #$�*&$�+( ���� �� �� ����� �� �������� ��� �� �� ��� ����� ������� ���� ��� ������� �������� �� �� ����� �� ,������ �������� ���� �� ��� � ��� ������ ���#�( ��� ��� �����

Page 29: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�=

�� �� ��� ��� �� � � �� � � 0��� ��!�� 1 ��� ���� ������ < ������ 0, =W, 81�

"�� �� ��� �� ����� ��������� �� ���� ��� � ������ �

��� �������� �� "� ������� �� ����� �� ����� �� �# �� �� !���#����������

�� �� �� ������ ���� ����!�� �� ���� ���!������ �� ���� ��� ������� ��� ��

������ !� �� ����������

� �0�1 F �$���

��0�� �1 0, ;1

� �0�1 F ��0�� 0�11� 0, �?1

�� ���� �� � ������� ���� �� < ������ 0, =W, 81 ��� �# ������ �� !���#���������A

��0�� �1 F �0�� �1 V ������

���0��1�$

������0��� ��1 0, ��1

��0�� �1 F �0�� �1 V ������

���0��1��0��� 0��11 0, �,1

6�������� �� �� ������#���� ������"����� � �� �� ���� �� ���� ����� ���

�� ������ �� ������ �������� �� "����� ��� ������� ���� ������ ������ �� ���� ��������

"����� ���� ���� ����� �� �� �����"�� ��� �� �6�� �� ���� �$���� � ������ ������

� A � � �� �� �� ������� ���� �� ����� � ����� �� ������ �$������ �������A

� ��0�1 F � �0�1 ��� �� �� 0, �51

0-� ���� ���� ��� �� ��� ������ ������������ ���� ��� �������.� �� �� �@�6� ��������

�� ��� �� ���� ���� ��� ���� ���� �� ������� ���� �� 1 �����!��� � �� ��!�� "�

��� ��� ��� � ������� � !� ���� ��� ��� ������ ������� ����� � ���� �������� -���� ��� ������� �������� ����� ���� ��� ������� � � �� � �

Page 30: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�8

����� �� �� ��������� 0� ��!����1 ��'�������A

�0�1 F ���$���

��0�� �1 0, �91

�0�1 F ���$���

�0�� �1 V ������

���0��1� �0��1 0, �71

O��� �� ���� � ���� ������� �� �� ��� ����� ������� �� ������ �������

'����� �� ������ ������ ���� � � �� ������� ���� ����������� �� ��� �� ����� ���������

�� ���0�1

��� ��� ���������

-� ��� "���%� ��!��� ���� ������ �������� ��� '����� �������� ��� �6�� ��

"������ ������ ���������� �� ���� ������� �������� �� ����� �� �� ���!������ ����������

��$��

����� !��� �������� 0�� �#��������1 ��'��� � ������ ������� ��� ��������

������ �� '�� ����� �� �� � � 3�� �������� �� �� ��������� ���""������� ���0�1 ��

������ ��� < ����� 0, =1 ��'��� ������ �� � ������� �� �������� �� ��� ������ � �

&��� � ������ �� ����� "� ���!�� �������� !� ���!��� ������ ����� ������ 0� � �

L,=� 9�� :7M1� �� "� ������!��� ���������� �� �����

� 0�1 AF �$�

�0�� �1 V ������

���0��1� 0��1 0, �:1

����� �� ���!����� &� ����� �� ����� ������ ����������#"��� �������� �� �����

��$� �������

������ ������ �������� ��$��% �������� ��!��!�� ������� �� ������

������ �� � �������� !��� �������� � � �� ������!��� ������� �������� �� < �#

Page 31: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�;

���� 0, �71A

0�1 AF ���$���

�0�� �1 V ������

���0��1� 0��1� 0, �=1

�� ������� � �� "� �� !��� �������� � � ��� "� ���!��� �� ������ �� ����� � ������

��!�� "� < ����� 0, 81

&� ������ ������"�� "�!� ������ �� �� � ��������� �� �� ���� �����#

���� ���""������� ���0�1 �� �� �� ��� ���� �� ��������� ���""�������� �� �� '��� ��� ��

���� ��� �� ��� ��� ��� �������� ����� �� �������� ���""������� &�� ����� ��

����� � (�����#"��� ������������� ������� ) ��������!���� �� �� ��� ��� �� ���� ��#

��� �� �# �� !��� �������� ��������� ������ ������� ����� 0�� ��� �� ���� ���������

���""�������1 � � ����������� ���� &�� ����� ����� �� ����� (�����#���� ���������#

���� ������� ) 3�� �$����� �� �#������� ������� �������� �� ��������� ����� ����

������ ��������� ���� ���� � �� �� ��� ����� ����� � L�?:MA

�0�� �1 AF 0� �1�0�� �1 V �

��0�� �1 V ��$

�����0��� ��1

�� 0, �81

0������ ��� �� < ����� , �� 1 /���� � �� ���� ���"�� ����� �� ������� ��� �#

������

�� ������ ���������� �� ��� �� ���� �� ���� ������� ��� ���� ��� �� �

���� �� ����������� ������ "������ ������ ��� ������ �� ���� "��� ���� !� �����

������ ����� ����� �� "� ���� �� �������� ���� ������ &�� �� ����� � ��

(�$�������� !� �$���������) ���"��� 0< � � ��� L75M 1

���� �� �� ������ �� !� ������"�� ���� ���� ��� ���� �6��� ���� �� ����

���� � �� ��������� ���� �� � A � � � �� "� ������ �$�������� � �"��� ��� ���

����� ��� �� ���� 0�� �������� ��� 1 3�� ����� �6��� ���� ������ �� "� ������"��

Page 32: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,?

�� ���� �$���� �����'����� �� ��� ���"����� �� ���"�� �� ����� ����� �$����������

�� �� ���"�� �� ���� !��"��� 3�� �$����� �� �� ���� ���� �� � F �?� �� ����������

�� � "���� ���� !��"���� ��� �� ���"�� �� ����� �� ,� �� �� ���� �� ������������ �

�� �$�������� ����� "� �$���������� ���� �� � ��������� �� �� ���� �� ���� ����#"���

��������.���� �� � �#���������� ���������� ���� ���� �� ������ �� ���"��� �� ���

��� '���� ���"�� �� ������ �� ��� ��� �� ��� ���"�� �� ��������.�� ����� ��

�� �$�������� �� � *����� ����� ��� ���"��� �� (����� �� �������������) L�5M� ��

�� ���� �� ������������ ��������� �� �� ������ ������������� ������� ��������

��������� �!�� ��� ��� �������#���������� ���"����

&��� !����� ������� !� ��� "��� �������� ��� '����� ����$������� ��

�� !��� �������� � ��� �$����� �� ������ ���� ��������� !����� ������� ��� �����

�� �� �������� �������� ������� L78� 9,� ,=� 9�� ,8M� �� ��� ����� ������ � �� �� ���!�

������

&� ������ ������"�� �� �� �� ��� 0����$������� ��1 � � �� �� �� ����������

��'��� !� < ������ 0, �9#, �71� ������ @�� �������!� �� �� ������ ���� �������� ��

�� ���� �� �������� �� ����� 9� �� ���� �$����� ������ ���� �� �����'����� ������ ��#

���� �� ��� ������� ���� �� ��� �!����� �� ����!����� ������� �� !���#��������

"��� ������ @�� ����#����� �$���� �� ������ ���� ������� �� -�����J� ���������

������� L�?;M 0���� ����� ������� �������� ������� L7=� ;� �,M 1 �������� ������

,#���� �6� �� ��� �� ���� ���� ��� ���� � ����� �� �����!� ����� �0��� �1� �� ���#

������ �� .���#����� "���"��� ���� ��� ������� ������ �� �� !� ���� ������"�����

�!�� ������ �0�D �1 ������� ��������.�� "� �� �� �� ��� �� ���� �� ��'�� ��� ������

Page 33: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,�

�����'����� �0�D �1 �� �� ���""����� �� ��� ����� ����� � �� ���� �� 3�� �$�����

��� ���� "� ��'��� ����� �� ������/ ��������.����� �0�D �1 F �$�0�1��

� �$�0��1

O��� ������� �� ��������� !� ���� ����� ��� � &�� �� ������� ��� �$������ �����

�� ����� ���� �� ��� �������"��� ���� � AF � V � �� �

� �0��1� ���� � �� ������� ���

������� -� !�A

��� �0��1 F

��

�0��� �1�0�D �1

F�

�0��� �1�

���0�D �1

F�

�0��� �1�0�D �1�

���� �0�D �1

F ,�������

��0��� �1

���� �0�D �1

��

&��� �� �� �� �������� �� ��� ������� ������ �0�D �1� �� ��� �� ����� � �� �������

��� ���� ���� �� �� �0��� �1�� �� �0�D �1 ���������� �� ���� "� ����� ����������

������ ����� ����� �� �� �$�������� �� ���� ����� �� �� �">����!� �� �� �����

���� �� �$���.�

-��� ��� �$���� ���� ���!��� ������#���� �6�� ��������� 0����������1 �����#

��.�� �� "�!� ����!���� �� ���� ��� ������ ���"���� -��� ��������� �� "� ���!��

����� !����� ���������� �� ���!���� �� ����� ���� ����� �� ������ ����������� ��

�� "� !��� ���� �� �� �� ������� �� ����� �� ��� ��������� ��������� �� �� ���� �� ��

� ����� �� �������I���"�� �� ����� �� �� ��������� �� �� ���"�� �� ����� �� ��

�� ���.�� ���� 0� X0��0� �11# ������ �� �� ���� ������� ��'��� �� ����� 91 L9;M

���� ���������� ��������� �� ��� ������� �� ������� �������� ���� ���� "���� ������!#

�� ����������� �� �� ���� �� �������� �� �� �������� ������ �� ��������� �� �����#�������

Page 34: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,,

���������� 0��� � �� ��������� �� �������� �� ����� 71� �� ����� !��� �������"�� ��

�� �$�� ��������� �� � �����#�������� ���"��� "� ������� ��� �������� �� �������

���� ��� ������

�� ����� 9� �� ���� �$����� ������ ���� �� �����'����� ���� ������ �� ���

������"� ������ ���� ����� �� ���� ��� ����� ���� ���� ���"���� @�� �� �� ���

���� �� ��� ������ ���������� ��� ���� �� ������ ���� �� �6� ���� �� ��� ����

����� ���� �� ��� ����� �� �� ��� �� ���� "� ������ �� �� �� �"��� ����

�� �6� &�� ���� ���� �� �� ����!� ���� ������ ��������� ��� ��� �� �� ���!�

������!�� ���������� ��������

�� �������! ���������� ������ ����� ��������

�� ��� ��� ���������� � �������� �� ����� �"���!"�� ����! �������� ����������

�� ��� ��� ���� �� � �� ���� ���� � �"���!� ��� ������� ���� �� �� �� ���� ������

������� �� �����$$% �+���+$ ��0�� ������� ������ 0�@�6��1� �� ���� �

���� ��� �� �����"�� �"���!����� �� �� �� �� ���� �� ���� ���� � �"���!���� �� F �0��1�

���� � A � � � �� ������������� �"���!���� �������� 0&� ��� �� �������� �"���!�����

�� ������������ �������.���� 1 3�� �������� � �� "� !����� �� ���� !��"���� ��

�� �� !� ������� �� ������ ���� ��"��� �� ���� !��"���D �� ���� ��� � �$����

�� ��� �� ����� 7 ��������!���� ������ ����� �� "� ������������"�� ���� �� ����

���� ������ ������� �� ��� ��� �� �"���!���� �0��1 �� "� ���� ��������� ��

� ��!�����#���� �� ����� ��� "��� �� ��� ������ ������� �� ���� "� ��

�� �� �@�6� �������� �� "������ �����'����� ���� �� '�� � ������ ������

Page 35: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,5

������� �!�� '����� ���#������ ������ ��� ��������� �� �� �$�� ����������� ��������

� ���� O�#�� 0��� L:5M �� ���������� ������ ��� � �!��!��� �� ��� �� ���� ������� 1

4����� �� �6� �������� �� �@�6�� � ���� �� ����� �� ���� �� ������ ����� "�

��"�� �� "�!� ��������� "����� �� ���� ��� ���� ���� �� �� ������� ���� � ���

�� ��� ����� ������������ ���� ���$���0�� �1

@�� �� �� �� �������� �� �@�6� ��!��!�� +$�� ���� ���0��� �� ���

������ �� ���� ���� ��� ������"������ �0�1 �!�� ����� �� ��������� ��� "����� �� ��

���� �� �� ��� ��!�� �� �"���!����� �� !� ���� �� �� �� �� ������ �� !� ����

�����'����� �� �� ��'�� �� ������� �� ������ �# �� !���#��������� �!�� ���� +$��

����� 0��� �� ������"������ �!�� �1� �� ��� �� �� �� �������� &�� ���"���

���������� ������� �� �@�6� ���"��� �� � �6� ���� ����� �� "����� ����� �� �����

�"���!"�� O��� ���!�� ��� ������� � �� '����� ��� ����� �� ����� ���������

!��� ��������� �!�� ���""����� ������"������ �!�� �� ��� �� ���������� �� ��!� �� ��

0��� �1#���������� ������$ &��� ��� ����� � "���� �� '���� �6� ���"��� ��

��#����������� ����������I��'����#���� ��� ������ �� ������ �� ��� ���� ����

�� '�� ����� ������ �� ���#������ �������� ������� L���� :?� ,5� �?=� :,� :�� ,9M

-��� ���� "�����#���� "��� ������ �� ���� ���� �� ���� ���"����� ���

���� ������ �� �������.� �� ���� �@�6��� ��� � ���� ��� �� ���������� �������#

���I��'���� ���� ����� ������� �� � ���� ����������� ��� �� ���� �������� "� ���������

�� ���� ��� �� ���� !��� ��������� �!�� "����� ����� �0�1� ��� �� �� ������ "�

����� ���������� ������"������ �!�� �� ���� ���� 0&��� "����� ����� �� ��� "� �#

���$����� ����� !����� ������ 3�� �������� ���������� �� ���� L:8M ��� ��� "�

Page 36: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,9

���"��� �� ����$���� ������� ������� �� L,�M ��� �� ������� �� N����� ������

�� O� L7�M� �� �� �����"�� �� �"��� ������ �� �� ������������� �$�����!� �� ��������

"�� ��� ��� ��� �� �"��� ���#���!�� ���������� "����� 1

2����� ��������� ��� ��������� ����������� ��� �@�6�� !� ��� "��� ��������

3�� �������� �� �� '�� �� ���� �� �� ���� ������ �� "� �� G� F ���$� �0�1� �� ����

� ��� ������ �������� �� ���$���0G�� �1 -���� ���� ��������� ���� ���� �� ����

���"���#���������� �� �� ����� ������ �� ��!� ������ �������� 0���� � � � L,,M� ���

��� �� ���� �$����� �� ��������� 1

������� ��������� ����� �� '����� ���� ��������� �� �@�6�� ��!��!�� �����

������#���� "��� ������ -� ����� ���������� �� ���� ���� �� ����� 9� �� ���

�� ���� ��� ��� ��� �� ��� ��������� ������#���� ������ �������.� ���� ����� ��

������ ���������� �� !���#��������#"��� ������ �� �� ������� �� �@�6��

Page 37: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,7

�������

������ �� �������������

��������

�� �� ������ �������� ���"����� ��� � �� ������� �� �� ������ ����������

�� ������������� ������� ����������� �� (���) �� �����'�� "� �� ������ ������ P�!��

�� ����� �������� �� ����� �� �� ������ �� ������ ������ �� ���������� ��

��������� ��������� ������� �� ����� �� ���A -� ������� �� �� !� �� ����������

�� ����� ��������� ��� �� �� ������ ������ ������ �������U

������ ������ ������ �� �� ������� �� ��������� �� ����� �������� �� ���!���

������� �� ��!� (����) �� ������� ���� �� ��� �� �� ���� ����� Q��� ���������

��������� ����� ������ �� ����� ������ �� �������#�������!��� ������ �� �� �������

���� ��!��� !��� ���� ��������� �� ��� ������ �� ���� ��!� �$����� �� �� ����

���"���� �� ����� �� ������� ����� �� ����� ����� �� �������� ���� ���"����

��� � ��� ��� ������� �� ��� ��� ��� ��� � ����� �� .�� ������ ��� /���� #0111(� 2!�������������� ����� ������ �����������3 -���� ��� � ������� � ������ �� ����4 !�������� � ���5�������� ������������ 6�������� � ������� ,�������� � $*+7$+*�

Page 38: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,:

�� ��!�� �� ������ ��������� ��� �� ��������� ����� ��������� �� �������� �������

��� ������� ��� ��"��� �����

����� ����� � �� �������� �� "� !��� �������� ����� �� ��� ������ ��

������������� ������� ������ �� ���� ������$ ���"���� L,;� ::� 8:M 0������ ����

!� ����� �� �� ���� ������� ���������D ��� L;�M ��� ���������� 1 ������� !���

������ ������ �� �$�� ������ ����� ����� �� ������ ������������ � �������� ��#

����"�� ���"��� /���!��� ������� ��� ����� ����� �� �� "� ��������� ��

����� ��������� �� �� ������ �� ������� ���"��� � �� ���� ��� ���"��� � �� �� ��#

��� ��� �������� �� ���!�� � �� �� ��� �� ��������� �� "� ���� ����� �� ���� ������

����� ���� �� �� �� ������� ���"��� *��� �� �� ��� ���� ���� �� ���������I��������

����� ��� �� ����'�� ���"��� � � ���� ��� "� ���� ��� �� ������� ���"��� � �������

�� ����� ���� �� ��� �� ������ �������� �� "� ������ �� �� ����� �� ��� �� ��

����� ��������� �� �� ���� �������� ������ ����� ����� ������ ���� ����� "� ���� ���

�� ������� ���"���

&� ��� �� ������ ��!����� �� ��������� �������� �� ��������� �$����� �� "���

�� �� ����A

� ����T! �� � �����T� ������"� ������ �� ����� �� ���� �������� "������

�� �������� ������� L8:M &� ����� �� �������� ��� ���!���� ������!� ������

����!�� �� ���� ��� �������� ������ �� ��� &� ���� ������ �� ���� �� ����

������� ��� �� ���� ���� "����� �� ������ �� �������� ��� ������ �� ���� ��

���

Page 39: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,=

� � ������ ���"��� �������� ��� ������#������ ��"�� "���� ������ "� 6!�� ��#

��� �� ����� &����� 0������� ������������1 *����� ���������� �� �� "�� ��

�������� �� ������� ��� ���!���� ����� ��� ������� �� "�� &� ���� ������

������ ����"� �� ������� ��$� �� �� "�� �� (!�"�����) ������� �� "�� �

��� ������ � �����"��

&��� �������� �� ������ ��� ������ ��� �� ������� �6�� -� ����� ���� �� ���#

!��� ��������� ��� �� ��������� ����� �������� ���� ���������� �� �� ���������

������ �������� ���� ����� "� ���� /�� �� ��� �����"��U

&� �$����� "�!� ������� �� �� ����� ������ ���� �"�� ������ ����������

�� ��� �� ��� �� ������ �� ���� ���� ������� ��"������ �������� �� ��� � ������

�!��� ��������� �� �� �6�� ��� �� �� �����"�� �� �$���� �������.� �� ��� �� ��

����� ������������� �� ��!� �� ������ ������ 0�� ��������1 ��!���� �����'�����

������� ��������� �� �� �6� ���� �� �� ������ ������ �� �$���� ����������� ��

���� �� ��� ��� �� ����� ���������� �� �$���� �������.� �� �� ����� ���������

�� �� ��� ���� �� ������ ������ &�� �"���!���� �� �� ��� ��� ���� �� ����!� ��

(��!���� ������������� �������) �������� ��������� �� O� �� ������� L=8M� ��� ���� ��

����!�� ����� �������� ��!�� � ������ ������ *�� ��!�� �� ���� ������ ���� ��

"� ������� ��������� �� �� ������ ������ 0�� �����'��� ��������� "��� �� �6�1�

��� �� ��� ���� �� "� ���������� ����!�� �� �� ���� ������ ������������� �������

������� �� ��� �� �� ������ �� ��� �� ������ ������ 0����� ������� ��� ������ �� ��

���������� "��� �� ������������� ������� ���"���1

���� ��������� �� ����� ����� �!�� ������ ������� ��������� �� �� �6�� �� "�

Page 40: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,8

"�� �� ��!� ���#���!�� ��� �����"�� ����� �� �� ����� �������� �� ������!� �� ����#

����� �� �� ��������� ������ �������� � ��������� ������ ��� �� ��� ���"��� �� �������

�� ������� ������ ��� �� �������� ��������� ��� ������#���� ��������� /���� ����������#

��� �������� ��� �� ������� �������� �� "� �"����� !��� ������ 3�� ������#���� ���������

������ ����������� �� ��������� ������������ �� ��������� ��!�� �� ������ ��������

�������D ��� ����������� ���� ������!� ����� ������������� �� ������ L�?9M &���

������� !� �������� ����������� ��� ��������� �!������ ��������� �� ����� ���������

������� ��������� ���� ����� �� ��� ���� ���

&� ��� ���������� �� ������� �� ������ ��!����� ����� ����� �������� ����#

��������� � ��� "��� ����� �$������ ��� �� ������ �������� ���"���� � ������#������!���

������������� �� ��� ����!�� �� �� ��� �� �� �������� ������ �� �6�� L;?M�

��� ��!��!�� ����!����� �� ����� �� ����� �������� ���� �"���!�� ������ "�!���

������#������!��� ������������� ��������� �� �$���� �� ��� ����� �������� �� "�

����!����

@�� ��� ������ �$����� �� �� "������ �� �� ������#������ ��"�� � �� ���#

��� �� �������� �� �� ����� ����� ����� �� ���� �� ����� ������� "�!����

�� ��� "� ��������� !������� �� ����� �� ����� �� ������ �� ���� ���������� �#

�������� 0�����1 ����� &� ������� ��� ���� ������!�#����� ������ ���� ��� ��

�������� ������ ����!�� ���� ������!��!� ��������+�� ��� �� ����� ��� �$�������

��������� "������ ��� ����� �� 0����������1 �� ��������� �� �� !��� �� ��������

�������� ������ �� �� ���� �� ����� ��� �� ��� ���� �� ��� ������� ��������� ���

�5�� ����� ��� ���� �� ��������� ����������3 �� ������ ��� �������� �� �� �� �� ��� ��� ����� ����� � ������ $��#0� ( � ��� ������� ����� ����� 81*� 009:

Page 41: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

,;

���������� ������ ��!����� ����� ����� �������������� "�� ��� ������� �� �����

��������� �� �� �6�� ��� �� ��� �������� ��������� ��� "���� "�� �� ��� ���

�������

&� ���� �� ��� ����� �� ���������� � ������� �� ������� 5 ,� �� ���������

��� "��� ����� ��������� ��� �� ��� ���� �� ������� 5 5 �� ��!� �� ���!� ��� ���

����� ������� ������� 5 9 ��!�� ���� �$����� �� �� ���� ������� �� "� ���� ��

��������� ����� ��������� �� !����� ����� �� ����������� ���� ���� �� ��������

�� ������� �� ���� ������ ������ 3������ ������� 5 7 ���� �� ����� ����� ��

�� ���� ����� �!���� (������) �������� 0���������� ���� �� ��� �� ������.� ���� ��

����#����� ���� �� ����#����� �������1 �� ����� �� ����� �� ������ ��� ����������

��� ������ ��"����

-� �� ������ �� ���� ������ ��� ���� �6�� F 0���� ������ �� �1� �� ��� ��

��� ��� ������� ������� "� ��!��� �� �������� (�����) ������ ��� ���� ��������

����� �� ������ ������� ���� 0�� ������1 ������ ����� &� ������.� ���� �� �����

��� ���� �� ������� ��� ������������� ������� ������� �� � F 0���� ������ �� �1�

�� ���� ��� �� �� ���� ���������� �6� � � F 0���� ������ �� ��1� ���� �� F �V� �� ��

����� �������� �� �� ���������� �6�� �� � A ����� � � �� "������ ���#!����

�������� ����� �� ������� 1�� �������� 0������ �� �� �� ����� �� � ��� ��

������������ ��� ����� �������� "� � ���� ��� � ���� �� �� .���#����� "���"���

����� "�� �� ���� ��� "� �!���� ������� "��� ��� ����� ��� ��� 1 ��� �� �� �� �������

�6� � �� ����� !� �����!�� ����� �0�� �� ��1 ��� ������������ ���� � �� �� �� �����

Page 42: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

5?

�� ��� �� �� ��� �6� � � �� ����� �����!� ����� �0�� �� ��1 V � 0�� �� ��1 �� �� ���

�!���

3�� �� '$�� �6� �� ������� �����!�� ���������� ����� ����� ����������

��� �� F �V� �� �� ���� ������ �����"�� ���� �� ����� ������ � �����!��� ��� ��!��

����� ���� ���� �� �� �����"�� ����� ������ ��� ���� ���� �� ��� 3�� �$�����

�� �������� ��!��� ������ ���� �����#����� �������� �� ��� ���� ����� ��

� 0�� �� ��1 F � ����!�� �� �� ������ 0�� ���!�� ��������� �����1 �� �� ��� �� �� ��

� 0�� �� ��1 F ? ��������� ���� � �� ���� ������!� ����� @�� �� �������� ����� �����

�� �� ���� ��� �� ����� ��� ��� ���� ��� � 0�� �� ��1 F � ����!�� � F ��� � � ��� ��

� 0�� �� ��1 F ? ��������

@�� �������� �������� �� ��� ���� �� ����� ������������ �� �� �� �� ���#

����� "� ��������� A �� ��� ������������� ������� ����������� �� �� ��� �$��������

��!�� � � ����� 0���� � ���1� "�� �� ������ �� ���� "��� � ���� ����� �����

������ �� �� �6� �� "� �"���!��� �� ��������� ���� ���������� �� ������ P�!��

��� ����� �� � � �� �� ������� !��� �� ��� ���� �� ����� �� � � ������ "� �����

������ �� � � �� ��� (����������) �� �"���!�� ����� �0�� �� ��1 V � 0�� �� ��1 ����!��

�� ������ �"���!�� ����� �0�� �� ��1 �� � O������� �� ����� �� ��� ����� �� ��

� �� � � ��� �� ��� ������� ����� �� ��������� ���""������� &��� ������I�Y���

�����#"���I�����#���� �������� �� �� "� ������ �� � �� �� ������ "� ������

��� � ���� � �� � ������ ����� � ���� ����� ����� �� �� ���� ��� �������� �� ������������������ ��� � �� �� ������3 �#�� �� ��( ) � #�� �� �� ��(� ����� � � �� ��������� �������� ��� � )#�� �� ��( � ��� ������ �� ���� ���� �������� �� ��� ������� � ! � �� ���� �� ���� �� �� ��� ����� �������� ��������� ������ � ��� �� ���� ���� ����� ���� ����� � � ����� �������� ��� ������������ ������ ���� ��� ���� � �� ����� �� ��� ������ � ���� �� ���� � � ������ ������ ����� ���� ����� ������ 5���� ��� �� �� ��� ��� ���������� ������ � ��� ���� ����� �� � � ������ ��� ���� ��� ��� ������� ����������

Page 43: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

5�

������ �� � � �� �� ��� ��

�� �� �� ���� �� ���� ��� ��"������� �� � � �� ���������� "������ !����� ��#

������ �������� �� �� ������� �� �� �� ���������� �6�� &��� �� �� � ������

������ �� � � �� �� � � ������ ������ �� � �� �� � �� �� ��

� �� �� !��� �� �#

��������� ��� � �� �� �� ����� �� ���� �� ���������� 0� � �1 ��'���� ���.�� �6�� ��

������������ 0� F �1 �6�� ��� ������ ��������� ���""������� �� ���� ������� ��������

���������� �� ���� ��� ��� "�� �� ��� �$�������� �� ��� ����� 3�� �� �������� ��

��� ������ ��� ���������� �� ���� "� ���!������ �� �$�������� �������� ���� �6�� ��� '����

���� ����� �� ���� �� �������.���� ����� �� ���������� �� �� ���� ��� ��!� �� ���

0�������1 ��������� ������ �� �������.� ���� ������� �� �6�� ��� ��'���� ���� �����

-� �� ������� ������ ���� � �� �� ��� �� ����� �� ��� &� ������� � ��

�� ��� �� ���������A 3�� �� ����� �� �����#����� ��������� � �� �� ������� ��

�� � � �� ������ ������ ��� �� ���� ��� "� ������ ���U &� ��$� ������� ���� ����� ���

�� ��� ������ �� ���������

��� ��� ������ �������

�� ������� ����������� �� ����� �� ��� �$���� ���� �� ���� ��������� ���"#

"������� ���0�1 ������ 0�� �� �� �� ��� ���� �0�� �� ��11 @�� ��� �� ��������� ��!��

���� � �� � 0�� �����"���1� �� ���� �� ��� �����#����� �������� � A ����� � �

�� �� (����) �� �� �� �� � ���� "� ������ �� � �� ��� �������� �� ���� ��!� ����

��� � ����� ��� �� �� ������� �� � ���� "� ������ �� � -� ��� ���!��� ���

���!���� ������ ��� ������ ������ ��������� �� ���0�1 �� �� ��� �� �� ���� ���� ��

Page 44: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

5,

����� �������� �� �� ���� ��!� ��� �������

3���� �������� ����������� 0� � � ������� � F �1� ��� �� ��� �� ��� ���� ���������

"��� �� � ���� ��!� ���� �� �� ����� ("��) ������� ��� ������ @� ����T! ��

�����T�J� "������ ���� ��� �� ���� �� ������� ��� ������ ������ �� ��� "�� ���

������� ��� ������ �� ���� ��� �� ������ �� ���� �� ���� ������ �� ����"� �"���

������!� ����� ����!�� �� ������ �� "� ��!��� ������ �� ��� ���� ��������� ��

���� �� ���� �� ����� �� ����� ��� ��� � � � � � ��� �� �� ���� �� ��!�� ����� ���

�� ����� 0�� �� � � � � �� � � � 1� �� ��� ��� ������!� �����#����� "� �����

�� 0� 0��� ��� ��1 V � � �V � 0���� ���� �1 V � 0�� �� ��1 � ?1� ��� �� ����� �� �� ����

�� "� (���������) ���� ���!�� �� ����� ����� "� ������ �� �� 0��� � ���� ������

�� ����1 �� ������ ��� �� ��������� �� ����� ��� �����

&� ������ ��� ������� ��� ������� ���� ��� � �� ���������� ����� ��

���� �� �� ��� � "� �������� �� �������A � 0�� �� ��1 F E0��1 E0�1� ���� E �� ����

�������� �!�� ����� &�� ��� � 0��� ��� ��1 V � � � V � 0���� ���� �1 V � 0�� �� ��1 F ?�

�� �� !� ��������� �� ���"��� �� ������ �� (�������) �� ���� ��� ���� ����

��� �� ����� � U ��� ���� ���� ������� �� ���� �� ���� ���"���� ��� ����� ��

�� ���� �� ������U �� ����� ��� ��� ������ ���� ����� ��������� "��� ��� �� �� ���

��������#"��� ����� ��������� � �� �� ���� ���� �� ���� ������� ����������� ���

�� ������ ������ �� � �����!��� ��� ����� ��� �� "� ���������� �� �� ���� �� ����� ��

��� ��� ������� &�� �� ��� ����� �� �� ��������� ������A

2��� � �� �� �� �� �� ��� �� ������ ������ ������ � A � � � � � � �

�� ����� �� �� � � � �������$-+��� ������ ������ � ���� ���� � �����������

Page 45: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

55

������ E A � � � ���� �� ��� ��� � � � ����� � � �� �� � ��

� 0�� �� ��1 F �E0��1 E0�1� 05 �1

������ � ���� F � � � � � � !���� �� � � � ������������ ������ ������ �

� �������� ��� ����� ������ ��� � �������� �������� �� �� ����� ����

����� ������� ���� � � F 0���� ������ �� �V� 1 ����� ��� ���� � F 0���� ������ �� �1 �

� �� �������� �����"

� �#����� $� � � � ������������ ������ ������� ��� ���� ����� ���� �

� � ��� ���� �� �� ����� ���� � � ���� ��� ����� �

� �%����� $� � � �� � ������������ ������ ������ ������ �� ���� E ����

���� �� &����� �'�( � ��� ���� ��� ������� ������ ��������� ��� ��� �

������ ������ � A � �� � �� ���� �� �� ����� ���� � � � � ����� � � �

&� ��������� �� �� ��������� �� �������� ���������� "�!� ���� ����

������ ���� ���������� �� �$������� �� ��� �� "����� ���� �� "� �������� ������

�������� �� � �� �� � � O�!��������� �� ����� "� ���� �� �� ����'������ ���� ���

��� �� ��������� �����"�� ������ �� ��� ���� &� �������� ��������� ��� �� �� ����

� �� ��� ��������#"��� � � ��� �� �� �������� �� �� � �� ���� "� ������ �� ����

���� ��� "� ������ ��� &� ��������� ��������� ��� �� �� �� !� �� ��������� �� ���

�� �� ��� �� ���� ����� ��������#"��� � ��� ������� ��� �� �� �� ��� �� �������

����������� ��� ������� �� ������ ������ �� � 0�� �� �� !� ������� ��������� ��

���� �� ��� �� ��������� ��������� ���� ��� �� ���� �� �� �� �����"�� �� �� ���� "�

"�� �� ��� ���� ����� ��������� 1

Page 46: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

59

&� ����� �� ��������� �� ��!�� �� �������$ � /���� �� ���� ���!� �� < �#

���� 05 �1 �� ������� ���������A �� �� � �� ������ �� �� ���� �� 05 �1� ��� �� ��

������� �� �!��� ������ ������ �� � � ���� ��� "� ������ �� �

���� ��� ������%�" C�� � "� �� �� ���� ��!�� �� 05 �1 �� � F �� ��� ����� ��������

E0�1 ��� E�0�1 F E0�1 ! ��� �� ������� ! ����� ��� ���� �� ����� ������ �

0��� �� ��������� �� ���� ���������1� �� ��� "� �������� E0�1 ��� E0�1 E0��1 ��

��������� ����� ������ ���� �� ��������� �� �� E ���� �� �$����� � !� 05 �1 ����'��

E0��1 F ? 0����� �� �� ��� �� �� .���#����� "���"��� ���� 1

3�� �� ������� �6� � � �� ���� �� ��� ������ �#�������� ��� ����'�� ��

*����� < ������ 0���� � � � L;;M1

��� 0�� �1 F ,��������

��0�� �� ��1 V ��$

������

�0��� ��1

�05 ,1

���� ������ ���"��� ���������� ��� ��!�� ��

��� 0�� �1 E0�1 F ,��

��0�� �� ��1 V �E0��1 E0�1 V ��$

����

����0��� ��1 E0��1

��05 51

�� �� ��� ��'�� G�� �0�� �1�F ��

� 0�� �1 E0�1 �� ��"������� �� �� � 0�� �� ��1 F �E0��1

E0�1 "�� ���� �� ���!���� � ������ �� ���

G�� �0�� �1 F ,��

��0�� �� ��1 V � 0�� �� ��1 V ��$

����

G�� �0��� ��1

�05 91

F ,��

���0�� �� ��1 V ��$

����

G�� �0��� ��1

�05 71

*�� ��� �� �$���� �� *����� � ����� ��� � � 3�� �� ������������ ���� �� �����!��

!� G�� �0��� �1 F ��� 0��� �1 E0��1 F ? ? F ? ��� G�� �0�� �1 ����'�� �� *�����

� ������ ��� � �� �� ���� �� ��� "� �� ��� �� ������ �#�������� &��� ��� �0�� �1 F

Page 47: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

57

G�� �0�� �1 F ��� 0�� �1 E0�1� �� �� ������ ������ ��� � � �������� ����'��

�� �0�1 � ���$���

��� �0�� �1 05 :1

F ���$���

��� 0�� �1 E0�1 05 =1

F ���$���

��� 0�� �1 05 81

�� �� �������� ��� ������ �� � &� ��� �!��� ������ ������ �� � �� ��� ������ ��

� �� ������ ���� �� ��� ����� ��� �� ����� �� � �� � � ���������� 0�� ����� ��

����� �������� � 1 &�� ��������� �� ����� �

-� ��� !� �� ��������� �������#������ ������A

���� � )���� �� ������� �� !������ (� ������� �� � ���� ����� �*� �� ����

� 0�� �� ��1 F �E0��1 E0�1� #������ ������ �� E0��1 F ? � � F �� !��� ��� ��� � � ��

� � ��

��� �0�� �1 F ��

� 0�� �1 E0�1� 05 ;1

� �� �0�1 F � �

� 0�1 E0�1� 05 �?1

����" 05 ;1 �� ���!�� �� �� �������� ����� "�!�D 05 �?1 ������� ���������� ����

��� ����� �� �������� � �0�1 F �$�����0�� �1 �

���0 � ���+������ ��� $������3 ������ �� !� ��� ���!�� �� ���� �� ��

������������ �� �������.� C��� , �� ��� ��� �"����� �������� � ��� >��� �� ������

������A � �� �0�1 F � �

� 0�1 E0�1 0�� �������� ��� �#���������1 � ����� ����� �� ���

�� �� ��������#"��� ����� �� ����� �� �� ����� �� ���#������ �������� �� ���

������!��D �� ��� �� �� ���� ���#������ ������ �� � � 0��� �� �� �0�1 � �

� �0�1� � "1

Page 48: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

5:

����� ��������#"��� ������ ��� ���� ��� "� ���#������ ��� 0�� �� 0�1 � �

�0�1� � "1

0&� ��� ���� ���� �� �������� �� >��� ������� ��� �� �������� �� �� �� F �� � � ��

��"���� 1

���0 � �#$$ ��$���� ������$ ��� E�3 &� "����� ��������� �� ��������#"���

� ������!� ������ ��������� �� �� ���� ������ �� �� !� � �6� � �� � ��������#

"��� ������ ������ �0�� �� ��1 F �E0��1 E0�1� ��� �� ������ �� ������ �� � &���

��������#"��� ����� ��������� �� ���������� �� ��������� �� �� ����� �� ��� ��!� ��

�� ����� �� ������ �� ������ �!�� �� ����D � � �������!� ��!��� ��� ������� ��� ��

��� �� ��� ��!� �� �� ����� �� ������ �� ������ ���� �� �� ��� �� ����� ���� �

�� � �

-� ���� �� �� �� ��'����#���� ���������� ���� �� ����� �� ������� ������

��!������ �� ���� � �������� 0"�����1 ��������� �� E "� ������� � &�� �� �������

��� �������� �� �� ������ �� F �V� �� �� ����'�� �6� ��� "� "������� �� ����

���������� �� ������ ��� ������ ����� �� �� ����� �� �� ������ � 3�� �� '����#����

���� �������� �� E "� "������ �� !����� ��������� ����� E� !��� ���� �� '����

���������� �� ���������� "������ "� �� �$���� ������� �� ��� ����

3��� �� ������� �� ��� ����!�� �� ������ ������ ��� ��� � � �� �������

������ �� �� ����� 0� � � ������� �� F �V #1 ��!�� �� ������ ������ 0��������1 ��!����

�/����� ���� ; 3 � �� � � ������ �< ����� ���� �� ������ � � � ��� ���� �;#�(� � � �� ���� � ��

�5 ���������� ����� ������� ���������� ������� #����� 8=%� 1+:(� ����� � � ������ ������� ����� ���� >������ �������� ��� ����� ��� �� ���� �������� ������ -��� ; � ������ ��� ������ �� ����� ���� � � ; #� �� ;( � �� ������� ��� � ����� ��� ������ ������ ����� � ��� >�������������� ����� �� ��� �� ��� �� � ������� ���� ��

��#�� �( ) ?���#�� �(� @� ��� ���� �� ��� ������� ������������ ��������� ��� �������� � �������� ����� � ��� >������ ������� � �� ������� ���� 2 ����4 ����� ������ �� 8=A:�

Page 49: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

5=

�����'����� � F # �� ������ ���!�� "� ������� E0�1 F #�0� �1 ��� �� �

&����� � �������� �� �� ����� ����� ������ �� �� ���� � 0�� �� ��1 F

�E0��1 E0�1 �� ����������� E ����� �� ������ "� ����� ����� �$���� ��������� "���

�� ����� �� �� �� ��� �� �� ���� C��� , �������� ���������� ���� ���� ��� E� ��

�� ���� ����� "��� �� ����� �� ��� ������� �� � ��� -� ��� �� �� E0�1 F � �� 0�1�

0��� E0��1 F ? �� �� ������������ ���1� ��� < ����� 05 �?1 ����� �� �� �� !���

�������� �� � � �� � �� �0�1 � ? &�� �� ���������� ��� !��� �������� �� ����D �!��

������ ����� �� �� ������ �� �� ����� ����� �� "� ���� ����� "� �� ���� �� ���#

.��� �#!���� &��� �� !��� �������������� �� ��� ������ ��� �� ��� �� ���� �� ��

������� ������ E� �� �� ��� ����� ������ �� ��� �����'����� ���� � E � ��� ����

� �� 0�� �� �� ���#����1� ��� � "� ������� �$��������� ��� � �� �� ���� ��� �$����� ��

��� �� �� ��$� ������� *�� �� �� ���� �� ���� � �� ����� ��������#"��� � � �� !�

�� ������� �� �� 0���#1������ ������ �� ���� �� � � ���� ��� "� 0���#1������

�� � C�� �� ��� ���� ��� �������� �� ���� ���� �$��������� �� ���������� ��

��������#"��� ����� ���� "� ������ �� �������

�� #$��������

��� �������� ���� "����� �� � ���!�������� >����'�� �� ��� �� ����� L::� 8:M�

�� �� ���� ��� "���� �� ��� �� ������ >������ ��� ��� /���� ��� ��� ������ �� �� ���

�� ��������#"��� ����� ��������� '� ���� �� �������� �� �� ���������� �� ���

����� ��������� ���� "� ����!�� �� �������

&����� ���� ����� �� ���� ��� ���������� �� ������ �� ��� !��� ������ ����#

Page 50: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

58

G

S S3

2

14

G

01 0"1

3����� 5 �A 01 �?$�? ����#����� �� ��� �� ���� ����� � � �� ���� ��� ��� �� ���� ��� � 0"1 7$7 ����#����� ��� 7 ��"���� 0��������� ��� ����1� ��� ���� "� !�������� ����� �� ,� 5� 9� �

����� ������ �� ������ �� ����������� ������ �� ��������#"��� ����� &� '���

����� �� �������#��#��#��� �?$�? ����#����� 03����� 5 �1� ��� ���� �� ���

����� �� �������� �������� �� ������������ �� #� ���#���� ������������� ������� �� ��

9 ������ ����������� �� ��!� � ���� �� �� �������� ��������� 8?Z �� �� ���� ��

����� ��������� ,?Z �� �� ����� �� �� ���� ���� �� �� ��� ���� �� �� ����� �� ���

�� �� ���� -� ���� "� ���� ����� �������� E0�1U -� � ������� ��� ������

�� < ����� 05 �?1 �������� E0�1 F � �� 0�1 ���� "� ���� ����� �������� �� ��� ��

��� �� ����� �� ���� �� �������� �� ���� ������� ����� ������� �� � �� D "� �����

��� �� ��� �� ���������� ��� ��� ������ �$���� ��������� "��� �������� �� ��

������� �� �� ���� ������ �������� �� ����� "� ���� �� �������� ����!� E ��� ����

�������#����#��#��� ���"����

4��� ������ �� ��� ���� ������ �� ���� �� !� � 8?Z ���� �� ����� ��

������� ���� ������ �� ���� �� ,?Z ���� �� ����� ����� �� �� ��� �����

Page 51: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

5;

0 50 100 150 200 250 300 350 400 450 5000

100

200

300

400

500

60010x10 Grid world

Trial number

Ste

ps ta

ken

to r

each

goa

l

0 50 100 150 200 250 300 350 400 450 5000

0.5

1

1.5

2

2.5x 10

4 50x50 Grid world

Trial number

Ste

ps ta

ken

to r

each

goa

l

01 0"1

3����� 5 ,A 01 <$�������� ��� �?$�? ����#����� ���� �� ����� ���� �� ��� !� �������"�� 6����� ���� �� ��� �� �����D ���#�� ���� �� ��� E F ?�7E�D ����� ���� �� ���E F E� 0"1 <$�������� ��� 7?$7? ����#�����

������ ��� ������ �� �� � �� "����� �� �� ���������� �� �� � ������ �� ��!� ������

� �� ���� �� ��� /����� ���� ���� ������ �� ����� �$���� �� ������ ������ ��

��� "��� ? 8 ����� �� 0����� �������1 �������� ������ �� ��� ��� ��������� ��

����� ������� �� �� �$������ ���"�� �� ����� ������ �� ��� �� �� ��� ���� � �����

"� �������0�����1�?�8 &��� �� ��� ��� ������� �� �� !��� �������� �� ��������

E0�1 �� "� E�0�1 F G�� 0�1 F �������0�����1�?�8 &�� �� �� �� ���� � ���

����� �� (����) ����� �������� ����� � �����#����� �� ����� "� ���� �� 0��

�� ���#����1 ���� � �� �0�1� �� ��� ����� ����� E0�1 F ?�7E�0�1 &� ������� �� ��� '���

�$��������� �� ���� �� 3����� 5 , 0��� �$��������� �������� �� ��� ������� �� !�����

�!�� 9? ����������� ���� 1 �� �� "� ������ ����� ����� ����� �� ���� ����� ���������

�����'����� ����� ����� �� ������� �����!��� �� �� ���� ��#��������� �� �!�� ����

�-�� �������� �������� ��� �� 5��� 811:� ���� 9�09&������ �� ������� ��� �������� ���� 9�9$� "�& ������� ���� 5���#�( �� ���� ������ ����� ����� �� ��� ����������� ������ � ���������

Page 52: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

9?

0 100 200 300 400 500 600 700 8000

50

100

150

200

250

300

350

400

4505x5 Grid world with 5 flags/subgoals

Trial number

Ste

ps ta

ken

to r

each

goa

l

0 100 200 300 400 500 600 700 8000

500

1000

1500

2000

2500

3000

35008x8 Grid world with 20 flags/subgoals

Trial number

Ste

ps ta

ken

to r

each

goa

l

01 0"1

3����� 5 5A 01 ������� �� �$�������� ��� 7$7 ����#����� ��� ��"���� ���� �� ����� ������ ��� !� ���� ���"�� 6����� ���� �� �� �����D ���#�� ���� �� ��� E F E�D ����� ������ ��� E F E� 0"1 ������� �� �$�������� ��� ������ 8$8 ����#����� ��� ���� ��"����

?�7E� �� ���� �� ���� � �� � �� ����� �����'����� ����� �� ������ ����� �� ������� 3��

����� 7?$7? ����#������ �� ������� "����� �!�� ���� ������A 3����� 5 ," ���� ��

������ �� �� ��� �$�������� ������� �� �� ����� ���� &� ����� ��� E� �� ?�7E� ��

�� ��� �� �� ��� �� ��� �� "���� "� ����D ������� ������ ����� �� ������ ������

"��� �� �� ��������#"��� ����� �������

����������� �� ��� �� ���� �$��������� �� ��� �� ��� �� >������ �����+��

� "��� ���� �� ���� ���!�������� "� ����� ������� �� �� !� ����������� ��� ��

����� �� ���� !��� ������ �������� ��� "� ������� ������� �������#��#��� ���������

� ��"��� �� �� ���� �����"�� E �� ��������� ���� �� �������

O�$�� ����� ���� �� ���"���� ��� ��� ������ ����� �� �������� ���� ����

�� ������ ���� �� �� ����� ��"���� �������� �� ����#����� �� 3����� 5 �"� ���� ��

���� �� �� �����#���� �� ������� �� ���� ���� �� ��� �� (%��) �� �� ����� "����� �����

�� �� '�� ��� ���� ������� �� ������ �� �� ��� � �� �� ���!���� ����#������ ��

Page 53: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

9�

�� ����#���� �� �$����� �� ���� ���� �� �� ��������� %�� ����� �� %� �� ��"����

�� �� �������� �� ����� � �� �� �� �� ������� ��� !������� �� ��"���� C�� �� ���

��� �� ��������#�������� ����� �� �������� �� ������ ��� �� �� ����� ��� � � � ��

�� < ����� 05 �?1 ������ �������� ��������� ��� �� ��"��� ������

-�� ��������� �� �� ��"��� �������� �� ����� �������� ������� �� ��

��������� ������ 0? 8 ����� �� �������� ��� ��������� ��� 1� �� �� ������� �� �$������

���"�� �� ���������� �� �� ������ �� ��� �� ��� �� �� ������ �� �� ��"��� ��

"��� � ���� �� �� ��� ���� �� ���!���� ���� ��� !��� ����� �� �#� ��"����

�� ����� ����� !� "��� 007 �1�71� ����� �� �� � ������� ���� ��'��� �������

����� ��� �� 007 � ?�71�71� ����� 0���� ? 7 ����� ���� �� (������ ���) ����

�� �� ���� "������ �� �#� �� � V �#�� ��"����1� �� �� ��� '��� ����� �� E0�1 ��

E�0�1 F 007 �� ?�71�71�� ���� �� ������� �� ���"�� �� ��"���� �� !� ���!��

��� �� �� � � 4���� ��� ���� �� �����#����� ��������� �� ��� �� E0�1 F E�0�1

>���� "� ��7 ����!�� �� ��� �� ��"��� 0���� �� �� '�� ��� ����1� �� ��

�� ����� ����� �������� � 0�� �� ��1 F E0��1 E0�1 �� ��!��� ��7 ����� ��� ������

�� �� ���� ��"���� &�� �� �$���� �� ��� ��������� � ��������� ���� "� ����

����� ����� 3�� ���������� �� ��� ������ ��� ��� �$�������� ����� ���� '��#�����

����� ����� ��� ������ �� �� ���!���� ����#����� �$���������� �$�������� ��������

�� �������� ����#��#��� ��� �� ���� "� �������� �� ���"�� �� ����� �� �� �� ����

�� ��� �� ��!����� "� ? 8� �� ����� �� �� ��������� �� ������������� E�0�1 F G�� 0�1

�������� �������� &� ������ �� ���� �$��������� �� ���� �� 3����� 5 5� �� �� ��� ��

����� ��� '��� ����� ����� �������� E� � ������ �� �� �����'����� ����� �� �������

Page 54: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

9,

�!�� ��� ����� ����� 0�� �� '��#����� E� �������������� �!� �!�� "����� ����������1

-�� �������� ��� �$�������� �� ����� 8$8 ������ �� ���������� "����� �!�� ����

������ 03����� 5 5"1

��% �������

-� !� ��!�� ��!��� �������!� �$����� �� �� ����� �� ����� (����) "�#

!��� �� ���� �������� ������� -� ��� ��� �� ����#����� ����� �������� ��

������� ��� ������������� ������� (�����) ��� ������ 0������1 ������� ��������� ��

����� �� �� ���� ����� �������� �� ������ ��� �� �� ���� ����� ������� ��������

�����I������ ���.�� ����� �� ����� ���� ���#������ "�!��� -� �� ��� "�

��� �� �� ���������A @�� �� �� ����� �� ���� ������������� ������� ����������� ��

������ �� �� ���J� ������ ���� "� ����� �� �$���.� �� ����#����� ���� �� ����

�� ��������� ������ &� ��� � ��� ������ ������ �� ���������� �� ���������� "�

�� ��� ��� ��� �������� �� (������ ���.�� ����)+���������� �� ���"�� �� ����

����� �� �������� ���� ��� �� �� ����� �� �� ���� 0/���.�� ����� �� ��� ����

����� �� ����� 9 1 �������!���� �� �� ���� �� ���� �� �6�� ���� � ����� �� �� ����� ��

������� ���� ��� ������ ������D ������� �� ���� ���� ��� �������� ���� �������

���� � � �$������ 0����� �$�������� �� ���������1 ���������� �� ��0� �1� �� ��

������ � ���� ���� ������ �������� -� �� ��� �� �� ���� ����� �������� ��

������ ��� �� �� �����"�� �� ���� ����� ���� �� � � 0� � � ��� ������ ������ ���.��1�

�� ����� ���� ���#������ ����������

����� ��� ���!���� ���������� �� ���� ����� �������� ���� "� ��� �����

Page 55: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

95

�� � �� -� �� ��� �� ��������� ������A

2��� � �� � F 0���� ������ �� �1 �� �� +,- �� � � � ��� ������� E ������

�E0�1 � �� 0�1� " ��� ��� �� �� � �� � ������������ ������ ������ ������ ���� E�

��� ������� ������� ���� ���� ������ �� � � ��� �� ������ ������� � � #�������� �

�� G �� �� ����� ���� ��� �� +,- 0���� ������ ��� �V � 1� !���

� ��� 0�1 � � �

� 0�1 ��

�0� ��1"

�� 05 ��1

������ �� ������� � �� ���� ����� ������ �� � ���� ������� �� ��

������ �� � �

�� ���� ������ �� �� �� ����� ���� ������� ��� �� �� ��� ��� ������� �������

����� ���� ������ �������� ����� �� � � �� �� (�������) �� �� ����� !� �� �������

��� �� ���� � ��� ����� �������� �� ���� ��� 0� � � " �� ��� ��� ����1� �� ���� �"���

���#������ ������ P�!�� �� ��� ������������� ������� �������� ���� ���� ��

���!���� ����� �� ��� ��� ������ �������� ������� ��� ���� ����� �� �� �����

�� "� ���� �� �������� �������� ������ ����'���� ��� ���������� &� ����� �� ���

&����� �� ��!�� �� �������$ *

���!������� �� ����� �������� �� ������� ���������� ��� ����� �������� �

�� ��!� ������ �������� ��!���� /��� ��� �� ��� ��� �������.����� ���� ����������A

����� ���� ���������� ����������� ���� ������ �� ���� �� ������ ������� �� �� ��� ��

��� 0"� � ������� ������ �� ����� � �� ������� 5 51 �� ��������#"��� � ��� ����

��� ������ �� ���� ���� ������ ���� ����� ������� ���� �� ��������� ��� � �� ��

������#���� �������� �� �� ����� �� �� ��$� ����� ����� ��� ����#����! ��������

��������� 0��6��1 ���� ������ ��� !����� ������ �� ���� �� ��������� < ����� 05 �1

Page 56: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

99

�������������� �������.�� �� � 0�� �� ��� $1 F %���E0��1 E0�1� ���� $ �� �� ���� �� �����

���� �� ��������� �� & �� �� �������� ���

3������ �� (�E0��1 E0�1) ���� ��� ����� �� �� ������ ����������� �� �����

�� ���� �� �� � ������ ���� �� ��!���� ������� L�?M �� '#������ �������� L�=M ��

!��� ����� ��!��� �� ����� ��� �� �� �� ��� �� "� ����� �� � ������ �� ������

E �� � �� ��� ���� ����������� �� �������������� �!���� �� �� �������� ��

���"��� �� ��������� E� ��� ������ �� ���� ���� ����� �������� ����� �� ��� ����

������� �� � ������� ��� �����#���� !���#�������� ����$������D �����'����� �� ��

��� (������) ����$������ �� E� �� ('��) ����$������ �� ���� ������ ��!�� ��

���� ������ ������ �� �� �������� ���� ������ �� ��� �� ����� ����� ���������

�� �� �� ��������� (���� !� '��) ����$������ ����� �� ��� ���� �� ��� ���� ��

�����"�� ��������D� ��� �� "� � ����������� ��">��� ��� ������ ����

*�� ���� �������������� �� ������ �� &����� 5 ��� �������� �� �� ���� "�

�������� �� ��� �"��� ������� �� ��� !��� �������� ����$������ ������� ��

���� �� ����$���� � �� 0�� �� ����$������ �� ��� ���� � E1D �� ������#����

������� �� ��� ����� �� ���� ������ �� ������� �������� ������ ��� �������

0&�� ��� ����� ��� �� "� ������� ������ �� ����#������ ������ L;;M� "�� ��� �� �����

��� �� (����)I������ ���� ������� ��� ������� ���.�� ���� 1

�� ��� ������ �� !� ���� �� ��������#"��� ����� ������ �E0��1 E0�1

��!� 0���#1������ �������� ������� �����!��� ��������#"��� ����� ������ ����

���!�� �� "� �� ���� ���� �� ����� �� �� ������� ��� ��!����� ������ �� ���

�-�� �� ������ � ��� �������� ���� ������� ���� � ������� �� ��� ������ ��� � �� ������� �����������B����� ��� �� ���� � � ���� �� ��� ����� � � ������ ���� ����� ��� ���������� � !�� ������ ��� �� ����������

Page 57: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

97

������ ���������� "��� �� �6� *�� >��� � ���� ������������ ��� ����������� �!�� ��

������������ ���"���� 0����� �� �����!� ���!������� �� ��������1� �� "����!� �� ����

��� "� ���������� �����"�� �� ��� ����� ������ �� �� �������� "� ���������� "��

��� �� ����� ��� �������� �� �� ���� �� !� ��!�� 3�� �$����� "� ����� �� �����

����������� �!�� �� ������������ ���"����� �� �� ������!"�� �� ��� ������ ���"����� ��

�� "� ����� ��� � �$���� �� ������� �������� E ��� � (������������) ����� ��������

E0��1 E0�1� �!�� ��� � �F � <!�� ���� ��� ������� �� �� ������ ������� ���������

�� ��� ���� ��� ����� �������� ��� ������ ���� � ����������� ����� �� !���� ����� "�

���� ������� �"��� >���������� �� ��� ��� �� �� ��� ������� ����� ��� ���������

���������� � ������� ����� "������ E� �� �� ��� �����"�� �� ���� ������������

���� ��� �� ��� ������ ��"������ E O������� �� �$���� ��������� "��� �� �����

�� !��"��� ��� ���#�������� ����� ��������� ���� ��� "� ����� ���������

�� ���������� ��� ������� ����� ���������� �� !� ��������� �������#"���

�������� �� ��"���#"��� �������� ��� ������� ���������D "����� ����� �� �����

������ �� ����� ������� ����"��� �� "����!� �� ��� �� '����� ���� ����� ���������

���� "� ���"��� �� ��������� ���������

&�����$ ��&' ���� � ������!

�� ��� �������$� �� ����� �� ����� �� �� ��������� ��� �� &����� � 3��

"��!���� �� ��!� �� ����� ���� ��� �� ��� �� ��� F ,D �� �������.���� �� �"!���� "��

���� ������� -� "���� ��� �� ��������� C���

Page 58: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

9:

���� ! $� ���� ��� � � � ����� �� � � ��� �� �� � � ���� �� � 0�� �� ��1 �F � 0�� ��� ��1�

��� ���� ��� ������ ��������� ��� ��� � ������ ������ � ���� �� �� �����

���� � � � � ����� � � �

���� ��0����3 ������ ������ ���� �� ��������� �� � 0�� �� ��1 � � 0�� ��� ��1� �� ���

H F � 0�� �� ��1 � 0�� ��� ��1 � ? �� �� ������������ ���� ��� ����� ��� ���������� ��

� �F �� 0-�� � F �� �� ����� ��� � F �� �� ����� �� ���� "�� !��� �� ������ ����������

>��� ���� �� ��� ���� ������� 1 -� ��� ���������� � �������A C�� ���0��1 F ����0�

�1 F

��?� �� ��� �0�� �� ��1 F ? �� �0�� ��� ��1 F H�, ������ �� 0�1 F �� @� �� ���� ���

����� �� F � V � � �� !� ��0�� �� ��1 F � 0�� �� ��1 �� ��0�� ��� ��1 F H�, V � 0�� ��� ��1 F

� 0�� �� ��1 H�, � ��0�� �� ��1� �� ���� �� �0�1 F � �

-� �� ��� ���� �� ��� �� ��� ��������� ������

���� ��� ������%�3 ������ � �� ��� ��������#"��� -� ���� �� ��� �� �� ���������

���� � ��� �� �� ������ ������ �� � �� � � �� ��� ������ �� � *� C��� 9� ��

� 0�� �� ��1 ������� �� �� �� �� ����D ���� �� ���� ���� �������� ����� ��������� �� ��

���� � 0�� �� ��1 F � 0�� ��1 0��� �� ��� ������ �� �1

�� � F �� ��� G�� F �� "� �� ������������ "���"��� ����D �������� ��� G�� "� ����

'$�� ���� O����� �� ������� ������ �� �� ����� �� ��� ���� �� ������ ������ ���

� � �� �� ��� "� �������� �� � 0�� ��1 ��� � 0�� ��1 � 0G��� G��1 �� ��������� ����� ������

���� �� ��������� �� � 0G��� G��1 F ? O�� ��'�� E0�1 F � 0�� G��1 ��� �� � *� ���������

�� � ��� "���� ��������#"���� ���� �$��� ��� �� ��� �� �E0��1 E0��1 �F � 0��� ��1 0���

�� ����� ��� ��� G�� �� ��������D �� ���� ���� �� ����� �������"�� �� ����� ��������1

-� ��� ��������� � �� �� ��������� �� 0����� ������� ��� F ,1 3��� ���� ��� ���

Page 59: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

9=

��

���

��

G��

3����� 5 9A &� ���"���� ���� ����� ���������� �� "�� ������ ��� ����� !� ���""������ &� ���� 0��� �� G��1 ������ ����� H�,� �� �� ���� ����� !� .��� �����

����0G��1 F �����0��1 F ��?� �� ���� ����� �� �� G�� ��� "�� ������ � �� �� ��� �� G�� ���

���""����� � ���� ��'�� H F � 0��� ��1V �� 0��� G��1 � 0��� G��1 �� ��� �0��� �� G��1 F H�,�

�0�� �� �1 F ? �������� &�� ����� �� ���������� �� 3����� 5 9 &�� �� !�

��� 0��� �1 F

H

,05 �,1

��� 0��� �

�1 F ? 05 �51

��� �0��� �1 F

H

,V � 0��� G��1 05 �91

F � 0��� ��1 V �� 0��� G��1 H

,05 �71

��� �0��� �

�1 F � 0��� ��1 V �� 0��� G��1� 05 �:1

���� �� !� ������ �� �� ��� �� � �� 0G��1 F � �

� �0G��1 F ? "� ������������ /����

�� 0��1 F

��

� �� H � ?�

�� ��������

05 �=1

�� �0��1 F

��

�� �� H � ?�

� ��������

05 �81

Page 60: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

98

&�����$ ��(' )������ "�� � ������� ���*��

�� ��� �������$� �� ��!� ������ ���� ��� �� ���!�� &����� 5� ��� ����

�� �� (����) ����� �������� �� ����� ��� �� �� ���� ����� ������ ��������

�����I������ ���.�� ����� �� ����� ���� ���#������ "�!���

C�� � 0�� �� ��1 F �E0��1 E0�1 "� ��������#"��� ����� ��������� ����0�� �� ��1 F

�0�� �� ��1 V � 0�� �� ��1 -� ���!������ ����� �� � �6� ����� ����� �� �� ��������

� ���� !� �� ��� ������ ������ 0�� ��������1 � ��� ��� ������ � �� �������� �

-� �� ��� ���������� �� �� ������� �� �� ����� �� �� ������� �����+��� ����#

��� ��� ������ ��+"�� ��� ���� ��� �������� �� � 4���� ��� ������ ������ ��

���������� ���� �!��� ���������� ��� ����������� �� ������� ��� ������� ������� "�

���� (�������) �� �� �� ����� �� ����� �����

-���� �� � ���!������ ���������� ����������� �� ����� �������� �� �

�6� ���� � �� ��� �� �� ��� ��� ���������� �� ����������� �� �������� ����� ����

� �� �� ��������� ��� ���!���� �������� �� ���� ��� (�� ��) (�� ���) ��� ��"������� ��

������ �������� ���� �� �� �� ���� �6�� ������ ���� ���"������� �� �� ��� ������

�� ��� �������� ������ 3�� �������� � ����� �� �� ������ !��� �������� �� � �6� �����

����� �������� �� �� �������� � 0�� �� ��� ���� ����� ������� �� ���� ���������

���""������� � �� ������� �6�1 ��������� ����� �� � ������ ������ �� �� �6� ��

���� �� �� �D �� �������

����� �� �� !��� �������� ��� �� ������ ����� �� �� �6� ����� ��� ��

O��� ��� ��� "� &����� �� �� !� ��

����� F ���� � 05 �;1

&�� ��� �� ������ �������� �� �� 0��� �1# �� �� 0�� �1#�6�� �� �� ��� ��������

Page 61: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

9;

��� �� ����� , �� ������� 5 5� �� ��� !� �� ��� �� �

� ����� F � �

��� E� 05 ,?1

&� ��������� ������ 0���������� ���������� �� &����� 51 ����� �� �� ��

���� (����) ����� �������� 0�� E0�1 �� ����� �� � ����0�11� ��� �� �� ���� ����� ����

������ ���.�� ���� 0� � � ��� ���� �� � �1 �� ����� ���� ���#������ "�!��� O���

�� �� �� ���� ���������� �� �!������ �������� ��� ������� �� �� ������� 0�� �1#

�6� ���� �� ������ �������� �� !��� �� �� ������ ������ 0�� ������ �� ������� �

������ ������ ����� �� ����'�� ������ �� �������� �����1� � �!����� �� �� �������

�6�� ���� "� ���#������

2��� #������ �E0�1 � ����0�1� " ��� ��� � � �� ��� �� � � �� �� ��0�� �� ��1 F

�0�� �� ��1 V �E0��1 E0�1� ��� �� � �� !���

��������

��� 0�1 � � ����0�1

,0� ��1"

0� ��10� �105 ,�1

*����� ���!��� �� ������� �� '��� ����� ������ ������ �� ��������� ������ ���

���������� ' �� (� A � � � �� �� ����������� ������� �� ����� �� ��� �������

�� �(0�1 0�1� ) ��� ��� � � �� !��� ��$� (0�1 �$� 0�1� )�

���� ��� 2��� �3 3��� C��� ,� �� !� �� � �����0�1 F � �

���0�1 E0�1 ��� �� �

����� �����!�� �� ����0�1 E0�1� " ��� �� � 0"� ���������1� ��� ���� �� ��� �� � � ��

�� �����0�1� "� 05 ,,1

Page 62: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

7?

C��

$ F �$��� �

����0�1 � ������0�1� 05 ,51

F �$���

������

���� 0�1 ��������

����� 0�1�� 05 ,91

-� ���� ��� ��� "���� �� $ 3�� �!��� �� �� �� !� ��

���,��������L������0�

�1M ��,��������L�������0�

�1M�� 05 ,71

F���,��������L�

�����0�

�1M ��,��������L������0�

�1M

V��,��������L������0�

�1M ��,��������L�������0�

�1M�� 05 ,:1

���,��������L�

�����0�

�1M ��,��������L������0�

�1M��

V����,��������L�

�����0�

�1M ��,��������L�������0�

�1M�� 05 ,=1

F 0� ��1��,��������L�

�����0�

�1M��

V ����,��������L�

�����0�

�1M ,��������L�������0�

�1M�� 05 ,81

0� ��1"V ��$ 05 ,;1

&�� ������� �� ��� �!��� ��

��� �����0�1 � �

�����0�1�� F

��� �$�

,��������L��0�� �� ��1 V �� �

����0��1M�

�$�

,��������L��0�� �� ��1 V ��� �

�����0��1M���� 05 5?1

0� ��1"V ��$� 05 5�1

&� ������ ���� "�!� ���� ����������� :� ���

(0�1 F ,��������L��0�� �� ��1M V �,��������L�

�����0�

�1M 05 5,1

0�1 F ,��������L��0�� �� ��1M V ��,��������L�

������0�

�1M� 05 551

Page 63: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

7�

�� �� ��� �� �(0�1 0�1� 0� ��1"V ��$ ��� �� � 0� ���� �� < ����� 5 ,;1

*�� ����� 05 5�1 ���� ��� �� ���� �� �� ���� ��� "� "���� �� $ 0��� < �#

���� 5 ,51 /�����

$ 0� ��1"V ��$� 05 591

���� ������ ���������� ��� ����� �� �� ���

$ 0� ��1

� ��"� 05 571

�� ���� ��� ��� �� ��

�� �����0�1 � �

�����0�1� 0� ��1

� ��"� 05 5:1

����� �� �� �� ���������� �� �!������ ������ ��� ������� �� �� 0�� �1#�6�

O��� ������ �� �� ������ �� ��� �������� ��� ������� �� �� !��� �������� � ������0�1D ���

�� !� >��� ���� �� ��� !��� �������� �� ����� 0����� 0� ��1"�0� ��11 �� �� ������

!��� �������� � �����0�1 ��� �� 0��� �1#�6� � ������ ������ 0���� � � � L;=M1 ���� ��

�� !��� �� ������ �� �� 0��� �1#�6� ����� "� �� ���� ������ �����'����� �� !�

�� ��� �� ��

� �����0�1 �

�������

���� 0�1 ,�0� ��1

0� ��10� �1" 05 5=1

*�� ����� < ������ 05 �;#5 ,?1� �� ��� ���� ��

� �����0�1 �

�������

���� 0�1 F �������

���� 0�1 ��������

���� 0�1 05 581

F ���������� 0�1 �

�������

���� 0�1 05 5;1

F �

�������� 0�1 E0�1

��

�������

��� 0�1 E0�1

�05 9?1

F ��������� 0�1 �

�������

��� 0�1 05 9�1

F � ����0�1 �

�������

��� 0�1� 05 9,1

Page 64: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

7,

������� ��� ������� ��� 05 5=1 ���!�� �� ������ �

C����� �� �������� ��� ������ �� ��!� &����� 5� ���� �� ����� �� �� �� !�

�� ��0� ��1 ��0� �1 F ��0�1

Page 65: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

75

�������

������� � ������ ������ ������

��� ���� ���� ��� �������

�� ��� ������ �� ������� ����� ��� ������� ����� ���� �� ��������

��� ����! �������� ������� 0�6�1 �� ������� �"���!"�� ����! �������� �������

0�@�6�1 -� ���� ����� �� �� (�������) ������� �� ��� �� �� ��!�� ����� �� ��

�6�J� ���� ��������� ������� -� "���� "� ������"��� �� ������ ���� �������� ��

�� ��!� �������� �� ��� ���� ���� -� ��� ��!��� �� ��>������ ����� ����� ��

N����� ������ �� O� L7?M� ��� ���!� ���� ���"���� ���� "� �� ��!� ������� "��

�� ����� ������"�� ��� ���� �����"�� ���"���� -� ��� ������� �� ������� �����

�� ������ ���� ������� �� "��� �� �� ��������� �"���!����A ��� 0�@1�6� �� "�

���������� ���� � (� ��!����) �@�6� �� ��� �� ���� ���������� 0��!�� �� �������

���� �� �����1 �� ������������� &��� ��� ������� �� ������ ���"��� �� ������ ����

�-�� ������� �������� ������� ��� ��� ��� ��� � ����� �� .� ��� C���� #$999(� 2�������3 D ���� ����� ����� �� ����� � ! ��� !�� !�4 E���������� �� D�������� ������������� !�������� ���� 5�������� 6��������� � =9'7=0%�

Page 66: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

79

�� ��� �� ��� �� ���� ���� �������� �@�6�� ��� ������������� ���������� -� ��!�

����� �� �� ��������� �� ����� �� �������� �� ���� ���������� �@�6��� ������ ��

�������� ��� �������� �!������ �� ������� �� �� ���� �� ����������� -� ��� ���!�

�������� �� �� ���������� �� ��� ������

�� ���! �����

�� ��������� �� ����� ,� ��������� ������� �� ������� �� ���� �6�� ��

�@�6�� �� �� (����� �� ������������� ) L�5M 3�� �������� �������� ������� �� � �6�

�� � � �#���������� ���� ���� � F � �� � F L?� �M� ���� � �� ���� &� �"���

���������� ��� ��� � �6�� ��� ���� !� �� �� ������������ �������� A � � �

/�� �� �� ��������� �������� ��� ����� �U @�� ������ ����� �� �� ��������.� ��

���� ���� "� (�������) �� ���� ������ ���� ����� �� ���� ����#���� *� �� ��� �������

������ ����� ��� �� ���� ���� 4������������ ��� ����� � ��������������

���� �� �� �$�������� �� �� ��������� �� ����� �� ������"�� �!�� ��� �������#��.��

���"���� O��� �� ��� ���"��� ����� �!�� �� � �� ��� ���������� 3�� �������� ���

�������� �#���������� ���� ���� � F �?� ��� �� ���� �� ������������ A � � � �� �����

�$�������� � �� �� ��� ��!� ������#�"�� ������������� ��� 0������� ������ �����

��� �� ����1

3�� ���� ������� �� �� ������������ ��������� ������� �� ������ ���� "�

������� ���� ����������� ����"�� ���������"��� ��� �� ��������� B �� �� � �� � &���

���� �� ������ �� '�� �� (���!������ ������) ������ ���� �� �����"�� �������� ��#

���� ���� ���� � �� �� ������� �� ������ �������� ��� �������� �� B� �� ���� ���� �� '��

Page 67: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

77

���� ������ ����� �� ��� B ������ ���� !� ���� ������� �������� �� ��� ��������

��� ���� ������ �� ���� �6�� �� �@�6�� 0� � � L�?;� 7=� �?8� ==� ;� 7?M1

�� �������� �$����� �� � F � �� � F �� ��� ��� �����"�� ����� ��� B ����

"� �� ��� �� �� ����� ��������� ������ ���� �� ���� !��"��� �� �� ��� ���"���

�� ���� �� ������ ����� ���������� �� �������� ���� �� �� �6� ����� �������������

��� �� ��� �� ��� ������� �������� ���� '�� �� �� �������� ����� �� �� �� �����

�$����� B �� ��� "� �� ��� �� �� �����"�� ��������� ���������"�� "� ������#��.��

����� ������� L:;M �� �� ���� ������� ��������.�� �������� ����$����� &� ���

�� ������ ���� ���� ��� "� �� '�� ������� �� �� ����� ������� ������ �� �� ���

�� ������� ���� �� ��� � �� ����� ���� �� ����� �������� �� ���� ������� ���� �����

�� ����� �� ��� � �� ����

�� ������� �� ������ ����������#"��� �������� �� ��� �� '�� � ����$#

���� !��� �� �#���������� ������ ���� ������ ���� �� ���� �������������� �� ��

������� �� �@�6��� �� ��� � ���� ����� �"���!� �� ���� �$���� � �� ����� ��

���� �� ����� ���� ����� ���������� �����'����� �� ������ ���� �������� �� !�

��������� ��� ���������� ���� ���� ��� ����� B �������� �� �������� �� ������ ����

�� ������ ������ �� �� ���� �� ��������� �� ���� �� �@�6�� �� ���� ��� ����

B �� ������� ���� �������� �� ������ ���� �� �� �"���!"��� 0< � � B �� "� ��

��� �� �� ����� ��������� ������ ���� �� �"���!����� �� �� ������ 1 &�� ������� ��

���� �� �������� ���������� 0�����!�1 ��������� �� �� "� ������ �� �� �@�6� *�

����������� ���'��� (������ !��"���) ���� �� ������� ����� �� �� ��� ��'�� �������#

�D������ �� ���� �� �� ������� ������� ������� ����� ���� ���� ��� � ������������� �������&�F���� #���� ���� ��� ����������� � ������������ ����� ����� �� 8%9:(�

Page 68: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

7:

������ �������� L=,M 0��� ������� ���� ����� ��� �������� �� ��� �� ���� ���� ���

�� ������� �"���!����� �� ��� �� ������� �� ���� ����1

������ ���� ������ �� ��� ��>�� ���� �!����� �!�� ������#����������

�� !���#�������� "��� ��������� �����'����� ������ ���� ������ ��������� �� ����

��� �������� ��������� ������ �� ����������� ���� �� ������������ !��� �������� &��

�� ��� ���� ������ �$����� �� ��� ��� ��� ��� �6��� �� !��� �� �#��������� ��

"� ���������� �� ������ �� ����$����� �!�� ���� ���� �� "� ������� ��������

���������"�� �������� �� ������� !��� ���� ������� �� �$������� �� ����� ������ ���#

���������� �� �#�������� 0!� ���� ����� �������� ��1 ������� �� �$������� �� �����

������ ������������� �� ������� "����� �#�������� ��'��� ������ �� �������� ����

�� �� ������� �� �� �$������� �� ����� ������ ������������� �� ������ �������

����� ������ ������������� �� !��� �� �#��������

@� ������� ���� ������ ���� ���!���� �������� ���� ��� ���!��� ��� ���"���� ��

������������� �� �������� ���� �� ��� �������� �� ��� ���� ������ �� "� ���������

3�� �������� ������ ���� �������� �� ����� �$�������� ������� �� B ��� ���� ������ &��

�� "� ������������� �$�����!� �� ���� ����� �� ���� ����� �� ������ ������

����������#"��� ������ �� �� ���� �� ������� �� ���������� �� ���� �� �����

�� "����!� �� �� !��� �������� �� "� ����� ����$������ ��� !���#��������#"���

������� ����� "� ���������!�

������ ���� �� ����� ������� B &�� ����� �� �������� �� �� �� ���� ���������

�� ������ -�� ���� �� ����� ��������� "��� ������ ���� �� ���� ���������� 0���

� "����� �� ���� �$���� ���� ����� ����������1� ��� �� �� "� ���� �� ����� B

Page 69: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

7=

-�� ��� ����� ��������� �� ��� !��"��� ��� ��� �� ������ ��� ������ ��������

����$����� 0��� � ����� ������� L:;M1 ��� B

� ������ �� �� ������� "��� B �� �� �������� ������� �������� ������ ���

����������� �� �6� �� �@�6�� "�� ��� �� � ��� �������� ���� ����� �� ���� "�

��� �� ���� �� ��� ������� ������� �� ���������� ��� ���� �������� 3�� �$�����

�� �� ���� ��������� ���������� �� %� ��������� ����� �� ����� �� ����!���� ��

���� ����� ������ �� �$�������� ����� ����� �� �������� �������� �� �� ��>�������

����� �� ��������� ����� �� ������� �� ���� 0-� ����� �� ���� ��� ��� ���� ��

����� 7 1 ��� ���!��� ���� �� ������ �������� �� �� �� ��� ���� �� �� ��� 0���

�$���� �� �� �� ���� �� �� ������� ����� �� ����� �� ��� �� ��������� ��������

������ �������1� ��� �� �� ��!� ���� �������� ����'��� �� ��!� �� �������

������� �� ��� ��� �� ��������� !����

&�� (��������) �� ��������� B !� ������� (����� �������) � ��� "���

�������� �� ������ ���� �� ������ �� � �������� �� ��������� �������.�� ������#

���� ������� ��� ������������ ����� ��������� �� ������� ���"����� �� �� ��� �������

�������.�� �������� �� �� ��� �!���� �� ���� �������������� 3�� �$����� ���J�

/��� L8�M ���� ��� �� ������� '����#����� ����������� ��� 0����� �"���!��1 �6��D ��#

��� �� �������J� �/��� �������� /��� �� �������.�� �� �� ������ ���� �������� L9MD

�� &���J� �<� L�??M �� ����� ���������� ������ ��� ����� ������� �� �������

�� "���� ������ �� ��� ���� ������.�� ������� ��� �� ���� ���������� 0� � � /���

�� �/��� �� ��� ������� ���������I���#�����1� �� ��� !��� �� �� ����� ������"�� �� ����

����� �� ��� ���� �!������ ����� �$������!�� ���������� ������ 0��� � �� �VV� �!�

Page 70: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

78

��� 1 �� ������� B 6������ ��� ������ ��� ������������ �� B� �� ���� ��� ��� �����

������ ���������� "��� �� ������� 0��� � �� �� �� (������) �� ��������� �����

���� ���� ���"�� �� ���������1� �� �� "�� �� ��� ���#���!�� �������� "��� ��

���������� �� ��� ��������

�� �� ��$� �������� �� ��� �� �� �������� ��!��� ��� ������ ���� ���������

�� ������"� ��� ������ ���� ������� @�� �!����� ��� �� � ������ ������� ����

(����� ������$���) �� ��������� �� �� �������� �� �������� �� � ����������� ����� ��

��!��� �� (��>������ �����) ����� �� N����� ������ �� O� L7?M �� ������� 9 5 &�

��>������ ���� ����� �� ����� � �$���������� ���� ���"�� �� ������� �� ���� ���

���� �� ���"���� ��� � ��'����#���������� ����� ���� �� ������� 9 9� �� ��������

������"� �� ������� ������ ���� ������ ��� �����!�� ���� ��������� �� ������� 9 7�

�� ��!� �������� �� ��� �����J� ����������D ������� 9 : �������� �� ������� �� ����

�$��������� ����� ���� ������D �� ������� 9 = ������ ��� ����������

�� ���! ����� ����"���

3�� �� ��� �� ������������� �� ���� ������ ������ �������� ������ �� � F

L?� �M� �� +�#���������� ������"� 3�� ����������� �� ��� ����� ������ �� ��������#

������ �� ������� �0�1 ���� �� �0�� �1 -� ���� ��� �������� ���� �� ��� �� ����������

�6�� 0� � �1� �� �$�������� "���� ������������

����� �� �� ��$� �������� �� ������ �� �� � � A � � �� �� ��

� �0�1 ��!�� �� �$������ ���������� ��� �� ������ ��� �$������� ������� ���� ���� �

&� �������� ��� ��"�� ���� �������� ��'�� �� ������� �� ������ � ��� ������� �� ��

Page 71: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

7;

������#���� ������"����� �� �� "�

,01 F ,���� L� �0��1M 09 �1

0���� �� ��"������ �� � � �������� �� �� �$�������� �� ��� ������� �� �� ����

�������� �� �1 &��� ,01 �� ������ �� �$������ ���������� ��� �� ������ ��� �$�������

������� ���� �� ���� �������� ��� �� "������ ��� �� �� ����������� �������� �6��

�� ��� �� ��� �$������ �� !��� �������� �� ���� ������ �� ��� �������� �6�

� � �� ���� ��� ��"������ � � � �� � �� 0�1� ���

�� �� ������ ���� �������� �� !� ���� '$�� ���� B �� ��������� �� ������ ��

'�� ���� ������ � B ���� ���������� ��� ��!�� �6� � �� ������ ���� B� ��'��

�� "��� �����"�� ������� ����"�� "� B �� "��

��0��B1 F �$���

,� 01� 09 ,1

@�� ��� �� �� '�� ������ G � B �� ��!�� �� �������D � � � ��� ���� ,0G1 �� ����� ��

��0��B1

����� � � �������� �������� ��� �

-� �� ���������� �� �� (�������) ���"���� �� ���� ����� �� �� �� ��!��

����� �� �� 0�@1�6�

�� ����� ��� � ������� �� '�� ���� ������ ��� � �6� 0�� �@�6�1� �� ����

!� ����� ��� �� ���� ���������� "���� �� �6� @�� ������ ��������� �� ��

����� ��� �� ��� ��� � ��� ��� ���� �� ���� �� �� �� ����� ������� ���� ��� ��<������ ����������� ��� � �� ��� ������� ����� ���� ��� ������� ����� �� ��� ��� ��� �� ����� ��� ��� ���� ������ �� �������� ��� �� ��������������� ������ � ������ ������ �� ������� ������� ���������� ��� � �

Page 72: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

:?

s

a

s’Simulator

p

s

a

s’g

01 0"1

3����� 9 �A 01 � ��������I�������!� ����� ��� � �6�� �� ���� � ����� �� 0�� �1#���� �� ������� �� � ���0�1 0"1 � ������ �������� ������������� �� ��������� ����� ����� ���"�� �������� �� ����� �� ������� �� �� �� ������ �� �� ��������� ������������� �������� 0�� �� �1 �� � �� �� �� ������ �� �

������� ������� � ����� �� �� �6� !� �������!� ����� �� �������� L7?� ;8M�

��� �� �������� �������� �� ���� � ����� �� 0�� �1 ����#����� ���� �� �������

��������� ���� �� ���� �������� �� ���0�1 0�� �� �@�6� �������� �� �������� ���

������� � �"���!���� ��� �� ���� 1 &�� ��"��� �� ������ �� ��� ������ ���� �"�����

����� ��� �������!� �����I�������� �� ���� �������� ����������� !� ��������

������ �� ���� � ����� �� ���� � � �� �� ����� � � �� �� ������� ������

�� � ���0�1 &�� �� �������� �� 3����� 9 �

�� ��� ����� �� ���� ����� ����� �� ��� �������!� ������ "�� ���� ��� ��

��������� ��� ���� ������ &� ���� �� 0����������1 �� ��������� �������� ��������

�� �� ���� �� 3����� 9 � �� �� ����� �������� ������ �� ���� � ����� � �� �� ���

���� ��� �� ����� ���"�� �������� �� �"��� ��� 0�� ��!���� ��� +� 1� �����

���"��� �� �� ��� �������� ���� �������� �� �� ����� �� �� �� �� �� ����� �

������� ��� �� �� 0�����1 �� ������� �� ������� �� ���� �� ����� ����� !��"��

Page 73: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

:�

���� ���� ������"����� ���0�1+��� ������� ���� ������������� �������� �� ���� ������

�� �� ����� ���"�� ��������J� ������ -� ���� ����� �� ��� ������� ������� �

����� ��� ���� �� �� �������!� �����I��������� "�� ��� ����� �� �� �������� � � � ��

����� �� ��� �������� �������� ������� � ������� � �� ������ ������ ���������

-��� ��� �������� ����� ����� ����� ���������� �� ���� ���� ��� �� �������� ��

�� �������� �$���� ��� �������� �� �� ����� �������� ����� �� �� ����!� �����'�����

���� �������� ��������

����� A � � � � L?� �M� � � �� ������������� ��������� �� ���� ����� �� �� �

���������� ����$���� ���$ &� ��� ����� ���� ���0�1 ��� ���� '$�� � ��

�� �� ���� ���� ��� -� ��������� �� L?� �M� � �� ��� ������� 0�� �� -�1 � �������������

�������!� ����� �������� ����� �� �� ������� �������!� �����

C�� �� �$���� ���� ������ �$����� �� ������������� �������!� ������ �������

�� ��� ����#����� ��� 0��� ��1 �� ���� ����� �� �� ���� �����0��1 F ��5� �����0�

��1 F

,�5 &�� �� �� ����� +� F � �� �� -� F � �� >��� ��� ���"��� �� ��� 0��� ��� �1 F ��

�� � ��5� �� 0��� ��� �1 F ��� �������� �� ����� �$����� ������� � F �� �� ���0�1 ��

����� ������"����� ��� �������!� ������"����� �������� ���0�1 ���� ������� +� F ��

�� �� ����� �� "� 0�� �� �1 F ����� 0�1� �� �� 0�� �� �1 �� ������"���� � ���0�1

�� �� ��� �� ���""����� ����� ��� ��!�� �� ��������� ������"����� ���0�1�

��� ������������� �������!� ����� �� ���� "� ����������� ��� �� 0���� � � L5�M 1

������� ���� ��$�� 0� � L�7M1 ��������� ��'�� �@�6�� ����� ���������� ������������� ���#

����!� ������ /���!��� ���� ���� ����� "� ��� �������� ������ �� ��� ������������

0�@1�6�� �� �� ���� "� �� �� �� ��������J� ��������� �� ������ ��� ��� �� ����

Page 74: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

:,

(�����) �� ��������� �� �� ���� ��� ����� �� �������� ����� �� �� �� ���� ��

������ ����� �� ���������� �� ��� �������� �� ��"�� ���� ��������� ��� �� ��� ����

���� "� �� "���� �� ���"�� �� ������ �� ����� �� �"��� ���� ����������� �� �� ����

��� �� (�������) 0�� ����� �� "� ������.��1 �������������� �� �� �������� �� "�

���������

����� ���� � ��� ����� ��

@�� ��� �� �� '�� �� ����$���� ���$��� ,01� �� "��� ������ �� B �� ��

����� ����� ������� ,01� �� ����� ������ ���� ���� ������� �� ���� �� B ��� ��

�������#�$���.��� ������ *��

,01 F ,�L�0��1 V ��0��1 V ���0��1 V � � � M 09 51

�� �� �$������ ��� �� ���������� ������ ��� ������� ������ �������� �� � �� ���������

,01 ��� �� ������� ������"��

@�� ������� ���� �������� "� �� ������ '�� ����"�� ������� G, �� , � �� ���

������ ������.� G, � � (���$�) ��� ������.��� , -�� ���� ������.��� G, "� (����� �

����) � ������.��� ,U �� �� ������������ �� ��� �� �� G, �� ������� ���� �������

�� ,+�� ��� ��

� G,01 ,01� * ��� �� � B� 09 91

��� ������.��� G, ���� ������ �� ������ ���� ������� �� ����� ,* �� �� "��� �����"��

������� &�� ������ �� ��� ���� �� L7?M ������ �� ��� "� ������ ��� ���� ��

��� ������ �������� ���� �� �� ������ �����!���� ������� ������� � *�� ��� �� ��� ���"���� �� 8%=:� �� � ��� ���� �� ��� � ������ �������� ������� �� �� ����F� ��� �������� ��������F����

���� � � �������� ��� �� ��� ������� ��� �������� �&��� � ��� ���� ��������F���� ����� ���� �� ��������� � ������� ������ $� � ��� ��� ���� �����

Page 75: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

:5

������������� �� ���� �� ������� ���!� ��� ������ ���

C������ G F ���$��� G,01 "� �� ������ �� ��� ���� ������.��� �� ��������

���������� �� !� �� ���������A

���������� 4 �� �� +,- � �� ����� ��� ������� � G, 01 ,01� * ��� ��� � B�

�� G F ���$��� G,01� !���

,0G1 � ��0��B1 ,*� 09 71

����3 C�� � F ���$��� ,01 "� �� "��� ������ �� B 0��� ,0�1 F ��0��B1 1 -�

��� !�A

,0G1 � G,0G1 * 09 :1

� G,0�1 * 09 =1

� ,0�1 ,* 09 81

F ��0��B1 ,*� 09 ;1

�"�!�� �� �"��� �� '��� �� ���� ��� �������� �� ���� �� ��������� �� G, �� ���������

*#����� �� , D ��� �� ������ ��� ������ �� ���� �� ��� �� G �$���.�� G, �� ��

G,0G1 � G,0�1 �

&��� �� �� �� �"��� G, �� �� ��������� ���� ������� �� , � ��� ������.���

G, ���� ��!� ������ �� ���!�� ����� �� "��� �����"�� �������

/�� ���� ��� ��� �� �"��� ���� �������� �� ,U ����� �� !� ��������

��� �� 0�@1�6�� ��� !��� ����� ����� �� �� ��� ����� ���� ������ 0< � � L;8M 1

�����'����� �� ������� �� ������� �� ������ � �� �� ��� ��� �������!� ����� �� �������

����������� �� �6� ����� � � � �� '��� ��� �� � � ���� �� ������#���� ������"������

Page 76: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

:9

s

a

s

a

s s

π π πa

0 1 2

0 1 2

3Simulator SimulatorSimulator ...

3����� 9 ,A ����� ���� �!������ �� ������ � ����� �������!� �����I��������

�� ��� �� ��������� '�� �� ����� �� F 0��1 ����� "� ��� ������ � ���� ��� ��

������� ����� ����� �� "� ������� ���� ��������� ���� � ������0�1 *� ���������

����� ���� �� �"��� �� ����� �� ����� ��� ��� ��� � � � &�� ������� �� ���� �� 3����� 9 ,

*� ������� �� �� ���������� ������ ���� �� �"���!�� ���� �� ������ ��

�"��� �0��1 V ��0��1 V ���0��1 V � � � � ��� �� � ��"���� ������� �� ,01 ����

��������� �� �� ����� ��� ������ ������� ������� . ������ �� !���� �!�� �� .

������ �� �"��� "����� ������� �� ,01 &��� ������� ���� � ������ �� /#� ������

���� �� ������ �� ��'�� ��� ����� ���� ������� �� ,01 �� "�

G,01 F�

.

����

�0��� 1 V ��0�

�� 1 V ���0�

�� 1 V � � � � 09 �?1

&� ������ ��������� ���� ��� ��� ��������� ����� �� ��� ���� �� �������

��� ��'���� ���� �� ������� �� ������ ������� �� �� ����� ���� 0� F �����0*0�

�1�,����1� ����� /���� 0� �� ����� �� *#���.�� ����� �� �� �� ����� !���'�� ��

0"����� �� ������������ �� �� ������ �� �� ������ ������ �� ��!�� ���� ������1 ��

Page 77: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

:7

��������� ���������� � ���� *�, ����� ���� �� ����$������

����� ���� ��!�� ������ �� �� �"������ �������� �� ��������J ��������� 4�#

����������� �� G, A B � � �� ��'��� ��� ��� ��� G, �� �������� ��������A <!������ G,

��!��!�� ����� ������� ���������� �� ��� �� ���� �� �!���� ��� �� �� �"���

������� �������� !��� &��� ������.��� G, �� '��

G F (���$���

G,01) 09 ��1

���������� ���#���!�� �������� ������.���� ���"���� ��� �������� �����'��� ���#

������ �������

<!�� ���� ���������� ����� ���� �!������ ���� �� ������ ��� �� ��!� �� �������

���!������� ������� 0< ����� 9 91 ��� �B� �� ��'���� � &�� �� ���� �!�� �� �� ���� ��

!���� �!�� �"������� ���� ���"��� . �� ����� ���� ������ -� �� ������.� ��� ��

�� ��������� �����������A

���������� ) �� �� �� � � � � B �� �� ���� �������� �� ������� �� ���� �� �� +,-

�� � /������ ������0 �� � ����� +��� 1���� ������ ����� �� ��������� � ���

� ���� ����� ��� ,01� � �� ����� �� ���� ��� ���� 1 � ?� Æ � ? �� �� ��� ����

� ����� ��� �� ������� � ���� Æ ��

��0�0��1 V ��0��1 V � � � V ���0��11 ,01�� � 1� 09 �,1

����� �� ������� � ���� �� ������ ��� �������� ��� � � � � �� �������� � �*�� �����

�������� � � 2�� ���� � �� G,01 �� � +��� 1���� ����� �� ,01� �������� �

�������� ���� . ������� ��� ��������� �� 0 ���� ����� 3���� �� ��������� �� ���@��� �G� � ������ ���� ���� � ) �#�� �G�( �� ��� ��� ������ ���������� ��������� ��� �� ���

� ��� ���� ���� ���������� 8%9:

Page 78: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

::

������� � ���� � ������� ���� G,01� �� �� �� G,014� ��� ������ ����������

!��� �� ������� ����

�$� G, 01 ,01� � 1

����3 �������� �� '$�� 3�� < ����� 09 �,1 �� ���� �� ���� ���������� "� �� ���

�� �����

0�0��1 V ��0��1 V � � � ���0��11 ,01 � 1 09 �51

���� ��� ���""����� � ���� �,� ��

0�0��1 V ��0��1 V � � � ���0��11 ,01 � 1 09 �91

���� ��� ���""����� � ���� �, -� ����� ������ ���� �� ��������� �� �� �����

��� ����� �� �� �� ���""����� �� ������ ����� ���� ����� "���� ���� �� 1 "����

�� ���� ������� �� � ���� �, O��� �� ���""����� �� . ����������� ������ �� ��!���

� ������� �� �� ���� �� 1 "���� ,01 �� �������� � ���� 0�,1� /����� ���

���""����� � ���� 0�,1�� �� !� ��

� G,01 ,01� � 1�

C�� � F � �� � G,01 ,01� � 1� �� � F ? �������� &�� �� !� �� � 0� F

�1 � 0�,1� &�����

�� � 0� F �1 F � �����!��� �� �J� �� ������� �����������

����� !��"��� &� *����#������� C��� 0� � � L5�M1 ����� �� �� ���� �� �� ����� ��

����������� �!���� �� �� �� ���""����� �� �� /#� �!��� �� �� �� ����

�� � F�� ���

��� ���""����� ��� � ���� ��� �� ���� �!���� ���� ����� /����� �� �������� �� ���

���""����� ���� ���� ���� "� ���� !��� �� / �� �� � F �� �� ���� � G,01 ,01� � 1

��� �� !��� �� / �

Page 79: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

:=

C��� �������� �������� �� �������� �!������ ���� �� �������� �� �� �� � � � !�

����� ����� ���� �� �>����� �� �� �������� 0��� �� �� � � �1 �� !��� ������#�����������

����� ��������� �� �� ,01 ��� ��� �� ���� *����� �� �� �!������ �� ��� ���������

��� ���""����� ��� �� ���� �!������� �"��� ���� �������������!� ����� ��� ����

� �� �� G,01 �� !��� ���� &��� ������� ���!������� ����� ��� ���""����� ���� ��� ��

��� &� ��� �� ��� �� ���"���� �������� ������� �� ��� � �� ���� ������ 0,0�1

�� ����1� "�� �� �� � � � �� ���� �������� � ��������� @�� ������� �������� ���� ���

�!�� �� �� !���� �!�� � �"������� ���� . ���"�� �� ������� �� ����� ��� ���""�����

�� ���� ������ (���$��� G,01) �� �� �����'����� ����� �� � ������� �� ���

�$��������� �� � ��������� ��������� 0����� 71� �� �� ��� ������� �� ��� ��� �����

�� ����� ���� �!������� �������� �� !��� ���� �������� "���� �����

����� ! ��� ����� ��� ��� "���

�� �� ��"�� ���� ��������� ��� �� ��� ���� ���� "� �� ����!� �������� ��� ���

�� �� "���� �� ���"�� �� ������ . �� ���� �� !���� �!�� �� ����� �� ����!� ���#

������ ���� �������� �� �� ��������� &�� ���� ���� �� �� ��!� �������� �� �� ���� ��

����������� = -� ��� ��������� ��� ��'������� �� �������� �� ���� ���� "� ������ ��

������ ���� �������

�� �����!���� �������+�� '����� "���� 0?I�1 �����'�� �� ������� ��+��

�� ���� ����� �� �� ���"�� �� ������� �$����� ������ �� '� �� �������� (����)

�� ��������� ������ �� �� ���"�� �� ���� �������� �� �� ����� ��J�� '����� /����

�� ���"�� �� (���� ��������) ���� "� ��'��� ����������� ������� ����� �� + ���

Page 80: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

:8

���"��� �� "� ������� ���� ������ ��� ���"���� �� �� ����������.� �� +#�������

����� �� ��������� ���� �#������� ����� �� ��������� &��� �� �� ���� �� ������

������ �� �� (���"�� �� ���� ��������) ��������.��� ��� �� ��������� ����� ������

"� �� �"!���� ��� �

&� ���� ������ �� �� �������.��� �� ���"�� �� ���� �������� �� ��� ��

��������� B �� �� 2����#���!������� 02�1 ��������� ���� ���������� �������� ,#�����

�6� 0��� F ,1� �� ��� B "� ���� ��� �� �������� B �� ��� ���� ��� �� "���� ���������

������ ���� � �� � -� �� �� B ������ ��� ���� � � � � ��� � � �� ��� �!��� �����#.

������ �� ������ -� � ��� ���� �� ������ � B ��� �� 0�1 F -� ��� �!��� / F �� � � � �.

-� ��'�� 2�0B1 �� "� �� ��.� �� �� ������ ��� �� ����� �� �� "� ������� "� B L�?,M

�� B �� ����� �"������� ���� ����� ��� ��� 2� ��������� �� ��'���� ��� �� + F 2�0B1�

���� �� ��� �� ����� ���� � � � � ��� �� �� "� ������� � ��������� ������ � B� �� ��

����.� �� ���"������ �� ������ �!�� ���� ����� �������!���� ��� �� ��������� �� ��

����� ���� ����+�� ���� � �� 2� ���������+�� ��� ��� �� (������$) ����

����� ��� �� �� ����� ���� ���� ����+�� ���� � ���� 2� ���������+�� ���

(������ )

�� �������� �$����� ��� � F ���� ���� �� ������� B �������� �� �� ��� �� �����

������� ��������� �!�� ����� � � � � �� ��

0�1 F

��

�� �� �� �V & � ?�

�� ��������

� 09 �71

�H� ���� ��� ������ �� ���� ������ �� � � 89� 0(� - ����� ���� ��� � ����� ���� ������ �� ����� ���� ��� ������� �� ��������� � � ��� �� ��� ��� � � 89� 0(� ����� �� ����������� ����� ��� � ��� ��-��� � ) 9�0$A= � � � ��� � ) 9�%'*+ � � � ��� �� ������ ��� � ) 9�0%$'A*=+ � � �� ��� ����� �� ��� ������� ��� � ��������

��� � ���� � ������� ���� ���� �� � 2�� �������4 ������� ���� ��� ���������F�� �� � ��������� ������� ���� ��� �� �������� ���� ��� ���� �� ����� �� ��� ����� ������ #5�� 809$:�(

Page 81: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

:;

/���� � � � �� & � � �� �� �������� ����������� B &��� �� 2� ��������� �� B

� ��� � V � L�?,M �� ��� ���� �� 2� ��������� ��������� �$���� ��� �� ���"�� ��

�������� �� �� ����� ���� ��������� ��� ��� ������� �� 2� ��������� ����� ��� ��

"� ������ ����� �� � ���� ���� ���#����� ��������� �� �� ���"�� �� �������� 0����

� � � L7� 9?M1

�� �� ������� �� �����!���� �������� �� ��� �� ������ �� '� �������� ����$�����

�� �"���� ������� ��� ��� �� �� ����� �� ����� ������$���+�� ��� �� ���"��

�� ������� �$����� ������ �� '� ��� �������� ����$����� (����)+�� ����� �� �� 2�

��������� L�?,M @�� �� �� ������� �� ��� ���� ���� "� �� �������.� ���� ���� �� �� �������

�� ������������� �������� ��� ������� ������������� ������� �� ���� � �� ������� ���

������ �����!���� �������

&� ����� ��� �������� �� ��������� ��� ���� ������� �� ���� "� ������ ����

&�� ������� ������� �� ��� �� �� ����� �� ������� �� 0�@1�6� �� ������ ����

�� �$�"�� ������ ������������� �������!� ����� � �� �������� ���� '$�� ������

� B �� �� �� �$������� ���� ���� ���� �� �� ���������#���� �� ���������� "�

(�0�� -�1 F 0�� 0�1� -�1� ��� �� �������� �� � �� -� 2����� �!�� B� �� �"��� ����

����� �� ��������� � F �(��(�0�� -�1 F 0�� 0�1� -�1� � B� ������ ���� � � L?� �M� ����

��������� ����� � &�� ��� �� ��������� � ����� "� ����� �� � �� ����� �� �������

����."�� "� �� �@�6� �� B� ���� ����� ��� ��'������ ���� ������ �� �� ��������

������������� �������!� ����� �� �� !� ������ ��� �� (� �$������� ��� ������� ��

) ������ �� �� ������� "��� � �� �� ��� �������� �� ������ �� ������������ ��

�� ��������� ������� 0� ����������� "� 1 ��� �������� 3�� �� ( � ��� ��� ( "� ��

Page 82: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

=?

/#� ��������� �������� 0�� �� (0�� -�1 �� �� /#� ��������� �� (0�� -�11 �� ��� � "� ��

������������� ������� �� ��������� ��������� ������ ���� � � L?� �M� ���� L?� �M &���

� ������� �� �� ��� �� ��������� / �� �� ���� �� �!��!�

�� ��� ���+����! ����� ������

-� �� �� ������� 9 , , �� ��!� ����� ���� ��������� ����� �� ��!� 0���#

������1 ���� �������� �� ��������J ��������� �� ��� �������� �� ��!��� �� ��>������ �����

����� �� N����� ������ �� O� L7?M� ��� ��!�� �������� �� ���� ��� ����� ����

��� ���"���

�������� 0�@1�6� ��� ��� ������� � F ���� ��� � ��>������ ���� �� ��

��������� ��� ������ �� �� ����� ���� �!������ ��������� ������� ����� �� �� ��!� �

������� �� ,01 /���!��� �� ��� ��������� "������ ��>������ ����� �� ����� ����

�!������ �� �� �� �!������� ���� ��� "� ����������� �����'����� �� ���� (�����) ��

���� ������ �� �!���� ������ ��������

� ��>������ ���� �� "���� ���� ���� ����� �� �"���� ��� ����� 0��� 3��#

��� 9 5 1 � ��>������ ���� �� "���� � ������� -� "���� "� ������� �� � �� ��� ��

��� �� �"�� �� ���� �� "���� ���� -� ��� �������!��� (�������) ����� ������ ��

�� �� ���� �� ����I���� �� �� ����� �� ����� ������� ����� �"���� ��� �� ��#

������� ����� &��� �� �"�� �� �� ��I����#���� �� �� ���� ��� �� � ������0�1� �� ��

��I����#���� �� �� ���� ��� ��� � ������0�1 &� ������� �� �� �� ���� �� �� ���� �"����

��� ����� ���� ���� ������0�1 �� ������0�1� �� �� �� &�� ������� �� ������� ����� ��

!� ���� "���� ���� �� ���� 0� O��� �� "������� ��>������ ���� �� ����� ����

Page 83: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

=�

a1 a2 a1 a2 a1 a2 a1 a2a1 a2 a1 a2

a1 a1a2 a2

a1 a2

a1 a2

HDepth

a1 a2

a1 a2

a1 a1a2 a2

a1 a2

... ......

ε

s1

a1 a2

s0

s1’

3����� 9 5A � ��>������ ����

��������I�������!� ������ "�� ��� ������������� �������!� �����

&� �!���� ������ ����� ��>������ ����� �� ���� � �� ����� �� ���������

�� ����� 0��1 � ��� �� �� ��� �� ������ �� �� �� ����� �� ��I���� �� �� ��I����

���� 3��� �� ����� �� ��� ��������� ���� �� �� ���� �"����� �� ����� ��

������ �� �� ������������� �� �� ����� ������� "� *� ���������� ��� ������� �����

�� ��������� � ��� �� �� ����� �� ��!���� �� ����� �� ����� ��� ��� � � � � ��� &�

����� �� ����� !����� �� ��� �� '$�� ������ � ��� �� ����� �� ����� � �$���� ��

��� ������"����� � �� �"����� ����� �� ����� ���� �!������ ����� ������"�� ��

Page 84: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

=,

������� 9 , , &��� � "������ �� �� ����� �0��1 V ��0��1 V ���0��1 V � � � �� � ��"����

������� �� ,01 �

�� �� ��������� . ��� ��>������ ����� �������������� �� ������ ��� ��'���

�� 0��� � �

�� � � � � �

���1 ����� �� �� ��� 0/ F �� � � � �.1� �� �� �� !���� �!�� ��

. ��������� ������ �� �"��� � ������� �� ,01A

G,01 F�

.

����

�0��1 V ��0��1 V � � �V ����0���1� 09 �:1

*������� . ����� �� ����� ������ ���� '���� ���"��� "��� .,�� � �� ������

���� �� �������!� �����I��������� "�� �� ��������� ��� �� ����� ��� ��'��� G,01 ��� ���

�������� � B� �!�� �� B �� ��'���� �����!��� �� �� ���� �� L7?M �� �� ��������� �������

���!������� ������� ����A

2��� 5 �6���7 ������ ��� 8�7 �555� �� � �-5 +,- �� ����� � F ���� ���

�� ����� ��� �� B �� � ����� �� ������ ��� �� -5+,-� �� 6���*�1��������*� �����

��� + F 2�0B1� 7��� �� �� *� Æ � ? �� ����� ��� �� G, �� �� �� ������ ��������

� ���� . ��8���� ���� ��� � ���.�� �� �� 0�� $�

. F �

�����

�+�����

*� ���

�

� �

��� 09 �=1

��� �� ������� � ���� � � G, ��� �� ������� ����� � , "

� G, 01 ,01� * ��� ��� � B� 09 �81

3�� �� ��� �� ������������� �� ��� ������� �� ����� �� ��� ������ �� �������$

� &��� "� ����������� =� �� �"��� � �������� ��� ��� �� ���""������ �� ������ G

E � ��������� �� ��� ���F� ����� �� �� �

Page 85: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

=5

�"����� "� ������.��� G, ���� !� ������� ����� � �� � �� �� �� "��� �����"�� ������

�� BA

,0G1 � ��0��B1 ,*� 09 �;1

�� �� ���������� ��� ��� ���� ��� ��� �� ������ ���� ���� �� ���������

�� �"��� ����� ���������� �� �!���� �!�� � ��'���� ��� �� �������� ���� ������� ��

"���� �� &����� ; �� �� ���"�� �� ����� �� ����� � �� ���������� �� �� ����������

�� 0�@1�6�J� ���� ���������� ���0�1 ��� �� �� ���������� �� ����� �������� ��� ��

�� �� ��.� �� �� ���� ���� �

���������� "� ����� ������ �� �!���� �������� ��������� �� �� ������ ��

�!������� �� �������� �������� �� "����� ��������� &� ���"��� ��� ����� ���� �!�#

������ �� ��� "� ����� ����������� ������� �� ����� ����� �������� ��� � ���� ���

���� �������������!� ������ ��� ����� �� ������� ���!������� ��������� �� "� !��#

���� 0����������� 81 /���� �� ��� ���� '���� ��� �� ������ �� �� ���� � ��� '���� ���

�� �����������!� �����+��� &����� ; �������� �� "� ���� ��� �� ���""�����+

��� �� �� �������� ��������� ���� �������� �� ��������J ��������� ������ ������ ���

����� �#����� �� ���������� �� �� ��� �� ����� ���� �������� �� 0���#�����1 �#������

���� ��� �������.� ��� � ����� �$���� �� ��� !��� ��������� �������� �� �����"��

@� ������� �� ���"�� �� ������ �� �� ��>������ ���� ����� �� ����� �� �����

�$�������� �� �� ���.�� ���� 0�� "����� �� ��.� �� �� ���� �� �$�������� �� 0�

&�� ���� �� ��������� ��� ���� ���"���� &�>������ ����� �� ��� ������������

�� �������.� �� !#����� �6�� 0"� ������� �� ���� !� ��#��� �� !� �� ���������

< ����� 09 �=1 �� !� � ��������� ���������� �� !1 *��� ��� �� ��� ���� ��

Page 86: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

=9

���"���� ��� ��'���� ����� ������ ����� ��� �� ��#��� �� �� ���� ����� !� �� "�

��'����

�� �� ��$� �������� �� ������"� �������� �� �� ��������� ��������J ��������� ��

�����!�� ���� ���"���� &� ����� ������"�� �� �� ��$� ������� �� "��� �� ������ ����#

��������� �� 0�@1�6�� ��� ������ ��>������ ������ ���� �� ���� ����� �� �������������

�������!� ����� � �� ��� ���� �� �������!� �����I�������� /���!��� �� ���� ���

��� "� ������� ����� �� � �� �� ������ �� �$�������� ���������� �� �� ���.�� ����

�� ���� ��������� ���������� &�� ���� �� ������� �����'����� ���� ������� ���

��� ����������

� ���! ����� ������

-� ��� ��� ��!�� ������������� �������!� ������ �� �� ������ �� ���"��� ��

������ ���� �� � �"����� �@�6� �� ��� �� ��� �� �� ���������� �� �������������+

�� ��� �@�6� �� ��� ����� � ����� � �� ���� � ���� ���� ����������������

������ �� ������������ �� ���� '$�� ���� �� &�� ��������� �� ���!�� "� �����������

�� ������� �@�6� ���� � (� ��!����) ��� �� � ���� ������������� ����������

-� �� ��� ������� ������ ���� �� ���� (������'��) ���������� �@�6��

�����'����� �� ���� ������'�� �@�6��� �� �� ������������ �� ��'�� ������� ������ ����#

���� G,01 �� ��������J ��������� ,01 -� ��� ��� ����� ������� 0��� ������ <!������#

��#P������� ��� ���� 4���� ��������� ��� ������ �� ���� "����� ����1 @�� �������

��� "��� ���� ��������� �� ��� ���� �� 2� ��� L88M ��� !��� ������������ �� �� �������

�� ����� �"���!"�� �6��

Page 87: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

=7

s

a

s

p

a

s

p

s

π π πa

p

0 1 2

210

0 1 2

3 ...g g g

3����� 9 9A ������� �!������ �� ������ � ����� �������!� �����I��������

�� ������� 9 9 �� �� ��!� �� ������������ �� �@�6�� �� ������������� �����

�� �� ������� 9 9 ,� �� ��� �� ��� ������������ ���� �� ��� ������ ���� ���#

���� &�������� ������� ��!��� �������� �� �� ���������� �� ��� ����� �� ��!��

�� ������� 9 7

����� #������������� �� $�%&'���

-� "���� "� ������"��� ��� ��!�� 0�@1�6� � F 0������ ����0�1�� �� �1�

������ ���� B �� ������������� �������!� ����� � �� ��������� ��� ����������

�@�6� � � F 0������ �� �� ���0�1�� �� �

�1 �� ������������� ���� �� �������� B� @�� ����#

������ � � ���� !� ���� ������������� ���������� 0���� ��� ������ ���� �� ����� "�

�����1 &� �������� �� �$��������� �� ����� +� F �� �� �� �� ����� -� �� >��� ���

���"���

� � �� ����������� �� � �������A &� ����� ���� �� �������� ����� ��� � � ��

�� ��� � �� � � �� �� F �� �� F � &� ���� ���� ��� � � �� �� L?� �M� �� ���� ������

Page 88: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

=:

������ ���� �� � � �� "� ������� � !����� 0�� ��� ��� � � �1 + ��� �������� �� ���� �

���� �� ������� ���� ���� �� �������� "� � ��'���� �� ����� �� ��� ���"��� �� L?� �M

&� ���� �� �� ������������ �� ������������ 4��� ����� ����� � �� ����

0�� ��� ��� � � �1 �� � �� �� ����������� ��������� �� �� ���� 0��� ��� ��� � � �1� ���� �� F

0�� �� ��1 �� ���� ������ �� � ������� �� �� ���� 0��� ����� "� ����� �� � ��

(����) ����1 ����� �� ��� �� ��� ���"�� �� �� ��'���� �� ����� 0��� ��� � � �1 �� ���� ��

�� ������� �� ���� �� ������� ������"����� *� �� ��'������ �� �� ������������� �������!�

����� � �� ��� �� �� ���� � �� � 4������L?� �M� ��� �� (��$�#����) ������"����� �� ��

�� �� ��� � �� �� � ���� ����� � �� ���� � 0������.���� �!�� ��1

3������ �� ����� ��� �� ������#���� ������"����� �!�� �� F � � L?� �M�� �� ��

0�� ��� ��� � � �1 ���� �������� �� �� � ������"����� ���� � � �� �� �� �J� ��

������"���� ������������� �������� �� 4������L?� �M ������"����� 3�� �� ������ � B�

��� ��� ���� "� ������������� ������ � � B�� ��!�� "� �0�� ��� ��� � � �1 F 0�1� �� ���

�� ����� "� ��!�� "� ��0�� ��� ��� � � �1 F �0�1

�� ��� �"���!�� ���� �� (�)#������� 0"�� ��� �� �J�1 �� �� ����� �� �����

�������� �� �� ���������� �@�6� � �� ������� ���� �� ������#���� ������"����� ��

�� ��� ������ ����� �������� �� ���� � � B�� ��� ��� �"���� �� ����� �� ��

���� ���� �� ��� ������"����� � ����� !� "��� �������� ���� �� ������� 0�@1�6�

� ����� �� ������������� ������ � B �� ������� ��� ��� ������������� �������� � B

�� � � B�� �� !� �� ,� 01 F ,� �0�1 &�� ��� ������� �� �� "��� �����"��

�$������ ������� �� "�� 0�@1�6�� �� �� ���A ��0��B1 F ��0� ��B�1 �� ��� ����

�� ��� �� ���� �� � �� 0�1 F ,������������L�

��

� �0�� ��� ��� � � �1M

Page 89: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

==

&� ������.�� �� !� ���� ��� ����� ������������� �������!� ������ �� ��

�������� �� �@�6� � �� ������ ���� B ���� � (� ��!����) �@�6� � � �� ������

���� B�� �� �� �� ���������� �� � � �� �������������D � � � ��!�� ���� � � �� �� �

����� � � �� �� ��$�#���� �� � � �� �$���� ���������� ����� �������� �� B �� B� !�

�� ��� !����� �� �� �� '�� ������ � � B� �� ���� ���� �� � � ������� ���� ��� ���

�� ������������� ������ � B ���� ��� �� ���� ��� �� ������� �@�6� � ������� ����

� /����� �� ���"��� �� ������ ���� �� ������ �@�6�� �� ������� �� �� ���"��� ��

������ ���� �� �@�6�� ��� �������� ��������� ������� �� �� ��$� �������� ��

��� �� �� �� �$����� ��� ��� �� ����!� ������ �� ����� ������ ���� �����

����� � �����( � � ���� ��� ���� � ���

�� ���������� �� ����� ��� ������ ���� �� '�� ���� ������ � � B� ��� ��

���������� �@�6�� ����� �� ������������� ������ � B ���� "� >��� � ���� &� ��

���� �� '��� ��������� � ����$������ G,� �0�1 �� ,� �0�1� �� ��� ���� �!�� ��������

� � B� �� ������.� G,� �0�1 0� ���$� ��� ������.��� �� ��#��#������� ,� �011� ��

��� '�� 0��������1 ���� ������

����� �� ,� � �� ��!�� "�

,� �01 F ,����� L� �� �0��1M � 09 ,?1

���� �� �$�������� �� �!�� �� ������ ���� �� � �� ���� �������� �� �� &� '���

���� �� ��� ����$������ �� �� ������ �� �$�������� �!�� �� ������"����� ��� '����

����� �� ����� ���� ���������� �� '��� ��� ����� ����� � �

��� � � � � � �

��� � �� . ������

����� �������� �� �� &��� ������ ��� ����� (��������) 0 ���� ���� �� ��������

Page 90: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

=8

������.���� ���������D ���� � � L�8M1� ��'�� � ����$������ �� ,� �01A

,� �01 ��

.

����

� �� �0�

�� 1� 09 ,�1

����� �� ���������� �� � � �� �������������� ��� ��!�� ���� � � �� ��

������ � B�� �� �� ����� �� ����� �� ���� "� !������ ���� �$������� ���� � ��

�$���� ����������D ���� �� ��� �� ���������� ������ ��� �$������� ���� � �� ���

�$���� ���������� &��� �� ������� ��� �� �� ����� � �� �0�

�� 1 �� �� �������� ��

< ����� 09 ,�1 ������������� �� ������� ��� � �� ���� ���� ��� ��� ������������� �������!�

����� �� '�� �� �� ����� �� ����� !������ "� �$������� ���� ��� � �� ��� �� �� ���������

���������� ������ O������� ��� ����� "� � ��'���� ���� �� � "����� � ������� ��

��� ���� 0� �����

&� ������.�� ��!�� . �������� ���� � � � � � �

��� � ��� ����$������ �� ,� � �� ��

������������� �������� G,� � A B� � �

G,� �01 F�

.

����

��0��� 1 V ���0�

�� 1 V � � � V �����0�

���1 09 ,,1

���� 0��� � �

�� � � � � � �

���1 �� �� �� ����� �� ����� ���������������� !������ "� ������� ����

��� P�!�� . ��������� ��� ��'��� � ����$������ �� ,� �01 ��� ��� �������� � B�

&� '�� �������������� ����� �� ��� ����� �� ����� ��� � � � L?� �M� ��

��'����#���������� !������� �� !� �� �� �� ������������ ��� 0�� ���� ���������

�����1 �$�������� *�� "����� �� ���� "� ��������� ���� 0� ������ �� ���� ���� ���������

��� � �

�� � � � � � �

���� �� �� ���� �

�� F 0��� �

�� � �

�� � � � �1� �� �� �� ���� �� >��� ��

2����� �� �� ���� �� �� �������� ������������ �@�6�� �!������ ������

��� �� ��� � ������ ������������� �� �� ������ �� �� ������� ����� ���� �����

Page 91: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

=;

�� � ������"�� ������� ��� �� ��� ��������� �� �� ������.���� �� ('$��) �� �#

!��� �� (������) ��� �!������ �������� �����'����� ���� ������� ��� ����� ����

�!������� ��� �� ��������� �� ���� ���� ��� �� ���� �� ������ �� ����� ���"��� ��

�!���� ��� �� �������� �� �� �� ��>������ ���� ������ �� ��� ��� ��� '���� ��� ��

������� �� ��� ��� �� �!���� �� �� �������� �� ��� ����

/!��� ����. �������� �� ��'�� G,� �01 ��� �� � �� �� ��� ���� �!�� ��������

�� ������.� G,� �01 -� ��� ��� ������ ���� ����� �������A ������ <!������#��#

P������� ��� ���� 4���� �������� ����� G,� � A B� � � �� � ������� �������������

��������� �� ���� ��������� ���� ����� �� ������.� ������������� ��������� �� ��

���"�� �� ������ ������.���� ������ �� "� ���� &�� ����� ��� "� ���������

��� �� ������ ����� ���� �������� ��� �������� �� �������� ������.���� ���"���

0< ����� 9 ��1 �� �� ��� ��� ����� ���� �� �� ���!�

�� �� ��� �� �� ����� ���� �� ���������� �� B F � �� � ��� �� �������

��������.�� ����� �� �������� 0�� 0�1 �� ���������"�� �� � ��� �� �1 ��� �� �� �� ����!��

�������� �� ���������"��� �� �� ��� �����"�� �� '�� �� ����!��!�� �� G,� �0 1 ��� �������

�� �� �������� �� �� ��� �������� ��� � ������� ����� �� ���>���� �������� ��

���� ����� ������ ��� � O�����J� ������ �� ������.� �� @�� ������ "����� ��

������� ���� ���� �� �� � �� ����� �������������� "���� 0��1 � ����� ��� ������ ��

? �������� @�� ����� �� ������ ��� ��� ���"��� �� �� ��� ������� !������ �� ��

�����"�� �� ���"������ ��� (�����������) ������ �� ������� ������� �� ��� ��

�������!� ����� �� �� "� ������ �� �� ������� �� ���������� ������� ������� ��

�� ���� �� ����� �������� �� ��� ����������#���� ����� �� ����������� �������� ��

Page 92: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

8?

�� ���� � ��� �� ���� ������ �� ��� ������ �� ���������"��� ��� G,� �0 1 �� ���

���������"�� � @� ������� ���� �� ����� ��� ���"���� ���� G,� � �� "� ������������� ��

���#���������"�� �� ���� ����� ���� ���� �������� �� ����'�� !������� �� �������#

"��� �������� �� ����� "� ������ 03�� �$����� ��� �� ���������� �� ����� 7 �� ��

��������� ���"��� 1

4����� �� ��>������ ���� ������ ������� �� ������ �� ����� "������� �$��#

�������� ���� ����� �����!��� �� ������ ������ �� ��'����#����� �6��� ��� ���� "�

�������� ��� �� ��������� ��������� �� �������� ���� �� �� ��$� �������� �� �����

����������� �� ���� ��� ����� �����

�% ��� ��������� �������

������� ������ ���"�� �� �������� ���� ��� �� ���� ��� �� ���� � �#

���$������ G,01 �� ,01 �� "������ �� �� ���������� �� ������ �� �� �� ���� G,

���� "� ��������� ���� ����$������ �� , � �� �� ����������� = ������ �� �� ��

�������� �� ������.��� G, ���� ������ �� ������ ��� ������� ����� �� ��0��B1 &��

������� ���"����� ���������� ����� ��� ��� ������

��)�� #� �� �� *��� ����� ��� �

-� "���� "� ����������� �� ��� �� ��� ������� � F ���� ��� 3�� ��� ���� ��

!� �� ��������� ������A

��� �������� �� ��� ����� ����� ��� ��� ����� � �� ���� �� � ���� ������ ���� ������ �� � ������� 0� �� ����� �� ���� ������� � � 89� 0: � ���� ���� �� #������� �� ������� ����( ��� ����� �������� � ����� ��� ��� ������ ��� ���� ���� �� ������ � ������� D����� � � ��<���������� �� �������� �������� ���� � ��� ����� ?���#� ( ��� �� �� ��<���������� #���� ���� � � ������&������9 ��� �� ���� �� ��� ��������� �� �� �� (�

Page 93: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

8�

2��� �� �� � -5+,- �� ����� � F ���� ��� �� ����� ��� �� B �� � ����� ��

������ ��� �� -5+,-� �� 6���*�1��������*� ������� + F 2�0B1� 7��� �� ��

*� Æ � ? �� ����� ��� �� G, �� �� �� ������ �������� � ������� ���� . ��������

��� � ���.�� �� �� 0�� $�

. F �

�����

�+�����

*� ���

�

� �

��� 09 ,51

��� �� ������� � ���� � � G, ��� �� ������� ����� � , "

��� G,01 ,01��� * ��� �� � B 09 ,91

���� ��0����3 @"���!� �� �� ������� �� ������� �� "� !����� � ������

������������� �� (��>������ �����) �� �� �� ��!�� 0�#���� ����� ���� �!������ ��

�!��� ������ �����'����� ��!�� �������� �� �� ��������� ������������� ��>������ ����

0� ������������� �������� �� �� �������1� �� �� �� �#���� �� ���� 0�� ��� ��� � � �1

�� 00�� �� ��1� ��� � � �1� �� �� �� ���� ��!�� �� ��� ������� ������� �� �� ������ � ��

������� �������� ���� �� ������� ��������� "������ ��>������ ����� ��'��� ��� ��

�� ��>������ ����� � ��'��� ���!������� �� �� ��� �������� ��"����� �� ��� �����������

������������� 0����� �� ��!�� / �� �� ���� �� �������� ���� �� ������� ����� �����

�� ��� ����� ���"�� � �� 0� ��� � �� �11D "�� �� ����� �� N���� �� � L7?M ������

������ ����'����� �� ��!� &����� �? �

4���� �� ������������ ��!�� �� N���� �� � L7?M � �� ��� �� '���� �����

���� ��� ��� � , ��� ��!�� ���� �� ���������� �� ��� ������� ���!������� ������� �� ����

� B � ��� (������$��� )

�� ������� 9 �� �� ��� ��������� ��������� ������ ���� B !� ������� �����

������ -�� ���� ������� ���!������� ������ ��� � �� ��� ��!�� �� &����� �?

Page 94: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

8,

���� �� ������ ������ ��'��� ��� ��U �� ����� ��� �� �� ���� � �� (������)

������������ B �������� ��� ������ ����� ���� ���� ���"�� �� �� ���� ��������

��������� �� �� ��� ���"��� 0�� ��� V� ��� �� �� >���� "��� �� ��� ����� F� �

� ����� �� ���� �� ��� ���"���1� �� �� ���� � �� ���"�� �� ���#!���� ��������

����������� B �� ����� ��� � 20B1 ���� ��� "� ���� �����'����� L9?M ���� ��� �� ���

�� ��������� B �� ��������.�� "� ! ��� ���"���� �� �� ���� �� ������ �� �!�����

���� ��������� 0����� � ����� �� ! �������� �� �1 ����� � ���� �� �� ���������

��������� "�!�� ��� � 20B1 ���� "� � ���� �0 !1 &��� &����� �? ������� ��� ��

���� � �� ������ �� ����� �� (������) 0���������� �� ���� ���"�� �� ���������1

�� ���� ��� !� ��� ��� ��������� ��� ��� ���� ���"�� �� ������ .� ���

�������� �� �� ��������� �� �� �������� �� B ���� "� ��������� ����

����� �� ��� ���� �� �� "���� ��!�� �� �� ������ � �� ���������� ��

�� ��.� �� �� ���� ���� �� �� �� (������$���) �� �� �@�6�J� ���������� �� ������

&��� �� ���� � B � ��� 2�#���������� ������� ���!������� ���� ������ �������������

�� �� ���������� �� �@�6� �� �� �� N���� �� � � ��� ������ �������� ����!��� ��

"��� ������� ������� �� �����!���� �������� �� ��� ������� ���!������� ������ �� ����

� �� �������� ���� � ��� 2�#���������� ��������� �� �� ��.� �� (������$���) �� ��

���������� ���� �� ����� ��������

��)�� #� �� �� ��*��� ����� ��� �( +���� , 8 �� ����� �� ���

������� ��� �� �

-� ��� �������� �� ��� �� ��'���� ����� ����� -���� �� �� ,#����� ���� B

"���� (������) �� ������� �� ������ ������� ���!�������� ��� �� ��� �� ��� �� �@�6��

Page 95: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

85

��� ��'���� ����� �����

������� � �� 0�����"�� �� �������"��1 ��'���� ��� �� ������ � (������) ����

�� �������� ����� "� B F ����0�1 � �� � � �� + �� ��� �� �� �������� �� ���� �����

�� ��� ������ ��������� �� �� ���� �������!���� ��� ����� �� "� �� �������� ������

�� ������ ���� � ��'���� ����� ����D ���� �� �����"�� ������ �� ������$��� ��

������ ������ ����� ����� B ��� (��������� ) �� �� ���� ���� �� ������ ������ ������

����� ������� ���!�������� ��� �� �� �������� ���� �� ��� B ����� ���� ��>�� �������

���!������� 4������������ ��� �� ��� �� ���� � �� ��� ���

2��� �� �� � �� �� ���� �� �� ������ ��� �� B F ����0�1 � �� � � �� ��

�� ������������ �� �� ��� /������ ������0 ������� !��� ���� ���� � ������� +,-

�� ���� ����� �� ��� � �������� ������� ����� ��� � �� �� �������4 ������

���� �� �������� ������� ����� �� �� ������� �������� � ��� ������ $����

���� � �� * � ?� �� �� ��� ������ G, ������ ���� �� ��� ������ . �� ��������

��� �� ��� ���.�� ��� ���� � �� ������� ( � ���� � B ���� ��

� G,01 ,01� � *� 09 ,71

&� ����� �� ��� &������ ��� �� ��� ������� �� �� �������$ * &�� ������

���� �� ���������� �� B �� ��� ������� ��� ������� ���!������� �� �� ��� �� ��'����

����� ����� /���!��� �� ��������$���� ���� �� �� ����� �� &����� �� � !���

������$ ������� �� �6� "���� ���� ������ ������� �� ����� !� �����������

��������� (��������) ����� ��� ��� ��� ������� ���!������� ����� ����� �� &��� ��

���� �������.� �� ���������� �� �� (������$���) �� �� ��� ������ �� ������

��H� ���� ��� �#��� �� �( ) ��� �� � � 9�%� �� �������I �� D ����� >�

Page 96: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

89

������� ���!������� �� �� ������ ��� �� �� ���� ������ ���� ��� ��������� �� ������

������� ����� ������ ���� ���������� ���� ����� � �� ������ ������ �� ������ ��

����������� �� �������� �� �� ������������� �������!� ����� + �� ���� ������ �� ���� �

�� �� ������� ����."�� �� �� �@�6� �� ������ ����� ����� �������� �������������

�������!� ����� �� �� ��$� �������� �� ��� �� ���������� �� �� ������$��� �� �

���� �� ������� ���!������� "����� �� �� ���� �� ������

��)�� -������ ��� �� � �� �� �� �� ��*��� ����� ��� �

3�� �� �������� �� ��� �������� ����� � F L?� �M� &�� � �� ���� ��

��������� ������ ���� L?� �M� � L?� �M� ���� L?� �M� � �� �� ������ �� �� ������

��� (������$���) �� �� ������ �� ������$��� �� ��� ������� �� ��������� ���������� ��

/ F �� � � � � +� <� � �� ����� �� ��������� ������ ���� L?� �M� � L?� �M� ���� L?� �M�

�� /#� ��������� �� �� ���� !����� &��� � �� >��� ����� �� ���#!���� ��������� +

�� ����� �� /#� ��������� ������� �� B �� ����.�� ��� ������� ��

&� ������$��� �� ���� �� "����� ��������� �� ������� "� ��� 2� ����������

��'��� �� "� �� ��.� �� �� ������ ��� ������� "� �� ���� &� ������ �� (������$���)

�� ���#!���� ������� �� ��������� ��� � �� �� ���� �������.���� �� �� 2� ���������

&� ������#���������� ��� �� ������ L8,M� �� ��'��� � �������A

�9������ ���$$��7 �55��3 C�� � "� ����� �� ��������� ������ ���� ���� 3

���� � C�� �� ����� �� + ������ ��� � � � � �� � 3 "� ��!�� -� �� � ������ ��� � � � � ��

�� ���� �$���� �� ����� �� ��� ���"��� ��� � � � � �� ��� �� �� ��"��� �� �� ��!�� "�

�040��1 ��� � � � � 40��1 ��1�4 � �� ���������� �� ,� ������ �� �� 0� ��!������� �� ��� ��

�� ����� �� + "��� 5�� � � � � 5� � �?� ��� ���� �� �������� 4 � � ��� �� 40�1 � � � 5 F ��

Page 97: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

87

��� �� / F �� � � � � +1 &� �����-�������� �� �� ������� ���� 0�1� �� �� ��.� �� ��

������ ��� �� � ������� �� ��'���� �� � �� ����� �"������� ���� ����

&� ������#��������� �������.�� �� 2� ���������� �� ��������� ��� �� �� ��

��� �� � ��� ���� �?� �� -� ���� ��� �� �� ������ �� (������$���) �� �� ������ ��

�� �@�6�J� ����."�� ������� � -� ��� ������ ������ �� �� ��'������ �� C������.

����������

�9������3 � �������� ( A � � � �� ��������: ���������� 0��� ������� �� ��

<������� ���� �� ��� ���� �� �����1 �� ���� �$���� ������� 1 ��� �� ��� ��

�� � ���0(1� ��(0�1 (0 1��� 1��� ��� /���� 1 �� ����� ��������: +���� �

����� �� ��������� � ������ ���� � ���� � �� ������$% ��������: ���������� ���

C������. "���� 1 �� �!��� �������� 4 � � �� C������. ���������� ��� C������. "���� 1

-� ��� ���� ��� ��� ������� ��� �������� �������� ��� ������.��� G,

���� ������ �� ���!"�� ���� ������

2��� �� �� � -5+,- �� ��� ����� � F L?� �M� � ��� � ������ ���� ���

�� ����� �� ����� 7��� �� � ���� ����� B� ��� � �������� ������� ����� A

����L?� �M� � � ��� �� -5+,- �� ����� �� � �� �� ������������ ���� �� ����.����

� ����� � �� -5+,-� ��� � �� ������� ������ �� �������� �������� #������ ��

���� 0�1 + ��� ���� / F �� � � � � +� � ��� �� ���� ���� � � ������� �����. �����

���� �� �����. ����� � ��� 1� ��� �� �� ������ ������ � A � � L ����� ����M

� ���� �����. �������� �� �����. ����� � ��� 1�� 2���� � �� *� Æ � ? �� �����

��� �� G, �� �� �� ������ �������� � ������� ���� . �������� ��� � ���.��

Page 98: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

8:

�� �� 0�� $�

. F �

�����

�+�����

*� ���

�

� �� ���1� ���

1�

����� +� � +�

��09 ,:1

��� �� ������� � ���� � � G, ��� �� ������� ����� � , "

��� G,01 ,01��� * ��� �� � B 09 ,=1

(��$$�% �� )���� �� ������� �� !������ (9 �� (:� �� . �� ������ �� � �� !���

����� !��� �� ������� � ���� � � �� ���� G ������ � ���.�� �� �����

������� ���� � G F ���$��� G,01� ��� �� ���������� � B"

,0G1 � ��0��B1 ,* 09 ,81

���03 &� 0C������.1 ���������� ���������� ��!� �������� "�� "� �� ���� ���#

������ ��� �� ���������� ��� �� ������� �� ���� ���� �� ������� ���������� �� "�

��!����� 3�� �$����� �� �� ����� �� �� ������"����� �� ����� ������� "� �� ���#

��� � �� ���� ���� � "������ �������� ��� �� �� ��� ������� ���!������� ���

���� ���� �� 0(�����"��)1 ������������� ����� ��������� ��� � �0�1 F � �� �� � ?�7�

�0�1 F ? �������� �� 4���� ����� ���� L9?M� �� �� ��� ��� ������ ������� ���!�������

������� ������ C������. ���������� ����������� "� ������� �� �� ����� �� ���#

�����.�� "� ���� ���"�� �� ��� ���"���� �� �� 0��� �� � B1� � �� � �� ��

����������� "� �������� �� �������� ���� ������� ����� ���� "������ ���"�� ��

��������� 0������ �� �� ���������� �� �� ���!���� �������1

��>���J�� ��� � ��� �� ���������� �� ,� ����F ������� ������ ������� � ��� � ���� ���2��� �4 ��� ����� � ��& ��� ����&���� #��� ����� ����� ���� ����� ������� ���� �� � ��& �������&���� �� ����� ������� ����� (I ���� ��� ��� ��� � ������ ������� � �� �� ���������� � ��� � ��� �&��� � ���� � I � ����� -����� 0$ � �� ������ ���������� ���� ����� ��� �I ��� ����� �������� ��� ��� ���� ������ ���������� ���� ���� � �����

Page 99: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

8=

S

G

-16

-15

-14

-13

-12

-11

-10

-9

0 5 10 15 20 25 30

mea

n po

licy

valu

e

m

Results on 5x5 gridworld

01 0"1

3����� 9 7A 01 7$7 ���������� ��� �� 8 �"���!����� 0"1 ������� ������� ����� ������� �� ������$ ������������� �������!� ������ &� ������� ���.���� ���� ������ !��� �� �� "��� ������ �� BD �� ����� ���!� �� �� ��� ������ !��� ����� �� ����������D �� ����� ���!� �� �� ��� ������ !��� ����� �� ������$ ����� &� 0������������"��1 � � � "�� �� ��� �������

&� ����� �� &����� �,� ��� ���� ����� ��� '��� ���������� "� /������ L99M

�� ������ L8,M� �� ���� ������� �� �� �������� �� �������$ �

�, #$��������

�� ��� �������� �� ������ �� ������� ���� ��� �$��������� &� '���� ��� ��

�$���� �� "�!��� �� ������� ������������ ��!��!�� ������ ��������� �@�6�

&� ������ ������� ������$ ���������� ����I���������� ����� ���"��� ��!��!��� ������

"������

3����� 9 7 ���� �� '���� ���� �� ����� �@�6� ���� �� ��� '��� �$��������

�� ��� ���"���� �� ���� ����� �� �� �����#���� ������� �� �����!�� � �������������

��� ���� ����� �� ����� �� "���"��� ���� �� �� �����#���� ������ &� ���� �����"��

�"���!������ ��� ���� �� �� '����� ������� ����� �� �� �� ���� � ���� �>������

Page 100: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

88

�� ������� �������� ������� ��� &� ������ ���� �� ����� ���������� �� �� 9� F :775:

��������� ������ ���� �� ���� �����"�� �"���!����� �� �� ���� ������ ������������� ��

������ �� ��!� �� �� �� �� ������ ���������� ������� �� ������ �� ������ �� ��!��� ��

����� ��������� ,?Z �� �� ���� ����� �� ������ ���� �� ���� ����� �� �$����!���

��������� ��� ������.���� ������� ��� ������� �!�� �������� �� ������ �$����!�

����� ������ �� 9� �������� �� �� . ��������� �� ������� �� "��� ��� @�� �$���������

���� ���� ��� � F ?�;; �� ���.�� ���� �� 0 F �??� �� �� ������� �������� �� ���

���"��� �� !����� �!�� �???? ����� &� ������������� �������!� ����� ��

0�� �� �1 F

��

Æ0����1 �� � ?�?7

Æ0�� ����1 �� ?�?7 � � ?��?

Æ0������1 �� ?��? � � ?��7

Æ0�� ����1 �� ?��7 � � ?�,?

Æ0�� �1 ��������

���� Æ0�� �1 ������� �� ������ �� ��!��� ��� ���� ���� � �� �� ��������� �������� "� ��

�� �� � �� ��� ��!� ����� ������ �� ������� ���� ���

3����� 9 7" ���� �� ������ �� ������� ��� �$��������� ��� �������� ���"��� ��

�������� &� !��� �� �� "��� ������ ����� B �� �������� "� �� ������� ���.���� �����

�� �� ����� ���!� "���� �� �� �� ��� ������ !��� ��� ����� ��� ������� �� ��

���� �!�� ����� ������������ ���� ���"��� �� ��������� �� ������� ����� �� '�� ����

��������� �� � . "������ ����� �� !��� ��� ������� �� ������ !���

-� !� ���!������ ���� �� (����������) ������������� �������!� �����

�� ��� �� ���� ������� 3�� �� 0�� �1#���� ��� 4��� A L?� �M � L?� �M "� � ��������

Page 101: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

8;

�� ��� �� 4������L?� �M ����� !��"�� ���� ����� 4������L?� �M ����� !��"�� ��

&�� �� �� ������������� �������!� ������ �0�� �� �1 F 0�� �� 4���0�11 �� ����� ���

��� "����� �� �� �������� �� �� � ��������� �� ��� ���� (������$) ����� ��

0/���� �� ���� �� �� �����J� ��������� "��� ������$ ���������� ���� �� �����

������� �� ������$��� 1 -� ����� �������� ������� �� ����� ������� ��� � �����

��!� ����� ������� �� � �� ������ ��� ���������� �� "���� ��� "� �� ������� � ����

�� 3����� 9 7" 0���� ���!�1 &� ��������� "������ �� ���!�� �� ��� ����� �� ��� ��

��� ��� ���$������ ��!�� �� ���� ��.� �� �� ���"��� ��

@�� ������ �$�������� ���� ����T! �� �����T�J� L8:M "������ ��������� ����

�� �">����!� �� �� ���� �� ��� ��� ��������� �� &� ������ �� �� ��� �� $ ������

�� �� ����"�� �� �� ����������� 6 �� �� �����J� ������#��#��!��� ���� �� ������

&� ��$#���������� ���� ���� �� L8:M �������� !��"��� ��� �� "������J� ���� ���� ��

����������� �� �� ����"�J� ���� �� �� "������ ���� �$����� ��7� �� ���� �!�� �� ������

� "���"��� ����� �����!��� ���� �����!� ����� &� ��������� �� �� ��������

����� ���� ��������� ������"���� ���� ���� �� �� �������� ����������� �� �� ������#

��#��!��� ������� ������������ ��� "���� �� � ���� �� ��� ������������� �������!�

�����

-� ��������� ������ ���� �!�� �� ��������� ����A -� �������� !����� -� ��

'����� 0������� ������#����� "�� ��� '�� �����1 ������� �� �� ����D ������ ���� ���

����� ��� ��������A $ F 708� � -�10$��� $��1 V $��� 6 F 708� � -�106��� 6��1 V 6���

���� �� �� �������� ��� �� �� �������� �� ������ �� ���� #�� �( ���� � ����� ������� �#�� �( ����0� � � � � 0999� ��� ���� ������� ����#�( ) �����#�#�� �( � �(� ����� �����#�( ����� ��� ��������� ��� � ��

��-���� ������ ���� ��� ��<������ ������� � ��� ��� ��������� ���� �� �� �� �#��� �G���(I

�� 8%9:�

Page 102: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;?

���� 70�1 F ��0�V%��1� �� 8� �� 8� �� �� �������� O��� �� ����� ��� �����

�� ���� ���������� ������ ��������� �� ��� ���� ������ L8:M� !� �� ��������.� �� ������

&� ������#���� ������"����� �� ������ ����� �� "� �����������!� �� (������) ����

������"����� ��� ������ "������� �� �� ��� ��� '��#����� -� ���� ���� ���� ���"��

. F 5? �� ��������� � F ?�;;8� 0 F 7??� ��� �� ����������#���� ����� �� �����������

��������� ������� �� ������� ����'�� !������ �� ������� ����� �� ������.� �!�� ��

������ �� ����� ������� �� ����� �������� ������ �� ���� ���� ��� ���� ��

-� �� �? ����� ����� ��� ������ ���� �������� ������� �� �� �� ���������

��������� �� 7? ����� 6���� ��� �� ����� ������ �������� �� �� ��� �� �� �? ��������

�������� ����� ���� "��� ? ;;7���� �� � ?=�� �� �� 7?? �!������ ���� ��� �� �?

��������� �� ����� ������� �� �"���!�� �� ��� "��� � ?=�� &��� ������� �� �����

���� "����� �� ���� �� L8:M� ��� �������� ������ �������� �� "��� =�� 0����� ����

�������� ����� ���� !��� (���#�����) ��� �� �� ���1� �� ������ ("���#�!��) ���� ��

"��� � =��

�- ������� ��� ������� "���

�� ��� ������ �� ����� �� �@�6�� �� "� ���������� �� �������������

����� �� ���� �� ������������ �� ��'�� ������ ���� ������� 4���� �� ���� ��

2� ��������� �� ����� ������$��� ������ ���� �����!���� �������� �� ��� ���!��

��/������ �� ������� ������ ��� �������&���� ���� � ���������� �� �� �������� ���� � ��&�������� ���� ������������ ��������� ������� �� ����� � ��� �� ���� ����� ��� �� ���������� ��������� ������ ���� ����������� ��������� ����������� �� ��� ���� � ���� � ��� ������ � � �� ������ ��� ��������I ��� ��� ��� �������� � ���� ����� ���� ?�#� (� �������������

������� �� ��������� ������3 -�� �� ��� ������ �� � ������ � ��� ����� ��� ��� � ��� ������ ���� ����� ��� ���� D �� 8+':� �� ��� �� ������� ��� �������&���&��� � �� � ��� ������������ ������ ��������I �������� �������� �������� 2��������� ������4 ��� ��� ����

�� ������ ����� 0�� ��� ���� ����� � �� 8+':� ��� ��� �� � 09� ������

Page 103: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;�

�������� �� �� ����� �� �� ��������� ����� "� ��� �����

&� ���� �� ��� ���� �� ��� ������ �� ������ �� �� �� �� ���� ��������� ��

!����� ��������� 0< � � ��� L5,M 1 -�� �� ����� ���� �������� !����� �� ��������

������ �� ����� �� �� ����� ���� �� ������� ����������� 8 �� ������� ����� ��

������ ����� ���� � ��� ���� !����� �� ���� ���� ��� ��� ���"���� �� �� ��������

���� �� � �!���� ����������� "����� ������� ��� �$� ,01 &��� �� ���"�� ��

������ !����� ��������� ������� ��� �� ��� �� ��� "� ������ �� ���"������

��� ������� -� "���%� ��!��� ��� �$����� ���D ��� ����������� �� "��� �� ���

�� L5,M� ��� ������ �� ����� �� ��� ���� ������� ������������

�������� !���� �� �� "������ ���"��� �� ��� ��� 7?Z ���� �� �� ����

�� ���� �� ���� ��� �� �� ��� 7?Z ���� �� �� ���� �� ���� �� ���� ��� * ��

@�� �� ��� ���� ����� ���� �� ��� �� �� �� . ������ � 7?Z ���� ��

�� ��������� �� �� �� ��� ���� ��������!���� ��� �� ��� �� ��� �� "� ��� � ��

�$���� .�, ������� �� ��� * �� �� �������� .�, ������ &�� ���� � ������� ��

�����'�� �������� �� ����� "� ���� �� ������ �� !����� �� ����� ���� ��������

���� "������ ���� �� ��� !����� �� �����'�� ������� ���� �� ���"�� �� ������

������� �� �� ��� �� ��� ���������� ����������� �� �� ���""����� �� �� ���� ��

���� �� ������ �� ��� ��������� ����������

6�������� ��������� 0��� ����� ��#*��������.���� �� ���������� ����� ����1

������ �� �������� ���� �� ����� �!�� ���� ��"��� �� �� !��"���� �� �������� �!��

�� �������� 3�� �������� �� �� �� ����� ����� ���� �� ������� 9L(0��� ��1M� "�� ��

����� �������� ������� ���� ��� ���� � ������ � ���� �� ����� ��� �������� ��� ���� ����� ������ � ���������� ������� �� ��� ������� ���� ���������� �

Page 104: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;,

������� 9L(0��� ��1���M �$����� ��� �� ���� ����� ���� �� �� !���� ������� ��

��������� 9L(0��� ��1���MJ�� ���� �� ������� "�� �� �� �� �� ������������� �������

���"���� ���� ��� ��� ������� ��������� ��������� �� "� ���� 0�� ���"������ ���

������� �� ���1 �� ������ !����� ���� �� ���� ���� �� ��� �$������ �� L7:M

��������� ������� ������ �� ������� �� ���� ����!�� ���� ����� ���"���

��� � � � � �� �� �������� � ����� ��� ����� ����� �� ��� ������� �� ��� ���� ����

�� ����� � ������������� �������� �� ��� � � � � �� 3�� �������� !��� ������ ��� � � � � �� �

�� �� ����� ���� �� ��� ������� � ��� � � � � � �� � � �������� ����� �� �� �����

���� �������� ����� ���� ��� ��������� �� ������ !� ������ �����!� ����������� ���

��� ����� �� �����'����� ������ !����� �� �� ������ ��� �� 0 F �� �� ��������

����� �� �� !� ������"�� �� ����� � �� � � �� ��� ����� �������� �������

���� ���� ������ �$����� �� !����� ��������� ������ ������� �� ��� ��

������� !������ �� ������.�� ������� ������ ����� ��� ���� 0�� ��1 �� "� ����

������ �� ���� �� ������������� ������� ���"����� �� ��!� �� ���������� ����� �� �����

�� L5,M ��� ���� ������������

�� �� ��� �� �� ��� ��� ��� �� ��� ����� � "��� �� ��!� ������ ��������

�� �� �$�������� ,01 F 9L�0��1 V ��0��1 V � � � �M �� ������� �� ����� ����� ����

�������� ��� ��������� �$���������� ���� �� ��� ��� ������������� ������� ���

� �������� ���������� �� ������� �������� 0< � � L58� 5,M1 ��� �� ���� �����#

�������� ������ �� ����� ��� �� ���� ���� ��� �� ��������� �� �� ���"���� "�� ���

�� �� ���� ���� "� ���������� ��������� ��� ������������� ������� �� �� ����� ��

���#����� ���� 0< � � L85M 1 /���� ���� �� ����� ����� ���"��� ��� ��� � � �� ���

Page 105: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;5

��� �� ������� �� �$��������� �� ��� ���#����� ���"��� ���������� ���#�����

���"��� �� �� ������ ����� �� "� (����� ����) �� �� ��� �������� ���� ���� (���#

��������!�) ����� �� ����� ��� -��� �� ���"����� �� ���#����� ���� �� ��

���������� ���"���� �� ����� ����� �� ���� ��"��� &��" �� -������. L�?�M ���

���������� ������� ������������ ���#����� ���� �� ���� �� ���� ���� ���"����

3������ ���� ��� ����� � ������� �� ��'���� ���� ������� �� �� , ��

������� �� ��������� G, � ��� �� ��� ���� ������ ���� �� ������� ���� �� �������� 0��

'���� ����������1 �� , ��� ������� �� ������J� ��������� �� ��� �� �� �� �����#����

�� �������� ������� ����� �� ��� �� �$���.� , ���� ���� �� ��'�������� ������#

"���� ������ �� ������� ��������� ������� �� �������.� ���������� ����� ���

� G,0 1��� �� � ��"���� ������� ��� �,��� �� ��� �� ���� ����� ��� � G, 0 1��� ��

"� ���� �� �������� ������� ����� �� ��� �� �$���.� ,0 1 L8=� 77� 9:M 0/���� ����

��� �� ����� ���� ������ �� �������� ���� ���� �� ������� ����� ���� 1 4������#

������ �� ���������� ������ ��� ��� �� "� ���� �������� ��� �� ��� ��� �� �������������

������� ���"���� �� �� �� ���������� ��� �� �� "� ������ �� ���� ������� ���"��

�� �������.�� ���������� 0��� � ������ ������ ���"����1 �� !� �������� ����������

������� �� ������ 3�� �������� �� ��������� ������"�� �� �� ��$� ����� � ���#

���������� �������I������� �� ������������ �������������� �� ���� ������� ��

!��� ������ �� �� ��������� ��� ������������� �� ������ ���� �� �� "������ � �� ���

����'�� !������ �� ������� ����� �� �� ���� O���������� �� !��� ��� ���� � ������

�� ������ �� ����

&� ������.� ��� ������ �� "��� "� ������"��� �� ������ ���� ���"���� ��

Page 106: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;9

�� �� �"������ ��������� ���� �������� �� ��������J ��������� ���� ��� ���� �� '�����

���� �������� -� ��� �� �� ��!� ����� ���� ������ ��� ��� ���� ����� �� ���

��!����� �� ��>������ ����� ������ ��� ��� ������ ��������� ������� �����"��� "��

�� ����� ������������� ��� �$�����!� �� "� ������� -� ��� ����� �� �� �@�6�

�� "� ���������� ���� � (� ��!����) ��� �� ��� �� ���������� �� ������������� *�

����$������ �� ���������� �@�6�J� ������ ���� ������"����� ��� ����� �� �����#

���� �� ��'��� � ������� ��� �� !��� �� �!��� ������� �� '���� ��������� ������ ����

"� ������.��� ���� �������� -� ��� �� �� ��� ����� �� ��� �� �� ������ �����

���� ������ ��� �� ��� ��������� �� ����� ���"��� �� ���� �� �!���� ��������

�������� ���������� ���� ���"����� ����� ��� ��� ����� ��!�� ��������� ���� ����#

����� �� �$��������� ������� ����� ��� ����� ������� ���� �� �� ��� ������������

�� �$���� ���� ������ �� ������� �� �� ���� �� '����#���.�� ������������ �����D

������������ ������ ��� ������ ���� ���������� �� ��������� "������ �$������#����#

��#"���"���#���� ���� �� �����D �� ��'����#���.�� !���� ����� ��� *#��$��� ����

0�

&�����$ �&' ���� � ������� .

�� ��� ������$� �� ��!� �� ����� 0"� N����� ������ �� O�� �;;;1 �� &��#

��� ;

&� ��'������ �� �� 2� ��������� �� ������ �� "���� ��������� �� ��!�� ��

������� 9 , 5 &��� �� ��!��� ��� �� �������.� �� ��'������ �� ���� �� ���#!����

��������� -� ��� ��������� ��� ��!�� �� L�?5M �� � F �4 A 3 � L 1�1M� �� ��� ��

Page 107: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;7

���#!���� ��������� "������ "� 1� ��'�� 2��0�1 �� "� �� 0���!�������1 2� ���������

�� �� ��� �� "���� ��������� �:04� �� �1 A 4 � �� � � 0 1�11�� ���� :04� �� �1 F � ��

40�1 � �� :04� �� �1 F ? �������� &� ��� �� ��� �� ��������� �� �����"�� �������� ��

��� �������� ���������� �� '���� ��� �� ���!������� 2� ��������� �� �� ��������� ���

�� ���������

C�� ���� F �����0� �1 3�� '$�� ������ � ��'�� �� �0� �1 ���� ��>������

����� �� ��� ���"��� L ����� ����M� ��!�� "� �!������ �� ������ �� �� ��>������ �����

&��� B �� ��� "� !����� � ��'���� ��� �� ���#!���� ��������� ���� ����� �� ��

���� �� ��>������ ������ �� ���� ���� �� L ����� ����M &��� �� ���� ����� �� ��

�� 2��0B1 �� 0-�� ���� "��� �� �������� ��� �� �� ����� B �� ��� ������ ��� ��� ��

��������� ��� ����� "���� �����D ��� �� �� �� "� �������� ��� �� �������!�I�������

!��� �� B � ��� �� ��������� ������ ���� ����� �� ������ 1 -� !� �� ���������

����

���� �! �� B �� � �� �� ������ ��� � ������� -5+,-� �� 61 ������� 2�0B1

���� ����� �� � �� �� ���� ���� ���� � ������ !��� ���� ����� �� � �� �� ����

���� �� ����� �� ��� �����0 ��8���� ���� � L ����� ����M� �� �� B ��� �������

������� �

2��0B1 F � 002�0B11 09 ,;1

����3 C�� + F 2�0B1 3��� ����J� C��� 0��� L�?5M1� B �� ����.� � ���� 0%!�+1�

�������� ����� �"������ �� �� ��� �� ! ����� O�� �� . ��>������ ������ ���� �� �

���� ! F .,���� �������� ����� 0��� ��� �� ����1 �� �� �� !��� �� � ���������

�� ����� �� ����� ��� B �� ����.� � ���� 0%!�+1� F 0%.,�����+1� ��������

Page 108: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;:

���������� 0���� �� (���������) �� ��� �� . ��� ���� "� ������ � ��� ��� ����1

�����!��� ��� ��� �� ����� � ���� �� .,� ��� ���� ����� �� ��!��� �� �� �0� 1

�� ��� �� � ���� .,� !���� ��� � B �� �� ��� ��� �� . ����� &��� �� ����

�������� ���� .,� �������� �� �� ������� ������� �

����������� �� �������� �������� �� ��� �������� �� �� ��� �� �������� ����#

����� ���� �� ��'�� 2��0B1 0���� B �� ��� !����� � �� ���� ����� �� L ����� ����M1

��� �� . ������ ����.� � ���� .,�0%.,�����+1� �������� �"������ O�� �� ����� ��� B

0!����� ��� �� ��� ���������1 �� ����� . ������ �� ���� "� "�� �� ����.� � ���� ,�

�������� �"������� �� ��

.,�0%.,�����+1� � ,� 09 5?1

���� ��� � ������ ���"� ���� ��� ������� . F � 002�0B11� ���!��� �� ���� �

-� ��� ���� ��� ���� ������ ��� �� 2���� L�?5M� ���� ��� �� ���� "� ����

�� ���!� ��� ������ C�� � "� ��� �� "������ ���#!���� ��������� 4 A 3 � L 1�1M

"������ "� 1� �� ��� + F 2��0�1 C�� � "� ���� ������"����� �!�� 3� �� ��� ��� � � � � ��

"� . ��� ������ ���� �������� �� � &�� ��� ���""����� � �

�����

�����9�L40�1M �

.

����

40�1

����� �

��1

�+ ��� �

� V ��� �Æ

.

�� 09 5�1

���� 0���� �� ������.���� �� �!�� �� ��� �� �� �J�1

-� �� ��� ���� �� ���!� �� ������

���� ��� 2��� 5�3 &��� �� ��� ������� �� �� ����� �� ��� ������� �� � �0��1A <����

���� ��������� � ���� 0� �� ����� ���� �� ��������� �� �� ������� �� ��>������

����� C�� � ���0��1 "� �� �$������ 0�#���� ��� �� ���������� �������������� ��� �������

� �� ������� ,� L�0� 1M F � ���0��1 ���� ��� �� 3��� ��� ����� �� 0�� �� ��� ����

Page 109: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;=

"� ������������ �� �� ���0��1 � �0��1� *�, ��� �� 3������ �� ���� < ����� 09 5�1

��� � F "���� �� ��>������ ������ � F B 0!����� � ��� �� ���#!���� ���������1�

1 F ����� 4 F � 40�1 F �0� 1� + F 2��0B1 �� ,�L40�1M F ,� L�0� 1M F � ���0��1�

�� '�� �� ��� ���""����� � �

������ ���0��1

.

����

�0� 1

����� �

������

�+ ��� �

� V ��� �Æ

.

�� 09 5,1

���� ������������� ��� �� � B ��"��������� + F �00�2�0B11 ���� C��� �9� ��

�������� ��� �� ��� ����� ��

. F ��0�����*1

�00�2�0B1 ���0�����*1 V ���0��Æ11�

09 551

�� !� �� ��� ���""����� � � �� ���� ������������� ��� �� � B �� �� ���0��1

0��.1��

���0� 1� *�, -�� ��� �� ����� �� ������� ��� ����� ��!�� �� �0��1

0��.1��

���0� 1� ���0��1 � �

��0��1�V�� �

��0��1 0��.1

�����0� 1� *�,V*�, F *

������������� ��� �� � ��� ���!�� �� ������ �

&�����$ �(' ���� � ������� ��

���� ��� 2��� ���3 -� ��������� � �6� ��� ����� ���� ��� �� �� ���� �

"���"��� ���� &� ����� �������� �� �0�1 F / ��� / F �� ?� � 6���������� �� �������

�� ��� ������������ *�� ��� �� �� ��������� ��� ���""����� � �� �� "���"��� ����

��������� �� �� ����� ���� &� ������#���� �� � 7 ���� �� ������������ �� ��

�� ��� �� ��

-� ��� ��������� � ��� ���� ������ �� ���������� �� �� �� -� ����

C�� F �����L�� 5M ��� 5 � L?� �M � � � � � 5� � ; � �� "� �� �����"�� ��� �� ��

Page 110: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;8

'���� ������ �� �����!�� ��� ������ ��������� �� L?��M C�� � "� �� �����"�� ��"���

�� �� ������� �� �������� �� �� !� ���� ����� 0C�"����� ������1 �$����

? 7 3�� �$����� L��5� 7�:M �� L?�?� ?�,7M � L?�7� ?�=7M �� "�� �� � C�� �� �� � � � "�

� ���������� �� �� �������� �� � ���� ��� ���� ��� � � �� "� � ���������� �� 0����

�����"�� ��'���� ��"��� ��1 � &� ������������� �������!� ����� �� ���� ������ ��

��!�� "�A

0��� �� �1 F

��

��� �� � �

�� ��������

��� �����0��1 F �����0���1 F ?�7 ��� �� �� �� ��� �� ������� ����� ��� �� �6� O���

��� �� ,01 F ? ��� �� � B

3�� �� '���� ����� �� . ��������

0��� -���1� 0��� -�

��1� � � � � 0��� -���1� ���� �$���� ���� ��� �� �

��� �� ��� �� < F �� � � � �.

&��� �!������ � � ����� ��� ��� �� ��������� �� . �������� ��>�������� ���� ���#

������ ���� �� ���� ��� �� �� !��� ������� 0������� 0� � �1 ��� �� G,01 F � �����

��� ������� ���� ��� �� '���� ���"�� . �� ��������� �� !� ���� �� G, ���� ���

��������� ���!���� �� ,01 F ? 0�!�� � B1 �

&�����$ ��' ���� � ������� ��

&� ����� ����� ��� �� ��� ��� �� ��� �� /������ L99M �� ������ L8,M /��#

���� L99M� �� ��� �� ���� "� ��������� ���������� ���!���� ���"�� ������������ �� ����

�� �� ������ ���� ���

-� "���� ��� ���� ������ ��'������� ���� L99M 3�� ��"��� �� ���� 3

������� ��� 0������#1������ =� �� �� � � 3 �� � *-��� ��� ��� ��� �!��� � � �

Page 111: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

;;

���� �� ���� �� � � ��� �� =0�� ��1 * 3�� �� * � ?� ��� � 0*� � =1 ������ �� ��.� ��

�� ������� *#��!�� ���

C�� � "� ����� �� ��������� ������ ���� ��� 3 ���� "������ ������

������ ���� 0�� =1� �� ��� � "� ���""����� ������ �� 3 6�'�� ������ ������ ��

� "� +����� 0(� 1 F ,!�� L=0(0�1� 0�11M 6�'�� �� �������% �� � �� "� �0*��� =1 F

��� � 0*��� +����� 1� ���� �� ��� �� �!�� �� ���""����� ������� � �� 3 &� ��#

���� �0*��� =1 ��� ������� �� (�������) �� �� ���� � O��� �� � �� � �� "��

��������� ��������� �� *� �� �� �0*��� =1 F �0!*��� !=1 ��� �� ! � ?

&� ��� ������� �"����� ��� ������#��������� �� ������� ���!������� �� ��

�������� ���� �� ������ �� ����� !��"��� �� ���� ���� ���� C�� � "� ����� ��

��������� ������ ���� 3 ���� L?�� M� �� ��� -� 0�� (������� ���)1 "� . � � � ���� ����

���� ���""����� ������ � �!�� 3 &�� ��� �� 4 � �� ��� G��0-�1 F 0��.1��

�� 40�1

"� �� �������� ��� �� 40�1 ���� ��� ��0� 1 F ,!�� L40�1M "� �� ���� ���

-� ��� ���� ��� ������� ���� L99M �� L99M� ���� �� &����� : ���"����

��� &����� �,D C��� =D C��� 8D �� &����� ; 0��� > "���� ��������� ����

?0 � �1 F �� � F *�9� � �� 6 F ,�1 *����� ?� �� ?� ��������!��� ������ �� �����

�� <������� ������� �� � � � ?�0-�� - 1 F�

�� �� � ��

���� � �� � �� � ���� �� ������� ������ ���� 3 �� L?�� M� ��� + F ���� 0�1�

!��� ��� �� ������� ������� � �� 3 ��� �� ? � * � � �� ���� �� � 0*��� +�������1

,00,%��*1 ��0,%��*11��

���� �' �� ��� � � � ��" ���� �� � ���� �� ������� ������ ���� 3 �� L?� �M� !��

�-�� � ��������� ���� ��� �������� ��� �� 8==:� ����� �� �� ��������� #0�!( ������

Page 112: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�??

� ������ �� �� �4� � �� ����� �� ������� � F �0(�� � � � � ("1 A (� � ��� ������

���� 3 �� L?� �M" ������ 0(�� � � � � ("10�1 F 0(�0�1� � � � � ("0�11 � !��� ��� �� �������

������� � �� 3 ��� * � ?�

� 0*��� +�������1 "�

���

� 0*�!��� � +�������1 09 591

���� �4 �� 03�� =�1� � � � � 03"��� ="��1 �� ������� ���� ������� ��� ��� ���� < F

�� � � � � !� �� �� �� � ����� �� ������� ������ ���� 3� �� 3���� #������ �� ����

�� � ������� �����. �������� ��� ������ � �� ���� =� �� � ������ ��� =���

�� � ����� � �� ���� �����. ����� 5� � �� �� � F �(" Æ � � � Æ(� A (� � ��� � < !�

�� �� ����� �� ������� ������ ���� 3� �� 3"�� ���� � �������� �� �� �������

� �� ��4�� �� *� � ? �� ����� ��� �� * F !0�"

��� 5�1*�� !���

�0*��� ="��1 "�

���

�0*���� � =���1 09 571

���� �) �� � �� � ���� �� ������� ������ ���� 3 �� L?�� M� ��� �� � �� �

������� ������� �� 3� �� -� �� �������� � . ��������� ����� ���� 3� ��� ������

* � ?� !���

�L�4 � � A �G��0-�1 ��0� 1� � *M 9�0*��:��� ?�1%����#����

09 5:1

-� �� ��� ���� �� ���!� &����� �, O� ������� ������ � "��� ��� ��

������ ��������� ������ �� �� "����

���� ��� 2��� ���3 @�� ����� �� �� ���� ���� 3����� G, ��!�� � ������� �� ��

���������� ������ ������ �!�� 00�V�1#�����D �� ������ �� ���"��� �� ������ �������

���!������� �� G, �� ��� �� ���!��� �� ��� �������� �� �� �$������ ������ �� �� 0#�

Page 113: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�?�

����� 0 F ?� � � � �0�� �� ���!���� ��������� ������� �� �������� ��'�� �� ������ ����

�� �������� �� �� �� 0#� ���� ������� �� ��� C���� �7� �: �� �= �� "���� ���

������ C����� ������� C��� �8 ��!�� ��� ������ &� �������� �� ������� �� ��� ������

����� ���� F �� �� 1�1� � �

��� " �������� �� ������ ������� �� 0-�� ��� 1���3 G, �� ��'���

"�

G,01 F�

.

����

�0��� 1 V ��0�

�� 1 V � � � V ����0�

���1�

3�� �� 0� ��� G,�01 F��

�����0�

�� 1 "� �� �������� ��� �� �� ����� �� �� 0#�

����� �� ��� ,�01 F ,�� L�0��1M "� �� ���� �$������ ����� �� �� 0#� ���� 0�������

���� �� � � �� �$������� 1 &��� ,01 F��

��� ��,�01

������� �� �� ���� ��� �� 0 F ?� � � � �0�� �� ��� ���""����� � �00�V�1�

� G,�01 ,�01� *�,00� V �1 � � B 09 5=1

&�� "� �� ����� "����� �� ���� �� ��� ���""����� � � � G,�01 ,�01� *�,00�V

�1 ���� ������������� ��� �� 0 F ?� � � � �0� �� ��� �� � B &�� ������� ��� ��� ��

� B�

� G,01 ,01� � G,01 ������

��,�01�V �������

��,�01 ,01� 09 581

������

� G,�01 ,�01�V *�, 09 5;1

*� 09 9?1

���� �� ���� �� ��� �� ����

��� ��,�01 ,01� *�,� "� ������������ �� �� *#���.��

���� *�� ��� �� �$���� �� ������� ������ &��� �� ���� ���� ���!� �� < ����� 09 5=1

���� ��� �� ���""����� ��� �� 0 F ?� � � � �0�

Page 114: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�?,

��� " *������� �� �������%3 C�� 0 0� "� '$�� -� ��� ����� ��� �� ������

���� ������� �� � �� 0L?� �M� 1� �� �� 0#� ���� ����� ����� ��� ������ �������

���� �� �� '��� +� � 0 �������� �� �� (�)� ������� �� �� �������� �� ����� ��� ����

"��� �� �������� ����� �� ������� � �� � �� L?� �M�� � �� ������ ��� ���� ����������

&��� ������� �� �� ��� "� ������� � 0�� ��� ��� � � � � ���1

P�!�� ����� �� ��������� 0��� � �1 ������ ���� � � L?� �M� ���� L?� �M� ��

�$���� ��� ����� �� �� L?� �M�� ��� �� '���� � � ? ������ "� !��� �� ������ �� �$��

���������� O��� ��� �$������� �� �� ����� ���� ��� ���� �� ������#��������� ��

����� �� ��������� ����� ��� �� � F �� � � � � �� ��'�� ������ : ���� �� L?� �M � L?� �M

�������� �� :0�� ��� ��� � � � � �1 F � 3�� �� �� ��� � F �:� "� ��������� ���� -���

��������� :J� ����� �� ��� �$������ � �� !� >��� ������"��

3�� �� / F �� � � � �0V�� ��'�� 3 F �� 0L?� �M� 1���� 3�� �$����� 3� �� >���

�� ���� �� �������� 0��� ���� �� '��� +�0 �������� �� �� �J� ����1� �� 3��� F �

3�� �� / F �� � � � �0� ��'�� ����� �� ��� ���� 3 ���� 3�� �������� �� � F

�� � �� � � � � � �� � ���� � ���� � � � � � ������� 0���� �� ��'������ �� �� ����

������� �� ���� �� ��������� �� � ��!�� �� C��� �:1D ���� ��� � � � C������. "����

� ���� 1� F 0+� V0+� 11 ���� ��� ���� F ��� "� ��������� ��� ��������� �� �����

��������� �� 3��� F L ����� ����M 3������ ��� � F ���� Æ�� Æ � � � Æ �� "� �� �����

�� ��� ���� � � 0L?� �M� 1� ���� L ����� ����M

O��� ��� G,�� ��� A �� � L ����� ����M "� �� ����� �����!�� �� �� 0#� ����

��� �$������� ���� ������� � � �� �� �� ��� !�� �!�� B� ��� ��'��� �����

�� ��� ���� �������� ���� L ����� ����M ������� ��� ����� �� ��� �� ��"��� �� �

Page 115: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�?5

&��� �� �� �� "���� �� ������ �� � 0�� ���� ���!� ������� ���!���� �!�� �1� ��

!� ��� ���!�� ������� ���!������� ��� G,�� ��� 0�!�� �� � B1

3�� �� / F �� � � � � +� � ����� ���� 0�1 +� C��� �7 ������� ��� 0*��� +�������1

,00,%�*1 ��0,%�*11� �����!��� ������ � 0*��� +�������1 F � ����� �� � �� ��������� ���

���"���� ��� C��� �:� ��� ������� ��� ��� �� / F �� � � � �0 �� * ��

� 0*��� +�������1 �����

� 0*�0+� V 00 /1+� 1��� � +�������1 09 9�1

�����

� 0*�0+� V0�+� 1��� � +�������1 09 9,1

,��,%0+� V0�+� 1

*��

,%0+� V0�+� 1

*

���

09 951

,��,%0+� V0�+� 1

*

����09 991

���� �� !� ���� �� ��� �� � �� ��������� �� ��� * ������� *� ����� ���

�!�� ���""����� ������� � � ��� �� ��� "���� �� �0*��� ?�1 O��� � ������� �!��

�������� � ?� ?� &��� ��� ��� ��!��

�0*��� ?�1 ,��,%0+� V0�+� 1

*

����09 971

3������ ������� C��� �= ��� �� �� �� ="J� "���� �� ?� ���� �� �� ����#

����� ����� ! F 0 V �� �� * F 00 V �11�� 1�*�� �� '��

�0*��� ?�1 �������

�0*�000 V �11�� 1�1��� � ?�1 09 9:1

�����

,��,%0+� V0�+� 100 V �11�

� 1�

*

����09 9=1

,���

�,%0+� V0�+� 100� V �11��

� 1�

*

������

09 981

Page 116: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�?9

��� " ������ ������ �������3 �������� C��� �8 ��� �� "�!� "����

�� �0*��� ?�1� �� '�� �� ��� ���� �� "� � Æ ���""����� �� ��� ������� �� �� �$������

0#� ���� ����� �� "� *#����� �� �� ���� �� ����� ��

. F,7:

*�

����

ÆV ��� 09�0*��:��� ?�11

�09 9;1

F @

�����

�+�

*� ���

�

� �� ���1� ���1�� +� � +�

��� 09 7?1

&�� ��������� �� ����� �� �� &����� �

Page 117: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�?7

������� �

���������� ���������� ��� !��

������������� ��������

/���������� ��������� ��������� ������� ���"��� ��� ������$� ���� ��������

���������� ������ ���#������ ��#����������� ���@� ���#������� ��� �������

&�� �� ������ ������� �� "� �����'����� ���� ������ �� ������� �� '$��#���� ��#

���� L7;M ��������� ��� �������� �� ���"��� �� ��������� ��������� �� �!��� �� ����

-� "���� ��� ������� ���.������#�������� ��� ����� ����� �� �� ��������� !� ��

����� ��� ������� ��� ���������J� ��� ����� ������ ��������� 0!����� ���� "�!�1��

"������ �� �������� �� ���� ��������� ����� ����� &�� ����� �� ��������� ��

�� �� ����� �� ����� �� ��!���� "�� "� ������� ��������� ��� �� �� �� ��� �����

�� ��� �� ������ ��� ��������� �$��������� � ���#��� �� �� ����� �� ���� �� ���

����� �� ���� ���#��������� &��� �� �� ��!������ �� �� ���������� �� �� �������� ��

�-�� ��� ������� �� ��� ��� ��� �� K����� ��� �� ��� ����� ��� ����K�� L����-������� ��� ��� ���� �� ���� �� � ��� �������� � �������&������� ����

Page 118: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�?:

�� ��� ������ ��� "���� �� �������I�������� �� ������� � ��������� ������ ��

��������� �� ���� *�� ��� ������ ����� ���"���A &�� ������� ����� ��� ����� ��

��������� �� ���� �� ����� �������� ��� ��� ��������� �� �!�� �� ����� �� ���� ������

"� ������ ������� �� �� ����� �� �� �� ��� �����J� ����� �� �������� �������� ��

������� �� �� ����� �� ��������� ��� �������� �� ����� �������

&� ������ �� �� ��!�������� �� �� ��������� �� ���� ��� ��� ���� �� ������$�

����������!� ������� �� �� ��������� ��������� �� ���"���� ����� "� ��������� �� ����

���"���� -�� �� ��������� �� �� ������ %���� �� ��� ����� "����� "����� ��� ��

������� ���������� ��!� ����� �� �� ����� �� �� ���� �� �� �� ����� ���������

��������� ���� -��� �������� ������ �� �� ����� ������������ ����!��� �������#

����� ������� ��!��!�� �� ��������� �������� ���� ������ ���"����� ��D ������������� ����

������ ��� ������� ��� ��� ������� *����� �� ��� ��������� ������� ������� ����

�� ������� ���� �� ��� !��� �������� ����!���

�� ��� ������ �� ������"� �� ���������� ��������� �� ������������� ������� ��

��������� ���������� ��� ��������� ��������� %���

%�� ����������

�� ��� �������� �� ���� "���� "� ������"��� �� ��������� ����� ������� ���

��� �� ���� ���������� �� ��������� ���������� -� ��� ������"� �� ���������J� ������#

��������� ��� ���� ���� �� �� ��� �������� � �� ������� 7 ,� �� ��� ������� �� ��

������'�� 0'�1 ����� �� �� ���������J� ������� ������� 7 5 ��!�� �� ������ ���� B ��

���� ��� ���������� �� ��� �� ��������� �!�� �� ����� �� ������"�� ��� ���������

Page 119: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�?=

3����� 7 �A *������� ��������� ���������

Page 120: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�?8

�� ������������� ������� �� ��� ��� ������� 7 9 ��� �$����� ��� ���� �� ����� ��

��������� %� ��������� ����!��� ���� ���� � �� ��������� �����������

&� ��������� ���� �� �� �� ��� �$��������� �� �� *������� ��������� �#

�������� 03����� 7 �1 L;:M &�� �� Q� �#7? ���������� ����$������ 5 :� ����

0��������� ������1� �� ������ ����� �� �� �� "��� ,?�� &� ��������� �� ������#

������ ��� ������� �� ��� %��� �������� �� �� ���� �� ������� ��"��� �������

�� �!������

�� �� ������ ��� ��������� �� "� ����� �">��� �� 5#����� ��� ��� ���� ��

�������.�� "� �, ���"���A ��� �������� 0�� � �1� ���������� 0��� @� ���� �� �� A1�

!������� 0 K�� K � K�1 �� ����� !������� 0 K@� K�� KA1 &��� �� �� ��� ��� � ������ ��'������

�� �� ���� ���� �� �� ��������� �� "� � F ��� � 0-� ���� �� ���� ���� !��"��� ���� 1

� ������� ����������� �� �� ������ �� �������������� �� ��� ��������� �� ��!��

�� ��� L;:M *���%�� �� ������ � ������� O!������ ������ 0�O�1 ���������� �� 5 �#

������������ �� 5 ��� ���������� �������� �� �$���� �������� �� � �� � ����������

&�� ��!�� �������� �� ����� ����������� �� �� ������� ���� &� ��������� �� ���

������������ ��� ���������� P�� &�� �������� 0������1 �� P�� �����!�� �������� ��

�� ���������� �� ��� �������� �� �� ������ � ��������� ����� ������� *� �$���#

��� �� 0�����1 ����� �� �� P�� �������� ������� �� �� ������ �����!�� �� ����� ��

�� ������� �� ������� �� �� P�� ���� �� �� ���������� ��� ��!�� �������� �������� ���

���������� �� ,�� � N��� '���� ��������� �� ������ ���������� ���� �� P��� �O��

�� ������ ������� �� ������� 0� 7?/.1 �, ���"��� ������������� �� �� �������� ��

�D�������� ��� ���� ��� ��������� � ��� ����� ��� ���� �� ��� ���������� ������ � ����� ���� 5�#A( ���� ����� ��� �� � ������� ���� #"���� �� 8*=:�( >�� �� �� �� � �� ��� ��� � �� ��� ����� ��� ���� � �������� �����

Page 121: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�?;

�� �� �� �, ���� !��"��� ������"�� "�!�

���� ���������� "���� �� ��� ������ ���#������ ������ ���#����� ���'������� ��

���������� !� 9#���������� ����� ����A

� ��� ��A &� ����������� 0�����#"��1 �� ��������� 0����#����1 ������ ���� ��������

&� ���� ����� �� �� ���� ����� ��� �� ����������J ������ ����� &���

�������� ���� ��� ���� ����� �������I"������ �� �������� �� "� ����� �� ����

�� ��������� �� �������� ������I"������ �� �������

� ��A &� 0��� �����1 ��������!� ���� ������� �� �� ��������� ���#�����J� "����

����� ����� �� ��� ��� ������� � ����� �� ����� ����� �� 0��������1 ��#

������ ��� �� ���� � ��� �� ����� "���� �� ������ < � � (%�)I���.������

�������� ����� "��� ������� ����� �� �� �������� �� ����� ����� ��� ������ ��#

���� ����� ��� �� �������� �� ���� ������� ����� ����� *� !����� ��

���� ���� �� �� ����� "����� �� ������ ���� ������� ����� �� ��� �����J� ����� �

� ��A &� ��� ����� ��������!� ���� ������� 4���� ������� ������ �� �� ���

����� ��������!� ���� �������� ��� �������� �� ��� �����J� �����

&� ���� �� �� ������ �� "������� �� �� �� ��� ��� ��� ���� �� ������ �� "�

� F L �� �M�

������ ���������� �� ������� ���� "��� ���������� �� ��������� ������� ��

����� �� ��� ��$�� � ������ L;5M� C����� L7;M� �� -�������� L�?7M &� '��� ��� ��

���� ���!�� � �� ����J� ������ ����������� ����� �� ����� ������� ����� ��� �������

�-�� ����� ��� �������� � %�� ����� �������� � �� �������� � � ��&��� ������������� ������������� � ��� ������ ����I �� ���� �� �� �������� ���� �� �� ��� ��������� � �� �������

Page 122: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

��?

�� ���� �������� �� ���� ����� ������"�� 03�� ������ ������ �� ����������� �����

��� � � � L,� 5M 1 ������ ���������� �� ������ ���� "��� �� ��!�������� �� ���������

���� !������ �� ��� ��� L;:M

&� �!����� ���"��� �� � �������A <!��� 7?� �� ������� �� �"��� ���

������� �� �� ��������� ���� @�� ��� �� �� ������ ���� 9#���������� !����� � � �� ��

�� "� �$������� ��� ��������� �� ��������� ���� ��"�� �� �� ��

%�� ����� ����/����

&� ��� ��� ������������� ������� ��������� �� �� ����� � ������ ����� ��

�� ���������J� ���� ��������� ������� ���0�1 &� '� ��� ������ �� ���� ��#���!��

����� -� "��� "� ����� ��� ����� �� %� �� ��������� ��� ��!��� �������� ��

�������� �� �,#���������� ��������� ���� �� 9#���������� ��������� ������� ������ �

�� �� %��� &� ����� �� ���� �� ������������ ������� ��� ����� ������ 0��� ��������

�� ���������� ������� � ������ ��������� ��� �������1 L=?M �� �� �� �� ���� �������

������� ���� ����� �� ���� ���� ������ �� ��"���.� �� ��������� �� �� ��������

55; ������� �� %��� �� �� ���� ��� '����� ��� ������ ��� ����� �9? ������� �� ��

���� ��� ���#��� �������

3�� �� �������� �� ��� ����������� ��� �� ������ �� ��������� ���� !����� �

��� ������� � ��� �������� ���!�������� �� �� � F L�� � �� @� �� A� K�� K � K�� K@� K�� KA� �M

-� ������� �� ���������� ������� �� �� ��������� � �������� ���� ������ 3��������

����������� ��� ��������� ���������"�� "��� ����������� �� ������� �� ���������

��� 7?/. �� �� �?/.� �� �������� ��� ����� � �?/.� �� �� �� ������ ���� "������

Page 123: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

���

��������!� ����� 0�� �� ����1 �� �I�?#� �� ������

)���� .��� � ���� � � �� �����

����� ���������� �$�"�� ���� ���#����� �������� �� ���� �� �� ��������

�� ��� ����� �� �� ������ ���� ������������� -� ���� ������ ������� �����

���������� 0� � � L:� ,7M1 � ��� ��� ���� ��� '����� ��� �����

C����� ������� ���������� ����� � ������� P�!�� ����� �0�� 1���� ����

�� �J� �� �� !�����#!���� ������ �� �� J� �� �� ���#!���� ������� �� �� ������

�� �������� ��� 3 ������ �� ������ ����$ ���� /#� ��� �� �� �� ��� "� �� !����� ��

J� �� �������� �� ���� � ��� ����� ������ 0���"�1 ���������� ����� �������

����#� ���� '� �� �� ��A

& F 03�31��3� � 07 �1

�� �!���� �� ��������� ����� �������� 0 F &��1 � � F ����� �������� ��� ����������

&����� ��� �� !��� �� ��� C����� ������� ���������� ���� �������� ������� ��������

�����'����� �� '�� ����� �������� ������ � ����� �������� �� �� ����� �� �� ����

���� �����'����� ��'�� 8 F �$�0 ��0���� �1

�[��0���� �11 �� "� �� ����� �� �

0/ F �� � � � �.1 &��� ������ ����� �� �� ���� ���� �� ��!�� ���� ������ �� ������ ��

�� �� ��!�� ���� ����� /���� [��� ������!� ����#��'���� ����$� �������� �� ���

�� ������ ��� �� ��� ������� � �� ��!� �� ���� ���� C����� ������� ����������

��� ������ �� �� ���� ���������� ��� ����������� �� ��������A

& F 03�B31��3�B 07 ,1

�"�!�� B �� ������ ����$ ��������� �� 8J� 3������ ��� ���������� ��� ��� �� ��!��

Page 124: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

��,

"� &�����

�� �� ��� �� ��� ������ ������� ���������� �� ��� ���������� � ��� �����

�������� ���� ����� ��� �� ����� '��� ��� ������� �� �� ��� '� ����� �������� ��

�� �� ����� ���� ������� �� ������� �� ���������� "� �!������ �� ����� ��������

� �� ������� �� �� ��� ���� O��� ��� ����� ��� ��������� ������ �������� �����

�������� � �!��� ������ �� �� ���� ��� ����������� � �������� �� �� ����� ���� �� ��

�"��� �������� �� �� �� ������ ����� �� ������ ��� ��� ��������� ����� ��� ���������

�� ������� ������ ������� ���������� �� "�� �� �������� ����� �������� ������

�� ��� ����������� "�!�� [��� ��� ���������� �� ������ �� �� ����� ����

����������� �� ��������� ����� � �� "� �����'�� �� ��� �$���������� ��� �� ������ !�

��!�#���#��� ����� !������� �

*� ���������� ���������� ��� �� ������� ���� �� ������� �� �� �� ������ ��

���� �� �� ����� � ��� �� ����� �� !��"�� �� �� ��$� ���� ���� 0��� ���� ���������� ��

���� �� �� ���� ���� ��1 ������ �� ���� �� �� ������ � �� �"��� �������� �����

�� ��� ��������� ������� �����'����� ��!�� ��� ��� �� ��� !� ����� �� ��������

�� ���� ���� "� /���!��� �� "���� �������� ����� �� �� ���������� �� ��� ���� ��

���� �� ���������� �� ��� ������� �� ��������� �� ��� �� ����� F &��V *� ���� *

�� ������"���� � P����� ��� .��� ��� �� !����� 7� -� ���� �� �������� ��� ��

����� !����� 7� ��!�� �� L,7M � &�� * ���� ��� ������� ������"���� �� �� ���������

�D�������� ���� �� ���� ������ � ���� � � ����&����� �� �� ���� � �� ��������� �� ����� ������ ������ � ��� ����� ���&�� �� ��B����� ���� �� ������� ���&�� � ����B��� ���� ���� ������ �������� ���� �� ������� #������� � ������ M�� ���� ����� �� ����� �� ��� ����(� -��� ����������� �� � �� �� �� �� ���������� �� �������� ���� �� � ����� ����� #0' ����( � ���� ��������� �� ��� � ������� ��� ����

�-�� � ������ ������� ���� � �����&��&�� ��&��������� J���� ��� ��� �������� ����� ���������� ��� ����� ����� �� �� � ���� �����

Page 125: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

��5

���� ��� �� �$������ ����� ������"����� 0��� � ����� ���1

C����� �� ��� ����'�� ��� ����� �� ������ ���������� �� �� ����� ������

�����'����� �� �� ������ ��� �� �� ���� ���� �� !� !��� ������ ��� ��� ��� ����

'� ��� & ���� "� "��� �� !��� ������ ��� �� �� ����� ��� "� ���'���� �� ��� �������

�� �� ���� & ���� @�� ������ �� �� �������� ��� ���������� ��!��!�� ������������

�� ������ ������� ���������� �� �� !� ������"�� � *����� ���������� �� �� !�

*��� ���� �� �� �"��� ��������� ������"����� �� & � �0&���1 � �0���&1�0&1� ����

�� ����� �0&1 �� �����������!� 0%�1 ����� 0���� � � � P���� �� � L5=M 1 *���%�� ���

����� (��������) �� �� ������� ��� �������� �� �� ���� �� ���� ���� ����

�"���!�� ��� !��� �� !������ �� �� �� ������� *����� ���������� �� ��� �� ����

���������� ��!� ��� ���� ����� ����� ��� ���� ����������� �� ��� !�

2�0 ��������1 F 2�0&����� V *1 07 51

F �����[����� V 7�� 07 91

���� [� �� �� ��������� ��!����� �� &� �

&��� �� "���� ��� �������!� ����� �� �������� ��� �� ���������+�� ���

�������� ��� ��!�� � �� �� ������ �� ���� ���0�1+�� ����� �������� ��� ��!�� �� ��

�������� ������ ������� ����������� �������� 2�0 ��������1 ����� �� ������ "�!�

0���� ��� ���� �� ���� ��� �� ����� �� ��������� �� �� � �� ���� ���� �� ���� ��

�� �1� �� '���� ������� ��� F &��V*� ���� * �� ������ ���� .��� ��� ������ ���

�-�� >������ ��� ����� �� 8A*: �� ���� � ��� � ��������� ��� �������� "� � ����� �� ���� � �������@� ��� ���� �� � �� ����� ��� � �� ���� ������� �� "� � � �� ����� ����� � ��� �������� � � � ���� ���� ����� ���� ���� ���� ������� � ������ ����� ��� ���� ���� � ����������� ������������ ������������ N���� �� � �������� �������������� ��� ��� � ��� ��� ��� ���� ����� ���� J� ������������ � �� ����� ��� ���� �� ���� ����� ��� � ��� ������� ��� ������ ������ -��� �� ����������� ��� ������� �� "� �������� ��������

Page 126: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

��9

�� !����� �������� "� < ����� 07 91 &� "���� ������������� �������!� ������ ��

�� ��� 0�� �� �1 F L�0�� �� ��1� � � � � � 0�� �� �� 1M� � ���� �� �� �� ��������� ���������

�� ��!�� "�

0�� �� �1 F � V 0�� �1 07 71

F � V &��V ������ 0�1� 07 :1

/���� ������ �� �� ��!���� ��� �� ������ ��� .��� ��� �� !����� � ��!�� "� < �#

���� 07 91 �

&�� ��������� ��� ����������� �� ��� ��� ���� �� ������ ������� ����������

���� �� "���� ��� �������!� ����� -��� ������ ������� ���������� ������ �� ����������

"� ������ �������������� �� ��� �� ������� �� �� �"��� ����� �� �� ���������

�������� �� �� ��$� ������� �� ���� ��� ��� �� ��� �� �����'����� "� �����!�� ��

������ ���������� �� ������� ���� "��� ������ ������� ���������� �� ���

���� � � � �� ���!�� "� ������� �� � L:M �� �� ���������� ������

)���� '�� � ���� ��� ������������ ����� ���� ��

�� ��� �������� �� ������"� ���� �� �� ������ �� ��� �� ��� ������� �� ������

��#'������ ����� ��� �� ���������� �� ���� �� �� �������� ��� ��� �� �������#

����� ������ ����� �� ����� ��������� ���� �� ������ ��� ���� ��� "����� �� �� ��

��� L;:M 0��� �� ����� ����������� ���"�� �� ���� ���� ������� �� � L=�M1� �� "����

�������������� ���"��� ����� ����� ��� ���������

D�������� �� ���� �� ����� � ������ ��� �������� � ��� �� ��� ���� ����� �� 6�� ��� = � ��� � .����#9� 0(� ��� � ������ �� ��#�� �� �( ) #�� O ��� ����� � � � ��� �������� �� ���� ����"������ #%�=(�

Page 127: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

��7

&��� �� ��� ����� ���������� �� ��������� %��� 3�� �������� ������� ��

������ ��������� � �������� 0�?��?�7?1 ����� ��� �� ��!� ������ &�� �� ������

���� "� ��������� �� ������� �� ��� � �������� 0,?�,?�5?1 ����� ���� �� �� ������

�� ��� ������ &��� �� ����� �������� �� ���������� �� ��� �� ���� ��������

������ ��� ���� ��� ���� �� �� ���� ����� ��� �� �� ������ ������� ����������

����� ��!��� �� �� �� ���� �� ��!� �� �� �� ������� �� �� � ��������� �����'����� ��

����� ���� �����"�� ������ ��� ���� �� �������� ���� �� ������ ���� �� ����� ���

�������� �� ���� ��� ���� ����� �� ��� �$����� ��� ���� �� ����� ���� �� ����

�� ��������� ���� �� �� �� �� �������� �� �� ������� �� ��� (����) ��� ������

����� �� "�� �� ��������� � 0�?��?�7?1 �� �� ��� � 0,?�,?�5?1

&��� �� ������ ������'������ �� �� ������ �� '� ����� ��� �� ����� 0�����1

����������� "�� �� �� ��������� "��� ���������� �� ��� ��������� ����� �� �� � ��

� $�� �� �������� �������� �� ���� �����!� �� �� ������� �������� �� �� ���������

-��� ���� �� ���� �� ���������� �� ���� ��� ����������� � �� 5 ��"������� �� ���������� "�#

����� ����� �� "��� ����������D ���� K�� �� ������ !�������� ��������� �� �� ����������

�� �� ��������� @�� ����� �� ������'�� �� �� "��� ���������� �� F L@� �� K��� K �� K��� K@� K�� KAM

��� � ���� ����� !��"��� �� �� &� � ������ ����������� "������ ����� ��

"��� ���������� �� ����� ����!�� 0� � � ��� L;:M1 �� "������ �� �� ��� ���� ������

������� ���������� �� ������� �� ���#���� ���������� ����� ��� �� "���� ��� ����� ��

����� ��� "� ���� ��� ��!�� ����� �� �������� �$������� �� ����� �� "��� ������#

����� �� �� ����� �"��� �������� �$������� �� �� �������� ����� ���������� !� �

��������� ������������ �� �� !��"��� 0�� �� �� �� ����� ����� �� ���� "� ���� "�

Page 128: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

��:

��� ������� ��������1

���� ���� �������� �� "��� ����������� �� ��� ���������� ��!��� ���� ���

�� ������������ ����� ��������� ���� �� �����

3����� �� ���!������ ��� �� �� ������ ���� �������� ���� �� ����� ���� ��

����� �� ��������� �� �������� �� ������ ��������� *�� "����� �� �������

����� 0( *���#/����� ��"���.��)1� �� ������ �� ��� �� ��� ������������ �� ���� ��

�����'��� ������ "������ ��� �� ������ ���� �������� �� ����� �� ��� �� �����

���� �� ������ 3�������� L;:M� �� ��� ���� ��� ���� !��"��� ���� 5�� �������� ����������

�� �� �����#���� ����� �����#���� ���� �� ��� �������� �"���!��� ���!��� �� ����� ��� ���

������ ������� ���������� �� �������� '� ����� �� ��� �� ��� ������ ���� �� �����

��� ��� �� 5�� ������'�� "� L;:M ��������� ����� ���� !��"�� KA$� �� ��� ���� ��

����� �� ������ �� KA ����� "� ��#��� ���� ����"�� ������� @� ��� ���#���

���� ��� ���� ����� �������� �� ���� "�� ����������� �����'��� �������� �� ����������

������� �� ���� ��� �������� �� �� '�� �����

�� �������� ������ �� �� ����� "��� ���������� �$������ ������ �����������

���� �� ���� ���������� �� �� "� ����������� ���� �� ����� 3�� �������� �����

"�� @� �� K@� �� ���� !��"���� �� �� ���� �� 0� �?/.1 @��� � @� V K@���?� ����

�� �� ���� �� ���� ��� ���������� ��� @ ��������� �� ���� �� �� ��� ���� @ �� ��

��������� ����� !� �� ������ ����� �� ������ !������� K� ��� ��� ���������� ����������

�� ������� K�� �� �������� �� & ������������� �� @ �� "� ��� �� ? &�� ��� ����� �� ��

������ �� ���"�� �� �������� �� !� �� "� '� "� ��� ���������� &��� �� ��� ����

�$����� �� ���� ������� �� "���%�� �� ����� �� ����� �� (�������) ��!�� �� < �����

Page 129: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

��=

0, ::#, :=1 �� L;:M 0���� ����� �������I"�� ���� �� �� ��� ���������� �����J� !� ��

��������� F ? � � F ?1 &��� ��������� �� & ���� ��� �� �� �������� �� ?� �� ��

0��!���1 �� ������� �� "� �� �������� �� ���� � !��"�� �� "� '� "� �� ����������

��������

*���%�� ���� �� �� 0����1 ������ �� �� ���������� �� ��������� ����� �������

����� �� ��� �� ���� 5�� ��I�� KA$� �����D ����� �� ������� ��������� ����� �� ��

����������D ����� �� �������� �� ����� � 7� �?� ,7 �� 7?/.D ����� �� ���I������

������ ��������� � ������"�� ������D �� ����� �� ��� ���"��� ����� ���������� ��

������ ������� ����������

@�� ��� ���� ��� ������� ���� �� �����"�� ������ �� ����� ��� � ����

�� 3����� 7 ,� ��� �� ������� ��� !����� ���� !��"��� 0��� '���� ������ 1 -� ����

���������� ���������� �� ������� �� ������ ����� �� ��� >��� ��� ���������� ���� ����

��� ��� "�� �� ������ �� ����� �� � ������ ���� ����� 0�� �� ��������� �����

�� �� �������� ;� �� ������"� ���� �� ��� ����!����� ��� �$������ �������� ���� ����� 1

<� �� �� ����� �� 3����� 7 , ����� ��� ������ �� ���#� ���� ����� 0� �������

�� ���� ��1 "������ �� ���������J� ���� �������� �� �� �������� �������� � ������

���� �� �� ������ 0�������� �� �� �#$��1� ������� �� ���� ������� � ���� ? �� �������

O��� ��� ��� �!�� ���� �� ���!������ ��������� �� ������ ��������� �� &

�� "� ��� �� .��� �� �� ������ ���������� �� ���� ������ ���� �� ��"#!����� �� ��� �

����� ���� ����� ��� ���� �� �� ���� !��"��� "����� ������� 0< � � ��� ������#����

��������� �� �� �6�� ���� K@ ����� @D "�� � ������ ���� ������ ���� !��"��� ��� !�

���� �� ���� K@ �� ���� @ 1 &��� �� �� ���� ����� �� ���� ������ ����� �� ������

Page 130: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

��8

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

seconds

mea

n sq

uare

d er

ror

xdot

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

seconds

mea

n sq

uare

d er

ror

xdot

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

seconds

mea

n sq

uare

d er

ror

xdot

0 0.2 0.4 0.6 0.8 10

0.002

0.004

0.006

0.008

0.01

0.012

seconds

mea

n sq

uare

d er

ror

thetadot

3����� 7 ,A <$����� �� ����� �������� 0���"���1 ����� ����� '� ����� �� ��������#.���� ������"�� �� �� ��$� 0����� �����1 �� ���� ���� ������ 0��#��� �����1 <� ������������ ���� �� ���#� ���� ����� "������ �� ��������� !��� �� ���� !��"��+��� ����� 0�������� ����� �����1 �� ���� �� �� ������� �� ���������J� ������� ��� ������ ������� �������� �� �� �#$��+�� �� ���� !��� �� �� ���� !��"�� 0�������� �� ���� ��1 ���� �� ��� ������� &�� ����A ��������� �� K�#����� �� �������� ����� �$�� ���� ��� !��"��� &�� ����A ��������� �� K�#����� �� ����� �� ������� ��������� 0"��1 ���� *�����A ��������� �� K� �� K� �� ����� ������������� �����������'�� "� L;:M

Page 131: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

��;

0 1 2 3 4 5 6 7 8 9 10−3

−2.5

−2

−1.5

−1

−0.5

0

0.5

1

1.5

time

ydot

3����� 7 5A &� ����� ���� �� �� ���� ��������� K ���� �� �?� �� ���� �� &� ��#��� ������ �� ��������� ���� ��������� "� ��� ������ ��!�� �� ������ ���� � ���� ? �� �� ������������� ������� ������ &� ������ ����� ��� , ������ ��!������ �� �� ������������ 0��������� ���� �� �������� ���#����� ����� �� ������ ������"��� �� �������� �������� ����� � �$������ N��� '����� �� ����� ������ ����$������ �� ���� ��!������ � �� L:=� ,�M 1 <!��� ��� �������� �� �������� ���� �� (�����) �� �� ��������� �� �� ���� ����� ��� ��� .��� ����� O��� �� �� �������� ���� �� �� ������� ��#���������� ���� �� �� ���������� "�� ���� K �� ���� ���

Page 132: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,?

��� ��� �� ���� !��"���� ��� >��� �� �� �� !��"�� ���� ����� �� "���� ������� *�

��������� ���� ����� ��� �������� ���� !��"���� �� ���� �� ���� �� !����� ������

�� � ���������� �� ���������J� ������� � �������� ���� �����

&� "���#��� �� �� ��������� ��!�� � �!�� �I5 �� �� ����� �� ����� �����

�� ������� ������ �� � ������� ����� ����� ������ �� ��� �� ������"������ ���

������ &��� !��� ����������� ������ �� ���� �� �� �������� �� ��� �����'���

����� �� !����� �� ��� �������� ����� ������� �� ������� ����� �� �� �� ���� "�

�����"�� ���'���� �� ������ ������ ������������ �� ��������� ���� ��� "� ��� �� ���

���� @�� �� ��� ��� �������� �� �� �����"����� �� ��������� ����������� �� �� * �����

����� 0����� ����� ���� �� ����� �� �������� ���� !��"���1 �����'����� ���������

����������� ����� ��� �� ���� ����� !����� �� �� ������� �� ��� ����� �� ��

��������� "� �� ������� ��� ����� ��� �� �������� �� %� ������� ������ �� �

"��� ������ ������������ ���� �� ��������� &� ���� ����� ���� �� �$����� ��� �����

��� � �� ��� �� 3����� 7 5� �� !����� �� �� ��������� ���� (�����) ���� ������� ��

����� "�� ��������� "� ��� ����� � ������ �� ������ 0��� ������1

3������ �� ��� ���� ������ ����� �� ����� �� ��� ��������� ����� �� ���

�� �� ����� ��������#���� ����� �� ����$���� ���������� ���� �������� �� ��

����#���� �� �� ����� �� ������� ����� "� �� �����'����� �� �� !� �����

���� F ��V(0��� ��1V* ������'�� � �?/.� �� �� �"��� 7?/. ����� !� �� ����$������

6�����3 E���� ��� ��� ���� ) �� O ��� �� ��� ��� ��� ������ ��������� �� ����� ���� �� $ ������ � �� ��� ����� ����� �#$ ( �������I ��� �� ��� ��� ��� ������ � ������������ ��� ���� ���� �������� �������� ��� �#

�$ ( ������� #��� ������� �������� � ��� �� � $ ���� ������ ����� ��������(�

5��������� ���� � ���� �� ��� ���� ��� �� ����� �� ��������� ��������� ����3 �� �� ������� ���� )9�11�� O �� ��� �� ���� � ���� ) 9�1�� O � # ���� ������ � ���������(� ���� ������� ����#� ) ����� 9�1��( �� ���� ���� ������ ��� ���� � �� ��� ������ � ��� ������ ���� F�� #�� ������ � ��� ���� ��(�

Page 133: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,�

���� F �� V (0��� ��1�7 V *�� ���� �� !����� �� *� �� �I7 �� �� * �������� �� ����

�� �� ������� �� �� ��������� �� ������ �� �?/.� "�� �� ���� ������ ����� ��!�

"��� �� ��� ������ *����� �� ������� �� ���� �� �� ����� ���� !��"��� 0����

5��1 ���� ���� ���� �� "����� �� ��������� ����������� �� ���� ��������� � 7?/.�

�� ������ ���� �� ��� 7?/. ��������� /���!��� ��� ��� ���� ������� 7? ������

�� �? ����� �� �� �6� �� ������� ��� ������ �� ���� %��� ����� �� ���� ��������

�� �� '!� ����� ������ �� /���!��� �� "��������� ����� ��� �� "� �� '����� �� �� ������

����� ����������� �� �"��� & �� ����������� �� �������� ������� �� ��� �� ���������

� 7?/.� "�� �� (��'�) �� �������� � �?/. &��� �!��� 7 ����� �� �� ���������� ��

����� �$���� �� ��������� ���� �� ��� ��� ������� ������� �� ��'� ������ �������

���������� �� �"��� &D ���� ��� �� ��$� 7 ������ �� ���� ��� �� ���������J� �������

�!��!� �������� �� �� ��� & &�� ����$������ ���������� �������"�� �������� �����

���� ��� ������ �� �� ���� ����������� ���� ���������� "������ !��� ��� ��������

�� "���� ���� �� �� 7?/. ���������� �� �� ���� "� %���� 03�� ����� �� �� ��������

�� ������#������� ������� ��� ��� ����� �� � L=5M -��� � �$������� ����� ��� ���

����������� �� ���� ��� �� ��� �� ���� ���� "����� ��� �� ��������� �������

��������������� ���� �� ����� �� �� ������� 1

%�� )������ �� 0����

����� ��� ��� �������� ��� �� ���������� �� ��������� �� ��� �������������

������� �� ���� ���������� �� ��� �� ��������� �!�� ��"��

��>� ����� ���� �� �������� ���� ��� %9�F � 09�F� �� �� ������� ���� � %&��� ���� � ������ �������� �� ������ 0P% � ����� ��� ����� ��� ������ �������� ������� ��� ������ � ������� 0P%� ���� �����

Page 134: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,,

�� ��������� ������� ��������� ������� �� ��������� ��� &� ���� ���� �#

����� �� ��� � ������� ������� ������� �� �� *������� ��������� ��������� ��

!� C#�������� L��M 0���� !��� ���������� �� "� ����� �� � (��"���) !������ ��

0�#�������1 &�� ��������� �� %���� �� ��������� �� ���������� "�� ��� �� �� ����

��������� L;7M ��������� ���������� �$��������� ����� 0� �� 0� ����������� �� %�

������ ��������� ���� ��� ������������ L=M @� ������� ���� �������� ����� ��� "� ����

� ��������� �� �� �� ���� ������� �� �� ��� !� ��������� �� ��� ������ ���"����D

����� �� ��� ��� �� "� �������!� �� �� ������� �� ��"����� ��!��!�� �� �������

��������� ����������

-� "��� "� '��� ������� ������ �� ���� �� ��������� �!����� �� ���� -�

��������� "� '��� ���������� ������ ���� B ��� �!����� �� �� ����������� �� ��

���������� �� ������� 7 , , �� ����� ������'������ ���� �� ��� ���������� �� ��� ��

�� ��� �!���� 3�� �������� �� �� ��������� �� ��� ����� �� �� ���� �� �� ��������

0��� �� ��1 ���� �� ��� �� �� �!��� ��� �� ����� �� ����� ��� �� ��!� �� �����

�������� ���""�� ���� ��� ������ �� ����� �� ������� 0��� �� ��1 �� 0�?��?�7?1 ��

0,?�,?�5?1

3�� ��� ������ ����� �� ���� �� ������ ����� ������� �������� �� 3����� 7 9 -�

��� ���������� ��� ��!�� �� ������� ��������� ���� �� ������� �!����� ��������

�� ���������� 0��� �� ��� A�1� �������� �������� � � L �� �M� �� ��� �� �!�� ��"��

���� <� �� �� ����� �� �� '���� ���������� ������ �� �� ����������� ���� �����

!� ������ �������� "��� ��� ������� ����� ����� "� ���� �� ������� ��� ����

!��"��� 3�� �������� �������� �� ������� �� ��� �� ����������� 0������I"�����1

Page 135: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,5

Σ

Σ

Σ Σ

Σ Σ

ΣΣ Σ

xxerr

erry

errω

a1

Σ Σ

+1

θ

φ

errz

y

a

a

a

2

3

4

3����� 7 9A ������ ���� B ���� �� ���� ���������� ��� �!����� &� �������� ������ ��������� ������� ����� �� ���� �������� �� ������� �� ��� �� ��� ������� �� �� ���� ��� ����� <� ���� ��� � ���� �� �� ������� ������� ���"�� �������

Page 136: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,9

������ ���� ������� &�� ����� �� ����� ���� �� ���� ������I"������ ��� ������ ��

��������� �� ���� 0��I�� ��������1 ������ �� "����� 3��� 3����� 7 9� �� �� ���

�� �� ������ ���� ������� �� "� ��!�� "�

�� F 8� V 8� ���! V 8� ��08����!1 V 8� K�� V 8��� 07 =1

�� F 8� ��08���1 V 8���� 07 81

/���� �� 8J� �� �� ���"�� �������� 0������1 �� �� �������� �� ���! F �� ����!����

�� ��'��� �� "� �� ����� �� �� ��#�������� 0������ ���������� �� "��� ����������1 "������

���� �� ��������� ��������� �� �� ���� �� ��� �� �� �!�� &��� ����� �� ���������

��!�� ������� �� "������ �� ������ "� �� ������� ����� �� �� ������I"�����

���������� "� �� ������ !�������� �� "� �� ������ ���� ���� ��

3�� �� ����� ��������� �� ���� 0C\�IC\P L�M �����1 ������ ���� ��������

�� �� 0����� ������������� �� ��1 ����� ������

�0�1 F 0�!0� ��1� V �%0 �1� V ��0 �1�

V� "! K�� V � "% K

� V � "� K�� V �&0A A�1�1� 07 ;1

&�� ��������� �� ��������� �� �!�� ��� 0��� �� ��� A�1� ���� ��� ������� �� !�������

���� �� ��� ����� "���� ��!������ &� ������ �!� �%� ��� 0�������� ����� ��

��� �� "� �������� ���� �� ������ 8 ��������.��� ��� ������ ����1 ���� ����� �����

����� ������� �� �� (������) ��������� �� �� ����� �� � �� ���� ��� �� "� ������

�� ��� ����� �� �������� 0&�� �� ������ �������� ��� ������� ���� ������ L�M1

��@� �� �������� ������� ��� ����&���� Q% �� �� �� �� � �� #��� ��� ���&���� Q& �� �� �� �� � ��(���� ������� ������ �� �� ����� ���� ������ �� ���� �� ������� ���� ��� L����� ����� ���� ��������������� �������� ������� � ���� ����������

��-�� '�'� ���� ���� � �� ���� ���� � � ����� ��� ��� ���� $� ���� ���� �� �� ���� � ���������� 9�90 ���� ��� ��� ����� ��� � ��������� ������ $� � 9�90 ���� ��� ���� � 9�9$� �� $� � 9�9$ ����

Page 137: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,7

&� �������� ���� ������ �� ����� ������� �� �� ���������� �� ��� ���� ������

������ ��� ������A

�0�1 F 0������ V ����

�� V ����

�� V ����

��1� 07 �?1

�� �� �!���� ����� �� �0�� �1 F �0�1 V�0�1

-� ��� !� ����#��'��� ������������� ������� ���"��� �����'����� �� �����

�� ������'�� �� ������� 7 , ��!�� �� �� ������������� �������!� ����� � ��� ��� ��

����� �������� �� ��� "� ���� "� �� ������� ����� �� ��'�� ����$������� G,01

�� �� ��������� �� �������� ����� �������� �� ������� ��������.�� �� �� ������� ��

�� ������� �� ������!�� ���������� �� �� ������� �� �������� �� ��������� �� ���

���������� �� �� ������ �� -� �� ��� ���� ������ �������"��� �������� �� ����

��� ���� ������� �� �� ������ -� ����� "�� ������� ����� �������� �� ���

�� ���������� �!���� �� ����!��!� �� G,01 ��� ������� �� �� ������ �� ��� ���

���� �� �� �������� ���������� �� �����#��� ������� �� ��� �� �������

����� ������"���� �� �� ������� �� ��!� ���� �� �� �������� G,01 *�� �� ����

�������� ������ ����� ���� ��� �� ������� ����� ������ �� �� �������� �� ����

�� ����!��!�� ������������ ����� �� �������� �� �� ����!��!�� ���� ��������� �����#

����� ����"�� �� �� �� ��� �������� �� ���� ���� ������ ��������� �� ���!��� ���

��������� ���� ��!������ 0��� � !�������� ���� �� ���� �� �� ��� ������ ��� ����

��D�������� ��� � �� ����� ����� ��� ��� �� ���� � ��� ������ ���� �� ��� �� ������ ������� ������� �� �� �������� ��� ������ �������� �������� ��� ������ (�)( � ������� � ��������� ����������� �� ������� ��� ����� ��� � ���� 2�������4 ��������� ��� ��������� ��� ���� �� � ���� ��������#&%9999( ������� -�� �������� � ����� �� (�)( � �������� ���� M� ���� �� ������� �� �� ������������ ����� ��� ����� �������� � ��� ���� ���� �� �� #�� �������( ������� �� �� ��������� ������������ �� 2�������4 ������ ��� "������ #%�1(� >�� ������ ��� ��� ���� ����� �� (�)( � �������� ��������� ������ ��� ��������� ������ ������ 0 � 9� ��� ���� ?�#�( �� � ����������� �������2����4 ��� 2��&�����4

��D ����� ����� ����� � �� ����������� ����������� �� ��� ������������ �������� �� ��� ��������������

Page 138: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,:

3����� 7 7A /��������� �!����� ����� ������� �� ������ ������

����� �� �� �">����!� G, � �� �������I������� �� ���� ����� ������ ������.� �� ��� ��

��� �� ���1

C����� �� ��� ����� ��� ���� ���������� ������ ����� �� ��� �����������

���� �� �� ������� ����� ���� �!������ �� �"��� G,01 -��� �� ����� !� ���

��� �������� �� ������ ��������� ��� ��������� �� ����� �������.�� �����'����� ��

�� ��� ����� ���� �!������� ����� �������� �������� �� �������� ���������� �� ���

������� �� ������� �������� �� �"��� G,01 4���� �� ���������� ������� � *������� L89M�

�� ���� ��� "�� �� ��� ������ ������������� �� ����� �� ������ ����

Page 139: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,=

0 5 10 15 20 25 30−1.5

−1

−0.5

0

0.5

1

1.5x−velocity (m/s)

0 5 10 15 20 25 30−0.6

−0.4

−0.2

0

0.2

0.4y−velocity (m/s)

0 5 10 15 20 25 30−0.5

0

0.5

1z−velocity (m/s)

3����� 7 :A ��������� �� �!����� ���������� �� ������ ���������� 0"��� ����� ����D ���������� !��"��1 !� ������ ��� ����� 0��� ���� ����1 ���� ��� �� �� ��� � ���� 0"��� ���������1 !���������

Page 140: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,8

0 5 10 15 20 25 3061.5

62

62.5

63

63.5

64

64.5

65

65.5

66x−position (m)

0 5 10 15 20 25 30−80

−75

−70

−65

−60

−55

−50

−45y−position (m)

0 5 10 15 20 25 304.5

5

5.5

6

6.5

7z−position (m)

3����� 7 =A ��������� �� �!����� ���������� �� ������ ���������� 0"��� ����� ����D ���������� !��"��1 !� ������ ��� ����� 0��� ���� ����1 ���� ��� �� �� �� �� �0����� ���������1 ���������

Page 141: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�,;

-� �� ������� ����� 5? �������� �� 57 ������� �� %���� ���� ��� ��

�������� �� � F ?�;;;7 3����� 7 7 ���� �� ������ �� ������������ �� ������� ��

��������� ������ �� �� ��������� @� ��� ����� %���� ��� ������ ������ �� ����������

�� ������� �� ��������� ��"���.�� �� �� �� -� ���� �� L8M �� ��� ���������� �

�������� �� ����� ��� ������� ������� �� ������� ��"��� 0�� ������ ���� ��������1

�� ���������J� �������

-� ��� ������ ����� �� ���������� �� ��� ������ ������ ����� �� �� ���

��� ����� ������ �� �������� "� Q� �� %� �� �#7? ��������� 3������ 7 : �� 7 =

���� �� !��������� �� ��������� �� �� ��������� ����� ��� ������ ������ �� ����� ��

��� �����J� ������� �� �� ���� ��� ���������� �� "�� �� ���� �� ��������� %���� ����

��"�� �� �� ��� �����

%� 1�!�� �������� ���������

/!��� ��������� � ������� �� �!��� �� ���� ��$� ���������� �� ����� ��

��������� ���������� ���� �� %� ��!��� ��������� ����!���

&� ������ �� ����� ���������� 0���1 L=;M �����.�� � ���� �� ���������

����������� 0&� ��� "���� �� ���"����� �� �!�� �=?�???� �� �� �� ��� ���������

"� �� �� ������ �����.���� �� ��� ����D �� �� ��� ����#������"�� � (&� �����J� ������

����� !����� �����.���� )1 �� ��� ������������ �� ��������� � �� "� �������� %���

����� ���"�� �� ����!��� &� ����������� �� �����.�� ���� ���� � 0��� "���������

��� �� ������ ����!���1 ����� ���� ��� 0��� �� ���� ������ ����!���� ��� ��

���� �!���� ������1 -� ���� �� '��� ���� ����!��� ���� �� ���� ���������� ����

Page 142: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�5?

���� ������� �� ���� �����������

3����� 7 8 ���� ����!�� ������ ���� �� ��" ���� �� �� ��� L=;M �� ��

'��� �� ���� ����!��� 0��� �1� �� ��������� ����� ���� �� ������ �� �� "�� ��

�������� %��� "������ �� �� �����#���� ������� �������� �8?Æ ��������� 0������� ��

����1� %��� "������ �� � ���� �� �� �������� "������ ���� �� ���� ����� ��������

����� �8?Æ ���������� �� ����� %��� "������ �� ������ �� ���� �� ������ 3�����

��������� "������ �� �����'����� ���� ��"�� ����!�� �� %���� �� �������� ���

���� ��� ����!�� ����������� �� ��������� �� �� ������ �� ���� ����!��� 0��� ,1�

�� ��������� � �� ������� ����#�� ����� �� ��� �� %��� "������ ��� �� �� ���� ��

������� ������ �� ��� ��������� ���� ��>������ �� ����� ���� ������� "�� ����

������� �� ���� �� �� ��������� ������� � ������ �� ������� &�� ��������� ����� ��

��������� ������� �� ���� �� � ������ ��������� �� �� ����� %��� ������ "�� �� ��

������ �� �� ������ ��� ��� ������ ���� �� '�� ��� ������ ����!�� ����������

��������� �� %� C����� ����!�� ��� 5 ��!��!�� %���� �� ��������� �� !������ ���������

��� ��� 5:?Æ ���������� �� �������� ���������� ���� ���� �� !������ �������� �� ��

��������

/�� ���� ��� ������ ���������� ��� ����� ��������� %� ��>��������U P�!��

���������� ��� ������� ������J� ���� � ����� 0��� �� ��� A�1� ��� ������ �� ��

��� �� ������ ��!� ����� �������� ��>������ �� �� ������ !�� 0��� �� ��� A�1

���� �� ����� �� ��� ������ �� �� ��>������ 0< � � ��� L55M 1 3�� �������� �� ��

�� ��� ��������� �� �!�� � 0?� ?� ?� ?1� ��� ������� �� ������ ���� �� �� �� �!��

� 0?�?�� ?� ?� ?1� ��� � 0?�?,� ?� ?� ?1 �� �� ��� ��� ��������� ���� ������ %� �� �� ��#

Page 143: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�5�

3����� 7 8A 6����� �� ����!��� ���� �� ���� ��� ������� �� � �� ��������� �����#������ �����.�� "� �� ������ �� ����� ���������� L������A ���������������� M

Page 144: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�5,

Σ

Σ

Σ Σ

Σ Σ

Σ Σ

ΣΣ Σ

xxerr

erry

errω

a1

+1

θ

φ

errz

y

a

a

a

2

3

4

3����� 7 ;A ������ ���� B ���� �� ���� ���������� ��� %���� ����������� ����!��� &����� ����� ��� �� �����#���� �����

��������� �� �� L;:M� �� ��� �� ��������� %� �������� ��>������� �� ��� ���

0��� �� ��� A�1 �������� ������� ���� �� ������� ��>������ �� �� �� ����� ������ ��

��������� ������� � �� ��� �� �� ��>������ *� ����� ��� ��������� �� (�������)

�� ����� ��� ��� ������ ���� ���� 3����� 7 9� �� ��� �"��� �������� ������+��

��� ��� ������ ����+��� >��� ��� �!������ "�� ��� ��� %���� �"����� ��>�������� � � �

�� ��� !� ����� �� �������� �� ��� � ����� ��>������� �� �� ������ �� ���

�� ��������� %� �� ��>������ �����!��� �� �� ��� ��� ����� �� ���� 4� ���������

��� ������� ��8���� ��������� ��� >��� �!�����

*����� �� �� ��� %���� ��>�������� �� ��� ���� �!������ �� ��� ��������

Page 145: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�55

�� ������ ���� �� ��� ���� ������ ���� �� �� �������� "������ �� ���������J� ��������

��"������� 3�� �������� �� (������������) �� �� ���� �� �� ���� �� ��� �����

��������!� ����I������ �� �� �� ��� ����� ���� �� ���� 3�� ���� ����������� �� ����������

��� ����� ����D "�� ��� ����� ������ �� ����� ���� �� ��� ����� ��� ����� �� ���� ��

��������� �� ����� ������� &������ ���� ��� �� ����� �� ��������� �� ����� ���������

�� ������� ���� ����� �� �� ����� �������� &� ������� ��� ��� �� ������� �� ������ ����

�� ���� �� �� ������� ��� ��� ����� "� ������� �� ��������� ��������!� ���� ��������

0���� �� ������ �� "� ���� �� ��� �� ��������� �������� �������I�� �� ���������

�������� �� �� �����1 ����� !��� ��������� ����" �� ������� ����� �� ����� ��

���� ���� "� �� ��� ������ �� ���� �� ����� �� ��� ��I���#��� �� ��������� ���

�� ���� �� ��������� �� ����� � ������� ���� &� ���� �� ������ ���� �� ������� ���

���� �� ��� ���� ���� "������ �� ��������!� ���� ������� �� �� �� ��� ����� ��������!�

���� ������� �� &� ������ �� ���� ����'������ �� �� ������ �� ���� �� 3����� 7 ;

&� ���� ��� ������������� ������� ��������� �� ��� ������ ����� ��������

@�� ������ ����� ��� � ����� !� "��� �� ��� < ����� 07 ;1 ��� �� �����#��'���

0����#!�����1 0��� �� ��� A�1 *�� �� ��� ��� �������� ��� �� "� ���� ����� �����'�����

�������� ����� �� ��������� %� �� �� ��������� �#���������� �� �� 0��� �� ��� A�1 �����

�� � 0?� ?� ?� ?1 0��1� �� � ��� '��� ��������� �� ������ �������� �!�� ���� &���

���� �� ���� ��������� �������� �� ���� ������ �������� �� ���� ��� ����� �������� ��

������������ "���� �� &�� �� "����� �� �!����� ���������� �� ���� ������ �� (���

��) �� �� ��!��� 0��� �� ��� A�1 &��� � �� �� ����� ����� �� �� ��������� ����

������������ ����� � �� ����� �!�� �� �� �� �� ��� %���� !��� ������ �� ������

Page 146: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�59

��>������ �� �� ��������� �#��������� �$���� � ������� �� ����� "� �������"�� �� !�

�� ��������� ���� ������ �� %� ���� �������!��� �� ������ ��� ��� (������) ���������� �� ��

�� � �� ���� �� �������� ����� �� �� ���� ���������� ��� �� ����� �� ����� ��������

�� �����.� ��!����� ��� ���� 0��� �� ��� A�1� "�� ������ ��!����� ���� 0��� �� ��� A�1�

���� 0��� �� ��� A�1 �� �� (���>������) �� �� ���������J� ���� �������� ���� �� ��

�� �� �����.��� ������� ��>������ 0�� ��� �$���� �� %���� �� ������ ����� ���

��������� � 0�� � �� A1� �� ����� ��� 0��� �� ��� A�1 F 0�� ?� ?� ?1 1 &��� �� ������ �

(�$����� �"���!��) �� ����� � �� ���� ��������� ���� �� �������� ��� ��� �� ��

�����.�� ��>������ �� ��������� �� ������ �� %� ����� 0����� ��� ��� �� "� ��������

�� ��>������ ����� "�� �� ������� ��� � �� ����!�� ��� ,1� �� �� ������� �������

��� ������ �� �� ������ "������ �� ���� �������� �� �� (������) �������� ��

�� �����.�� ��>������

-� ��� ������ �� ��� ���� �� ��������� �� ������� ��� ������ �����

�������� ���� �� ��>������ 0� ������� ��� ��� ������ � ��� ������ �������� �� ���

��!��� ������1 &� �������� ���� �� ���� �� ����� ������ �� ����� 5 �����'#

����� ����� �� ���� ����� ������� ���� ���� �� ������� ��>������ �� ��������� ���

�� ����� ��� ����� ����� �������� �������� E �� �������� ������� ���� �� ��#

����� ��>������ &��� ����!�� �� ���������J� (������) �������� 0��� �� ��� A�1 ����

������ �������� ���� ��� ��>������� �� ����� "� ����"��� �� �� �������� ��������� ��

���� �����!� ������!� E0��1 E0�1 ����� 0�������� � �� ��� ����������1

3������ ��� ����'������ !� ��������� ��� ��'������ �� �� ����� ��������

���� 0��� �� ��� A�1 �� �� �!������� �� 0��� �� ��� A�1 �� ���� ��� �� �� ��� ��� ����

Page 147: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�57

�� �������� ������� 0��� �� ��� A�1 �� �!��!� �� �� �� �� ������ ���� �� �� ��

�� ������� ��>������� "�� ���������� �� �� �� �������� ����� �� ��������� �� ������

�� ����� ������� ��>������ ���� �������� 0�� ������� ������ ���� �� ��� ������

������� �� ����� �� ��!���� ������� �� �"��� "����� ������� "�!��� 1 -� ����������

��� �������!��� ��� � ������� 0��� �� ��� A�1 �� ������ ����� �� ������ ������ �� ��

������� ��� �� ����!�� ��� ,� "�� �� ��� ��� �� �� ���� ����� �� "���� ����'�����

�� �� �� %� ��>�������� �� !� "�� !������ �� ���.���� ��������� 0��� �

���� �� ��� ����� ����� �� �� ������� �� ��� �1 �����'����� �� ����� ��� �� �� �

0!������1#�������� �� �� ��������� �� !��� ���A 3�� �$����� �� ����"� �� ���� ���� �������

�� ������ ���� �������� ��� ����� ���������� ����� ������ �� �� �� ��������� �����

���������� ������ !��� ������ �� �������� �� � �� ��������� ���� ��� ������

&��� �� 0��� �� ��� A�1 ��!�� � 97Æ ������ 0��1 � �� ����!�� ��� �� �� ��������� ����

���� �� ���� �� �#��������� �� �� ��>������ ��� ���� ������� �� ��� ���� ��

%���� �� ������ ����� �� ���� ���� �� �������� �������� ���� ����" ������� �� 97�

��������� �� ("����#���) ��>������ �������� �������� ��� ���� ��� � ����� ��������

��������� �� ("����#��) ��>������ &� ������� ��� ���� �� �������� ���'����� ������

���� �� �#�������� �� ��������� ��� 0��� �� ��� A�1 �� ��!��� ���� � ����� ����"

�� �������� �� 0��� �� A�1 ������� ���� �!��!� ������� ��� ����� "�� �� ����� �� ��

���� "� ������ "� � �������� ���� � ��� �� ����� ������� �� ��� ������ ����� �� "�

���������� ������ "� ��� �������

4���� ��� ����� �� ��������� ��� ������ ����J �������� ��� ������ ��>������

���������� �� ���� "�� �� ���� ������ �� %��� �� ���� �� �� ����������� ����!���

Page 148: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�5:

−68−67

−66−65

−64−63

−62−61

−60−59

−58

63.564

5.5

6

6.5

7

7.5

8

8.5

9

9.5

10

−105

−100

−95

−90

6466

6870

7274

7678

8082

66.26.4

−81−80

−79−78

−77−76

−75−74

−73−72

−71

67.568

68.5

5.5

6

6.5

7

7.5

8

8.5

9

9.5

3����� 7 �?A ����� �� �$���� ��������� ��>�������� 0� �������� "� �� ��"��� ���������1%���� �� ���� ����������� ����!���

Page 149: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�5=

����� �������� 3����� 7 �? ���� ���� ��>�������� ���� "� �� ��������� ���� %����

���� ����!���

Page 150: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�58

������� �

�����������

������ ���� !� ���� �������� ��������� �� ������������� ������� �������

�� ������� �� �������� ����� ����� ���������� L;;� 87� :9� ,?� ,:� 9=M Q��� ��� ������

��������� �� �� ������� ��������� �� ������������� ������� �������� ����� �� ���

������������ �� ��������� ���� ������ ��� ������������� ������� �� ����� �� ������

���� �� ���� ������

@�� �� ���� ������ �� �� �� ���������� �� ��� ������������ �� ����� ����#

���� �����'����� ����� ������ �� ����� ���� �� ���!��� �������� ���� �� �������

������� �� ��"�� �� �� ���� �� �����"�� ����� �� ���� *��� ������ ����� �����

������ �� ������ �� ���� �������� "���� ������� �� ��� ��� ���� ����� �� ���

���� �� ����� �� �������� ������ �� ������ "����� ����� ������ �� ����� 5� �� ��#

�����.�� �������� �� ������� ���������� ����� ��� ����� ������ �� "� ���!��

�� ������� ������ �������� "���� ������ @�� ������ ��� �!� ���������� ��� �������

����� ������ -� ��� ����� �� ����� �� ������ ������� �������� �����

Page 151: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�5;

������� ���.��#���� �� ���� ����� �� ��� �� ���� ����� ������� ������� �� (�������)

�� ������������� ������� ���"��� ��� ���� 0������1 �������� &� ���� �� �� �����

������ �������� ���� ��� ����������� �� ���� ���� �� ���� ���"����

�� ����� 9� �� ���������� �� ������ ���� ���"���� �� �� �� ��� �����

�� ������ ���� �� �"������ ��������� ���� �������� �� ��������J ��������� -� �� ��

������ ����� ���� ������ ����� �������� ���� �� ��� ��������� �� ��>������

���� ������ ��� �"���� ��������� ���� �������� "�� � ����"���!��� 0�$����������1

���� ����������� ���� -� ��� ����� �� �� ������������� ������� ���"���� �� "�

������� �� ���� �� ��� �� �� ���� ���������� �� ������������� &�� �� ���� �� ����!�

�� ������� �������� ��� �������� ��������� ���� �������� �� ��������J ����������

�� � � ���� ��������� ����� ������$��� �� ���������� ���� �������� �� ��� ����

�������.���� �� �� ������ ���� �� 2� ��������� �� ����� ������$��� ���� �� �������

�� �����!���� ������� �� �� �� ������������� �������� ��� ������� �� ��� ���"���� ��

���� � �� �������

�� ����� 7� ���� ���� ���� ���"���� �� ������ ���������� ��� � ���������

��������� ���������� ������� �� ���������� �� ������ ���������� ��������� ���"����

"�� ����� ���� ��������� �� ���� "�� �� ���������� ������ !��� ��"�� �!�����

����������� � ���� � %� ���"�� �� ����!��� ���� ���� � �� ��������� �����������

&�� ����������� ��� ���!���� �� ������ ����� �� �������� ���� ����������� ���

������ ���� �� ������������� ������� �� ����!� ������� ��� �������� ���"���� �����

�����D ���� �� ��� ��A

� ����9������ �� 1�� ��������3 -��� �� !� ��!�� ����� ��� ����������

Page 152: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�9?

����� ������� �� !��� �� ���"��� �� ���������� ������ �� ������ � ����� !���

������ ��� �����'����� �������� �� ��� �� ������� �� ���!� �� ���� /����

�� ���� ��� �� ���� �� ��� ������ ��� � ��������� ��� ��������� ��������

������� ��� ������� ���� �� ���"� ��������� �����"�� ������ !������ �����#

������ !������ >���� ����� �� ������ ���������� ���!��� �� �� ������ ���� �� ��

�� /���!��� �� �� !��� ������ �� ��� ���� �� ����� ��� ����� �������� �����#

��� �$���� �� ��� ����� �� ��!� �� �� �� ���� ����� �� �$���� �� ����

����� ����� "� ����� �� ����� �� ���� �� ���� "����� �� �� ������� �����

���������U -� ���� ��!���� ������������� ������� �������� L=8M ���� ���!��� ���

�������!� �� ����� �� !��"�� �� ���������� ���!���� "�� �� �� ���� ���U

� ����% ��� �+������3 -��� ��� ������� ������� �� �� �� ����� �� ��������

��������� �� �������� �� "� ����� �� �� ���� ���������� ��������� ������� ����� ���

��'��� ������� ��� � �� ��"����� �� ��"������� �� ������ 3�� �������� �� ���

����� ��� �� �6� ���� ������� ���������� �� �� ����� ������� ���� ����������U

�� �����#������� ���������� ��������� ��������� %���� �� ����� "� ��� �����"��

�� ��!� �������� �� ����� �� �� ��������� ������� �� ��"����� �� ��"�������

���� �� �� ���� �� ��� ����������� �� "� ������ �� ���� ���"����� �� �� ����

����� �������� �� � �������� ����� ��� "��� �������� �� ������������� �������

�� �����#������� ���������� ���� "������ ����� �������� ���"���� �� ���"���

����������� !� ����������� "��� ���������� �� �� ������������� ������� �� ��

�� ������� ������� ����������� �� �� "����!� �� ���� "� �������� ����!�� �� �$�����

����������� �� �� "���� �� ��� '���� ������ �������

Page 153: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�9�

� ��$��-���� �%����3 &������� ��� ������������ �� !� ��������� ���������#

���� ������� ��� ������ ���� *�� ���"�� �� ���������� �� ���� ���������

����� ������"����� ������ ���� ��������� �� ����� !� ������� ������������

"������ @�� �$���� �� �� �� ������"���� ����� ����������� �����#���� L;,M

������ �$���� �� �������� �������� ����� ����� �� ����� L5:M �� �� �����

�� ��� !� ���������� �������� ����� ��� �� �������.���� �� �� �����J "�#

!���� ��� ���� �� ���!��� �� ��� ����� L8?� 57M /�� �� ������������� �������

�������� "� ����� �� ���� ��������U

� ;�������� $�����3 �� ����� �� �� �!� ��������� "������ �����!����

������� �� ������������� �������� �� ��� �� ��� �� ���� ���������� �� ��

����� �� ���������� �� ���� �����!���� ������� �� �� ��� �� ������ �� ��

�� ������ ����� �� �� �������� ����� ���"���� �� �� ����� �� ������ ������

�� ����� ������ �� ��� ������������ �� ������ ���� ���� ������ ���� �����!����

�������� ��� � 2� ��������� �� ����� ������$���� �� �� ������������� �������

������� �� ����'��� ������������� ���� �� ��� �� �������!���� ������� ���"����

�� ��� ��� �������� �� ��!�� �� �� ���� �� '�� ����������� (���������)

�� �� ��� ���� ���� �� ���� �� ������� �����'� 0�����!����1 �����'�����

�� ���������� ��� *� ������ �� "����!� �� ����� ��� "� ����������� �� �$������

(�������!����) �� ������ �������� ����� ���"����� �� ��� ���� �� �������

�� �$���.� �������� ����� ��������� ��� �������� �� ���� ���� �� �����!��

����������� ��������� �� ���"���

&�� ����������� � ��������� ������ �� ����� ��� ������������� �������

Page 154: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�9,

�� �� "����!� ���� "� ������ ��� ��� ���"���� ���� ������� �� ��� ��������� ��

������������� ������� � ����� ��� ����������� �� �������� ���"���� �� ������� ��

����!� ������� ����� -� "����!� �� ������ ������ �� ����� ���� ���"���� ���� ��

�� �����

Page 155: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�95

"�#��������

L�M * 6 @ �������� �� � * ����� 5���� 1�����" ����� ;������ +�����

��������#/��� �;8;

L,M ��� 6 �������� 2���������� �� 7���� ������ '�� ��� ��P��#/���� ,??�

L5M ��� 6 �������� $�������� � 2���� <� ��� ��P��#/���� ,??�

L9M 6!�� ����� �� ����� ������� �������"�� ������������� ������� ����� ��

-��������� �� �� ('� 1��������� �� %����� $�������� -�������� # ����� ����

�?�;W�?,7� ,??�

L7M � ������ �� � *������ %����� %����* �������" !�������� 2��������

��"����� 4��!������ ������ �;;;

L:M � �������� � ���� �� � ����� C����� ������� ������� 7$ ������ ��� �;;=

L=M � *������ ,??� ���� ����

L8M � *����� �� � �������� ���������� ��������� ������� ����� ������������� ����#

��� ������ ���� ������ �� -��������� �� �� $��������� 1��������� �� ������

��� 7������ �<<<� ,??�

Page 156: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�99

L;M C *��� �� � - ����� P������ ������� ��� ������ ������������� C������ ��

%$-# ((� �;;;

L�?M C����� � *��� ������������� C������ �� ���������� ����A ��!���� �������

�� -��������� �� �� $��������� 1��������� �� %����� %����*�� �;;9

L��M P *��� � 6����� N P��!��� � ������ �� � ���� C#������ �� ��������

����"�$ ����J� ������ �;;7

L�,M � *$��� �� � *������ ��'����#���.�� ������#������� ��������� =������ ��

7����� $��������� ��������� �7A5�;W57?� ,??�

L�5M � *����� 7����� 1����� -��������" 7 >���� !��� ��������� 4��!������ ������

�;:�

L�9M ����� < *����� , ���� -��������� ��������� 4��!������ ������ ����������

O�� �;7=

L�7M 6������ � *������� , ���� -��������� ��� 5���� 1������ 6����� $ ����

�������'�� �;;7

L�:M 6������ � *������� , ���� -��������� ��� 5���� 1������ 6����� $$ ����

�������'�� �;;7

L�=M 6������ � *������� �� ��� O &��������� %������ ���� -��������� ����

�������'�� �;;:

L�8M ��� � *���� �� 3������ C��!��$ $�������� � #������ -���������

��������� �;;=

Page 157: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�97

L�;M 6 *������� 6������� ������ ���������� 7����� �� +�������� #�����

55A=�;W=,:� �;:,

L,?M ������ � *��� �� ����� C C����� ����� ������� �� ��������� ������

��������A � ������������� ������� ����� �� 7������� � %����� $��������

-�������� # ���� ?� ���� :=�W:=8� �;;5

L,�M R *���� �� 6 N����� &���"�� ��������� ��� ������$ �������� ��������� ��

-���� )7$� ���� 55W9,� �;;8

L,,M � ������ &��� ��� ��������� �������� ��� ������ ���������� +��*��

������ ��������� �6 ������ *���� 4��!������� �;;8

L,5M � ������� C N��"����� �� � C����� <����� ������#���������� ������

�� ������� �"���!"�� ����! �������� ��������� &������ ������ ��#;7#�;� *����

4��!������� �;;7

L,9M ������ � ������� C����� ��� N��"����� �� ����� C C����� ������ ��#

������ �� ������� �"���!"�� �������� ������ �� -��������� �� �� !�����

%����� 1��������� �� 7����� $���������� �;;9

L,7M - ���!���� ��"��� ������ ������� ���������� �� �������� ����������� =�

7���� #�� 7����� =9� �;=;

L,:M � ������ �� � *��� �����!��� ���!��� ���������� ����� ������������� �������

�� 7������� � %����� $�������� -�������� # ���� @� ���� �?�=W�?,5� �;;:

L,=M 6���� ����� �� 3��� !�� ����� ���������� �������� � ��������� � ����

Page 158: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�9:

����������" !���� ��� �������� �6 ������ 6�������� �� �������� ���#

���� �� <����������� ������� 4��!������� ,??,

L,8M & P 6�������� �� R -�� *�� !��� �������� ����$������ !� �������

!������ �� 7������� � %����� $�������� -�������� # ���� (<� ,??,

L,;M � 6����� �� � �����"���� ��"�� �����A 6�!������� ��������� �����

����� ������� 7����� $���������� =�0,1A5,�W5=?� �;;9

L5?M � @ 6�� �� � < /�� -���� 1��������� ��� #���� 7��� �� -���� ��

����� �;=5

L5�M ����� 6������ -������ " !���� ��� &�������� :�� ���� 6�$"���� �;;:

L5,M ����� <!�� �� &�� ����. 7��������� ������� �� +��� 1���� ��� �����

���� ������ O��"�� ,? �� @$���� ��������� ������� ������ @$���� 4��!������

������ ,???

L55M P��� 3 3������� � 6!�� ������� �� �""� <���#O���� 2������* 1����� ��

, ���� # ���� �������#-������ �;;7

L59M � 3� �� � /� 1������� +��� 1���� N����� ������� ��"������� �;;=

L57M 6 3����"��� �� � &����� >��� !���� ��& ������ �;;�

L5:M 6��� 3����"��� �� 6!�� N C�!��� !�� !���� �� ������� � >���� ��& ������

�;;8

L5=M � P����� � ������ / ������ �� 6 ��"�� A� ���� ,�� 7��� �� ���� ]

/��I���� ,??? ����� 8

Page 159: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�9=

L58M ������ 3 P���� �� ������ @ -����� 7����� %������� 7��� �� �<� &��

�������#-������ �;8;

L5;M � P������� >����� ������ �� �������� ���� �� N����� ������� ��"#

������� �;;�

L9?M � - P���"��� �� � � ������ *������� �� 2����#���!������� ��������� ��

������� ������ ��������.�� "� ��� ���"��� +����� �������� �8A�5�W�98� �;;7

L9�M P������ P����� 7�������� #������ � +��*�� ,����� -�������� �6 ������

����� �� �������� �������� ������� ������ 4��!������� �;;;

L9,M ����� P�������� 6��� N������ �� ����� ��� �$#���� ���>������� ��� �������

���� �� -��������� �� �� #�������� $��������� =�� 1��������� �� 7�����

$���������� ,??�

L95M � < /���� �� C � *��� �������� ��������� �� �� "����� � ����� &������

������ -C#&�#;:#J&� *� ��������J� -����#�������� ��� 3���� *�� @��A -����

C"������� �;;:

L99M 6 /������ 6�������#�������� �������.����� �� �� ��� ����� ��� ����� ��������

�� ���� ���������� $�������� ��� 1�������� �??A=8W�7?� �;;,

L97M @ /���̂���.#C��� 7����� +��*�� 1����� -�������� O��"�� =; �� �������

�������� �������� ��������#2����� �;8;

L9:M Q /� �� R �� -������� ���� �� �� ������ ���� � ���� � ���� N�����

������� ��"������� �;;�

Page 160: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�98

L9=M & ������� 6 3������ �� & ������� -�"�����A � ���� ����� ��� �� �����

���� ��" �� -��������� �� �� 2����� $��������� =�� 1��������� �� 7�����

$���������� �;;=

L98M C � N��"����� � C C������ �� � - ����� ������������� �������A � ���!��

=������ �� 7����� $��������� ��������� 9A,5=W,87� �;;:

L9;M �� N��� �� ��� C������ �����$������ ������ ����$���� ���������#

���� ������� �� -��������� �� �� %������ $��������� 1��������� �� +�����

�������� ,??,

L7?M ����� N����� Q��� ������� �� ������ Q O� �����$���� ������� �� ����

�@�6�� !� ����"�� ��>�������� ��������� ����� � � ��� � ���� ���� �;;;

L7�M ����� N����� Q��� ������� �� ������ Q O� � ����� ������� �������

��� ���#������ ������� �� ���� ����! �������� ��������� �� -��������� �� ��

#����� $��������� =�� 1��������� �� 7����� $���������� �;;;

L7,M ����� N����� ��"��� ������� �� C��� ������ &����� ������ ������� ����#

��� +����� �������� �=A��7W�9�� �;;9

L75M ����� N���� �� ������� ���� O��#������ ������������� ������� �� ����#

����� ���� �� -��������� �� �� 2����� $��������� 1��������� �� +�����

�������� �;;8

L79M ����� � N���� �� 4��� 2 2.���� 7� $�������� � 1��������� ������

�� !���� ��& ������ ��"������ ����������� �;;9

Page 161: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�9;

L77M � N����� �� � -�������. �������� ��������� �� �� �$���� �� ����������

�������� 7����� �� +�������� #����� ,5A9:,W9::� �;7,

L7:M /����>�� N�� �� ������ Q O� ������ ����� ��"��� �������� �� ����� ������

��������� 0�� ���������1� ,??,

L7=M / N����� � Q����� �� � N�"��� ������������� ������� "� �����#

��� ��� ����"��� �� ���������� ����� �� -��������� �� �� !����� $���������

1��������� �� +����� �������� �;;7

L78M 6��� N����� �� ����� ��� ������ �������� ��� ������� ���� �� )������

� 7����� $���������� -��������� �� �� #����� 1���������� ,???

L7;M � P���� C����� -������� �� 3������� 7���� ����� ��"����� ��������

������ ��"����� 4��!������ ������ ,???

L:?M � C������ & 6��� �� C N��"���� @� �� ������$��� �� ���!��� ����! ��������

���"���� �� -��������� �� �� ((� 7����� 1��������� �� )������ � 7�����

$���������� ���� 5;9W9?,� �;;7

L:�M - C�!�>�" � ���!�� �� ��������� ������ ��� ������� �"���!�� ����! ��������

��������� 7����� �� 5������� ��������� ,8A9=W:7� �;;�

L:,M - C�!�>�� ������������� ����"�� "����� ��� ������� �"���!�� ����! ��������

������� 5������� ��������� 5;� �;;�

L:5M ��������� C����� ����� �������� �� ���� P������� O������$��"�����

Page 162: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�7?

������� ��� ������� �"���!"�� ����! �������� ��������� =������ �� 7$ ���������

�9A85W�?5� ,??�

L:9M � ���!�� O ��������� & 6�� �� P �"��� ���� �����!��� ������ ���#

������ ����� ����������#���� ������������� ������� �� -��������� �� �� (<� $��

�������� 1��������� �� +����� �������� ���� ,?,W,�?� �;;=

L:7M � ���� C���� ���������� �� �� ������ ��������� +�������� #������ :A,7;W

,:=� �;:?

L::M �> � ����� ����� ��������� ��� ��������� ������� �� -��������� �� ��

&������ $��������� 1��������� �� +����� ������� ����� N������ �;;9

L:=M � � ��"��� #������ ������� ������ ��� ������ ������� ������ �;8,

L:8M 6 ���������� �� � ���� �����$���� ������� ��� ������� �@�6�� �����

������'�� "����� ����� �� -��������� �� �� (B� 1��������� �� )������ �

7����� $���������� �;;;

L:;M � C ��������� �� 6 < ������� -������� ,������ -�������� ��& ������

�;8:

L=?M * �������� � &������� �� & N��� ������ ������'����� �� ����#��.� �������

��������� ������� �� 7������ 3������� #��� � BB� 2����� �;;;

L=�M *����� �������� ��� &������� �� &��� N��� ������ ������'����� �� �����#

���� ��������� &������ ������ ��4#��#&�#??#?5� ��"����� ���������� �������

������ 4��!������� �����"���� ��� ,???

Page 163: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�7�

L=,M O ������� C ������� N#< N��� �� C � N��"���� C������ '����#���� ���#

�������� ��� ������� �"���!"�� ��!��������� �� )������ � 7����� $����������

-��������� �� �� 2����� ����������� �;;;

L=5M � - ������ � ��������� �� N 6��� <����� ������ ������� ��������� ��#

�������� ����������� �� -��������� �� �� (CCD $��������� +����� ������� 1���

������� ����� N����� ��"������� �;;=

L=9M ����� � ������ S�$��� C�� �� � ���� ����� 7 +�������� $��������

� ����� +�������� ��� ������ �;;9

L=7M ������ Q O�� 6��� /��� �� ����� ������� ������ ��!����� ����� �����

�������������A &���� �� ��������� �� ����� ����� �� -��������� �� �� #��

���� $��������� 1��������� �� +����� �������� ���� ,=8W,8=� *���� ���!����

���� �;;; ����� N�����

L=:M ������ Q O� �� ����� � ����� �������A � ������ ���� ����� ��� ����

�6�� �� �@�6�� �� )������ � 7����� $���������� -��������� �� ��

#����� 1���������� ���� 9?:W9�7� ,???

L==M ������ Q O�� ����� ���� �� 6��� N����� ������ ���� !� ������� ���������

��!���� �� O���� ���������� ���������� ������� �,� �;;;

L=8M ������ Q O� �� ����� ������� ��������� ��� ��!���� ������������� ������� ��

-��������� �� �� #�������� $��������� 1��������� �� +����� �������� ,???

L=;M ������ �� ����� ���������� �����������������������

Page 164: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�7,

L8?M P @��� >��� !���� ������� ������ �;;7

L8�M ����� ��� 3��������� 1����� ��� ������� � +��*�� ,����� -�������� �6

������ �������� ������� 6�!������ 4��!������ �� ��������� *�������� �;;8

L8,M 6 ������ &������ -��������" !���� ��� 7�������� O�3#�*�� �������

���������� ������ �� ���""����� �� ���������� 2�� , ���� �� �������� ���������

�� ������� ��������� ����� � �;;?

L85M -����� / ������ ��� � &��������� -����� & 2���������� �� *��� 3������

%������� ������ � 1 ��"����� 4��!������ ������ �;;,

L89M 4� *������� ���������� ���>��� ���������������������������������

L87M � ������� +��*�� ,����� -�������� -����� �;;9

L8:M � ����T! �� � �����T� C������ �� ���!� "������ ����� ������������� �������

�� ����� �� -��������� �� �� 2����� $��������� 1��������� �� +�����

�������� �;;8

L8=M /��"��� ��""��� �� ������ ����� � �������� ����$������ ����� 7����� ��

+�������� #����� ,,A9?W9?=� �;7�

L88M *��>��� 2� ��� ������� ��� 6���� 2����� 7��������� � 1������ ,�����

-�������� �6 ������ ���������� ��������� �� &��������� �;;8

L8;M ����� ������� �� <��� -���� ,� �� ��� ��� " ����� � ���� ������

����'��� ������������ ��& ������ ��"������ ���� �;;�

Page 165: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�75

L;?M ��� ���� 6� ������ "�!� �������� �� *�����J� �������� �� ���������U ��"#

������ �� ������ �� <������� ���������!��� �;;9

L;�M C � ������ � � ������� �� 6 � &�����.�� ����� ��"�� "�!��� �����

���������� ���� ����������� ������������ ������ ��� 7�������� # ����� ,,05W

91A,5�W,9;� �;;=

L;,M ��� ��������� -���#N��� -���� ������ ������ �� ����� ���������� 6�����"����

!��� ��������� �� -��������� �� �� #����� $��������� 1��������� �� +�����

�������� �;;;

L;5M � ������ A��� 3������� 7���� ����� ���� <������� ������ ������ ���������

�� ���������� �� ������������ �;;?

L;9M ������� � ������ ������ �����!����� ��� ������ ����� ������.�� ���������

������� �� -��������� �� �� #�������� $��������� 1��������� �� )������

� 7����� $���������� ���� 9;:W7?5� ,??�

L;7M 6 ���� ,??� ���� ����

L;:M /������ ��� 3��������� 2��� 1����� # ��� # ����� ��� ��������������

)������� 7���� 6������ �6 ������ ������� <����������� 4��!������ �� ���#

������ *�������� ,???

L;=M ������� ���� �� ����� Q�� �� ����� "���� �� �� ���� ���� ����$����

������#!��� ��������� +����� �������� �:A,,=W,55� �;;9

L;8M ����� � ������ �� ������ P *��� ����������� ������� ��& ������ �;;8

Page 166: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�79

L;;M ����� � ������ �� ������ P *��� ����������� �������" 7� $��������

��& ������ �;;8

L�??M ��"���� &��� � �������� ��� ���������� ��"����� �������A ������ ������

�� ������� &������ ������ ��4#��#;8#�9,� ����� �� �������� �������� �������

������ 4��!������� �;;8

L�?�M ����� 3 &��" �� ����� P -������. 1������ ��� �������� C�.����

C������ ������� O.����� ��� C����� ��"����� 4��!������ ������ �;;;

L�?,M 2 O 2���� #����� ������� !���� ��� -���� ] ����� �;;8

L�?5M 2 O 2���� &����� �� ,���������� A���� �� &������ ,�� ��������#2�����

�;8,

L�?9M ��� !�� O����� �� @��� ����������� !���� �� >���� ��� &������ A�����

�� ��������� 4��!������ ������ ���������� O�� ������� '��� �������� �;99

L�?7M - � -�������� -������� �� 3������� 2��� �!����� �������� �� ���������

�;;:

L�?:M � � � / -����� ������� ���� ���� �� ������� �6 ������ ��"����� 4��!��#

����� �;8;

L�?=M � -��� ������� �"���!�� ����! �������� ���������A � ���!�� 7����� �� 5�����

��� ��������� 5,� �;;�

L�?8M � N -������ �� � ���� <$��������� ��� � ������� ��� ����� ��������

���������� �������� ��� �@�6�� �� %$-# ((� �;;;

Page 167: rll.berkeley.edurll.berkeley.edu/deeprlcourse/docs/ng-thesis.pdf · 2015-10-15 · 5; 0 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 600 10x10 Grid world Trial number

�77

L�?;M ����� � -������ ������ ��������� �������#��������� �������� ��� �������������

������������� ������� +����� �������� 8A,,;W,7:� �;;,

L��?M ����� � -������ �� C����� � *��� &��� ���������� "����� �� ������

�������� "��� �� ��������� !��� ��������� �� -��������� �� �� !��� E��� ���*����

�� 7����� ��� ������� # ����� �;;9

L���M O S��� � C��� �� - S�� � ����� ��� �������� �� !��� �������� �� ��#

����� �"���!"�� ����! �������� ��������� �� -��������� �� �� (B� 1��������� ��

)������ � 7����� $���������� �;;;