28
Bayesian Calibration of Computer Models Marc C. Kennedy and Anthony O’Hagan Summary. We consider prediction and uncertainty analysis for systems which are approxi- mated using complex mathematical models. Such models, implemented as computer codes, are often generic in the sense that by suitable choice of some of the model’s input parameters the code can be used to predict behaviour of the system in a variety of specific applications. However, in any specific application the values of necessary parameters may be unknown. In this case, physical observations of the system in the specific context are used to learn about the unknown parameters. The process of fitting the model to the observed data by adjusting the parameters is known as calibration. Calibration is typically effected by ad hoc fitting, and after calibration the model is used, with the fitted input values, to predict future behaviour of the system. We present a Bayesian calibration technique which improves on this traditional approach in two respects. First, the predictions allow for all sources of uncertainty, including the remaining uncertainty over the fitted parameters. Second, they attempt to correct for any inadequacy of the model which is revealed by discrepancy between the observed data and the model predictions from even the best-fitting parameter values. The method is illustrated using data from a nuclear radiation release at Tomsk, and from a more complex simulated nuclear accident exercise. 1. OVERVIEW 1.1. Computer models and calibration

Bayesian Calibration of Computer Models

  • Upload
    others

  • View
    13

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models

Marc C. Kennedy and Anthony O’Hagan

����������� ��������������������� �

Summary. We consider prediction and uncertainty analysis for systems which are approxi-mated using complex mathematical models. Such models, implemented as computer codes,are often generic in the sense that by suitable choice of some of the model’s input parametersthe code can be used to predict behaviour of the system in a variety of specific applications.However, in any specific application the values of necessary parameters may be unknown. Inthis case, physical observations of the system in the specific context are used to learn aboutthe unknown parameters. The process of fitting the model to the observed data by adjustingthe parameters is known as calibration. Calibration is typically effected by ad hoc fitting, andafter calibration the model is used, with the fitted input values, to predict future behaviour ofthe system. We present a Bayesian calibration technique which improves on this traditionalapproach in two respects. First, the predictions allow for all sources of uncertainty, includingthe remaining uncertainty over the fitted parameters. Second, they attempt to correct for anyinadequacy of the model which is revealed by discrepancy between the observed data and themodel predictions from even the best-fitting parameter values.The method is illustrated using data from a nuclear radiation release at Tomsk, and from amore complex simulated nuclear accident exercise.

!#"�$&%('&)�*,+�-/.103254�687�0/984 :<;>=,.?:<@BAC�39?DC7ED(FGA(DC7?4�@BDC;39��H=�I<D(9?DC7�@J4�;�4K��984 .L@M:<I�ND(2O�H=HPQ0?�<���R4�0G;SAC7�:T.1DC���H=U4�;39?DC7�A1:<2V0/984 :<;W=H@E:<I<D(2X4�;303I<D1Y<�G03.(Z[=5��DC;G�R4�984]\3N4�91Z^03;30G2_ZQ�R4K�`=a�3;Q.1D(7�9O0�4�;391ZS03;30G2_ZQ�R4K�`b

1. OVERVIEW

1.1. Computer models and calibration\dc���e�gfh�W��i������hi���Tfa�K�kjlc�� ���j�c&� � i�c��(jl������� �T���L���m� i� ��na��o� ��i�����K�m�Q� �hc��[p1��f�� �M���������p?��� �qnU���� �L�����qi�fh���[� �Bc��ac����R� ��rOc��h�M������ �qjl������� �Wc� �l���Ro�� i�c��e���L��jlo��e�jl���_� �m�s�e�ti���jlo�f�����[i�������b:3�u� ��5r_� ���Gjlc�� ���j�c&� � i�c��ajl������U� �C���evg�����li���jlo�����w`r�c��h��� ���< �m�Kfh�����e��v[i���jlo�f�� ��8i������G���1� c��v��c��h�[j�c,�Tna�?��w�oa��h�K�����8���>�����j������h������i��gjlo�f�� ��� ��jl�? �mxgfh�e���W�y��dcQ�K����vg�e�1 fh�5bO;3���g�� � ����e�m� �r fh��������vl� ���[i���jlo�f�� ��Gjl�R�����zp?�����znU�>j>fai{�|i{�h�c�oU��3� �hc��Jj�c�}R�e�hvq���e��i��3��na�K� �&c&���e�g�h�8���������o���Ri������b���c�i{}��r&~E���i{�zrg@J�e��i{����e�ac��h�[~��R���J����g���_�zvg�e�g�1c<�Rf�j[na�d���U��w�c�jlo�����bO98�h�8i�������/p1�i��g�h�K� ���1c� �<���������j#����� ������i��O� �hc��8� �r_�f����h�e��v[� �h�Qi������Gp?�e� �k� �h�<��c�jl�<�e��ohf����?c��ep8c,���do������fhi��m�� ���T��c�jl�T��f�� o�f��mb

.C��jlo�f������jl������� �3c� �Tvg������c��e�������m�K��v��h���� ��nU�>c�o�o�����ic�n����T� �qcqp?�����T{c��hv��T���/ohc�K����i�f�� c�i��g�g����wR���b����&p1�����rg�e�k��{����(� �[fh�K�<cWjl�������U���>j�c�}g��o������ i����e�g�h�(���kc[�KoU�i����Ui3i��g�_� ��wR�1���8j�c,�na�8���mi��m� ��c���Q�h{����� �q�{�&������) ����"/� ���?jl�������fh�K����vT� ��jl�8��nh� ������m�>��c���c�b�9V�<�����efh�K� {c&���1� ��� ��o���Ri�����pC�Q���_� ��R��fhi��Tcl�K��jlo����T��w�c�jlo�����b/98p1�#jl�g �Q��w�c�j#oh�e�m�?c���<���m� i� ��nU����e�J������c��e�`���B�R�i�� �����B��b���b

4]�[�g����5���Q���i�� ���1���#cG���_�K�1���v���jl�G����b vhb��K�����gr,�y �mxgfh���hi��Wc��h�> ��e�mc�� �({c&� �m�z������c�n��������{�z�y��/c����p����f�vhr�c<o��hc� j�cgi���}R����������i(jl�R������� ��fh� ��`b�98��� ��j#��������O�����8jl�&����jl��g�����a� ������ f�vG� �h �gf�v���&c���e�gfh�8��i���jlohc�K��jl���_��������U�����3oac&� �����_�m� �Cna������c��h�l���{�(�����g��fhc��a�����ejl���hc&���e�g�L�y�gb vabVnR��i{���j#� i�c�� �mc�i�� �����h�1��3��w�i�������e�g�a��bC��fhi{�Jclj#������zc������&p��1� ���>i����h� �x_f���hi��m�1���dc��R�qvg�e�g���|���g� �T �v���jl�G���

Page 2: Bayesian Calibration of Computer Models

2 Marc C. Kennedy and Anthony O’Haganna�<��w�o��������5b��3�&pC����rg�e����{����(� �#fh� �3�����<� ���Qjl�������U�y��8c[ohc� � � i�f�� c�8���f�v#���8���1���mi��m� ��c���#� ��KoU�i����y�l{c&����/p?�e� �qp?�h��i{�q�e�Cjl�&�g��/nU����p1��������e�U� ��g�Cna������i��gjlohc� � jl���_�{��r_�Kfhi{�kc��/�����3{c&���?���� {c��h�K�y��1�y���j��K� �gj�c�i{�q���ln��e�R���`r��g8���������ejl���hc&���e�g���y���j������Q�e�����bd�R�gjl�<�g�c����`���V� ���m�K�Q{c&� �m�p?�e���Una�<�KoU�i����ai�� �>� ���<�� fhv>����x_f���K� �����5b�c��a�����8� �/� �h �gf�v��q��x_f�����e��vQ�����<fh�K�d���[� oa�mi��e�y�[������jc��C�e�ho�f����C���>�����<i������3���hc&�1� �h�Gjl�������`cgi{���e����m�Cc�o�o�����ic�n����e�e���#� �lcWp?� ���<�c���v��G���z���f�vg�b/98���� ��c�� �m��p?���e��rH���(i��gf�{�K�grh�����GnU�[}R���&p?�|�y�g<c�vg�e�g���L�� f�varUc��h�B� �q��w�oU����ejl��g�{�Gc� �>oa�K�y�g jl��J� ���n��{c����E�gnh� ����,c�� �����hc��O�hc&��chbl4��W���Q�����Toa�_� � �enh�e�#� �J�gn���c��e�E� �h���c�� ��G������j�� ��������bl4]�h�K� �cg�`r`�������c&�{c�c� �W�gnh� ����,c�� �����h�3���(i��� ��c����X'������H����+?���/�����#o��hc��j�c�i���}R�e�h��� � iTjl��������r`��b vhbQi��g�hi���_� {c&� ������e�ln����R���[�g�f� ������c��(i��� ��c��e�[� ��jl�?oa�g�e�_�{��bd.C fa�������>o�f��rgic����enh�c�� �����#���O������c�i�� ���_�e���>���Hcg�,��fh�K� ����v� ���Tfh��}R���&p?�k{c&���Qohc�{c�jl������{�1f��_� ���`� ���T�gf�� ohf����8���V�����Tjl�R�����h (�H� ���T�gnh�K� �g��k��c&�{c�b

@J����kvg������c��e����rdcMi��gjlo�f�� �[jl������?p?�e���8�hc,���|cB�Rf�j[na�#���l�{'&¡a��"�¢g�¤£�+��h"{���  1�W����o�f��{�#� �hc�������a���>c�ohc�K����i�f�� c�3� ����fhc&���e�g�J�e�Jp?�h��i{�|�����>jl�������V����� �qnU�>fa�K�m�`b8~������5r`cg�?���3���u�����J�����>i�cg�K�gr� ���<�&c���f���C���V�����G��1j#�g �G���5�����Qi����_����wR�KN]�KoU�i����Ui�����o�f��{�1c� �Gf���}R���&p?�5rR�gnh�K� �&c�� �����h�Cc����fh� ��� �l���c���|c�nU��f��8� �h��j|b(98��� �?� �?i�c�����n��c�� �����5b

4]��i�f� ����_�?o�{c�i�� � i���r�ic����en�{c&���e�g�����R�,c� � c�nh�e�qi����h� ���K���1���O� �c�{i{������vW�y�g�c[� ���?���V�&c���f���8���z�����f���}R���&p?�¥����o�f��{�[� fhi{�¥���hc&�[� ���k��nh� ������m�s��c&�{cJ���lc��>i��e�_�K��e�sc��>oa�_� � ��n��e�gr��e�¦� ��jl��� ���a�K�gr�� �� ���qi���� �m�KoU���a���e�hvk�gf�� o�f����T���C������jl�R������b�98���� ���&c���f���Tc� ��i����h� ���������Mc��T�m�����ej�c&����Q���C�����i��g�g����wR�KN]� oa�mi��e�aiW����o�f��{��r5c��h�J�����ljl�R���������G�������Efh�K�m�J���ko�������i��<nU���hc,�R����f�<���(� ���#o���Ri�����3���� ��� ��i����_� ��w_�?nR��� ��� � ����vl� ���m�K�Q����o�f��{�8� �l��������?��K� ��j�c&����b

.C�e�mc���e�gr&� ��� �8� o���f�v�N��e�z��o������ i����e�g�[�� �mc&�{�O� ����i����_� ��w_� N�� oU�i��e�ai8����o�f��{�dc����e�H� ����>p1����8}_�h�&p?�5b98������c��e�e���M���W� �hc��[�������¥c���q�g���e�M��K� ��j�c&����`rdc��h�¥��� ����fac��(fh�hi��K�{c����g���sc�nU��f��>� �h�� ������o�f��{��K�h��f�� ��nU�T��i��gv���� � ��q���J�Kfhnh�K�mx_f����_�?o������ i����e�g�h�1�y �gj�� �h�Tj#������¤b

~E�8o���� ���_�V���[� ��� �Oohc�oU��/c<61c,�g�� ��c��Wc�o�oh �_c�i{�Q� �G� �h�8ic����enh�c�� �����W���ai��gj#ohf�� �Vjl������� �bV~M� �o���� ���_�C�����Tf���}R���&p?�|����o�f��{��c��?cloac�{c�jl������8���mi�� �g3§Vb(�3� �e�hv[�����T��na�K� �g�����c&�{c[p1�T����������� ���Coa�_��������e�gz��� ���� ��n�f����e�g�W���a§Vr,p?��� i{�W���Wohc� � � i�fh��c�zx_fhc��_� �e�h�m�5������� �m�K� ��fhc���f��ai��� ��c��e�_���H�c�na�gf��§Vb�98�h���1f��hi��� ��c��e�_���#���C�yf����e�qcgi�i���f��_� �m�#�y��1p?�����kfh� �e��v>� ���Qi��gjlo�f�� �Cjl������H� f�nh� �x_f���_� ���[�y�go������ i����e�g�5rdnR�¥��n��{c���������vMcEo������ i����e�g�������K� ��enhf�� �����5b�98����o� ���hi��eo�����#���<68c,���m�K� c��¥o�������i�� ������e���y������hi��Gc���G� ���1��f��8���k0��e��i{�h��� ����c��h��IGf��h� jl����[�K��_¨�©���rgn�f��C�����Goh �gn��e�jª���zi��gjlo�f�� �?i������i�c��e��n�{c&� �����k�hc��?c#�Rf�j[na������i���jlo���� i�c&���e�hv[�y�mc&��f� �m��b

:Gf�[c�o�o���gc�i{�M�� �mc&���W� ����i��gj#ohf�� �[i������kc��>� ��j#oh�e�¥cs� n�� c�i{}Mna�,w`��bJ~E�kjlc�}��q�h�Bfh� �q����e���y���jlc�� ������c�nU��f��d� ���3jlc�� ���j�c&� � i�c��hjl�������a�ejlo�����jl��g�����nR�[� ���Gi�������r_��w�i���o��(���h� ����c�(c�������� �j�c,�Bna�� �o� �m�K��_� ��L� �h �gf�v��M� �h��o� ����>�e���y�g j�c�� �����sc�nU��f��T�����q���� c&� �����a�K����osna����pC����s����o�f��{�c��h�q��f���o�f����b(.C�e�mc���e�gr�jl�����������C� �hc��C�goa��qf�oq�����W� n�� c�i{}#na�,w`�Rc��h�q��w�o������e�C�e���1���� fhi�� f���3jl��v��_�o���&���8� �[na�<jl�����oU�&pC�K�yf��a� �ac��q�gf�Cc�o�o���gc�i{�zr�n�f��8p1��f�� ��nU�Gi��g ��� oU���h������vg�e�[j#�g �<i��gj#oh�e��w� ��c�oho��e�gbd98��� �8����c#oU�������_� � c����e���ejloU�� ��c��_�?����o�� iG�y��8�yf���f� �T��� �c��i{�zb

1.2. Outline of this paper�R�i�� �����L�loh �&�R� ����?cq������c��e����Lc��hc��e��� ���8���d�����Kfh���cg� � ��i�� c&� �m��p?�����Li��gj#ohf�� �Gi������m��b84]�Johc�K����i�Nf�� c�mrV���������c� ��� ���g��{c��d��� ���[� ��f�{i��m�T����fh�hi��K�{c����g���M���¥� ���kfh� �����3i���jlo�f�����#i�������>na�m�K� ���m�f��hi��� ��c����_���Bc�nU��f��Ti��g�_� ��wR� N�� oa�mi��e�ai[�e��ohf����rVc��h�Lic����en�{c&���e�g�B�y�gG�����lo�f��oa�_�K�#���1o������ i����e�g�E� ���fh�K�8�g���<���Vc[�Rf�j>nU��?���5� �go���i�1�e�k� ���T�K��c�� � ������ic��`c��hc��e��� ���C���Oi���jlo�f�� ��?i��R���<�gf�� ohf����bd�R�i�� ������[na�v����h�8p?�����Jc#ic�����yf��5�K� fa���q���Of��hi��� ��c����_� ����8���Ji���jlo�f�� ��?jl��������r��e����fh�����c�� ����v#� ���ToU�g��� �en�����K�gf�{i���(p?������� ��jl�G������c��e�������w�c�jlo�����bV4��8���a���(p?�e� ��cW����R����p«���zoh ��_����fa�dp1���}[�g��i�c��e��n�{c&� �����c��h�k���� c&� �m��oh �gn��e�j���b

:Gf�>68c,���m�K� c��Mjl��� �h�R�s� �Tn�fh�e�e�>���tc|vg������c��d68c,���� � c��Ec�o�o���gcgi{�L���B�e���y������hi��qc�nU��f��Wf���N}R���&p?���yf��hi�� �����h�bd0¬ ��R�e�p����5�����Q ��e��,c��_�(� �h������qc��a�qo�f�nh�e� �K�h��kpC�g }#���8vg�e�g���q���J�R�i�� �����k­hb:Gf�1nhc�� ��i3jl�R�����5c��a��c��ac����R� � �d� �Coh �m�K��g������e�|�R�i�� ������®ar�c��h��o��cgi�����ic��Hc�o�o���� i�c&���e�g�q� � � f���1c���

Page 3: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 3c����� �m� � ����������i����e�g�|©�bd�R�i�� �����k¯[o���� ���_���8c#i�cg�K�<����fh���qnhcg�K�m�q�g����c��`��c���chb/���i����e�g�|¨W���H��{��K�gjl�Qi����hi��efa�K�����h�8c��h�k���e��i�� �����h�1�y�g8�yf�K������3pC�g }Hb

2. STATISTICAL ANALYSIS OF COMPUTER CODE OUTPUTS

2.1. Uncertainties in computer models98���#p?�����m�Koh �mc��Lc�o�o�����ic&���e�g�E���Ci��gj#ohf�� �Tj#��������Q� �Qc�ii���jlohc�������BnR�Lckp?� ���� o���c��Ei��g�hi�� �c�nU��f���x_fhc��_�����y�R����vL�����|f��hi��� ��c����_� ����#o�����&c������e��vE�e�X� �h����#fa�K�gbX98���k�y�����e�&p?����vM���#�g���kp8c,�s���i�� c����K�e�y�R�e�hv>�����T�&c���e�gfh�8�K�gf��i���8���Vf��hi��� ��c��e�_����b

°t±G²�³&²�´tµ_¶µ_³G·O¸O¹�µ_³,¶²�º¤¸H¶�» b�~M�(�hc,�g�(c�����c����G��� � i�fh���K�m�<� ���Cjlc��K����z����f��hi��� ��c����_���Gc�na�gf�������|�,c��efh��#���G� ��jl�����������Ji��gj#ohf�� �li������k����o�f����bt~E�Jic��t��������}t���3� ���_�K���e�ho�f�����cg�f��h}_�h�&p?�¥ohc�{c�jl������{�T���?������jl������¤bEP<�����{c�������rV� ����s� oU�i��e�y�M�y�c�� f����>����cBohc�K����i�f�� c�c�o�o�����ic&� �����Bi����_� ��wR�rHn�f��<� ����|jlc,�|c�� � �qna�#jl����Wv�����nac��zoac�{c�jl������{��rUc����Kf�jl�m��� ���ac,���cli��gjlj#�g�k�&c��ef��T�&�g��?c#�c���v��<���/i��g�_� ��wR�{�8��8���g�����e�Jc����zi����_� ��w_�{��b

°t¼^½z¾VµR¿�º�¸O²�¾Oµ_À`·O²�¹�» bd;��Wjl�������U� �doU�� �y�i��mb/Dd��������`���������� �d���>ohc�{c�jl������dfh�hi��K�{c����g���gr� �Q� �hc��(p1��}R���&p¦�����?�� f��3�,c��efh��d���5c������ ���G�e�ho�f����( �mx_f��e���[���Wj�c�}���cQoac� � � i�f�� c�doh �m����i�N���e�g�#���H� ����oh ��i��m� ��nU������vTjl������������`rg� ���3o� �m��� i�� �m�#�,c��efh�?p?�e���h�����d�x_fhc���� ����� �f��?�&c���f��?��������[oh ��i��m� �b398���#��� � i� �ohc��hi��k� �Gj#��������e�hcg���x_fhcgi��gbG�R���hi��[� ���[ �mc��Vo� ��i������j�c,�|���{�K������wR�h�en��e�G{c��a����jÁ�&c����c�n��e���e����rhp1�>�����h���[j#������z���hc����x_fhc�i������qnU�W� �h�[���e�U� ��hi��>na����pC���������Q� �f���Â�"���¡��&c���f��T���V� ���W��c���N�p1�������oh ��i��m� �?c��h�k� ���Wi������T��f���o�f��3c��?� ���Q�� f��T�&c��ef��m����(� �h�#����o�f����bl;3�����[���hc&�Q�������T�����h���e� �����s� �Q�����To���i���� �#f��_� ���/pC�lf��h����{���{c��h�Lp?�hc&�Wc���jl�c��_�QnR�L� �f��l�,c��efh��Q���8����o�f��{�Wc��h�L� �h�l� �f��l�,c��efh�����(������o����i�����blP<������E���hc&�Q��������� �8jl�R�����5���hc����x_fhc�i���r�p1�Ti�c��h�����8� �h�e��}k���O� ���Q�� fh�<����o�f����,c��efh���cg�(�����g� �Tp?��� i{�k���cg�q���oU�� �y�i��<o�������i�� �����h�Gna��e�hv���f�� o�f��mr5�K�k���&pÃ�{�&¡�pC�#�����h�h�>�� f��[�&c���f���3�y��G� ���#f��hi��� ��c��e�����o�f���oac�{c�jl������{��Ä|98��� �8� � � f��T� �?������i�fa� � ��k�e�B�R�mi����e�g��®ab ­hb

°tÅkµ_Æmº�¾O·O²�¿�Ç�²�³&º�²�ÈOº¤¿�ºy¶{» bS98���Ljl�������<� �k� f�o�oU�g� ������¦o������ i���� ���M�&c���f��B���>� ��jl�B��c��o����i��m� �>f��h���#i����h���e� �����a�>� oa�mi��e�h��¦n_�E� �h�k����o�f��{��bE4]�¦o�{c�i�� � i��grV������oh ��i��m� �>j�c,�E�����c��ep8c,���d�{c�}��<�����W� c�jl�G�&c���f��T�e�z�����g� �Ti����a�������e�g�h�?c���Q �oa�mc&����`b�~M�Wi�c����H� �h���8�&c��� c&� �����k��������qo����i�����Q���g���Mp?�����s�����qi��g�h���e� �����h�>c���[�yfh�e���M� oU�i��e�h�m�`rV��� � ��fhc��/�&c� � c�n����������gb�98������c� �G �mc����e�[��pC�#�K�gf�{i���C���5fh�hi��K�{c����g����i���j>nh�e���m���������h�G��� �gbO98�h�Go����i��m� �C���{�K����Vjlc,�lnU�������� ��g���e��f���o������ i��{c�n����Wc��a�k�K� ��i{�hcg������i�r�n�f����e��jlc,�qc���� �lna�Q���hc&�?����� �8�,c� � c&���e�g�kp1��fh���nU�������ejl���hc&����«�y�gWc&�T���c��K�W����fhi���h�G�e�1�g�����Lp1�#p1����lc�n����l� �|��i��gv���� � �#c��h�B���B�KoU�i����y�p?�e� �����«� �h�Bjl�R�����G� ��jl�|jl����Bi��g�h���e� �����h�bÉ98���J� c&� � �q�������H�i�� ���������Xc�����������l�y�g jÊ���jl�������(�e�hcg���x_fhcgi��grzp?��� �l������jl�R�����(� c�i{}��T������c��e�/���B��� � i� ��jl�e�hc�� ��nU����p1����si����h�������e�g�h�p?��� i{�Ecgi���fhc����e�J���cg�J�������e�H������_�To� ��i�����3�&c���f��m��b>�3�&pC����rUpC�l�����h���[� ���#� �f��#o���Ri������&c���f��3� �>nU�Gc>jl�c����&c��ef��<c,����c�v���#�&�g��/������ �3f��h �mi���vg��� �K�m�#i����h�������e�g�h��rRc��Cp1�����ac��Cp?�e� ���� oa�mi������q���g�� ���h� ��iW�c��h����jË�&c����c�� �����5=aj#������z���hc����x_fhc�i����hcg�?nU�����E�����h�h��|���� c&� �����Q����������C�� f��<jl�c��q�&c���f��G���5� �h�Go����i��m� �bO98�h�G�&c��� c�n����e�e���l��f��G� �#f�����i��gv���� � ���i��g�h���e� �����h�C� ������jl��k���#nU�Tohc�K�?������� ����fac��`�&c����c�n����e�e����b

°t±G²�³&²�´tµ_¶�³&º�¹BÇ�²�³&º�²�È�º�¿¤ºy¶{» bC4��G���?���u� ��B���� �e���k���qfh� �Q� ���Wjl������5� ��o� �m��� i��?� �h�Wo���Ri�����p?������ ��jl�<���V� ���Wi����h���e� �����a�1� oU�i��e�h�m�����������T����o�f��{�?c���Gf��ai����_�� �g�e����kc��h�kf��h� oa�mi��e�h��5b4]��c>� ���h� ��r_� �h���1� �(�����<��o�oU�g� �����3���5� ���<o����n�����jª���5� ���<jl�������H����o�f��{�CnU������v#�e�a�Kf��qi��e��g���e�������c��e����`rGp?��� i{�Éi��g�_� ��en�f�� ��k���¦��� ����fac��<�,c� � c�nh�e�������gb��������r3� ���s����o�f��{�� �mxgfh�e��Ljl����������c��e�O� �ac��Lp1�l���� �e��|�y��Qc���[c�n����m��� ��fh�K�gbW61�J�e�mc,�_����v��K�gj#�#���(� ���#�e�ho�f��Tohc�{c�jl��� ��{�f��a�KoU�i����h�m�`r�c��h��c��e���&p?����vQ� ���jS� �W�&c���[cgi�i���{���e�hvQ� �>c��qc�o�o����oh � c&�����������g�1�����K� ���n�f�� �����zr

Page 4: Bayesian Calibration of Computer Models

4 Marc C. Kennedy and Anthony O’Hagan�����Goh �m����i�� �m��o���Ri�����(�&c��ef��<c�ixgfh�e���Cc��q��w_���cWf��hi��K�{c����_���[���hc&�1pC�Gp?�e���`i�c��e�Uohc�{c�jl��� ���i�&c��� c�n����e�e����b

°XÌ�ÈOÆmµ_³mÇ�²�¶º�½U¸Íµ_³m³&½a³ b[4]�E��cgi{}_������v�������i�c��e��n�{c&� �����Eo����n�����j|r`p1�#p?�����/na�lj�c�}R����vkfa�K�#���cgi�� fac��5�gnh�K� �&c�� �����h�1���O� �h�To� ��i������b�~M�>�K�h��f�� �kc��e���&pÎ�y�g8� ���>oa�_� � �enh�e��������������nh� ����&c&� ������ ���mb�98�����>c������<�yfhK������Wfh�hi��K�{c����g���L�&����Tc��h�sc�nU�&���# �m�K� ��fhc��/�,c� � c&���e�g�5rzc���������f�vg�E���o�{c�i�� � i��Q�e��jlc,��������nU�Q�y�cg�K��n����G�����K�ohc�{c&���G������jÏ��� ���W�R�mi�� �����|®ab �g��b

°XÐ[½5¾OµB·O¸V¹gµg³,¶m²�º�¸H¶{» b�98���T�gf�� o�f��3����� �h�>i��gj#ohf�� �3i������Tvg�e�g���Jc��R�qohc�K����i�f�� c��i��g���hvgf�N{c&���e�g�#���`�e��ohf����(���(�e��o�{c�i�� � i��?�����d}R���&p?��f��_� ���hp1��c�i�� fhc��e���>�f����e�(p?�����l� ���_�K�3�e��ohf����bdÑ�¡�H)��u¡U��� �U�e"�r5p1�[i��gf�� �B� c,�k� �ac&�Q���<���G�����< �mc����e�|f��h}_�h�&p?�Jna�mi�c�fa�K�>� ���#��f���o�f��<���<cq}R���&p?��yf��ai�� �����M���C� ���l����o�f��{��bl0?�u����Wc��e��rH� ��� �#� �Tc�j�c&������j�c�� � i�c���jl�������/p?�h��i{�5rVc&�Q�e�mc��K�<��j#No���� i��e� ����r������h����1���hc&�1�yf��hi�� �����5bd;3���g�� � ����e�m� �ra�u¡��U) �g�������{"C� ���Q���� c&� �����a�K����oq� �8�K�li��gj#oh�e��w���hc&�?�e�������m������ �#na�T��jlo�����jl���_� �m�����|c#i���jlo�f�����?i���������p?����i{��j�c,�����g���q�{c�}g�<�h��f�{�C� ��f��a��rVc��a�E�e�W� �Q�����W��c��e� ������i[���|��c,�|� �ac&�T� �h����f���o�f��W� �T}R���&p?�L�y�gTv�������E����o�f��{�TnU���y����p1�kcgi�� fac����e�M fh�¥� ���|i������kc��h�t� ����� �hc��[�gf�� o�f��bM4��[j�c,�s�����#na�ko��cgi�����ic��d���L�f��¥�����i��R����� �#c�i�� fhc��e���[�gnh� ������?�����3�gf�� o�f��C�y�g(���g����[����o�f��8i������hvgf�{c&� �����l���5�e�_� � �m���mrg����p?�h��i{�ic�� ��f��hi��� ��c����_���[c�na�gf��1i��R������f���o�f��1�����m���/���Wna�<c�i{}R���&p?�����vg��`bOD/w�c�jlo�����(c����v�������#����R�mi����e�g�J��b ��b

2.2. Examples4��1� �C������o��yf��H���[nU�<c�n������ �#���� c&� �3� ���<�&c���e�gfh�(i����hi���o��{��r������h���e� �����h�8c��h�q������c�� �����q���q�������1ohc�oa�� �s�K�gjl�ki��g�hi�������k��w�c�jlo�����[���3��c��1i���jlo�f������i������m��bt98�����y�g�e���&p?�e�hvEc���W��fa���l��p1�L���Gjlc��R���w�c�jlo�����1���hc&��i���f�� ��na�Tvg�e�g���5b

Ò ²�·VÆmÆmº�²�¸SÓ�¿�·O´tµX´¦½5¾VµR¿KÔ 4]�t� �h���h����¦���3{c����e�g�e�gv�� i�c��(o� ��� �mi�� �����zrdcE� �ejlo�����PQc�fh���K� c��o���f�jl�Tj#������(��.C� c��}��gr`��R¨&�g�(� �?fh� ��k� ��o�������i��?� ���W��� � oa��� �e�g��c��h�|�Kfhnh�K�mx_f����_�3���oa�_�K�e� ����������cg�����gc�i�� �����Cjlc�� � � c��R�y�g�e���&p?�e�hvQc��#cgi�i�������_��c���������cg�K�gbV�3�h����d� ���m�K��i��e{i�f�j��K��c��hi��m�z������������c��������e�ho�f��������y���j�c&� ��������x_f��� �m�q���#�f��|jl����<i���jlo�����w�j#��������8� �?������c,�,c��e� c�nh�e�gb

98���qi������l����o�f��{�>i�c��EnU�q�����R�����m�M�e�_� �|�����g� �������a���e�hv|� ���qc�� jl�g� o���� � i[i����h�������e�g�h�Tc&�T������ ��jl�<���z�����Tc�i�i��������_�Q��p?�e�a�k������i����e�g�5r�p?���h�k� oU����5r�c&� jl�_�Ko��h�����i<���{c�n������������Cc��h��� ���_�K�Q�����h������v� ���J�ac&� fh �|���<� �h�J ��e�mc�� �s�¤�K�gf�{i���� � j|r8�K�gf��i��|�e��i�c�� �����5r1������c�� ��������v��_�r8������cg�K�|��f�{c&���e�g�5r����oU�g� �e� ��������������i��e������b

98���#����� oa��� �����B���(�cg�������Rfhi���� ����G���Qc����evg�����Bi���jlo�����wJo����i��m� �G�e�R�g�����_����vq�&c� ����fh�<i{���j#� i�c��c��h����_�R�� �g��jl���_��c��`o���Ri�����K�m�8p?��� i{�|c� �Q�����3���� �mi�� �����gnh� ����,c�n�����b(@Bc��R�k� �ejlo������y�R����vqc���� f�jlo�N� �����h�?c� �Qj�c����T�e��� �h�[PQc�fh��� ��c��ko���f�jl�Tjl��������r����Ro�� i�c���������� f������e�hv#���Jcl����v��J����vg ��G���Ojl�������e�ac����mxgfac�i��gbÖÕ��g���w�c�jlo��e�gr?� �h�E� oa���×c��h������ �mi����e�g�Î���T�����Lp?���h�×c� �Ec����Kf�jl�m��� �¦���j�c��e�i��g�h���{c��_����f���e�hv[�����Q� {c,����U� ��j#�T���z�����T ��e�mc�� ��kohc� � � i�����b

Dd����W�y�gV����� �/�K��jlo��e�e�h�m�[jl�������jlc��R�T���h�����8�e�ho�f������ac,���1ohc�{c�jl������Of��hi��� ��c����_���Wc����K��i���c�� ��p?�����s� ���j|b|98�h���K�gf�{i��l� � j|rOp?��� i{�¥ �o� �m�K��_���Q������c�jl�gf��_�W���?j�c&� � � c��( ��e�mc�� ��`rOc��h�M���������oU�g� �e� �����>�g������i��e����r&p?��� i{�>� �V� ���1�c�� �8c&��p?��� i{�>j�c&�������c��_���W�����?c���Oc��Ovg �gf��h�T�����g���R� �O����oU�g� ���������X� ���|vg �gf��h�`r1c������w�c�jlo�����b�98���Jc�o�o����o����c�� ���&c���f����y��l� �h�B����oU�g� �����e�g�X�g������i��e���¥�����g�������e��i�f��e�>� �M���������jl�e���M��� ����Ø��g����r8����h�m��bBI3����c�f��e�[�&c���f��m�[c� �q���u� ��tfh� ��¥nhcg�K�m�s���¥�����k� ��������?�����koac� � � i�����#c��h�s�����k���_oU�����?� � {c����t�&�g��Wp?��� i{�t������jlc�� � � c��Cohc����K�m��bs98���k������v��_��c��h���f�{c&���e�g�<���g�����d������cg�K�grc��a�<� ���dp?���h�T� oa���Qc��a�T���e��i�� �����Qj�c,�Gc���� �8�hc,���dcg� � ��i�� c&� �m�3oac�{c�jl������f��hi��� ��c����_����b

98����PQc�fh��� ��c��Eo���f�jl��jl�������d� �Ti{���mc�o5bl~M�qi�c��sj�c�}g�ljlc��R�J� ���gfh��c��h���Q���C�f��h�Tp?�e� �h�e�¥c��� ��� ���gK�3� ohc�i��T���O� ��jl��ra� �l�y��3o��cgi�����ic��5o�fh oU�g� ��?i��R���Wf��hi��� ��c����_���q� �������3c��|����� f��Wc��h�|p1�

Page 5: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 5i�c��k�� �mc&�?�����Q�yf��hi�� �����Bc���}_�h�&p?�5bC98��� �?� �������?� �f��W���Ojl����Wi��gjlo��e��w�c�� jl�g� o���� � iQ����� oU��{�K�����jl�R����� ��b

I3f������v<� ���?i��gf�{�K�1���Hc��[cgi���fhc���������cg�K�grmjl�mc�� f� �jl���_���O���H����oU�g� �e� �����lc���Cj�c����1nR�W���e�H������_����vgc�������c&���e�g�h�#fh� �e��vtct�,c� �������¦���W�����R� i��m��bÍ98���Bo����i��m� �����Tjlc�}R�e��vs������ �Bjl�cg�Kfh �j#��_���l� ������l�����c��evg�_�K�y���p8c�{�`bE9C�Ro���ic����e�¥cE� c�j#oh�e������vg�cg� �>���[��c�}���¥�y �gjÙcL� ������c��h�¦c��hc������K�m�¥���Xc��c�na�g�c�� �g �gbV@J�mc�� f� �jl���_�?��� �g1� �8���g�� ����fai����c&���mc�i{�|���{c�vg�G���V�����Tjl�c�� f����jl���_�?o����i�����b

98���?c�nU�&���C������i�fh��� �e�g�>���� c&� �m�V� �<� ���8fh� �1���h�����8o���f�jl�1jl��������e�lcQ�KoU�i����ai8cgi�i�� ����g�/��i����ac���e�p?������>oac�{c�jl������Qf��hi��� ��c����_���| �o� �m�K��_���Gna��e�������Tc�na�gf��Q� �f��[�&c��ef��m�<���(�����l�e�ho�f��Tohc�{c�jl��� ��{��y��Tc��sc�i�� fhc��� ��e�mc�� ��b>~M��j�c,�Bc�� �K��p8c��_�Q� �|i����a�K� ����Wck���� }Bc����K�m� � jl���_�Ti����_����wR�r5p?�h����#p1�p1c��_�(� �[o������ i��8oa�_� � ��n��e�<i��g�g�{c�jl���hc&���e�g�q�e��� ���G�yf���f� �gb/0��|c�i�i��������_�1i���f�� ����i�i�f�1c��8c��R�[���ejl�grc��h�k����������y�g �Q�����[� ��f�{i��<�����j�rUp?���h�J�KoU���m�Jc��h�|p?���h�J������i����e�g�Jc���T�c��h����j|rUc��h�k� �h�>����o�f��{�c���<� f�n����mi��?���#oac�{c�jl���� � i3�&c� � c�n����������gb

Ú »5¾z³&½U¿�½UÛaº¤¹�²�¿�´¦½5¾VµR¿KÜ �������������vg��ic��5jl��������<c���>fh� ��J� ��oh �m����i��<vg �gf��h��p8c&����?Ýa�&pTra�y�g��w�c�jlo����C� �To������ i��������?jl�&����jl��g�����Hi��g�g�{c�jl���hc��_�������[� ����� ��������O� �h�?�e����������U��� ��i{�hc��v��C�y �gjÖc���� �mc�jÃc��u� ��?{c�������c��e��b�~E�Wi����h� ������1� ���Tjl������z�����i����na�m�����J7?��j�c��h�&p?��i��l"��1����bz���m����®_��rRp?��� i{�o������ i��{�<�K� ��c�jÞ��� � i{�hc� vg��b[4]��o�f��{�<� ��� ���ljl�������(�e�hi��efa����cq���ejl�q� ����e�m�G���Cjl�cg�Kfh �m�B{c�������c������c&�{c�rO� �h�k{c&����������&c�oU��� {c��a�Ko���{c&� �����zrOc,�g��{c�v������U�mi����e�g�q� {c��a�Kjl� � � �e�R�e���E���?� ���|� �����CßHà�p?�h���� ���lo�����a�e�l� �8��fh�K�>� c�� f�{c&����`rzc��h�McJi����a���{c��_�<áâp?����i{�s� �Q ���c�� �m�B���k��������������d���8�Kfhnh�KfhK��cgi����{c����hc�vg��b

A/c�{c�jl������8f��hi��� ��c����_���kc�na�gf���ß à c��h��áÞ�y�g�e���&p��1�y���jÃ�����T��cgi������hc&�?�����Wjl�������V���?fa�K�m�����o������ i��/p8c&� �OÝh�&p��V� �����f�vg�[i���jlo�����w>vg��������vg��ic��R���� fai�� fh �m�Vp?�h��i{�lc���C�h���(���� �mi����e�W�gnh� ����,c�n�����b98���3jl�mc�� f� �m�l�c��e����c����a��c���cTp?���e�U���hi���fh���<�c��h���gjãjl�cg�Kfh �j#��_�(��� �gr�p?����i{�����1c��q��w�c�jlo��������ohc�{c�jl��� ���iG�&c����c�n��e���e����bd@J������`�e�hcg���x_fhcgi���c� � � ��1�y���j������W�K��jlo������aic&���e�g�h�?���g�� ����fai���knR�q�����jl�R�������e����vlo���Ri������r�cg�1p?�����|� ���>PQc�fh� � � c���oh�ef�jl�Tjl��������b

7?��j�c��h�&p?��i��k"��3����b/���m����®R�8fh� �>jl�cg�Kfh �j#��_�������(c�i�� fhc��O�K� ��c�jÁ��� ��i{�hc��v��T�������c� �Bc�na�gf��� ���[�&c���f���3���dáäc��h�JßHà�b<���&p1�����rac��?�������|oU�����_�G��f��3���Q� �������GoU�g���K��n����T� �kj#�mc�� f���Q� ���>� �f���&c���f��3���5� ���GÝh�&p�o����i��m� �rg� �e�ai��<pC�<i�c����������ljlc�}��Goa�g�e�_�8j#�mc�� f����jl���_���C���`�����<�����������v�������gfh�ohc&� � � �q���5Ýh�&pTb/98��� �(���� c&����(� �[� ���<� ���c[���z��� � ��fhc��U�&c����c�n����e�e���#�����i���enU����e�|�R�i�� ��������be�gr_c��h�pC�Qp1��f�� �������h�h�Q� ���l� � �f��<Ýh�&pT�R� ��nU�Wc��|c,����c�v��m���&c���f���b

2.3. Statistical methods and previous work�R��jl�G���`� �h�G�mc���e�#pC�g }#���q� �h�3�h��������z�K��c�� � ������ic��Hc��hc��e��� ���(���zi��gjlo�f�� �1i������G�gf�� ohf����Cp1cg�(oh �eNj�c���e���#i����hi��������lp?�e� �E�u¡h�]"�)��h'&���&����'&¡hbd98�ac&�8���rgvg�e�g�����hc&��c>i���jlo��� �K����vW�gf�� o�f����8c&�8c>��c�jlo���������e�ho�f��3i��g���hvgf��c�� �����h�r_� ���Toh �gn��e�jÃ� �8� �l��K� ��j�c&���Q� ���T�gf�� o�f��3c&�3� ��jl�Q��� �h��?����o�f��3i������hvgf�{c&N� �������y�g(p?��� i{�������<i������3�hcg�d�����C�g���CnU������f��5b/98��� �(� �C ��e��,c��_�(p?�����q� ���Qi������G���Cohc� � � i�fh��c� �����c� vg�?c��h����w�oa��h�K�����8���>�f��5b�0��q��jloa�gK�{c��_�(����R����p«���H� �h���CpC�g }>���8��c�i{}��r�~M��� i{�5rR@J���{i{�������ac��h�~��R�����K��g���g��r�c��h�l� ��jl�1j#�g �8��i����_�/ ���y������hi����c���?.Cfh ��e�J"�������bh���m���h�m��r�@B��� � �?"����&��bh�K��g��­g��r68c&� �m�T"��?�&��bV����g�g©g�Cc��h��åQ�������m����c��h�B:[� �Gc�vgc��E����æ�ægæ�c_��b

98���|�������s�y���jç���3fh�hi��K�{c����g���tcgi�i���f��_� �m�s�y��l���¦����� �lpC�g }s� �#i������kfh�hi��K�{c����g���gb¦@J�������e�ac����mxgfac�i��grV��� � ��fhc��(�,c� � c&���e�g�¥c��h�¥�gnh� ����,c�� �����M��� �g>c���������[��������&c��_�WnU�i�c�fh� ��� ��� �����[���c&� � ��jlo��Q����oh �m����i��Q� ���l��c��/oh ��i��m� �<c��T�����K� ���hi��Q�y���jè������i��gj#ohf�� �Tj#������/��f���o�f��mrVc��a�L�gn�N�K� �&c�� �����h�(���5���hc&�8o���Ri�����Cc� �G�����8fh� ��`b/03�e�H����o�f��?ohc��c�j#��� ���Cc���G� f�o�oU�g� ��q}R���&p?�zrRc��h��������Kfhn����i��C���#oac�{c�jl������1f��hi��K�{c����_������8ohc�{c�jl��� ���i3�,c� � c&���e�g�5b/98���Q���{c&� � �K� � i�c��5c�o�o���gcgi{��fh�K�m������ ��� �CpC�g }#���1nhcg�K�m������ �o� �m�K��_� ����vT� �h�Gi��gjlo�f�� �1i������G�gf�� ohf��8cg�Cc��qf���}R���&p?�q�yf��hi����e�g�����5���{��e�ho�f����rhc��h��jl������e���e�hvl� �hc��?�yf��hi����e�g�Jc��?cl������i{�hc��K� � i<o� ��i������b

0������ ���3o����n�����j� �ac&�3�hcg�?nU�����B��c�i{}R�����nR���K��c�� � ������ic��Vj#��� ���������y��<�K�gj#�Q���ejl�[����� �hc��3���

Page 6: Bayesian Calibration of Computer Models

6 Marc C. Kennedy and Anthony O’Hagan��¡U�{"�)������u¡h��$|��¡U�&��$,+{� +�bl98���l��n����mi����e�g�>���1f��hi��� ��c����_���Bc��hc��e��� ���G� �<� �|����fh���J�����������K� ���n�f�� �����E���� ���8i������1��f�� o�f������hc&�����O���h��fhi���[nR�To� �gnhc�nh�e�������T��� �K� ��en�f�� �����h�O���[�e�ho�f����b�98���C����o�f���oac�{c�jl��������� ���� ��n�f����e�g�h�<jlc,�|nU�#�y���j>f�� c&���e�g�h�����Cohc��c�j#��� �3f��hi��� ��c��e�_����rH��b �gbWohc��c�j#��� ���3p?���g� �[�&c��ef��m�c����f���}R���&p?�zrg�g(���5oac�{c�jl���� � i?�&c����c�n����e�e����rg�¤b ��b/ohc��c�jl��� ���dp?���g� ���&c���f���1c���������u�8f��h� oa�mi��e�h��5b98�����K��jlo�����K�Tc�o�o���gcgi{�J� ��f��hi��� ��c����_���Bc��hc��e��� ���<� �Tck@B���_� ��.1c�����k� ����f�� �����M�e�Mp?��� i{�Mi������av�Nf�{c&� �����a�����C�e��ohf����Qc���[���c,p?�Lc��G{c��h����jÁ�y �gjÁ� ����eT��� ���� ��n�f����e�g�5bT98���li������#���3� ����L�f��B�y�g�cgi{�|��c�jlo����W����o�f��Qi��g���hv�fh�c�� �����|c��h�������W��� f������e�hv��K���3���/�gf�� o�f������ �3cq�c��h����jÁ� c�jlo��e�W�y �gj� ���T�gf�� ohf��3��� ���� ��n�f����e�g�k���lna�W�K� fh���e�m�`b(�R���W�3���e� �g�s�K��g��­g�d�y���c#����R����pTb

98���J@J���_� �J.1c���e�Ejl��� �h�R�¦�y��lf��ai��� ��c��e�_���¥c��ac����R� � �>� �l�K��jlo��e�|n�f��#nU�i���jl��#��j#oh�cgi�� � i�c��p?�����>� ���?i��R���C� ��i��g�K� ���Q� �<�f��5r�nU�ic�fh� �C����� �h�1� c��v��C�Rf�j>nU������a f��a�V��x_f������`bO@J����C���qi������hi�����[i�� c���jl��s�y�g[2zc�� ���t���RoU��{i�f�nU�k��c�jlo����e�hv¦��@BiåTc,�«"��W�&��b�r?��R¨&�h=/�R� �����5r?�m���_¨�=(:GpC��5r8����_���i��gj#oac����«p?�e� �É� ��j#oh�e�M@J���_� �¥.1c���e�ar��K��B�y�gk��w�c�jlo��e�¥.C � i{}^"��q����bT����g���_��c��h�×�����e� �g�S"���&��b��K��g���m��bz03� �����K�3"��V�&��b�����g���_�5i��gj>n������8cG@B���_� ��.1c���e�Gc�o�o���gcgi{�T� �<f��hi��� ��c��e�_���Tc��hc��e��� ���Vp?�e� ����{c&�����K� � i�c��5�e�_�����oa�g��c�� �����|����� �h�>i������gra���U�mi�� ������e�kfh� �e��vq� ���W���_� � oU��� c&����3cg��c�i{���c�oB�Kfh ���v_c&� ��y��8�����Wi������gb

�3c,�R�e��i{}#c��h��:[� �3c�vgc��J�K����g¯g�Vo���� ���_�CcWx_f��e� �G�����H������_�C68c,�g�� ��c��#c�o�o���gc�i{�[� �>f��hi��K�{c����_���c��hc��e��� ���>nhc�� ��¦���¦csPQc�fa� � ��c��to����i�����[o� ����[jl�R������bt98�����t��� ������� ����oU�g�K� �������#j#�mc���c��h��&c����c��hi��|���Q�����L�gf�� o�f��k��� ���� ��n�f����e�g�5r�c��h������� �q� �q��wR�����h���m��� �toU�g�K� � ������m�����ej�c�� ���������Q�������� ���� ��n�f����e�g�t�yf��hi�� ������c��h�t� ���J����h�K�e���M�yf��hi�� ���������������k�gf�� ohf��q�����K� ���n�f�� �����XnR�X:<c�}R�e��¥c��h�:[� �Gc�v_c��E�K��g���g��b

98���� �3jl�����������C���5f��hi��� ��c��e�_���lc��hc��e��� ���d��c�}g�3c�ii��gf��_�(���5ohc��c�jl��� �df��hi��� ��c��e�_���lc��h��oac�{c&Njl��� �� i��&c����c�� �����s�e�Xc������e� �����s���Ei��R���qf��hi��� ��c����_����bB�3�&pC�����mr5�������gn����i�� �����q� �>�K� �����(�y��i�fa� � ������� �h�Wi������W�gf�� o�f��rh����� ��� �3ic�� �Q�e�|�����T�y���j����V�����W�gf�� o�f��G��� ���� ��n�f����e�g�5r�{c&� �h��?���hc��|���������o���Ri�����<���{�K�����bq98��� �l� �<� ��� ���y����l����� ��c&��jl���_�T���Cjl������d�e�ac����mxgfac�i��gr5��� ����fac����&c����c�� �����L�g��nh� ����&c&���e�g��������mb

0������ ���To� �gn�����jÞc���� �Ri���c�� �m�Bp?�e� �si���jlo�f�� ��Wi�������<� �#+�"�¡�+��u���ué�u��$B�&¡H�&��$,+�� +�rVp?�h�g� �[vg�gc���� �� �¥i{�hc��cgi�� � � � �k���&p�� ���Bi������J��f���o�f������ oU���h���#���¥i{�hc���vg��l����� ���J����o�f��{��r8p?�e� ��ohc�K����i�f�� c� ���y������hi��T� �k�������_� �e�y�R�e��v�����o�f��{������p?��� i{�J� �h�[�gf�� o�f��<� �3���� c&���e�g������� ���a�K�e� �����W�gG���h� ���h� �e� ������b<0v��R���k� ��fh�i��G�y�g8� ���>��c� vg�G��������{c&��f� �Q�g�k����� ���Kfhn����i��3������c��e� �������1"��1�&��bV�¤��æ�ægæg��b/~��h�e� ���Gj>fhi{������ ��� �dj�c�}�����h�Tfh�K�3���`���{c&� � �K� � i�c��hj#��� �������d� ��� �Gc���8� ��jl�?������c�n��e�?��w�i���o�� �����h�b������?�y�gd��w�c�jlo��������������J���m����­_��r�@B��� � �?���m�����,��r�4]j�c��lc��h�q.C�����&�g����K����gæg��r�~E���i{�B"��d�&��bU����g�g�g��r�@J�g �� �?����g���,��r���gj#j�clc��a�|��c��e� �������d����g��¯_��r�c��a�|:[� �3c�vgc��¥"��1�&��bV���m���g�g��bO4]�JI3{c�oU��>"��?�&��bz�K��g���g��r��K��h� �����e�R�e���c��hc��e��� ���8� ��c�o�o����e�m��cgi���g���8cl�c���v��Q���1��� i����hc� ���g��erRfh� ����vl� ���>j#������zc,����c�v�����v>� ���mc��?����IG�c�oa����m���g©g��bd0G�?p?�����|�e�_� � oU��� c&���e�g�5r������� �W���{c&�����K� � i�c��5c�o�o���gcgi{����C���q�K��h�K�e� ���R������c��hc��e��� ���8�g��������c�}��c�ii���fh�g�W���8� �����K�gf��i������?f��hi��� ��c��e�_���Ei���jljl���s���Lc����C�K��c�� � ������ic��Cc��hc������K� �T���?i���jlo�f�����#i��������f���o�f��{��r��ac�jl������i������Qf��ai��� ��c��e�_���gb

98���Q�h�hc��H� ��oh��i<���k�gf���Kfh �g�������V� ��� �8�h����k� �W����������) �&����'&¡abC03�?������i�fh��� ��k�e�J�R�i�� �����s��b���r_������ {c����e� �����ac��Rp1c,�T���a�m�����ej�c&���e�hv<fh��}R���&p?�>ohc��c�jl��� ���O� ��nR�Wc��lc��[����i1� �c��i{�W�y���� �h�1nU��K�/��� � ����v�&c���f���bq�R��jl��c�ii���fh�g�T� �<� ��� �nR�J��c�}����M���1��nh� ����&c&���e�g�L������mr` �m�K� ��fhc��/�,c� � c&���e�g�Ec��h�Ljl�������e�ac����mxgfac�i��gr�n�f��[�g�����M��jlo�����i������e�s���� �gf�v��s������j#�mc�� f���q���?���l��� � i� �ohc��hi���bL98�h���#jl�cg�Kf���q� ������Gv����h��{c����e�������g������oU��|nR�kjl������e���e�hv�� ���m�K�[��� �g8� � j��G�e�Bc��_����w�o���� i��e�Gp8c,��rhc��h�J� ��fh� fhc���������_� ��������q����fh � ������i�b(0�� � �hrh� �e�ai��Q� �h�T��K� ��jlc�� �m�k�&c��ef��m��c���<� ������ ��c&����|c��8�e��� �����p1����Q}_�h�&p?�5r� ���W� f�nh� �x_f���_�8oh �m����i�� �����h�1�{c�}g�<�h�lcgi�i���f��_�?���V� ���q�� �jlc��e�h�e��vR�1ohc�{c�jl��� ��8f��ai��� ��c��e�_���gb

4]�ki��g�_� {c��K�r������TPQ2z�3DÉ�¤P<�����{c������ ���25��}����������R�R�����hi��� ��c����_����D(�K� ��jlc�� �����a�djl��� �h�R�����z7?��Nj�c����&p?� i��|"��G����b(�K�����®_�3���R��Qc����e�&p^�yf��e���J�y�g<oac�{c�jl������<f��hi��K�{c����_����b>98���lc�oho� �_c�i{�B� �Q���H�i�N� ������e�J68c,���m�K� c��5b<0��E�e���e� � c��/@J�g�_� �l.1c� ������c�jlo����>� �Q���c,p?�B�y �gjÁp?�ac&�<c�jl��f��_���3� �k� �h�[o��������� ���� ��n�f����e�g�����z� ���Qf���}R���&p?�k�e�ho�f����r�c��a�q� �(��������p1����v��_� �m�qnR��c>���e}g�����e�h�_���q� ���j|bdAd����� i����e�g�h�c���[j�cg���lfh�K����vJc����O� ���q��c�jlo�����E����o�f��>i������hvgf�{c&� �����a��r`c��a�B������ �m�Kfh���T� �Tc�p1����v��_� �m�E��c�jlo����

Page 7: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 7�y �gjè� �h�qoa�_��������e�gQo� �m��� i�� �����q�����K� ��enhf�� �����5bkÕ���T���h�K��c��hi��gr5� �h�qpC��evg�_� ��M��c�jlo�����j#�mc��s� �Wc����K� ��j�c&� �Q���V�����Tjl�c������O� �h���8o�������i�� �����T��� ���� ��n�f����e�g�5b

4��8p1��fh����nU�Qoa�_� � ��n��e�<p?�e� �����������TPQ2z�3DXjl���������q���#c��e���&p«�y��1� �h�<i��R���Gf��ai��� ��c��e�_���qc� � �K����v�y �gjÙ�hc,�R����vs�������¦c¥��c�jlo��������<�f��h�r8c�� �K�M� �tc��e���&p��y�gqohc�{c�jl��� ���ik�&c����c�� ������n_�¦��wR� ��h������v� ���l@J�g�g����.1c� ���qjl���������B���kc��e���&pÍ�y��T��{c,p��?�y���jê�����[fh�h�KoU�i����a��E�e��ohf����Qc&�<� �h�#oh �m����i�� ��������{c�vg��rOn�f��#� ���m�K��c���������l�������k�e�t� ���ko�f�n������ ���m�¥�e�e� ��c�� f���q���L��c�� ��bM03�[�e�t� ���kj#�g �q� {c����eN� �����hc��hi�c��e��n�{c&���e�g�#c�o�o���gc�i{�zr,� ��������}����������R�R�#� �d{c&������/���f�����K� � i?c��h�l�g�����>��� �>�e�R�g� �����>nac�� ��#���jl�R�������e����vq�����[������i����ohc��hi���nU����p1�����Ei������>�gf�� ohf����Qc��a�|� ���[ �mc��Vo� ��i������b<@J�������O�e�ac����mxgfac�i��gr �m�K� ��fhc����,c� � c&���e�g�Lc��a�L�gnh�K� �&c�� �����L� ���{�<c���[�����W�����K� ����vgf���� ���m�L�g<jl������e����E��w�o�����i������e�gb#;3�c�ii���fh�g�d� �(��c�}g�������`� ���jS���qo�������i�� �����5rg� ���<��n����i����e�g�3�K� ���e�Una��e�hvW� �>��K� ��jlc�� �3� ���<i������3�gf�� ohf���c�� ���1� �hc�����c��e�e����b

0������ ���W61c,�g�� ��c��Lc�oho� �_c�i{�J���Bi�c��e��n�{c&� �����E���Qvg�e�g���En_�s.C�c��ev¥"��<�&��b(�K��g��¯�r/�m���g�g��b#98�������jlo����&�kjl������e���e�hvq�y��G� �h�>���� c&� �����a�K����oBnU����p1����Li������[�e��ohf����Qc��a�J��f���o�f��G� �hc��<� �Gc�}R�e�J���q�����PQc�fh��� ��c��Moh ��i��m� �Wj#������Cjl��g���e�g����s���¦i��������mi����e�g�¥p?�����¥j>fhi{�t��� ���Wp1���}L���¥� ��� �>�h��� �`bJ4]�.C�c��evt"��<����bC�K����g¯g��r5� �h�qo���ej�c���B�gn����i�� �����l���W� �Jj�c�}g�l� ���q� �c��i{�E�y��[c|na�m���W�h�[i�c��e��n�{c&� �����jl����[����i��e��_�Tc��h�M�K���K� ��j�c�� � i�bl98������Qj#������e������v| ��Ýh�i����<� �h�#�e� ��c�� �����l�hc�� f���[���(�����q�K�mc�{i{�5rc��h�q� ����e8jl�����������?c�����o��1� ���T68c,���m�(2z�e���mc�8o��������g� ��o��R�l���OP<�g���h���������M�K����g¯�rU��g���g�(c��h��~E�R������m���g�g��r�cg����o�oU�g� ��>� �WcG�yf����e�l� oa�mi��e�h��l68c,���m�K� c��>c��hc������K� �bV98����c�o�o���gc�i{�[���d��wR� ��h����#����.C�c��ev"��8�&��bV����g���_�d���#� ��c&�8�����Wx_f���K� �����|���Oo������ i����e�g���y�g�e���&p?�e�hvlic����enh�c�� �����5b

.C�,wM"��8�&��bO���m���g�g�(�����i���enU�Tc�i�c�����n��c�� �����kj#��� �����k� �ac&��� ���K��jl�e� c�1���l� ���Q���cg�������e�g�hc��5� �c��i{��y��TnU��K�Q���K���e��vJoac�{c�jl������{��r5nhf��Wp?��� i{�E���o�� c�i���Qc��s��wRoU���a�K������i������lp?�e� �M� �h��j>fhi{�si{���c�oa��e�_�����oa�g��c�� ��<��n���c������m�Lfh� ����v�� ����PQc�fh� � � c��Loh ��i��m� �Qjl������¤b�98����eTjl���������s���R��Q�����Tcgi�i���f��_��y��?���j�c���������v#ohc�{c�jl������8f��hi��� ��c��e�_����c��?� ���To�������i�� �����|���{c�v��gbd�R���Tc�� � �q.C�,wE"��?�&��bz�K��g��¯g��b

0��Xc��K����jlo��#� �Ei���j[n��e�h��o���e�g>��wRoU�� �[�go������e�g�t���¦na��� �¥������ic����enh�c�� �����¥ohc��c�j#��� ���Wc��h�� ���[jl�R�����O��f���o�f��Q���Gv�������Jn_�J7�c��u� � �grHP<������h�3c��h�EëU��¦���m���g©g�8fh� �e�hvkc��Bc�o�o���gcgi{�k�������Bic����68c,���� � c���� �R�g������ � ��b/98��� �?p8c��?i���e� � i�� �K�m��nR�q~M����oa�K�>�K��g�g©��1c��h����i{�_p1�����?c��h�|�d���� �T�K��g��¯g��rc��h�k���|c#�y�g�e���&p8N�f�okoac�oU��mr�A��_�g�e�Tc��h�k73c&�u� � �M���m�����_�doh �goa�_�K�Tc��|c��e� � �ac&� �����Tic����e�m�k68c,���m�K� c��jl��� ���e�hvhb�;����������Gjl��� �h�R�B��w�o�����i������e�� �mi��gv���� �K�m�?jl�������V�e�hcg���x_fhcgi���c��h�������>f��a������e�R����v�i���j#No�f������i������T� �?� f�o�oU�g� ���� ��nU�W�K��jlo��e�T�����fhv��k�y���i������Qf��ai��� ��c��e�_�������lna�T��v����g �m�`b

:Gf�[c��hc������K� �T���¥� ����o���� ���_�>ohc�oa�>� �W�����q�a��K�[c&� � �j#o��[���Bjl�R������rdc��h�s���J��c�}���cgi�i���f��_�������w�o�����i������e�grO���u��� ���[�K�gf��i���8����fh�hi��K�{c����g����c����� ����vl�e�|�����>i�c��e��n�{c&���e�g��c��h�J�Kfhnh�K�mx_f����_��fh� �T���i��gj#ohf�� �Cjl������� �bO~M�G�y ������lcgi{}R���&p?�e�m��v���� �hc��1�gf�Cjl��� ������cg�Ci�f�� ��g���e�#��j#oh�e�j#��_� ��k� �(������yf����e�¥68c,���m�K� c��5rOnU�i�c�fh� ��p1����K� ��j�c&�����R�Roa� ohc��c�jl��� ���Wn_���¤c�o�o���,w��ej�c�� �m�Toa�_��������e�gWjl�R����b9z�Q�{c�}g�C�yfh�e�Hc�ii���fh�g�/���Hfh�hi��K�{c����g���>�e���R�Roa� oac�{c�jl������{�V� �(c����������������o�� i8�y�g/�yf� � ���d �m�K�mc�{i{�5rn�f��QpC�#nU�����e����[� �hc��<�gf�Goh �m�K��g�<jl��� �h�R��������v��|� �G� ���#�yf����e�m���<� ��c�� jl���_�<� �|��c&���[���Ci��gjlo�f�� �i������Qf��hi��� ��c��e�_� ����r�c��a�kc� vgf��<� �hc��8�e��j�c,�qnU�Wc����mxgfac&� �Q���|o��cgi�����i���b

3. BAYESIAN INFERENCE FOR FUNCTIONS

3.1. Gaussian processes98���>fa�K�[���CPQc�fa� � ��c��Jo���Ri�����K�m���hcg�3nU����Bjl���_� �����h��L� ���g��{c��`���ejl�m�G���E�R�mi����e�g�E��b ­�b<98�����Jc���na��e�hvT�e�hi� �mc�� �e�hv����Wfh� ��l���qi�f�� ��_�(���{c&� � �K� � i�c��h �m�K�mc�{i{�5r�c��a�[p?�����hnU����jlo����&���m�[���l� �h���(ohc�oU��/���jl�R�����hnU������� �h�3i��gj#ohf�� �Ci������3��f���o�f��1c��h�ljl�������a�e�hcg���x_fhcgi��gbV4��(� �(� ��� ���y�����c�o�o����oh � c&���C��� ��R�e�pX�����3}g���[� ������������ic��Hc��h�lo�{c�i�� � i�c��h� � � f���rg� ��vg��������Cp?�����k� ��jl�3��� � i�fh���K�����q���zc��e� � �hc�� �����jl�R����� ��b

25���lì���í��Qna�kc��yf��hi����e�g�¥j�c�o�o�����vBc��¥�e��ohf��[îãï«ðñ���_� �Bc��M�gf�� ohf��>òsóËì���î/�Q���tô1b¥98����e�ho�f��<� ohcgi��[ðèic��JnU�[c� n��e� {c����rhn�f��G� �3���_oh��ic����e�|cq� f�nh� ���G���dô�õ��y��<�K�gj#�[öRrH� �����hc&�3p1�[ic��

Page 8: Bayesian Calibration of Computer Models

8 Marc C. Kennedy and Anthony O’Haganp? �e� �GîMcg�(cT�g�i�� ��CîsóÖ�y÷`ø&ù ÷aú�ùû�ûû�ùK÷ õ ��bO~M�Gi����h�K� {c����lò>���>nU�GcW��i�c���c�r�ò�ï|ôCrU�y�gC� �ejlo�����i������������[c��h�|���� �gf�v��h��f�������� �Goac�oU��mran�f��<�e�<� �G�x_fhc�������oU�g��� �en����W�y�gGò�����nU�[cq�g�i�� ��G�e�Mô/õ�übG~M� �vgc���Bì��Kí �<c��Qc��Lf���}R���&p?�L�yf��hi�� �����5rOc��h�L�e�sck68c,�g�� ��c��|�y�c�j#�pC�g }|�e�Q� ��� ���y����[nU�i���jl��Qc�c��h���gjË�yfh�hi����e�g�5b[98���qPQc�fh� � � c��Bo����i��m� �G���Tc�Ýh��wR��n����#c��h�Li����R����������_�Qi���cg� �G���8��� ���� ��n�f����e�g�h�� �[ �o� �m�K��_�(o���e�gC}R���&p?�����vg�3c�nU��f��8ì���í���b/4]�kc>���g��N]61c,�g�� ��c��>�y{c�jl�pC�g }Hr�p1�<j#��v��_�C� ��c&�?ì���í��c��1�e�O�e�?pC� �Q��{c,p?��{c��h���gjl�e�l�y���j�� ��jl�<oa�go�f�� c&���e�g�k���z�yf��hi�� �����h�rhc��h��oU�g�K� fh��c�� �Tc#PQc�fh���K� c��o���Ri�����5jl�������g�y��V� �h�1��� �K� ��en�f�� �����W�����yf��hi�� �����h�V�e�>� �hc��OoU��ohf���c�� �����5bO98��� �z� �z���h�����W� ���1�ejlo��������e�_�����o� ����c�� �����M���8� ����������N]68c,���m�K� c��MpC�g }L�e�¦��cgi{}���rV~E���i{�5r/@J�e��i{�h�����Cc��a�s~��_�h�Î����g���_��r5�y�g�e�a���{c��hi���r5c��e� �h��f�vg�B� �h�� �#c�f�� ���g��<c���li����c�����|c���� �kc,p8c���>���d� �h�l68c,�g�� ��c��J�e�_� � oh ����c&���e�g�5bT4]�� ���lo���� ���_�Tc�f�������{��U�go������e�g�5r`������61c,�g�� ��c��B���g�����o������c�� �����E���<��c�Tj#�g �#�hc�� f�{c���r5c��h�Ep?���e�/nU�fh� ���� �����f�vg����f��1����� �?ohc�oU��mb

Õ����j�c����e�grzì���í��G�hc��QcJPQc�fh��� ��c��Lo����i�����<�����K� ���n�f�� �����M�e�(�y��Q�������JýXó���ù{��ù ­hù�ûû�ûa� ���<�������_���� ���� ��n�f����e�g�>���`ì���îdø��ù�ûû�û�ù{ì���î/þ��V� �Vj[f��e� ���,c� � c&���C�h���jlc��_�y��/c�����î(ø,ù�ûû�û�ù�î/þ�ïBð|bO4]�#ohc� � � i�f�� c�mrì���î/�1� �?�����j�c����e�q�����K� ��enhf�� �m���y�g�c����zîtïBð|b

98������� ���� ��n�f����e�g�¥���>i{�hc�{c�i�� ���� �K�m�LnR�L�e���>jl�c��M�yf��ai�� �����¥ás��í���r�p?��� ��ás��îd�[ó�ÿ��&ì���îd���_rc��h�|�e���<i��&�&c� � c��hi��Q�yf��hi�� ���������Kíeùí ��rHp?����������¤î8ù î�� �8ó i��&��,ì��¤î���ù�ì��¤î�����gb�~M�>fh� �W�����>�h����c�� �����ì���í����� ��yás��í���ù�����í�ù�í����<���#����������<� ���Qc����K�K���e�g��� �ac&�3ì���í��C�hc��8clPQc�fh���K� c���o� ��i�����C��� �K� ��en�f�� �����p?�����|j#�mc��k�yf��hi�� �����|áM�Kí ��c��h��i��&�&c��� c��hi��3�yf��ai�� ���������Kíeùí ��b

98����fh� ������PQc�fh���K� c��Mo����i����� ��G� �J���o���� ���_�To���e�gT�����K� ���n�f�� �����a�q�y�gQ�y �mxgfh���_� � ���Wjl��������{��y��Tf��h}_�h�&p?�L�yf��ai�� �����a�>��c�� ��Qnac�i{}Lc��W�e�mc��K�<���BåQ�ejl������gK�8c��h�M~sc��Rnhc¥�K��_¨�æg�Gc��h�t:[� �3c�vgc�����m�_¨&�_��bÎ61�����«fh�K�m�X� ���EPQc�fh���K� c���o���Ri�����l���H�i�� ���������t���tjl�������3cs���vg �m� � �����t�yfh�hi����e�g�����Îc�����hohc�{c�jl���� � i1p1c,�gbO03��������fhv���:[� �3c�vgc��J�K��_¨��g�Ov_c,���?cT��� �#v������{c���� ��c&��jl���_�(���5c>PQc�fh���K� c��o���Ri�����(���vg �m� � �����l�yf��hi�� �����5r�� ���G�yf����5oa��� ��g����c��U�y���PQc�fh��� ��c���o����i�����Cj#��������?�����������?nU��v����k� �na�T��w�o��e�g������kf��_� ���5j>fai{��� c&����mb

03�1pC�<�hc,�g�3�K����k�e�|�R�i�� ��������b ­hr���������8fh� �3���[���o���� ���_�C����� � jl����� ������iQi��gjlo�f�� �1i�������Cp1cg������i����na�m�Qn_�W��cgi{}���rm~E���i{�zr�@J���{i{�������Rc��h�T~��R���k����g���_��rmp?���3����R����p1��<pC�g }<��������� �z}R���h�T�&���zcoa� �����W���a�K�����c��g�g�c�{�b54]�h���oa��h�����_���e�gr�I3� c�i������ �8���m�����_�5c��h�#:[� �3c�vgc��k����g���gr_�m���_���5�����i���enU��� ����e[c�o�o���� i�c&���e�g�L�y�gWc��n��e� {c���B���������j#����� ������i#�yfh�hi����e�g�h�Wc��a�L�y�gQ� ���l���cg���e� �����hc��/o� �gn�����j��Q����Rf�jl�����ic��8c��hc��e��� �����«���_� � oU��� c&���e�g�5r��e�_� �v�{c&���e�g�5rd��o�� ��j#� ��c&� �����zb¥4��l� �#pC�gK���t����� ����vL���hc&�l������Rf�jl�����ic��`c��hc��e��� ���1��������{c&��f� �Tc���� �[���hi��efh����?p1���}�����jl��� �h�R�h�1� �hc��3c���G�go�� ��j�c��`�y�g?�c��h����jl���v������{c&������yfh�hi����e�g�h��rh�e�hi��efa���e�hv�PQc�fh���K� c���o����i����� ��b��R��T;��&�&c�}L�K��g���g��rR�y��?��w�c�jlo��e�gb

98���1PQc�fh� � � c��Wo����i��m� �Vc�� �K��fh�h��������e�m��r,��j#oh�e� i��e� ���T��O��w�o�����i������e�gr,� ���Cjl��� �h�R�h�V����v���g�K��c&�����K� � i��rc�� �K�¥}R���&p?�Îcg��}R ��v�����vab �����E@Lc&� �h������ ���m��¯�­_�#�y��q� ���Mi�� c����K� i�c���������N�68c,���m�K� c��X� �h������«c��h�:Gjl ������g�_¨���r3�Gc��h��i���i{}«c��h�É�R� �����ª����g��­_�l�y��|68c,���m�K� c����g��{�K�����h�k���×p?��� i{�Î�����sPQc�fh���K� c��o���Ri�����zc�o�oa�mc�{�z��w�o��e� i��e� ���Wc���c3o� �������� ���� ��n�f����e�g�5bO4]�>v���g�K��c�� � ������i��rm� �h�8ðã�Koac�i��C���Ovg����vg�c�o���� i�rfh� fhc����e�B��pC��N�����jl���h� �����hc��Onhf��W��i�i�cg�K�����ac����e�|���� ���N]����j#��h� �e�g�hc���b#98�h�l�yf��hi����e�g�tì���í��< �o� �m�K��_����K�gjl�ki{�hc��cgi�� � � �K� � i�� �ac&�lj#��v��_�lna�|jl�cg�Kfh �m�tc&��c��R�¥oU�����g�l����� ��jl��v����gv�{c�o��h��i����vg�e�g�5b¥0j�c&����?i����hi���������|v���g�K��c&�����K� � i��1� �?��K� ��j�c&���e�g�����V�����Wi��&�&c� � c��hi��3�yfh�hi����e�g�J��mr��x_f����,c��e��_� ����r�������K�jl��N��&c���e�gv�{c�j|bs�����|�e��ohc�K����i�f���c�l�R� �����Í����g���_��bX:3� �h��l��w�c�jlo�����#���3� �h��fa�K�����<PQc�fh���K� c��o���Ri�����K�m�C� �ljl�R�����5f��h}_�h�&p?���yf��ai�� �����a��c���Q ��_����p1����e�Jc#��i���_�8oac�oU��?nR�k;3�c��d�K��g���g��b

3.2. Modelling issues98���[PQc�fh� � � c��Jo����i�����?� ��fh� ��|���Bo�{c�i�� � i��T�y�g�j>fai{�J� ���[� c�j#�> �mc�� ���h�8���hc&�G�����j�c��V�����K� ��enhf�N� �����h�#c���qfh� ��X�K�Lf�n�� xgfh������fh� �e�¥���¦�K��c�� � ������ic��C� �������sc��h�¥jl�����������e��vabM98�h���¥c����i��g�R�����h�e��g�mrÝh��w���n����|c��h�X���u� ���xgfh��������c��e� �K� � i�b«4������rC���<i���f�{�K�gr(��jloa�gK�{c��_�l� �hc��l�h���jlc��e�e����r1c��h��� oa�mi��e�uN��ic����e�|���g�e�_�����g j�c����e����rd� ��cL��cg�K�g�hc�nh�e�k �o� �m�K��_��c&���e�g�t���<o���e�g#}R���&p?�����v����glna��e�������qc�na�gf��

Page 9: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 9ì���í���bL9V{c��h�K�y���j�c&� �����Mj�c,�EnU��fa�K���yf��C���¥�������#i��g�_� ��wR�mra��fa���lc��W�e�[� �[�e�t��� ���[c�o�o�����ic&� �����a�T��������j�c��eN¤�������g �ljl������� �b

P<�e�g���B���hc&�Wc|PQc�fh��� ��c��Lo����i�����G���Tck �mc�� ���hc�n����Wjl�R�������e����vJi{����� i��grU� ���ljl�c��Mc��h�Li��&�,c� �eNc��hi��Q�yf��hi�� �����h�G�K���gf�� ���������JnU�>� oa�mi��e�h������� ��Ýh�i��G������c��������o���e�g�}R���&p?�e�m��v��Tc�na�gf��<ì���í���b8Õ��g�e�a���{c��hi���rR���/�K��c&���e�g�hc���e���#p8c��8c>�y�c�� f���Q���Voh ����8nU�����e������r�� �>���hc&�?�����Qo���e�g1��� �K� ��en�f�� ����������ì��¤îd������ ���[� c�j#�[c��?���hc&�G���(ì���î����5�8�y�gGc��_���tïEðñ�¤c��h�Bp?������T� �h�W��oU��{c&���e�g�����(c����������e�g�J���Lð���?�����h���m�h��rháM�Kí �8p?�����`na�Wc�i����h�K��c��g�?c��a������î8ù î��u�8c[�yf��hi�� �����|�������q����î��Mî��¤b

4]�Lv������{c���rUáM�Kí �3j�c,��nU�lc��R���yf��hi����e�g�E�g�Eðènhf�������í�ù�í���j[fh�K�<�hc,�g�T� �h�[o����oU�� ����� �hc��G�y�g���g����Mý óç�gù���ù�û�ûûz�����|�&c����c��hi���N�i��&�,c� � c��ai���j�c&�� �ewt���<ì��¤î ø ��ù�ì���î ú ��ùû�û�ûù�ì��¤î þ ���¤i���jlo��� �K����v������jl���_�{������î� ù î"!m�K�G� �Q������N����vgc�� �����l�����h�h�����[�y�gWc����/î ø ù�ûû�ûù î þ ïXð|bq�R�gjl�li����h�������e�g�h�G�y��Wci��&�&c��� c��hi����yf��hi�� ������� ��nU�T���g��N��h��vgc�� �����<�e�k� �h����� ���a�K�Tc���Qv�������k���L.C �m� � �e�l���m���h�m��b

0Îfh� ���yf��`����R��i��3� �d���Wjl�R�����HáM�Kí �(c��h�#����í�ù�í��d�h�e��c��i{��� i�c��e����bV4]��� �h�Gi�cg�K�3���5ás��í��dp1�Gic���fh� �� ���Q���e�h�c�?jl������z���� fai�� fh �

áM�Kí �dó%$8��í���&('Qù ���,�p?�������$8�Kí ��óÙ�*) ø ��í���ù�) ú ��í���ùû�ûû�ù+)-,���í��K� & � �lcB���mi�����>���/.�}_�h�&p?�¥�yf��hi�� �����h�#�&���#ðâc��h�0'Áó�21 ø ù�1 ú ùû�û�ûù�13,�� & � �Gc����mi�� �g3���(.Lf��h}_�h�&p?�Li��R���qi��e��g�{�3p?�h��i{�Lc� �>v��������Ecqo���e�gG��� �K� ��en�f�� �����c&�������W����wR�<�K��c�vg�T�e�B� ���W�h�e��c��i{�R��b898�Rfh�4$8�Kí �3�����i����na�m�3cqi���cg� �?���d�K�hc�oa�m�3c��h�¥���,�?��w�o������ ��c|na��e�����8���hc&�#ì��Kí �Tjlc,�Lna��c�o�o���,w��ej�c&����EnR�Mc��yf��ai�� �����¥���s� �h���Wi���cg� �bkÕh��W���h�K��c��hi��#$?��÷U�>ó���gùK÷zùû�ûû�ùK÷ ,65 ø � & �����a����?ás��í��C� �lnU�Wcloa�g�e�R���gjl��c��`���O����v�����7.8���Qp?�����|÷J� �?c�� ic�� c�mb

03�/c<o���e�g������K� ��enhf�� �����[�y���'Qr&� �h�?j>f��e� ���&c����c�� �1�����j�c������ ���� ��n�f����e�g�[� �/cQi��g�_�g���������_�/i{����� i��gbÕ��g#���h�K��c��hi��grC�e���hc��#�����|o� �goa�K���s���hc&�kì��Kí �#���j�c��e�h�lc¥PQc�fa� � ��c��¦o����i��m� �#j�c��v����hc������tc&�u� ��e�_����v�{c&���e�hv���f��9'Gb�:3�1i���f�{�K�grH� ����oh ����T��� ���� ��n�f����e�g�M� ���gf����EnU�l� oU�i��e�h�m�L���| ��Ýh�i��Qvg���Rf������na��e�����G�c�� ���>���hc���i����R�g���������hi���r�n�f������¦o�{c�i�� � i��ko� ����#�����y���j�c&� �����Xc�nU��f��l�R�_oU���ohc��c�j#��� ����Kfai{�#cg��'tp?�e�������Ro�� i�c��e���>nU�?pC�mc�}Hb�98����i��g�_�g���_� �����ac��R �o���� ���_��c�� �����>���Up1�c�}Wo���e�g/�e���y���jlc�� ������ �����fhv��q�����T��j#oh �goa�?f����e�y���jË����h�K�e����.O�:'���; �Q� �8� ��� ���y����G���u� ���fa�K�m�`b

;�������i��Q� �hc���pC�Tic��|�K�ohc�{c&���3�����Tjl�c��|c��a��i��&�&c����c��hi��<���� fhi�� f����8nR�kp? �e� ����vì���îd�dóÎáM�¤îd�(�=<_�¤î/�(ó�$?�¤îd��&>'0�?<R�¤îd� �¤�g�

fh� �e��vÎ�K�m��r1p?�h����@<_�¤îd�#���kcs��� �sjl�c��×PQc�fh���K� c���o����i�����rCp?�e� �Îi��&�,c� � c��ai����yf��hi�� ���������Kíeùí ��b98����jl���������e����vB���A����í�ù�í��Q� �W��� �L�ejloU�� ��c��_�>nU�ic�fh� ���e�>���W� �����fhv��¥i��g ���� c&���e�g�EnU����p1����¥ì��¤îd�c��h�¥ì��¤î����<���hc&�[pC�q��w�o� �m� �Tc|�R����pS� �ac&�#ì��¤îd�Tc��h�¥ì��¤î����T� ���gf����snU��� �ejl����c�W�e�?îÍc��h�sî��(c����Kf���i��e��_� ���ki����g� �Q�e�LðJrac��a�����������nR�k��w�o������?clna��e�����/���B�Kjl�R������������8���(ì��Kí ��b(4]�|� �h�Q�y�����e�&p?����v�K�mi����e�g�h�1pC�W� �hc����`v������{c������qc����go���c[�h�e��c��i{��� i�c��Hj#������`�y��A����í�ù�í��1p?�����k�a��K�����{c�v�����Kíeùí �dó�B úDC �¤î0�Mî � ��ù ��­_�p?������ C �Kí �V� �OcGi��g ���� c&���e�g�Q�yf��hi����e�g�>�hc,�R����v������1o� �goa�K��� C ��æ_�dó �gbV98��� �V�y���j>f�� c&���e�g�W��w�o������ �����{c&���e�g�hc�������[�e��o� ����C�e���y���jlc�� �����qc�na�gf��E<R��í���=Rp1�3�hc,�g��c>i���jljl���B�yfh��}R���&p?�a�/�&c� � c��hi��FB ú c��h�i��g ���� c&���e�g�|� �hc��Q�g�����L����oU���a���Q���MîG�¦î��¤b[98����i��g ���� c&���e�g�J�yf��hi�� �����M���<�yfhK������Q��w�o������ ��B���� � j��8���O��������?f��h}_�h�&p?���R�RoU���ohc�{c�jl������{��=g�y��?���h�K��c��hi��Q�e��î¥ó^��÷ ø ù�ûû�û�ù ÷ õ �1� ��c#���mi�����mr

C ��îH�sî � �dóÎ��w�o"IJ� õK!�L øM ! �y÷ ! �M÷ �! � úON û �y®R�

98�����tc��W� �h�q����wR�[�K��c�v���p1�qp1��f�� �s��w�o������To���e�gW��� ���� ��n�f����e�g�h�T�y�gW� �h�q�&c����c��hi��PB ú c��h�M����� �gf�v��h������(oac�{c�jl������{� M ø ùû�û�ûù M õ b

:3�Oi��gf�{�K�#�y®_�(� �O��fh���?�g���GoU�g��� �en����G�y���j>f�� c&���e�g�5b/0×jl����<v����h��{c��U��w�o������K���������hc&�?�hcg�1na����p?���������Lfh� ��s���o�� c�i������÷-!��¦÷�! � ú nR�RQ ÷3!S�X÷T�! Q U5rOp?������PVÉjlc,�E�hc,����cJ� oa�mi��e�h��s�&c��ef�����WnU�

Page 10: Bayesian Calibration of Computer Models

10 Marc C. Kennedy and Anthony O’Haganc������ ���`�R�_oU���ohc��c�j#��� �b5D(�����Qjl�����v������{c����e�gr�p1�di�c��Qc��e���&psc?�����H������_�(V ! �e�T�mc�i{�Q���ejl��h�K�����zb0������ ���(vg������c��e� � c�� �����l���(��®_��p1��fh����nU�����[� ��� C �*�V�dóÎ��w�oz���A� &�W �z��rRp?��� � W � �(c��qf���}R���&p?��K�Rjljl���� � i<oa�_�K�e� ������N������h���e� �Qj�c&�� �ew`r�p?����i{�|���¥�y®_�1�ac��1� �h�Q�y���j W ó×��� c�va� M ø ù�û�ûû�ù M õ ��b4]�×v���g�K��c�� � ������i�q�e�|� �k�����j�c��G� �¦���R���m���Ji��g�h�K� ����c�n��e�L���H�� �k���×��K� ��j�c&���e��vXB ú C �¤î��¬î�����r��[�x_f����,c��e��_� ���?B ú � C �¤æg�7� C ��îY��î�� ��gr/p?��� i{�¦� �>� ��� ��}R���&p?�¦c��>� �h�L+�"�Â[�u£]é&�&)���'+Z�)��&Â#bt98���v���g�K��c&�����K� � i��W�e�e� ��c�� f����i��g�_��c����h�Toh �goa�_� c����Q�y�g[cJp?� ���k�c���v������3�K�j#�eN��,c� ����vg�c�jê�y���j���bL�R���y��?���h�K��c��ai��[.C�����K���q���m�����,��r��Gc��h��i���i{}�c��h��~sc����e� �>�K��g��®_��rh�_� ��e�t�K��g���g��ra.C�����*[�m�?c��h�|IG���e�h������m�����_��b

3.3. Other Bayesian nonparametric models98���WPQc�fh��� ��c��ko����i��m� �1� ��c[Ýh��w���n��e�Tc��h��oU��ohf���c�8�y���jÃ�y�g1oh ����?�����y���j�c&���e�g��c�na�gf��8�yf��hi����e�g�h�b4��W���W���?i���fh�� �[oU�g��� �en����l� �Jjl������(c��Mf���}R���&p?�M�yf��hi�� �����sohc��c�j#��� ���ic����e�grzc���� �� � ����v����hc&�W�e�>� ������a�����������Mc|jl�j>nU��>���8� ��jl��ohc��c�jl��� �� i>��c�jl�e����r/� �|� �hc��>o���e�gT�e���y�g j�c�� �����s���>��w�o������K�m�Ecg�c|o���e�g>��� ���� ��n�f����e�g�s�y��W�����qohc��c�jl��� ���b|0��¥��nR�R����fh�T��w�c�jlo����q���> �o���� ���_� ����vJcJ���v������ �e�g��yf��hi�� �����¦oac�{c�jl���� � i�c��e���E���XcE���e���mc�#jl�R������b¥4]�Xi��g�_� {c��K�rdPQc�fh��� ��c��to���Ri�����K�m�>c� �k������oac�{c&Njl��� �� iqnU�i�c�fh� �q� �h���t���M�����li��g�h�����c��e�t� ���k�yf��hi�� �����t���LnU�k���XcE�KoU�i����Ui�ohc��c�jl��� �� il��c�jl���e�gb98�����h�e��c��i{��� i�c��d�y�g jçj�c,��r/�h�&pC�����mr�na���R�e�pC�m�¥�R��cX�¤�g�>cg�q+�"�Â[� N�ohc�{c�jl��� ���i�rdi���j[n������e�hvEcohc�{c�jl��� ���iGf��h��� ���R�e�hv#jl�mc��s�*$?�Kí � & '��1p?�����JclPQc�fh���K� c��ko� ��i�����8 �m�K� ��fhc��H� ���j �*<_�Kí � ��b

98���d��������{c&� fh ������68c,���m�K� c��G�����hohc�{c�jl���� � i�c��h�Q� ��jl��ohc�{c�jl���� � iOjl��� �h�R�h�`���zv���&p?�e�hvC{c�o�� ������b4]�Jc������e� ���������#p1���}qfh� ����vqPQc�fh���K� c���o����i����� ��r�c��� �mc���������y� ����� �ar��&c���e�gfh�8��������?p8c,���8�hc,���na����Mo����oU�g� ��L� �|��w�o������<o� ����QnU�����e�����Wc�nU��f��<�yfh�hi����e�g�h��b�:G����c���������hc&���e�g�>���JPQc�fh���K� c��Mo����Ni��m� � ����y��Qjl�R�������e����v�vg������c��z�yfh�hi����e�g�h�<���3� �� �o���� ���_��� �h�[�yfh�hi����e�g�Ec��<cq�������c�<i���j>nh�e�hc�� ��������8i���jloU������_���T���1cJ� ���T���8nhc�� � �<�yf��hi����e�g�h�bk�Rjl�����¥c��h�såQ���h���K����g�g�<��� � i�fh���<� ��� �Tv������{c�������ri��g�g���cg�����e�hv|� o����e�h��>c��h�s��������>nhc�� ��bk4]�s�����k��c�jl���g����f�jl������I3��«"��W�&��b8���m���g�g��rV\3� ��c�}g�&�R��i���m�����_�zi����h� � ����{��p1c,�g�������/nhcg�K�m�/c��h�l7?���g��4]�h� fhcTc��h�l@�\f����e�3���m�����_�z���c��hp?����������f�{c����h����p1���}R�rp?��� i{�k�j#oh�e�&���K��v�jl��� ��c��Unac�� ���1�yf��ai�� �����a��bd~M�Wi�c��k�h��� �T�h����G��p1��i��g�����i�� �����h�8nU����p1����BPQc�fh�KN�K� c��lo����i��m� � ��/c��h�[� ����nac�� �����yfh�hi����e�g�qc�o�o���gcgi{�5bzÕO����K�r_;��c��V�K����g¯g�V�hcg�d�K�h�&p?�[���hc&�CPQc�fh���K� c��o���Ri�����K�m�?i�c���nU�W�R����p1��Jc�������f�{c��z������p1���}��8p?�����Bc��J�����h���e� �W�Rf�j[na�3���O��� ������B�������m��b?�R�i�N���h�5rg�����Qoa�_��������e�gCjl�mc��k�y �gjÃc#PQc�fh� � � c���oh ��i��m� �C� �?c>���e�h�c�?i���j>nh�e�hc�� �����k���5�����T�K���8���znhcg�K� ��yf��hi�� �����h�A����î8ù î� ��C�y���jl��kn_�q� ���Wi���� ���c�� �����q�yfh�hi����e�g�h��i���_� ����c&�8� ���T�gnh� ����,c�� �����h�b

0������ ���8c�o�o���gcgi{�l� �>jl������e���e�hv[vg������c��h�yf��ai�� �����a�C� �Cv���������n_�q2z�ef�c��h�k0�¤�Kc��<���m�����_��r_p?���jl�R�����acQvg �&p8����i�f�����?nR�[cWo��e�mi��p?��� �?�e�����mc�(oh ��i��m� �bV03�e�a���H� �h�� �3c�o�oh �_c�i{���m��jlc,�[na�Gc�o�o�������� �l��������?}R���h���?���z�yf��ai�� �����a���Kfai{��cg�?i���jlo�f�� ��Gi������Q��f���o�f��{��b

98����������[c�� �K�Jc|p?� ���q��������{c&��f� �l�g�Mjl�g �q� oa�mi�� c������ ��Mjl������� �T�y�gTf���}R���&p?�t��� �K� ��en�f�� �����h�r�K�����������Cohc�oU��{�/����IG���B"��d����bU�K��g���g��c��h�l�����3����R����p����5~sc���}���<"��(����bU�K��g���g��bV�3�&pC�����mr&������ �c���G�h���3���� �mi����e�q��������&c��g�8���qi���jlo�f�� ���i������Q��f���o�f����b

4. BAYESIAN CALIBRATION

4.1. Calibration and variable inputs4]�<� ���(ic����enh�c�� �����Qo����n�����jÉpC�/j[fh���O�����K� ����vgf���� �Qna����pC����Q��p1�?v����f�oa�H���R�e��ohf����5� �?�����(i��gjlo�f�� �jl�R������bÉ:G���Jv����f�o�i��gj#oh � �K�������Jf���}R���&p?�«i��g�g����wR�KN]� oa�mi��e�ai��e��ohf����q� �hc��qpC�|p?� �K��� �s���c� �c�nU��f��m=HpC�[ ���y������q������ �[cg�������[ic����en�{c&���e�g�J�e�ho�f����bQ98���[ic����en�{c&���e�g�J�e�ho�f����Qc� �>� f�o�oU�g� ��J� ���c�}��1��w���#n�f��Cf���}R���&p?�#�,c��efh��(§�ó^�^] ø ù�ûû�û�ù�] õ`_ �V�y��Cc����R� �����gnh� ����,c�� �����h�V���hc&�dp?���e�ana�?fa�K�m�>�y�gi�c��e��n�{c&� �����zrRc��h�k�y���c��e�`�����T���h���{c��hi���?���z�����T� �f��Qo����i�����1� �ac&��p1�Tp?��� ��� �lfh� �Q� ���Wic����en�{c&����jl�R���������Wo������ i��mbO98���3��� �h��dvg �gf�o#i���jlo����� ��/c��e��� ������� ���djl�������a�e��ohf����(p?���g� �8�,c��efh��djl��v��_�i{�hc��hv��8p?������p1��fh� �8� �h�3i�c��e��n�{c&� �m�#j#������¤b/98���m�K��c� �?����y� ���[���Wc��������3�&c��� c�n����8�e��ohf����b/98���

Page 11: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 11�&c����c�n��e�<����o�f��{��c���Tc����Kf�jl�m�q���#�ac,���Q}R���&p?�k�&c��ef��m�1�y��?�mc�i{�����z�����T��na�K� �&c&���e�g�h�C� �hc���p?�e���5nU�fh� ��k�y��<i�c�����n��c�� �����5b14]�Bc��R���Kf�na�K�mxgfh���_�3fh� �W���O� �h�>jl�������z� ����eG�,c��efh���p?�����z���e� �h��3nU�W}R���&p?���1�Kf�n����i��C� �[ohc�{c�jl���� � i?�&c��� c�n����e�e����b�Õ��g(��w�c�jlo��e�G�e�|�R�i�� �����k��b ��rg�&c� � c�n���������o�f��{�(���hi��efh���3������y÷VùKò��(i��R��{���e�ac&� �m�(���5� �h�TPQc�fh���K� c��qoh�ef�jl�<jl�R�����`��1{c�������c����a�����g��� �1�e��� ���<�R�R�� �g�e�gv�� i�c��ajl�R������b

~E�T����������3�����Q��f���o�f��?���5�����Ti��gj#ohf�� �1jl������`p?������� ���Q�&c����c�n����G����o�f��{�?c���3vg�e�g�����&c��ef��m�î�ó �y÷ ø ùû�ûû�ùK÷ õ�a �lc��h�«p?�����������Li�c��e��n�{c&���e�g�X����o�f��{��c� �|v�������«�,c��efh��8bEó �^c ø ùû�û�ûù�c õ`_ �lnR�d ��î8ù�b���bO;3��� � i��C� �ac&��pC�8��� �����e��vgf�� �K�[na����pC����W�����8f���}R���&p?�W�&c��ef��?§l����� ���1f���}R���&p?�#i�c��e��n�{c&� ������e�ho�f����r`���hc&�Wi��g ��� oU���h���3� �������lohc� � � i�f�� c�Q��c��Ooh ��i��m� �G�y�g<p?�h��i{�MpC�#p?� �K�E� �Ji�c��e��n�{c&���>�����jl�R������r��y���j^�����>��}_�h�&p?�a���&c���f��ebC� �hc��(������� ���{�(cg�/�e�ho�f����(p?�����l�f���������vT������jl��������bO~E���h�������nh� ��������gf�� ohf��[�y���jñ������j#������Cp?�e� �h��f��l}R���&p?�e�hvEc����C� �����e�ho�f����l� oa�mi��e�y�R�e��vL� �hc��#�f��5bs~M� ���y��1� ��§Lc��1�����q�y�g�i�����8���{�W�{�&������) �&����'&¡��h�&) ��Âl"���"�){+�b

~E�>��������� �Q� �h�Q� �f��T�&c���f��T���O� ���> �mc��`o����i�����8p?����k�����W�&c��� c�n����Q�e��ohf����8�{c�}g�T�,c��efh���îXnR�f �¤îd��b(;3��� � i��Q���hc&�G��������� �h�W�&c����c�n��e�Q����o�f��{��c���Q�����m�������� �gb(Õ��g8� ���[i���jlo�f�� ���i������TpC�Wic���&c���l� ���Wic����en�{c&���e�g�k����o�f����?n�f��?� ����kc���G��w���k�y��8�����T �mc��`o����i��m� �b

98���Li�c��e��n�{c&���e�g�«�hc&��c¦i���jlo��� �K�|�����LýÍ��na�K� �&c&���e�g�h�Pgªó �^h�ø&ù�û�ûû�ù+hmþ�� & r?p?��� ��h ����c����nh� ����&c&���e�g�M��� f �¤î �T�y��>}R���&p?�¥�&c� � c�n����q����o�f��{�[î r/n�f��l�Kfhn����i��>� �E��� �gb|4]�¦cg�����e� �����5r/p1��hc,���G� �h�T��f���o�f����AiEó^��ò ø ùû�û�û�ùKòkjQ� & �y���jl Ï�f��h�8���V�����Wi��gj#ohf�� ��i�������r�p?�h����

ò ! ó d �¤î/m! ù�b ! �c��h��na��� �k� ���Q�&c��� c�n����G����o�f����?î m! c��a�q�����Ti�c�����n��c�� �����q����o�f����eb�!Qc� �<}R���&p?�q�y�g8�c�i{�k fh�5b/98����yf������ ���<���C�hc&��ckc,�&c�����c�n��e�>�y��G� ���lc��ac����R� � ��� �4� & ó��2i & ù+g & ��bQ;3�����>���hc&�<v����h��{c����e�� çp?���e��nU�j>fhi{����c� vg��C� �hc���ý/r��K���hi��G������k���V� ���Qi��gjlo�f�� �?i������<���1��w�oU���h� �����<��C� ��j#��N�i����h� f�jl����vW���[�f������p?�����5�����e���5nU�Tj>fhi{�Ji{���mc�oU��1� �hc��|��n��{c������e�hv#�gnh� ����,c�� �����h�1���z� �h�T �mc��`o����i�����b

0Í�yf� � ���3i��gj#jl��g�G�e�Bi��������mi����e�g��p?�e� �J�&c� � c�n����Q�e�ho�f����3����� �hc���pC�[c���G�� �mc&���e��vl�����>i���j#No�f�����qi������J�gf�� ohf��q�y��qc��R�tv��������� ���q���<����o�f��{�qc���cM��i�c���c�b«4]�«o�{c�i�� � i���r8i��gjlo�f�� ��i������m����Ro���ic����e�so������fhi��kj�c��R�¥�gf�� o�f����[�y���cEv��������¦ f��zbt4��#� �l�����#vg������c��e���s���i����� c� �grO�h�&pC�����mr� �k �vgc�{�k� ���#��f�� o�f��Qc��Gna��e�hv�j>fh�����e�&c��� c&� �gbG98���#��c�� ���|� �����hc&�Qp1�[i�c��B�����a���[�g���>�g3jl�����&c����c�n��e�T����o�f����3� �����h����w|� ���[��f���o�f����b3Õh��3���h�K��c��hi��grUc�PQc�fh���K� c��Jo���f�jl�>jl������Vp?���e�V���Ro�� i�c������na�[�ejlo�����jl��g����L�e�Mc�i��gjlo�f�� �Gi��R���>���hc&�G�y��Qcqv�������J fh�5rH��f���o�f����Qi����hi����_� {c&���e�g�h��c&�Q���g����oa�g�e�_�?����c[��p1�#����jl���h� �����hc��`v�����`b/7�c�� ���8� �hc�����������}R�e��vl���z� �h����cg�8c[�h�evg���e��j>f��e� ���&c����c�� �Q��f�� No�f��mrzp1�qi�c��s�����h���l��p1���&c� � c�n����l�e�ho�f����T� �J���h����wsc�v��������MoU�����g�W�g�L�����qvg � �`bl~E�qic��M� �h�e��}���O� ���>�,c� � c�nh�e�Q����o�f��{�3c���na��e��vqc�f�v�jl��g�����nR�q������ �Q��pC���h��p¬�e�h����w��e�hv��e��ohf����rUc��h�|cl fh�|cg�o���R��fhi�����vlc��K����v����Q��f���o�f��3c��1�����W� oa�mi��e�h���oU�����g�mb

4.2. Model~E�k �o���� ���_�T� ���k ���c�� �����h� ����o¥na����pC����s�����k�gnh� ����,c�� �����h��hn KrO� ����� �f���o����i��m� � f ��í��Wc��h�s�����i��gj#ohf�� �?j#������`��f���o�f�� d �Kíeùí �1����� ���T�mxgfac&� �����h6 Vó f ��î� ��(�=<n zó�o d �¤î� Kù{§H�(�?p��¤î� ¤�(�=<6 �ù �¤©g�

p?������8< ���W� �����gnh� ����,c�� �����M��� �gQ�y��T�����Pq�� �s�gnh�K� �&c�� �����5r"oB���[c��sf���}R���&p?�s���vg �m� � �e�g�Lohc�N�c�jl��� �[c��h�?p���í��>���#cBjl�������8���hc����x_fhc�i��L�yfh�hi����e�g�t� �ac&�[� ���u¡U*g"��h"�¡H*�"�¡h�8���?�����|i��������gf�� ohf��d ��í�ù�í���b

.C���h� ������C� ���Q��na�K� �&c&���e�g����� �gr<6 V�h{���mb/�R� ���i�� ����r_� ��� �?c�� � �>���hi���fh���m�1c��R�#��� � ��fhc��U�&c����c�� �����c��8p1�����zc�����nh� ����&c&� ������������T��� ���>�R�mi����e�g�L��b��m��b(~E�>������������j�c�v������T�hc,�R����vl �o�����ic&� �����|���O�gn�N�K� �&c�� �����h�����qi����i�f�j����{c��hi���/p?�h����?�����(�g�����W� �h�3�&c����c�n����1����o�f����Cn�f��Cc���� �Wc������ �h�3f�����i���vg����� ��i��g�h���e� �����h�GpC� �[� �h�#��c�jl��r5� �����Q���Q�h���Qoa�_� � �enh�e�[� �|�K�ohc�{c&���W�����>��p1�|�K�gf��i���G���(fh�hi��K�{c����g���gb

Page 12: Bayesian Calibration of Computer Models

12 Marc C. Kennedy and Anthony O’Hagan~E�Qp?���e�`� f�o�oU�g� �<� �hc��C�����9< �8c���G���h���oa��h����g���e�k�����K� ���n�f�� �m�kcg�7 t��æhù+sU��b���98�h�<cg� � f�jlo�� �����k��������j�c���������jlc,�k �mx_f��e��Wcl���c��h���y�g j�c�� ����������� ���>�c,p¬��c&�{c�racg�?���J��f��fa�K�W���/�e�gv�N]����oU�g� �����e�g�k����R�i�� �����|¯�b��

;��&pÉi����h� � ����8�����T�ejlo���� i�c&���e�g�k���8��©��C���hc&�

f ��îC�dóRo d ��î8ù�§H�(�=p���îd��ù ��¯_�

p?����� d ��í�ù�í��kc��h��p��Kí �����h����oU���a�����_�b�98��� �k���r3���>i���fh�� ��r�jl� ��e�������Ep1c,�����[j#������e������vt����� ���c�� �����h� ����oqnU����p1�����k� �h�Qi������Q��f���o�f���c��h�� �mc��������gb/03�?c[ohc� � � c��_��fh�K� �e�ai�c�� �����5r��e��i�c���nU�<vg�e�g���cG�y���jlc���������e�&c�� �����[�y �gj^cG}R���h�#���H@Bc��}��&�Qo����oU�� ����r�cg�O�y�����e�&p��bV0G� � f�jl�1� �hc��dpC�8}R���&pX§�c��h�i�c��Bj�c�}��[c��Gjlc��R���f��h�G���/�����li������[cg�3p1�>p?� � �5rU� ���gnh� ������ d ��î8ù{§H�?�y�gG�&c������fh�G�����H������_�Tî1b�Rf�o�oU�g� �<�h{���?���hc&�����k�g�����8� �lo�������i�� f ��î � �8c&�3� ��jl�T� oa�mi��e�aiQoa�g�e�_��î � p1�QpC�gf����k���vgc�������3cg��Kf���i��e��_�C���#�gnh� ������������Q��f���o�f�� d ��î��¤ù�§H�C����c[� ����v����G�f��|c&�1� ���T��c�jl�<�,c��efh�Qî��H���5� �h�<�&c� � c�n�����e�ho�f����bÎ98��� ��� �l� ���B@Lc��}��&�¥c����Kfhj#o�� �����5r8c��h��i�c��«na�B� ���&p?�X� �s�ejlo����É�¤¯g�|�¤�K��E:[� �Gc�vgc��5r��g���g��r���w�i���o��1� �ac&�7o[j�c,�#�y���j�c����e�����oa��h�q�g��î8b/98���3�yfhK������8c����Kfhj#o�� ���������hc&�7ol���1i��g�h���{c��_��K���j��8�hc�� f�{c��5c��h�k�y�����e�&p��8�e�Op1�Q�hc,���#+��]�&����'&¡U��)�$Qo� ��i�����K�m� d �Kíeùí ��rTp���í��8c��a� f ��í���b1I3�m�Ko��e� �Q����� �c��v�f�jl��g�mr�pC�q���oU�c��>���hc&�|��¯g�W���3��fh�K�#�g����oU�g��� �en������y�g j[f���c�� �����5=(�x_fhc������si���vg���_�[c��v�fhj#��_���i��gf����|oh �gnhc�n�����na�#���R���hi��m�J�e�B��c,����fh����d��� ���Gjl������� �b34]�J�����>��w�c�jlo��e�m�����hc&�<pC�[�hc,���Q�� ����5r��¯_�V���_�m�/�K���jã �mc�� ���hc�n��e�gr,n�f��djl����8��w�oa� �����ai��8�����h�������>� �T��w�o�������C� ��� �dc�� oU�i��/���ajl���������e����vab

98���Wjl�c����e�hvq����� �h�q�¤)��h"��&c���f���3§E���O�����>ic����en�{c&���e�g�|ohc�{c�jl������{�8���Gc����� �m� � ������L�R�i�� �����®hb ­>nU�����&pTb

~E�� �o���� ���_�>o���e�g[�����y�g j�c&���e�g�¦c�nU��f��[nU��� �¦� ����f���}R���&p?�t�yf��hi����e�g�h� d ��í�ù�í��>c��h�?p���í��[nR�PQc�fh��� ��c���o� ��i�����K�m��� d ��í�ù�í����t ��¤á ø ��í�ù�í���ù�� ø �K�Kíeùí ��ù�Kíeùí � ���sc��a��p���í����t ���á ú ��í���ù+� ú �Kíeùí ����û14]��cgi{�Éi�cg�K�grGp1�sjl�R�����Q� �h�¥j#�mc��Íc��h�É�&c����c��hi��E�yf��hi�� �����h�|�h�e��c��i{��� i�c��e����c��|���Í���i����e�g�¬­hb ��b03���go�� ����v¥�����B���e�h�c�kjl�R�������y�g j ���,�lp?�e� ��p1�c�}Xo���e�g���� ���� ��n�f����e�g�h��r?p1�B�hc,�g�Já ø ��î8ù�b��Bó$ ø �¤î8ù�b�� & ' ø ùKá ú �¤îd�(ó�$ ú ��îd� & ' ú rhc��h�

.V�:' ø ù�' ú ��; �gû ��¨��

~E�Tp?��e� �T�����Wi��gj>n�������|�g�i�� ���cg�E'�óã�:' & ø ù�' &ú � & bCÕh��?�����>i��&�&c� � c��hi��3�yfh�hi����e�g�h��p1�Tp?�e���5������KoU�i����y�Jc��_��ohc�K����i�f���c�?�y���j��3c��Go���� ���_�rUn�f��<p?�e�����Kf�ohoa�_�K�T���hc&�G� ����Jc���W��w�o������K�m�|�e�B� ���j�����5� ��jl�?�yf� � ���(�R�Roa� oac�{c�jl������{�O� �hc��Cp1�3�����h��� �3n_�vuqb�~M�Gc�� � �W��������� �>�^oaù�s5ù�u#�/i������e�mi����e�g�����nR�vwGbO98�h��i���jlo��������3� ���d���Hohc��c�j#��� ���V� �h������y�����i��gjlo� � � ��O� �h��i�c�����n��c�� �����#ohc�{c�jl��� ��{�d§Vr�������e��ic&� �����Lohc�{c�jl������{�e' c��h�B� ���#�R�Roa� ohc��c�jl��� ����wGbT4��<� �< �mc�� ���hc�n��e�Q����� f�o�oU�g� �[� �hc��<o�������e���y���jlc�� �����Bc�na�gf��T§E� �<�e�h����oU���h����_�<���/� ���#��������{��rHc��a�Jp?�����X��¨��?p1�[� f�o�oU�g� �W���hc&�<� �h�[o��������� ���� ��n�f����e�g���{c�}��m�1� ���Q�y�g j .O�¤§Vù�'Qù+w8�dó?.V��§U�2.V�xw?��û ���_�

4.3. True parameter values~E���c���� ��E� �h��x_f���K� �����s���8�����qjl�c����e�hvJ���8� �f��qohc��c�jl��� �T�&c���f���T���X�R�mi����e�g�¥��be�gbk~M�q���&p��� � i�fh� �`� ��� �`��j#oU�� ��c��_�5� �go���i����Q� �h�(i��g�g����wR�5���R��fh5jl�R�����h�¤¯g�U�y�g`� ���d� �f��/o���Ri����� f �Kí ��r&c��e� ���gf�v��� ���Tj�c��e��oa�g�e�_�{��c���G��������&c��g�8���qc��R����� � i�fh���K�����k���O� ���Wic����en�{c&���e�g������i���jlo�f�����?jl������� ��b

:Gf�W���{c&�����K� � i�c��Ojl������d���<�y�g j[f�� c&� �m�B�������f�vg�B� �h���x_fhc&���e�g�X��©���rVp?��� i{�Mic��Mna�l�R�e�pC�m�Ecg������a���e�hvXct�h����N��e�����mc�����vg �m� � �����«jl�R������bÁ�¤98���Ec��hc�����vg�¦� ����c�q�y���j oU�� �y�i��mr3n�f���o���&�R�������K�gjl�Tfh�K���yf��O�e�h� ��v��_�b���98�h�>i��gj#ohf�� �Gi������T�e��� ���e�(�����h������ ���> �v������K�����k�yf��hi�� �����J���� �gf�v��������� � jyo d �¤î� �ù{§`��rHp?�����Bohc��c�j#��� ���Fo�c��h�L§VbG98���#��������3��pC�q� ���j��Gic��BnU�>�R����p1��Bcg�?����v���� ��� �o���� ���_� ����v|�y���g��N����h���oa��h����g���1 �m�K� ��fhc����b

Page 13: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 134]�[����� ���y�c�jl��p1���}Ur&p1�?i�c��l� ���1���hc&�/����������� �����#���`c3�� fh�?�,c��efh�8�y��(§��ac��O� �h�3� c�jl�1jl�mc�������v

c��h�M�&c���� �������Mc��Q�������� f����&c��ef��m�T���8���v������ �e�g�Lohc��c�j#��� ���b�98���l�� f���§¥� �>cM� na�m��� N¤��� � ����vh��§Vr�e�E� �h�l� ���a�K�l���1 �o���� ���_� ����vk� ������c���czh�ø,ù�ûû�ûù�h,þJ��c��������yf����e�Mc�i�i���{������vq���k������������Q���� fhi�� f����KoU�i����a����y��8� �h�T �m�K� ��fhc����b

;��&pÍ� �h�#�������e�goa���G���/�����#i���jlo�f�����<jl�R������p?�e����v������{c����e���hc,�g�>v�������Bi��g�hi�������>o��R���K� i�c��jl�c��h�e��v_�8� �q� ���#i�c�����n��c�� �����|����o�f��{��rUn�f��G� ���T�� fh�>�&c���f���3����� �h�� �Wo��R���K� i�c��zx_fhc��_� �e� ����G���q��������i����� c� �����k�mxgfac&� �[� �J§Vb>98��� �<���<�������R�e��c�nh�e�#�e�Mi�c��e��n�{c&� �����Lp?�����MpC�#���������Qna��e�����g�>���hc&�Q�����jl�R�����di�c��L�����QnU��ckoU�� �y�i��Q���bl4��Tj�c,�Jna�l���hc&�Q� �h�#oh�_��� ��ic����e�|�� fh�#�&c��ef��l���1c|i�c��e��n�{c&� �����ohc�{c�jl��� ��Gv������m�GckpC�g�� �W�h�r5c��a�B������<cgi�i�f��c�� �>�yf�� f���lo������ i����e�g�5rH� �hc��Ec�����������<�&c���f���bW4��Q� ���c��hv������fa�8� ���e�_�����o� ���3�����l��K� ��jlc�� �m�3���1§M��n��{c�������LnR�|ic����enh�c�� �����Lcg�3�m�����ej�c&����G���d�����[� �f���3{�$,+{���{�����,c��efh��?���z� �h�g� �<oac�{c�jl������{��b

4]�E���vg �m� � �e�g�Bjl���������e����varzc����Kfhj#����v������l���(� �h�#oac�{c�jl������{�3}R���&p?�si��g ��� oa�g�h���3� ����� � ����vcL� �ejlo�����mrdjl���������j#�e� �m�¦i���cg� �[���3���vg �m� � �����M�yf��hi�� �����h�btÕO��w�����vMcLohc�{c�jl��� ��#i��g�h�����c��e�a�W������y���jä���8� ���� �v������K�����E�yf��hi�� �����5r/p?�h����c��>c���������vEj#�g ��fh��}R���&p?�tohc��c�j#��� ���T���hi� �mc�� ��Q�����Ýh��w���n����e�e���>���a������i�� c��������H �v������K�����>�yf��hi�� �����h�dc��h�lc����e�&p��/c<nU��� � ��(���/� �Q��������c���c�b�61�[c��hc�����vg��rpC�Q� ���<� �hc������OpC�Ti���c��ej����l}_�h�&p�� ���T�&c��ef��Q���V���h�<���z�����Wi�c��e��n�{c&� �����kohc�{c�jl��� ��{�C�e�J§Or����g�������� ��� �1���1vg���Rf����������l� ���G� �f��<o��R���K� i�c��a�&c���f��Q���z� �hc��1ohc��c�jl��� �r_p1�G���K� ���i��(�����<�y���j����5�����<i��������f���o�f��Cc��h�lj�c,�>�hc,�g��cTp1��{�K�8���(� �T�����G��c���chbO98���G������i����oac��hi��>p?���e�a���5i��gf��� �?nU����c�}���#fhoqnR�� ���Tjl������5�e�ac����mxgfac�i��q�yf��hi����e�g�@p���í���r�nhf��3j�c,��c�� � �#���cg�k� �l� �h�Wi�c�����n��c�� �m���m�����ej�c&����?���O��� ���i��gj#oU���h���_���G���1§MnU������v��yf� � ���3�y���jê��������<� �f��#o��R�R� � i�c��O���g�����o������c�� �����h�bQ~E�lp?���e��vg������c��e����hc,���<��c�?�y��p1��?��c��5��nh� ����&c&���e�g�h�8p?�����Jp?��� i{�k������K� ��j�c&� �|p���í��1� �hc��Ji������W�gf�� o�f����?p?�e� �Jp?��� i{�� �l��K� ��j�c&��� d �Kíeùí ��rh� �#�e��j�c�}g��?� ���h� �<� �lj�c�}��<�����Wi������<���3cg�8pC��e�zcg�8oa�_� � ��n��e�gb

�R�k�e�Tj�c,�Jna�l��c�� ���ac�n����T� ���� �mc&�Tc��L����o�f��>c��Gf���}R���&p?�5rzc��h�J����������y�g �#ohc�K�Q���d������i�c��e�eNn�{c&� �����kohc�{c�jl��� ���§Vr���������e�Op1�Qna��e�����g�<�e���1�� fh�To��R�R� � i�c��H�&c���f��Q���#nU�T}R���&p?�5b/A/c� � � i�fh��c� ���l���� ��� �?� �?c��|����Ýhf���g����c��5ohc��c�j#��� �W��c��8jl��v��_��nU�T ����c��e�m��nR��c�� ���a�K�e� ���R������c��hc������K� �{��r�c������&p?�e��vl�e�� �#�����R� c&� �G�y���jS� ���G� �f��<o��R���K� i�c��a�&c���f��<j�c,�#oh ����fhi��Gc��q��jlo��� � i�c��e����nU���K����?i��gjlo�f�� �Cjl���������� �mc��������gbC4��{��o������3��� �K� ��en�f�� �����Jp1��f�� ��na�#i����_�������|c&�������T�� f��>o��R�R� � i�c��z�,c��efh��rh���Ýa�i����e�hv�c����w�oU�i��{c&���e�g�k���z� �h�Tj#������¤� ��cgi�i�fh�cgi���rRn�f���p?�����|c#���g��N�������#�,c� � c��ai���b

0����/j#��������Tc� �[p? �g��vhr5c��h�J���J�Kf�ohoa�_�K�[� �hc��T�e��ohf����T� ����fh���Mc���p1c,���3na��� ���Q� ��� �h����[� � �f��g��&c���f���1p?����k������ �Tc���#� }R���&p?�5��� �1� �l���R����K�8� ���Tjl������`p?�����k���R�#j[fhi{�|i�������n����e�e���q����oh�cgi�� � i��gb9z��c�� ����vBcJjl�������Cjl����qo�{c�v�j�c�� � i�c�������rVcg�W�hc,�R����vJ����o�f��{�W���hc&�#�����qic��«� ��pC�mc�}H�z�j#oh�e���ic����e�gri�c��k���hi���cg�K�<�e���?�&c���f��Tc��a�koh �m����i�� �����QoU�&pC�b

4.4. Posterior distribution4]�#� ���?���j�c���������vT�Kfhnh�K�mi����e�g�h�����U� ��� �(� �i�� �����5r�pC�?o���� ���_��� �h�?oa�_��������e�gdc��hc��e��� �������h� �h�3i�c��e��n�{c&N� �����ko� �gn�����j�c��h�k�Kfhnh�K�mx_f����_�8o� �m��� i�� �����k���5�����<� �f��<o������h��jl�����g��fh� ����v>�����Qi�c�����n��c�� �m�qi������gb9z�J��c,���l�Koac�i��grzp1�lv������l�������Ec��s��f����e���������C� ���k�����g������o�jl���_�T��� �gbqÕ���W�yf��e����>jlc�� ���j�c&� � i�c�������{c������1�����T��c�����8���8����y� ����� ��åQ���������kc��a�|:[� �3c�vgc��M�¤��æ�æ�æ�na��b

98���Q�h{���3�K� �o�� �8���q������e�g�<� ���WoU�g�K� � ����������K� ��enhf�� �����|���O� �h�Tohc�{c�jl������{��§Vù�'Éc��h��w3bC98����yf����V��c���c��g�i�����F�s� ���h���jlc��e���k�����K� ��enhf�� �m�Jv�������s��§Vù�'Qù+w8��rHc��h������� ��p?���e�O�R�e����������>���e}g�����e�h�_����yf��hi�� �����5bd9V�l��w�o������8���{�8j#�mc��|���mi�����?c��h���&c��� c��hi��Gj�c&�� �ew�p1�Q �mxgfh�e��T�K�gj#�Qjl����<�����{c&� �����zb

~E����������� �¦� ���«�K���E���loU�����_���Mc&�Mp?����i{�^� ����i������¦�gf�� ohf�����iËc� �¦c,�&c��e� c�n����tnR�~} ø ó�_�¤î mø ù�b ø ��ùû�û�ûù�¤î mj ù�b�jQ���_bt�R�ejl����c� ����r/p1�k��������� �k� �����K���#���3oa�g�e�_�{�W�y�g>�����k�gnh� ����,c�� �����h�|g«���� ������c��/o���Ri�����QnR��} ú ó��,î ø ù�ûû�û�ù�î þ �gb�03f�v�jl��g���e�hvJ�c�i{�s���C������ ��oa�g�e�_�{�TnR�B� �h��i�c��e��n�{c&N� �����|ohc��c�j#��� ���?§Or�p1�W�����a����} ú ��§U�1ó��_��î ø ù�§H��ùû�ûû�ù�¤î þ ù�§H���_b(4��/p1�<�h�&pÉ������� ø �*} ø �8����������� ���Tj�c�� ���w�p?�����J �&p��A$ ø ��î mø ù�b ø � & ùû�ûû�ù+$ ø ��î mj ù�bjQ� & r�� �h�T��w�oa�mi��{c&� �����J����i¥� �4� ø �*} ø ��' ø b(4]�

Page 14: Bayesian Calibration of Computer Models

14 Marc C. Kennedy and Anthony O’Haganc��hc��e�gv��gfh�(�h����c�� �����5rR�����T��w�oU�i���c&���e�g�|����gL���Ao��Íø&�*}#ú_�¤§H� �`' ø �=�Éú_�^}lú��' ú bd�����ai��

ÿq�^�Y�� §Où�'Gù+�H�(ó����_�¤§`�dó%�Ö��§H�`'Qù

p?������ �ã�¤§`�dó�� �¬ø��^}qø�� �o�� ø��^}lú���§`�K���¬ú��*}#úm��� û

9z����w�o������G� �����&c� � c��hi��>j�c&�� �ewL���E�/rz�����h����� ø �*} ø �3� �|na�l�����lj�c&� ��ewLp?���������gùx���u�3��e�jl���_�� ø � ��î m! ù�b+!m��ù��î m! ü ù�b+! ü �K��r&� �8� �hc��5� �h���z���H�����d�&c��� c��hi��Oj�c�� ���w<���-i(bOI3���h���e� ø �*} ú �¤§`� �`c��h�|� ú �*} ú ��K��jl�e� c������r�c��h�>�����r� ø �^} ø ù+} ú �¤§`� �Ona�8�����?j�c&� ��ew>p?�����J���gù�q�����e�j#��_��� ø � ��î m! ù�b�!m��ùm��î� Kù�§H�K��b�98�h���

�&c��*�Y�� §Vù�'Gù�w?�dó��@�_�¤§H�(ó�� �Lø&�^}qø�� o-��ø��^}qø&ù+}lú��¤§H� � &o-�Jø&�*}�ø&ù�}lú���§`�K��sT�`þS�?o ú �Lø&�^}lúg�¤§`�K�"�X�Jú��*}#úm���p?������9� þ � �1� ���TýH��ýE� �����_�������kjlc�� ���w`b

~������Jo� ����?��� �K� ��en�f�� �����¥���_�1pC�Q���&pÉ��n��{c����������Q�yf������������_��oa�_��������e�g8�����K� ��enhf�� �����.O�¤§Vù�'Qù+w �� �5�/;0.O�¤§H�:.O�*w?� ì��^�/=�� � ��§`��ù�� � �¤§`� ��ù ���_�

p?�������ì���í�=�� � �¤§`��ù+� � ��§`�K�G� �3�����8 t�2� � ��§H��ù+� � �¤§H� �Q�����h� �e���|�yf��hi����e�g�5bl;������>���hc&�Tp1�l�hc,���[��wRNo�����i������e��� ���&p?������oU���h�����hi��T����§Bn�f��e� � �¤§H�1c�� � �#���oa��h���?�g�P'×c��h�#oUr�p?�����e�v� � ��§`�1����oU���h�h����|c����`����wGb

4.5. Estimating hyperparameters�R���hi��k� ������w�oU������_�#���[���_�W� �[x_fhcg��{c&� � iq���?'Qrdp1�kic��¦���_� �v�{c&� �#'S�gf���c��hc��e�_� � i�c��e���M� �Ev������.V��§zù�w �� �V��b«98�����r(�h�&pC�����mr/� ��c��¦�����¦jl�����i���jlo�����wt�yfh�hi����e�g�X���Q§�c��h�Ywª� �hc��¬�¤�g��b�0�yf����e�t68c,���m�K� c��Xc��hc��e��� ���[pC�gf�� �t���&p����_� ��vg�c�� �k��f��l� �h�k�R�Roa� oac�{c�jl������{�|w�cg�[p1�����1� �M�e�mc,���� ���JoU�g�K� � ����q�����K� ��enhf�� �����0.V��§��� �5�����3�����Lic����en�{c&���e�g�Xoac�{c�jl������{��b����&p1���g��mr(.O�¤§Vù+wt�� �z����#cB�h�evg���e�M���g���cgi��{c�n����q�yf��ai�� �����¦����wGbED(����tp?�����¥� �h�kjl�g�K�[oac�{�K��jl��������fh�>ohc�{c�jl��� �����c&���e�g������ø��K��í�ù�í���ùm��í�ù�í��K�kc��h�R��ú���í�ù�í���r�� �t���_� ��vg�c�� �J�&�g���w��Rf�jl�����ic����e�XpC�gf����«��_��c����Gc������c��K�kct� �ew����j#��h� �e�g�hc��(x_fhcg��{c&� fh �gb��R���hi���j[fhi{�¥���8�����qjl����������������vg�J� �hc��>p1�������g������os��� ��e�sj�c,�LnU��c�� ���>i��gjlo�f���c�� �����hc��e���M�e�_� ��h� �e�g�q���g���ti��g�h���e� �����hc��(�g�s��w���s�&c���f���>���4wGrO� �����yf����168c,���m�K� c��c��hc��e��� ���Qp?�����(�����T���_oh��ic����e�Ena�qoh�cgi�� � i�c��¤b�4��>���>�ejloU�� ��c��g�T���J��������c�� � �k���hc&�4.V�¤§Vù�w��� �5�Qp?�����v������{c����e�Ena�k�ejlo����oU��[p?�����¦��� oa�mi��W���Hwã�e�/.V�xw1�W���[��j#oh �goa�bL9V�Lcg����o��lc|�yf����e�¥68c,���m�K� c��c��hc��e��� ���(p?�e���U� ��� ���y����G���j�c��h�q�yf��e�5c��h��ic�����yf��Hi��g�h� ������c�� �����q���zo���e�g(�����y���j�c&���e�g�����vgc�����e��v� ���T�R�RoU���ohc�{c�jl������{��b

~E��o����oU�g� �#�e�h�K� �mc��E� �J��� �����lo�� c�fa�K��n����#�m�����ej�c�� ��Q���(�����qi��gj#oU���h���_���Q���ew c��h�E� ����M� �c�i��3c��?�e�/� ���m�K�>pC� �<��w���5b898�Rfh�r��y�g������y������hi��>c�nU��f��G§Lp1�Tp?���e�Vfh�K�>���{�3i��g�h���e� �����hc��5oU�g�K� �������v�������[�����3�m�����ej�c�� ��l�&c��ef��m�d���>wGb�~M�3o����oU�g� �?��K� ��j�c&� ����vT�����3�R�RoU���ohc�{c�jl������{���e�l��p1�>�K��c�v���b4]�J� �h�W�h{���Q���{c�vg�TpC�[fh�K�3��fh�K�3� �h�[i������[��f���o�f��Q��c&�{cPit���q��K� ��j�c&���W� �h�>�R�Roa� ohc��c�jl��� ���Au ø�����ø��K��í�ù�í���ùm��í�ù�í��K��b�98������T���G�K�gjl�T�e���y�g j�c�� �����Jc�nU��f��4u ø ���|� ���[��nh� ����&c&� �����ac��5��c���c8g�rhnhf��[��c_�g¦���oa��h���Wc���� �����M� ������� ���T�R�_oU���ohc��c�j#��� ���<c��h���ynU�<� �����Rf�j[na�TýX���C�gnh�K� �&c�� �����h�<���0gp?�e�������Ro�� i�c������Jna���g�����j[fhi{�s�Kj�c�������<� �hc��L�������Rf�j>nU��9 Ê���1��f���o�f��W�&c���f���<����i1bl98��������y�g ���� ���e�e�K���e�#� �3���g�K�GnR��� ��� �<�K��jlo��e�e�aic&� �����zbG4]�J�����l�K�mi����a�B���{c�vg�WpC�[fh� �|gM� �k��K� ��j�c&� �|oaù�sMc��h�� ���T�R�RoU���ohc�{c�jl������{�/u ú ����� ú �Kíeùí ��r��hc,�R�e�hv#�h�&pÎ��w����u ø b

;��&pªpC������evg�e�hc��e���E� ���[��f��[� �Bjl��������r/c��h�¥cgi�i���f��_�W�y�g>��w�o���� i��e� ����r/c����d�����k� ��f�{i��m�T���?f���Ni��K�{c����g���J� ����g�����a��M�e�¥�R�mi�� �����¥��b���b�98����i���jlo����jl��� �#o� �goa�_�K�m�B��� �ljl�c��h�<� �ac&�TpC�����|�����c�ii���fh�g���{���u��$<�y���c��e�H������ �W� ��f�{i��m��b

Page 15: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 15

° 61�k��w��e��vzsLc��Gc��J�m�����ej�c�� ��B�,c��efh��rUpC�>���������Gc�ii���fh�g�E�{���u��$T�y��G��nh� ����&c&���e�g��� ����c��h���� ����fhc��`f��ai��� ��c��e�_���gb

° 61�s��w�����v0osc��h�¦� ���|�R�Roa� ohc��c�jl��� ����u ú ����� ú �Kíeùí �lc��#�m�����ej�c&����X�&c���f���r(p1�����E�����cgi�i��gf��_���{���u��$3�y�g�jl�������`���hc����x_fhc�i���b

° 61�¥��w�����vE� ���|�R�Roa� ohc��c�jl��� ���|u ø ���S� ø � ��í�ù�í���ùm��í�ù�í��K�lc&���m�����ej�c&����X�&c���f���rdp1�|���E�����cgi�i��gf��_���{���u��$3�y�g3i������Qf��ai��� ��c��e�_���gb

;����g�� � ����e�m� �rOpC��� ���gf����¥�K� �����Q���hc&�>���t�mc�i{�¥i�cg�K���e�[� �W�g���e�E� �h�J� � �i����h�s�g�����m�5���H�i��>���f��hi��� ��c����_����c�nU��f��|�R�_oU���ohc��c�j#��� ���q� �hc���� ������vg�e�mi�� �m�`rQc��h�×pC�Mna��e�����g�L���hc&�|��fh|c��hc������K� �i�c�o�� f����T� ���kjlc�����Woac� �W����c����d������ �k� ��f�{i��m�Q����f��ai��� ��c��e�_���gb�~M������������y�g �qi���c��ejÏ� �ac&�>�gf�c��hc��e��� ���#*�'m"�+���i���vg����� �k���u�U� ��f�{i��m�����(f��hi��� ��c����_����rHc��h�B� �hc��<�e�Q���Gjl����>��j#oU�� ��c��_�3� �����a�Kf���� �hc���c����5�K�gf��i���8c���Qi��&��� �m�l� �l����� �8��wR� ��g�8���hc���� ��cgi�i��gf��_�C�y�g�c��R��jl����� �e��vl�R�Roa� oac�{c�jl������f��hi��� ��c����_����r�c&�?�����Wi��_���?���V��� ��j>fhi{���e�ai���c�� ���i��gjlo�f���c�� �����5b

4]�#vg���_���{c&� � �K� � i��r&���/� �/v������{c����e�T��i���vg����� ��T� �hc��d}_���v�����vG�m�����ej�c�� ��/c� �1��c�� ���ac�n����T �gn�fh�K�V���� �����y���jÖ���U� �h�3i��&�&c��� c��hi��C�yfh�hi����e�g�5r_c��h�#���g���#� �W���fhv������m� ��oac�{c�jl������{���e�l���hc&�d�yfh�hi����e�g�5rgnhf��� �hc��8� ���To�������i�� �������,c� � c��ai��<p?�e���`���Ro�� i�c������qna�T�g����q�K��h� �����e�g�G���l �gf�v����h����Coac�{c�jl������8�&c���f���bÕ�f� � �h���j#�g �gra� fhi{�Johc��c�j#��� ����c� �T�h��� �g ����fa�K���k���e�qi�f��e�3�����m�����ej�c&����b?~M�[c� �>i����h��i�����fa�8� �hc��� ���m�K��i����h� ������{c&� �����a�Gj�c,�Bvg�e�g��i�c�fa�K�#�y��[i����ai�����Ec�na�gf��W��fhQ� ��c&��jl���_�W���8�R�_oU���ohc��c�j#��� ���c��h�������[i{�h��� i��T���(i��&�&c����c��hi��T�K� �fhi���f� �gb?4]�J��f�<�����y��hi��grap1�>� ���&pÍ�e�B� ���[��w�c�jlo����W���L�R�i�� �����¯k� �hc��W��f�Woh �m����i�� �����l�&c����c��hi��m�Ti�c��e��n�{c&� �lp1�����/p?�����¥����� �RN�nhc�i{}E��c&�{c�rVc��h�E� ��� �T�hcg�TnU�����s�gf���w�oU����e��hi��1p?�����[��� ������w�c�jlo�����r,� �R�hbV4]�l���i����e�g�#¯hb ­3pC�8o���� ���_�/c��[�e�R���m�����ev_c&���e�g�Wp?��� i{�[� ���&p���y��V� ���_�K�8��c���c3� �hc��O�����8���H�i������ac�i{}R���&p?�����v�����v�f��hi��� ��c��e�_���Q�e�#���f�vg��������Vohc�{c�jl������{�5� �/�Kj�c��e��b

4.6. Calibration, prediction and uncertainty analysis�3c,�R����v>�m�����ej�c&����k� �h�<�R�RoU���ohc�{c�jl������{�rwÎpC�<���&pÉi����h�������e�g�����k� �h�<�m�����ej�c�� ����wGr�� �>���hc&��p1� �vgc���M�����koU�g�K� � ����#��� ���� ��n�f����e�g�X���?� ���Ji�c��e��n�{c&���e�g�¥ohc�{c�jl������{�W���EnU�v.V�¤§��� w�ó��wGù��5�P;.V��§zù�w �� �V��bQ~E�li�c��Lfh� �W����� �3���kj�c�}��>�����y� ��hi��#c�nU��f��W§Vr5c��e� ���gf�v��B�e���<���_� {c�i��{c�n����������|jl�c��h�� �hc��?�_fhj#� � i�c��`jl��� �h�R�h�?j>fh�K��nU�Tfh�K�m�`b/~M�W������i�fa� �?c�o�o����o����c�� �G� �mi{����� xgfh��8���J���i����e�g�|©�b

4]�[o�{c�i�� � i��gr&pC�1p?�e���R�����/vg������c��e���GnU�8�e�_�������K� ��>�e�#�����y������hi��1c�na�gf��d§�c���� fhi{�5bV98�h�1ohf� oU�g� ����di�c��e��n�{c&���e�g�J���3� �kfh�K�W� ���li�c��e��n�{c&� �m�|jl�R�����V�y��3oh �m����i�� ����vq�����>��c��zo����i��m� �b�~M�[i�c��J� �h�e��}���zic����en�{c&���e�g�qc��1cWo��������j#���hc� �[� �lc����� �m� � �e�hvQ� ���<��������8���{c&�����K� � i�c��ao����nh�e�jl�C���5���_� � oU��� c&���e�g�5r�K��h� �����e�R�e���|c��hc������K� �<c��h�Ef��hi��� ��c����_���Jc��hc��e��� ���r`�����i���enU��L�e�¥�R�mi�� �����s��b ­�bW98�Rfh�rH� ���lo����nh�e�j���Wo�������i�� ����vt�����L�� fh�Lo����i�����#hU��î/�kc&�|�K�gj#�M�KoU�i����a��Î�&c� � c�n����B����o�f��{�|î�i�c��×na�s�K����×cg��e�_�����oa�g��c�� ����v>�����Q�yf��hi�� ������hU��í���b

98���WoU�g�K� �������3��� �K� ��en�f�� �����J����hU��í��?i��g�h���e� �����hc��z�g�|� ���W�m�����ej�c�� ��|�R�RoU���ohc�{c�jl������{�Aw×c��h�� ���Tic����en�{c&���e�g�koac�{c�jl������{�8§B���?c�PQc�fh� � � c���o� ��i������b�4����8jl�mc����yf��hi�� �����|���8vg�e�g����nR�

ÿ��^hU��îd� �� §Vù+wGù+�z�dó�$8�¤î8ù�§H��& �'<��§`�(�?b,�¤î8ù�§H��&/� � ��§`� 5 ø �^�z�G�Ö��§`� �'Q�¤§`�K��ù ���mæg�

p?������ $8�¤î8ù�§`�dó�� o�$dø���î8ù�§H�$dú���îd���c��h� b&��î8ù�§H�(ó � oJ�Bø�� ��î8ù{§U��ù�}qø��o ú �Bø��K�¤î8ù�§`��ù+}lú��¤§H� �(�X�Jú��¤î8ù�}lú�-� û

Page 16: Bayesian Calibration of Computer Models

16 Marc C. Kennedy and Anthony O’Hagan4����?i��&�,c� � c��ai��G�yf��hi����e�g�|���?vg�e�g���kn_�

i��&�`�*ha�¤î���ù�hU��î � ���� §Vù+wGù��V�dóRo ú � ø �K�¤î?ù�§H��ùm��î � ù�§H�K�"�?� ú ��î8ù�î � ��eb&��î8ù{§H��&/� � �¤§H� 5 ø b&�¤î � ù{§H��#�x$8��î8ù�§H���G�ã�¤§`��&/� � ��§U� 5 ø b&��î8ù�§H� ��&/¡ç��§`���x$?��î � ù�§H���G�Ö��§`��&/� � �¤§H� 5 ø b,�¤î � ù�§H�K��ù

p?������|¡ç��§`�dó^�x�S�¤§H� & �z�_�¤§`� 5 ø �Ö��§`�K� 5 ø b/61��i���j>nh�e������v#� �h���?��� �K� ��en�f�� �����|p?�����|.O�¤§ �� wGù��z��rpC�Mi�c��Îj�c�}��E�e���y������hi����c�nU��f���ha�¤î/��rQc�vgc��e��fa�K����v¦�Rf�jl� � i�c��<i���jlo�f��{c&� �����Éjl��� �h�R�h��b�Õ��g�e�a���{c��hi��?� �W�m�����ej�c�� �FhU��îd��p1��jl��v��_�Cfh� ���e���(oa�_��������e�gdjl�c��qÿ��^hU��îd���� wGù��V���u�y�gd��������K� ��j�c&�����&c���f���8����w?��rh��n��{c�������knR�q�e�_����v�{c&���e�hvlÿ��^hU��î/� �� §OùJ�wGù+�5�K�1p?�e� �| �m�KoU�i��?� �S.V��§ �� �w<ù+�5��b

;��&p¦� f�o�oU�g� �(���hc&��p1�Cp?� �K�>� �<o������ i��O� ���1��c��_o����i�����V�e�[� ���8i��g�_� ��wR��p?������(�g���1��Oj#�g �C���� ���Q�&c��� c�n����G����o�f����?� �?�Kfhn����i��?� �lohc�{c�jl��� ���i3�,c� � c�nh�e�������gr�c��8��� � i�fh���K�m�����|���i����e�g�B��b���b/�R�i�� �������b��Ev�������l��w�c�jlo���������Qi���jlo�f������i��R����l�y�gqp?��� i{������o�f����qj�c,�Xna�Jf��a�KoU�i����h�m�«�e�«����� �qp8c,��b98���#o� �gn�����jè���Cf��hi��K�{c����_���Bc��hc��e��� ���G���G�����K� fh���J� ���J����wR� {cg�3f��hi��� ��c����_���|�e�Mjl�R��������f���o�f��{��e�a��fhi��m�LnR�|�������Qoac�{c�jl���� � iW�&c��� c�n����e�e����b#0��e� ���gf�v��Ef��hi��� ��c����_���Bc��hc��e��� ���3�y��Wi���jlo�f�����Ti������m����(���Ro�� i�c������[�y�g j[f�� c&� �m�l�e��� ��� �1p1c,�grg��b ��b�p?�����ki����hi�����l�y��1f��hi��K�{c����_���[���q�����<i������3�gf�� o�f����r_���� ���Toh �m�K��g��i����_� ��w_�8�����T��c� vg��?i{�hc��e������vg�G� �1� �q�K� fa����f��ai��� ��c��e�_��������� ���T��c��`o� ��i�����EhU��í���b

~E�Q����������y�g �Ti��g�h� �����8� ���T{c��a����j��&c��� c�n����9ha�*¢Î��r�p?��� �<�����T�&c����c�n��e�<����o�f��{�F¢ c� �Q���&p�c��h���gj�r&�ac,�_����vQcG�����K� ��enhf�� ������£ ¢ ��îd��b?��4]�[o�{c�i�� � i��gr&�������>c<�Kf�na�K�������h�����8�,c� � c�nh�e�1�e�ho�f�����p?�����na�T� f�n����mi��1� �lohc�{c�jl��� ���i3�,c� � c�nh�e�������gr��K��£ ¢ ��í��1p?�e���Hna�T���v����h��{c&� �<���q� �h�<��� ���?���ejl��h�K�����a��b��98���W�{c�� }k���(f��hi��� ��c��e�_���|c��hc��e��� ���3���G���&p¬� �kjlc�}��[�e���y� ��hi��#c�nU��f��G� ���|*&� +���)�����������'&¡����/hU�^¢Î��b4]�Lohc�K����i�f�� c�mr`pC�#p?��� �E� ��jlc�}��#�e���y������hi��#c�na�gf��To� �goa�K���e�m�<���d�������T�����K� ��enhf�� �����s�Kfai{�Ec��G�����jl�c��G¤ ó�ÿ ¢ �nhU�^¢����ól¥6¦�ha�¤î/�-§O£ ¢ �¤îd��rO� �h�q�&c����c��hi��P¨Öó��,c� ¢ �6ha�*¢«���ó©¤�ú4�X¤ ú rp?������P¤qúqó ¥ ¦�hU��î/� ú §O£ ¢ �¤îd��r���Q�����q�&c���f���c��>�K�gj#��oU�����_��ªL���C��������� ���� ��n�f����e�g�s�yf��hi�� �����«��:ª��3ó­¬"®��nhU�^¢Î�9¯%ª�ló ¥n°²± î�³`´Tµ §O£ ¢ ��îd��b>4]���y� ��hi��lc�nU��f��G������ �l��<��� �h��T�Kfhj#j�c� ����G���� ���Q��� ���� ��n�f����e�g�����"ha�*¢��(j�c,�lnU�<��� �����m�l�y���jª� �h�GoU�g�K� � ����1�����K� ���n�f�� �����k���"hU��í���b/IG���{c������8c���v�����������|åQ������m���kc��h�|:[� �3c�vgc��E�¤��æ�ægæ�na��b

4��l� �#�x_fhc��e���t�����c��evg�_�K�y���p8c�{�L���Ep1���}s�e�X� � j��#���<c��¦fh�hi��K�{c����g���tc��hc������K� �[���������Ji��������f���o�f�� d �¤î8ù�§`��r_p?�e� �� �m�KoU�i��(� �[���e� ���C�g(nU�����q���5ohc��c�jl��� �� i?�&c����c�n��e���e���[����î¥c��a��ohc�{c�jl��� ���if��hi��� ��c����_���B��c��u� ��Gi�c�����n��c�� �����a�C���|§Ob

~E�Q���>�h���8��w�o�����i������e�����mc��Up?�����k� ���h� �����e�R�e����c��hc��e��� ���(�e��� ��� �1ohc�oU��m�Oc�o�o����o��� c&� ��� �i{�h����x_f��m�c���G�gf�� ������������B:[� �3c�vgc��M"��8����bz���m���g�g��b

5. IMPLEMENTATION DETAILS

5.1. Design issues~E�[���&p^i��g�h� �����Gc��_fhj>nU��<���do�{c�i�� � i�c��V����� f���<c����� ����vq���J� ���#��j#oh�e�j#��_��c&���e�g�B���(� ���>� ��������e�¥�R�mi�� �����s®ar5na�v�����������v|p?�����M� ���qx_f��m�����e�g�E���(� �h�qi{����� i��l���C� ���q� ���{�Q���1oa�g�e�_���Tc��Wp?��� i{�L�����i������[���<�f��Lc��a�Bc&�Qp?��� i{�B��nh� ����&c&���e�g�hc��O��c&�{c�c���>�gnh� �������5bG98���l�K����}lú[���d�&c���f���Qî ���/������&c����c�n��e�?����o�f����C�y��(� ���<i�c�����n��c�� ��������c���cWp?�����a���u� ���������(nU�Gc>j�c&�K����C���zi{���g��i���bO4]�q��f�C��w�c�jlo�����e�¥�R�mi�� �����s¯�rH�y�gQ��w�c�jlo�����r`������c,�&c�����c�n��e�l��c���c�c���[vg�e�g���B���kfa��bq:G�B��������������Q�hc��h�`r5p1�[p?�����v������{c����e��nU�#c�n��e�[� �|i{���R�g� �T�����#i������#���� �evg��} ø ���(oa�g�e�_�{�#�¤î m! ù�b�!m��bW98��� �#���<c�i����a�K� ����{c�nh�e��e�e� ��c�� f���J���������L���m�K��v������Qi���jlo�f��������w�oa� ��jl���_����� � ���|�y��k��w�c�jlo����L��cgi{}R�r?��i{�����e�����c��h�~E���i{�X����g���_��ra@B��� � �>"��?����b/���m����­_��rU@J��� � ��c��h�J@J�e��i{����e�8���m���g©g��rU61c�� �m�["��3�&��b����m����¯_��b�03�e�O���� ��� �1 ���c�� �m�d���[�����Q�K��jlo��e�8o� �gn�����j����O���� �evg������v[� ���{�C���Oi��R���G����o�f��?�&c���f��m�(�y�g(�����Qo�f��oa�_�K�G����e�_�����oa�g��c�� ����vq�����#i������>�e��� ���e��r5��G�y��<f��hi��� ��c��e�_���Jc��hc��e��� ���3���d�����li������|���3c,�R����i{}UrO��g�_¨���bQ98���

Page 17: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 17o����n�����j����V���� ��v��q�y�g?i�c�����n��c�� �����q� �8jl����Gi���jlo�����w�c��a�kc>� �go���i3�y��1�yf���f���<��� �c��i{�zbV~M�G�ac,����K�[��c�Gi{���g� �������� �evg�h�8���|cljl����G�h��f�����K� � iQnhcg�K� ��b

ÕV��{���mr��wR� �K� ����v�p1���}3�Kfhv�v��m���{�U� �hc��z�e�z���5�ejloU�� ��c��_�5�y�g`� �h�(i������d���m�K��v��<����v�������v��R���Qi��&�g��{c�v������� �h�W �v������|�����¤î8ù�b��?� ohc�i��W���/vg �mc&� �m�������_� � �m���mb898�h�W�&c����c�n��e�>�e��ohf��<i��_�g����e�hc�� �m�?î m! � ����f�� �i��&�g���nU��� �Î� ���B{c��hv��J���ToU�����_����î� >�e�Î� ���Lic����enh�c�� ��������c&�{ctc��a��� ���E�c���v��J���Q�&c��ef��m�q�&�g��p?��� i{�BpC�[j�c,��p?� � �B� �ko������ i��<� ���#o����i�����G�e�L�yf�� f����bT98���li�c��e��n�{c&���e�g�J�e��ohf��Qi��R��{���e�ac&� �m�Fb�!�K�h��f�� �|i��&���8� ���>�c���v��<� �ac&�3� �?o�� c�fh� ��n��e�W�y��?�����T� �f��T�&c���f��[§L���������>i�c��e��n�{c&���e�g�kohc��c�jl��� ���b98���<��c��K� �?�Kf�vgv��m���{�1c#� �x_f����_����c��H���� �evg�kc�oho� �_c�i{�5r_nU��v�����������v#p?�����k�&c��ef��m�8�Kohc���������v[� ���Qo���e�g��� ���� ��n�f����e�g�<����§W� �h���Wc��h���e�hv?j#�g �/oU�����_���`�&�g��H�����d{c���vg��i��&��� �m��nR�3�e���zoa�_��������e�g5�����K� ���n�f�� �����zbÕ��g(��w�c�j#oh�e�m�d���`����� �C}R���h�����z�K�mxgfh���_� � c��U���� �evg��c�oho� �_c�i{��� ���361����hc������"��(����bU�K��g�g����r�.C{c���v�"���&��bV����g��¯_�(c��h�|03� �e���K�["��1�&��bV���m���g�g��b

0É� �i����h�l���_� f��e� �����Qi��g�h�K� ����c�� �����l���C���hc&�C� ��� �<�K���gf�� ��na�Qi��g�_� ����h�&c��ef��m�Cî m! ����}qø?i��e�_�K�?���� ���Q�&c���f��m��î �e��}lú<�e�|�g����1� �����c���|c�nU��f��8� �h�T ���c�� �����h� ����oknU����p1����������Wi������Wc��h����c��e�e����b

Õ���8�gf�8��w�c�jlo����G���J�R�i�� �����k¯hr�pC�<�hc,�g�3����i{���g��i��3�&���(�����Ti�c��e��n�{c&� ���������� ��v���}lú�bO~M�T�K���� ���Qi������<���� ��v��#}qø?� �>nU�<� ���Qi�c�K���� ��c���o���R��fhi��1���"}qø�p?�����kcW� c&���e�k�R�_oU��{i�fhna�Q���� ��v����y�g(�����i�c��e��n�{c&� �������e��ohf����b(Õ��g1� ���T� c&� � ��mr�p1�<�ac,���<fh�K�m�kc#j�c&w���jl�e����c�� ���k�R�RoU��{i�f�nU�Tc��?���m� i� ��na�m�����@J�������?c��h�J@J�e��i{����e�1����g�g©g��b898���� �>���m�K��v��h��v������Wvg�_���|i��&�g��{c�vg�G���O�����[� ohcgi��Wc��a�Jc���T������������� ���� ��n�f�����B���M�c�i{�L������N�����jl���h� �����hc��Vo�������mi����e�g�5bW98���#fh�K�#���1c|.1c�K���� ��c��Bo���R��fhi��Q�hc��Q� ��jl�i��gj#ohf���c�� �����hc��Hcg���&c��_��c�v��m�Cp?�h��i{�Jc���<n� ����Ýa�k���m� i� ��na�m�����JåQ�����h�����c��h�J:[� �Gc�vgc��M����ægæ�æ�nU��b

5.2. Modelling choices4]�¬c�o�o�����ic&���e�g�É���>� �h�s� ��������r<pC�s�����×� ���KoU�i����y�¶$ ø �¤î8ù�b���r�$ ú ��îd��rS� ø � ��î8ù�b���ù��î/��ù�b � �K�|c��h�� ú �¤î8ù î��u��b9$ ø �¤î8ù�b���� ���gf����Lna�#i{���g� ���|���k���Ýa�i��<na��e�������<c�nU��f��G�����>vg������c��V� �hc�oU�>���/� ���[�yf��hi�N� ����� d ��î8ù�b���rHc��h��$�ú���îd�3�K�h��f�� �JnU�[i{���_�K��k�������Ýh�mi��3nU�����������<c�nU��f��G� ���#�K�hc�oa�>���/p���îd��b�4]�J�������c��K����Cic�� ��rgohc� � � i�f�� c������r�p1�3j�c,�#�����1�hc,����c��R�#� oa�mi��e�ai���w�oa�mi���c�� �����h�d� �[j#������h�������f�vg�#$�ú���í���bP<������c��e����rh���G���_�m�������3����eo|���qo�f��Qi���jloU������_���?���_� �������� �T�yf��hi�� �����h��� �hc��Gc���T�����3jl��� ���&c&����nR�Lc�i�� fhc��/o� ����T}R���&p?�����v���b�98��� �Q� �T�e�¥i����_� {c��K�G���Johc�{c�jl��� ���i[ �v������K�����Ejl�R�������e����vhrVp?������c������e��vT��wR� {cT �v������K�g��,c� � c�nh�e�m�/p?�e���U�e��vg������c���o���R��fhi�����jlo���&����[���mbd98���GPQc�fh� � � c��lo���Ri����������h����ohc��c�jl��� �� iCc��h�>p?�����hc���c�o���� �Qp?�hc�� ���g��d� �hc�oU�8���a�yf��hi����e�g�l���d� f�vgv���K� �m�WnR�T��������c&�{c�r�c��h�p?�e���d���u� ���t���B�K�JnU��� � ��>����� o�f���e�gfh�T���v������ ��{�Gc� �l�����>�e�ai���fh����5b�4]�tc�oho��e� i�c�� �����h�r5����������y�g �grf���������/���������� �do���e�gd�����y���j�c&� �����l���>� f�v�vg��K�dj#�g �Gi���jlo�����wljl���������e����vargp1�8��c�}��4$ ø ��î8ù�b��dóÖ���,�c��h��$ ú ��îd�dóÖ���m��cg�d������c�f��e���bO98�h���/jl�mc��h�����hc&��' ø c��a��' ú c���?� ic�� c�{��c��h�#���o���� ���_�/f���}R���&p?�i��g�h���{c��_�8j#�mc��h�?�y�� d ��í�ù�í��8c��h��p���í���b

Õ���W� ����i��&�&c����c��hi��#�yf��hi�� �����h�>pC�qc�vgc��e�Mjl�R�����(oac�{�K��jl��������fh� ����bq~M�qv������{c������Ec�����o��T������y���j ��­_��rz��®_��r��K�#� �ac&�� ø �K�¤î8ù�b���ùm��î � ù�b � �K� ó B úø ��wRo>�O�W��î��Mî � ��& Wv· �¤î��sî � ��z��w�o¸���W�2br��b � ��& W�¹ �^br�Hb � ���gùO���g�m�� ú ��î8ù�î � � ó B úú ��wRo>�O�W��î��Mî � ��& W m· �¤î��sî � ��gù ���,���p?�����J����c�v��g�hc��U�y���j��1�y�� W ¹ ù W · c��h� W m· b

4��3���3�ejloU�� ��c��g�3� �q��i���v��h��� �Q� �hc���� �h�� �>c���T�����3� ��e�R� c��zjl������e���e�hv�i{����� i��m��b898���[PQc�fh���K� c���y���j��?�y��G� �h�#i��&�,c� � c��ai��Q�yf��hi�� �����E�ejlo����JcqnU�����e���(�e�M���e�U� ��g����c�n����e�e���|���dnU��� � d ��í�ù�í��3c��h�@p���í���rc��h�L�e�a�����m�E��jlo����Lc�na��e�����1� �hc��T� ���m�K�#�yf��ai�� �����a�Tc���#c��hc����_� � i�bl98�����Qj�c,�BnU��c�o�oh �go� � c&���>�y�g� ���|i��gjlo�f�� �#i������ d ��í�ù�í��[n�f��#� ���m�K�|c���� f�jlo�� �����h�W�y��lnU��� � d ��í�ù�í��>c��h�=p��Kí �>�ejlo����s� �h����c�jl�na��e�������Qc�na�gf��G�����# �mc��OpC�g � �Jo����i����� f ��í���rzp?����i{�Ep?�e�������u�����Mna�#�e�ac�o�o����oh � c&����b<~E�l���� fh �J���� ��� �8j�c&� � ��3�e�B�R�mi�� �����|¯�b ­�b

03���Kf�jl����v���� c�vg���hc��,�y���jl�`�y��`�����d���f�vg��������Hj�c&�� � i��m�`�ejlo�������H���hc&�Vc��R�3�������eo�����ic���c���� �K��� ���oR��e�k� �h�Qi��&�&c����c��hi��m�d� �8����e��g����kc�������v[� ���Q���h�����R����fac��`ohc��c�j#��� �1c�wR�m��b/9V�c��h�K�y���jlc�� �����qj�c,��nU�

Page 18: Bayesian Calibration of Computer Models

18 Marc C. Kennedy and Anthony O’Hagan ��e��&c��_�W� �Ej�c�}���� ��� �#c����Kf�jlo����e�g�tjl����q��c���� ������i�rdc��h�¥� �[�ejlo�����jl���_����t���t�gf�[��w�c�jlo�����>cg������i����na�m�[���k�R�mi����e�g�q¯�b�0������ ���Cc���� f�jlo�� �����l���B�����,��� �/� �ac&�d���������� �(� ��ohc��c�n��e���e���Wna����pC����l�����i�c��e��n�{c&� �����Jc��h�J�&c����c�n����W�e�ho�f����<���J� �h�[i��&�&c� � c��hi��W���� fai�� fh �[���/� �h�[i������ d ��í�ù�í���bT�R��ohc��c�n����e�e������<�y��x_f���_� ���Ec���� f�jl��E�e�s�&c���e�gfh�T�K��c&�����K� � i�c��(c�oho��e� i�c�� �����h�r5ohc�K����i�f�� c���e�|�y�gWjl�R�������e����vB� ohc�i���N� ��jl�qo���Ri�����K�m��rz�y��W���h�K��c��hi��qnR�s�3cg�K����� �>c��h�¥7�c��u� � �«���m�����_�<c��h�¦:G����e�K���K��g��­g��b�0à �m�Kf��e��e�E:[� �3c�vgc��M�K����g�g�1o���&�R������?cqi{�hc��cgi����������c&���e�g�����/� ��ohc��c�n��e���e���q� �ac&�3j�c,��vg�e�g�Wc<��fh�K� �e�ai�c�� ������e�X�K�gj#�ki����_����wR���r/n�f��#���l���[o���ej�c� ���e�Mc����Kfhj#�m�¥���to�{c�i�����i����y��#��c�� ���a�T���3i����R������e��hi��kc��h�ohc�{� �ejl���R�gb

ÕV���hc��e����rCpC��j�c,�M���j�c� }M� �ac&�����g���¥�����|f��h��� ���R�e��vsc���� f�jlo�� �����t���<�K��c�� �����hc� �e���Ej�c,�¥nU�x_f���K� �������m�`rUohc� � � i�f�� c�����k���B��� oa�mi��G���/� ���#��c��Vo���Ri������b<0^��cg�K�g�hc�n����q���cgi��{c�n����W���g�h���{c&���e�g��Nc���Jc��e� ����hc�� �����>jl��v��_�Qna�[� ���l����i�c���� �K�m�J �v������K�����Jjl������O���8:[� �3c�v_c��¦�K��R¨&�g��bW��c�jloh� ���Mc��h�P<f��K�����oX�K����_���3v������lc��g����Jv������{c��O�����hohc�{c�jl���� � iT���i{���h��x_f��gr5n�f��T�e�Qp1��fh���Ena�lj[fhi{�Ljl�������e��i�f��e�?� �l���?���������e�_� �l�gf�8�y�c�jl��p1���}Ub

:Gf�T �mc�� ���h�3�y��Tfa�K����v�� ���m�K��cg� � f�jlo�� �����a�G���s��f�Q��w�c�jlo��e�m�Tc���[nh ����Ýh�Ec��<�y�������&p���b#ÕV��{���mr���g�m�[c��h�É���m�g�>��c�i��������{c&� �|i��gjlo�f���c�� �����Xn_�Xc����e�&p?����vEc��hc����_� � i�c��C��� f��e���[� �hc���pC�gf����¦���������p?��� ������m�M� �BnU����&c���fhc&����s�Rf�jl�����ic����e�«��� ���kåQ�������m���sc��h�¦:[� �3c�vgc��zr���æ�æ�æ�na��rOv���c�� ���L���hi���cg�K����vi��gj#ohf���c�� �����|� ��jl��b3~M�>�j#oh�e�&�s�y®R�?{c&� �h������hc��|�����#j#�g �Tvg������c�� C �^�O�1ó ��w�oz���A� & W �z�8�y�g �mc�� ���h�8���/ohc�{�K��jl���R��b84]�Jvg������c��¤ra�_�RoU���ohc�{c�jl��� ��{�?c���T�����Gp1�����z� �����_� �e�h�m�J�e�|������ �Wjl������� �bYGf��e� �W���e�U� ��_�8�&c��ef��m�8�y��FwÎj�c,�����������W��c&�{c#�x_fhc������qpC��e��rhc��h��oh ����fhi��Wi��gj#oac�{c�n����Goh �m����i�N� �����h�bq98���l�y�g jâ��®_�<� �W� f��qi������_� ���BÝh��w��en����l� �Jc��e���&p^�y�gW�K�gj#��c������ ���� �goR�J�e�M� �h�qi�������� c&� ��������� fai�� fh �grHc��h�B���h�����LpC�lc����go��<� ���#��� ���� �go�� iT�y���j C �^�z�Gó^��w�oz��� M � & �z��p?�h��������3�e�W�K���j��c�ii���o���c�nh�e�gb

~E�1�y��������Wc���j#�e�r�� ��� ���y�����r,� �ac&�/pC�1��jlo����&�Q� �h�� �8cg� � f�jlo����e�g�h�z�m� � ���_����c��e���Q�y��/i��g�R�����h�e��hi��c��h�[�K��jlo�����i������gb��3�&pC����r,p1�CnU�����e����1� �ac&��� �TcG��c� vg�C��w_�����_�/��������/c���� f�jlo�� �����h��i���f�� �>vg�e�g�C�g�����K��jl�e� c�3 �m�Kf��e���b��R��jl�T�����_��c�� �����W� f�o�oU�� ���y��3� ��� ���R����pÍ� ��v�������JnR�k� ��jl�T�h�h���e��v_�����oU�� � �m�k����R�i�� �����|¯�b ­�b

~E��c���� �|�����m�M� �B� oa�mi��e�y�Eoh ����W��� �K� ��en�f�� �����h�F.V�¤§H�Tc��h��.V�xw1�Q�y��T������i�c��e��n�{c&���e�g�Eohc��c�jl��N� ���Tc��h�L�R�RoU���ohc�{c�jl������{�3��� oU�i����e�g������bl~M�qc����go��Wck�h���jlc��/o���e�gQ�����K� ��enhf�� �����M�y��>§VrOc&�u� �� {c��h�K�y���j�c&���e�g��p?������<c�o�o����o��� c&� �gr_c�vgc��e���y�g?i���jlo�f���c&���e�g�hc��Hi��g�R�����h�e��hi��gb�A( ����C�e���y���jlc�� �����c�nU��f��q�R�RoU���ohc�{c�jl������{�>p?�����3���u�����«nU�JpC�mc�}HrCp?�e� �������BoU�g���K��n�������w�i���o�� �����«����s5bÉ4��q���qfh�K��N�yf���rd���&p1�����rV� �E� ��M� �L�y���j>f�� c&���k� ��jl��o������>}R���&p?�����v��kc�na�gf��[���fhv������m� �>ohc�{c�jl��� ��{�W����}��M b?0^f����e�y���jÁo� ����G�����K� ���n�f�� �����E�K���gf�� �|v����h��{c����e�q�h���GnU�Wfh� ��J�y��3� fhi{�Johc��c�j#��� ���?nU�ic�fh� ���f�Tjl����c��/��K� ��jlc�� �����sjl���������Ep?�����d���u�����sv������lf�����c��e� �K� � i�c������B��c� vg�[�m�����ej�c�� ��b�~���� ��o�������e���y���jlc�� ���������8p1�c�}HrR� ���Q�y�g j�.O� M ��; M 5 ø � �?o�����y��{c�nh�e�gb

5.3. Computation98���Tj�c����Bi��gj#ohf���c�� �����hc��`�����Kfh���i����hi�����k�����T�������y��3�_fhj#� � i�c��`�e�_����v�{c&���e�g�kp?�e� �J��� oU�i��3� �� ���loU�g�K� � ����T��� ���� ��n�f����e�g�E���?§Vrzc��h�L� ���l��cgi��Q� �hc��WpC�l�����L� �|���_�g�� �G������j�c&�� �ew?� � ��§U�G�y�g�cgi{��§J�&c��ef��T����� �hc����Rf�jl�����ic��H�e�_����v�{c&���e�g�5b

4��T� ���Mi������ d ��í�ù�í���� ��i���jlo�����w�c��a��i���jlo�f�� �� N��e�_� ��h� �e�g��r8pC�Lp?�e���G��w�oa�mi��������B�Rf�j[na�� ���?i���������,c��efac&� �����a�Wc,�&c�����c�n��e�#���Jna�q���� c&���e�g�����L� jlc��e�G��c��a�spC����wRoU�i��>ýX� �JnU���Kj�c��e����>�K� ����� ��b98�����k� �h�T�e�R����� ���������V�����q�^ ©�týz�7�s�^ ©�¥ýz�1j�c�� ���w@� � �¤§`�1j�c,�q�����8nU�Wc�� ����e�gfh�1o� �gn�����j|b���&p1���g��mr��y��qcs�K��jlo������i������|p1��j�c,�t��w�oa�mi��l� �snU�Bc�n������ �sj�c�}���� c��v���#�Rf�j>nU��{�l���< fh�h�� �B�gn���c��e�¦j#�g ���e���y�g j�c�� �����tc�nU��f�� d ��í�ù�í���bE98�h���= � �WoU�������_� � c������M�g����E� c��v��gb|4]�¥� ��� �#i�c�� �i��g�h�K� ����c�n��e�<i��gj#ohf���c�� �����hc��H��c,�R�e�hvg�(c� �Qc�i{�h�e�����qn_�l�����Ti������T���m�K��v���} ø �hc,�R����v#c�.1c� � �m�K� c��o���R��fhi��8�y���j|b(�R���TåQ���������kc��a�|:[� �3c�vgc��M�¤��æ�æ�æ�na�(�y���������c��e� ��b

0������ ���������R��i��d���hc&��jl�evg�g��nU�1i����h� ���������Q�y�gOi���jlo�f��{c&� �����[p?�����>� c��v��(i���� ���c�� �����Tj�c&�� � i��m�

Page 19: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 19

••••

•• •••• ••••••••••••••••••• ••• •••• ••

•••••••••••• • ••••••• •• •••••••••

• •••• •• ••• •

••••••

•••••• • ••••••• ••

•••••• ••••••

•••••••••

••• • ••

• ••••• • • •••• •

••••••••• •

•• ••• ••• ••••• ••

•• ••• •••••

•••••

••••• • •••••• •

••• •••••• •• •••••• ••••• ••••••• ••••••

•••••

•• •••• •••• ••••• ••••• •••

••••••••••

•••••• •••••••• •• •

•• •••••••••• •• •• •• ••••••• ••••• •••••••• ••

• ••• •••••••• •

•••

• • •••• •••• ••

•••• ••••••••••••• ••

••• •• •

••••••••••••

• • •• ••

• •••••••••••• •• ••• •

• •••••••••• ••••••

••••

•• •• • •

• •••••• •• •• ••••• ••••• •••••• ••••• • •• •••

•••••••••• • ••• • •

•••••

• •••••••••••••••

••• •

• •• •••••••••••

• ••• ••• ••• •• ••

•••• •••••••••• •••• •••••

••••••••

•••••• •

• • ••••

•• •

•••• ••••••••

••••••••

••••••••

•••••• •••

•••••

•••••••

••••••••

•••••

••

•• •••••••

••••

••••

Easting (km)

Nor

thin

g (k

m)

375º

380º

385º

390º

395º

400»

6290

6300

6310

6320

Fig. 1. Tomsk aerial survey of 695 Ru106 deposition measurements, with contours at heights of 11(solid line), 10 (— — —) and 9 (— - —).

����� ���[�e��ic���i���jlo�f���c&���e�g�Bc�o�oh �_c�i{�5=a\/�i�i{�h��cB�K��g���g��b3���&p1���g��mr��e�G� �3�����<i��e�mc�����&p���hc&�<�����ci��gf����knU�Tfh�K���yf����e��c�o�o�������k�e��� �h�Tj#�g �Ti���jlo�����wq�y{c�jl��p1���}�����i�c��e��n�{c&� �����zb

9zf��������vW���&pX� �W� ���<xgfh��K� �����l���`�Rf�jl�����ic��a�e�_� �v�{c&���e�g�#p?�e� ����� oU�i��(� �[§Vr_�e�q�gf�d��w�c�jlo��e�m�pC�>fh�K�>� ���[������{c&���e�g�[PQc�fh���KN��3���j#�e� �[xgfac���{c&��f� �>j#��� �����J���(;3c,�R����3c��h�L�Rjl�e� �X�K��g�g����b�98��� �c�o�oh �_c�i{��� �(��c��e� ������iGnU�i�c�fh� ��� �h�<����jl���h� �����hc��e�e�������O§�� �1 ���c�� ������e�l���&pTr_� �>���hc&�?x_fhc����c�� f����� ��y�cg�K��n�����r`c��h�Lna�mi�c�fh�K�[� �h�li������[� �< ���c�� ������e�|�K��jlo�����rz� �q���hc&�Tp1�[i�c��Ec��U�g��B� ��fh�K�q.1c� � �m�K� c��o���R��fhi����f��e�m��c��h�X�e� ��{c&���e�g�5b�~�������jl�g �|��w�oU���h� �����Ji������m�l��l�e��� ��jl��p?�ac&�l���evg����q���ejl����N�K�����ac��a§�� ohc�i������1na�mi��gj#�m�d��jloa�gK�{c��_�(���Wfh� �3jl����?���qi������_�8xgfac���{c&��f� ������ �evg�h�3�y�y��(����y� ��hi��m��K���Dd�&c��h�Tc��h�s��i{�Rp1c�K����r/��g�g©g��b�Õ��gT���evg��N]���ejl��h�K�����ac��d§Orz�e�Wj�c,�Bna�mi��gj#�l���mi��m� ��c���|� �|fh� ��K��j>fh��c�� ������j#��� �������8���O���_� �v�{c&� �����z�Op1�Q�hc,���<��������w�o�������������� �?�����b

6. EXAMPLE: TOMSK DATA

6.1. Data and model~E�8���&pXo���� ���_��c��#c��hc������K� �O���H��c&�{c3�y���jãc��lc�i�i��������_��c��/� ���?9V��j�� }gNK¨3i{����jl� i�c���oh��c��g�/���k�m���g­�b0×������c��e����kc�i�i���f��_�1���`� �h�<cgi�i�� ����g�8� �(vg�e�g���q�����R�h��{�K�hc�}��&�|"��C����b`���m���g©g��b�@J�cg�Kfh �j#��_���dp1����j�c����#�y��W� �������{c��������Rfhi��e� ���m��bq�3�&pC�����mr`�y�gQ� ��� �W��w�c�jlo��e�lp1���������Ei����h� � ����Q�����q����oU�g� �e� ��������d�f�� �h������f�jç�æg¯B��7�f5�æg¯g��bQ0Ö� ���{c��O���(¯g�g©ljl�cg�Kfh �j#��_���G���(7?f5�mæ�¯k����oU�g� �����e�g�Bp1����Wj�c����gr

Page 20: Bayesian Calibration of Computer Models

20 Marc C. Kennedy and Anthony O’Haganc&�#�e��i�c�� �����h�[�K�h�&p?�t�e��ÕO�evgf� �L��bs98���ki����_� �gf�[��������[ �o���� ���_�[c��¦�e�_� � oU��� c&���e�g�t���?�������e�gv�N����oU�g� �e� �����Lc��3� �h�� �>oU�����g�{��bQ98���m�K�#��c&�{c�pC� �>��n��{c�������|�y���jèc��Lc�� � c��O�Kf������kp?�h��i{�L�K��c�K����i����g� �l� �J������� ��f�{i���c��h�¥i��g�g���e�Rf��m�M� �Bc�o�o���,wR��j�c&�������B®gæ�}_jÏ���&p?�Rp?�e�a�`rV���¦� fhi{�¥cJp8c,�J� �hc��i��g�h�K�mi�f����e�g�Gjl�mc�� f� �jl���_���?c� �<��� ��i��e�_�K�gb

Õ���<�����[oh ����Qc�o�oh �,w���jlc�� ����� d ��í�ù�í��GpC�#fh� �>�����#�e�gvgc���e� ��jê���(� ���qPQc�fa� � ��c��Bo���f�jl�[jl�����������i����na�m�|�e�E���i����e�g�E��b���rUp?�e� �Lcq��w���J�����g���z���dnhc�i{}Rvg �gf��h���cg��� c&� �����Jcg������5bG98���[�e�gv�� {c��h�KN�y���j�c&� ������� �?fh� ���� ��nU��� � �Gc�oho� �,w���j�c&� �G� �h�>c����Kfhj#o�� �����h�?���O�h���jlc��e�e���qj�c����T�e�J�gf�?jl�R������b98���ki� �e� � i�c��Cfh��}R���&p?�¦����o�f��{�[�y��[� ��� �#j#������?c����� ���|� ��f�{i���� ���jçc��h�X����oU�g� �e� �����t�g�����Ri������gb~E�G� �h������y������� �mc&�1� ���<����vgc� �e� �hjl�(���5������ �Qc��(� ���Ti�c��e��n�{c&���e�g��ohc�{c�jl������{�1§Vb�hU��îd�( �o� �m�K��_���� ���G� �f��<�e�gv�N]����oU�g� �e� �������y�g1�&c� � c�n����3����o�f����?î8b/98���Q�&c����c�n��e�G�e�ho�f����8���q����� �?i�c�� �Gi���jlo����� ����p1��� � ���gv��g�hc��_�e�����mc�O�yf��hi�� �����h�/���h�����?���� � �h�e��vTc��h�>�mc��K� ����vQi��R��{�����hc&������Kfai{�>���hc&�(î¥ó �¤æ�ù æ_�V �o�N �m�K��_���1� �h�W�K�gf��i��Qoa�g�e�_�Gc��h�|c[oU�����_�Gî¥óÖ��÷ ø ùK÷ ú �8� ����� ���{c��hi��T÷ ø ���&p?�_p?���h���y �gjÃ�����>� ��f�{i��c��h�������K��c��hi���÷ ú �y���jã� ���3o��efhj#�<i���g�� �?��������b/98����hn ¤�(c� �?����v_c��������j��/���`��na�K� �g��l����oU�g� �e� �����h�b

98���?ohc&� � � �#���`����oU�g� �e� �����l�K����#�e��ÕO�evgf���<�8�hcg�/c<pC��e�������h���m�[oh�ef�jl��� �hc�oU��rgc��h�#p1�1p1��fh�����w�oU�i��?�����>PQc�fa� � ��c���o���f�jl�Wi������Q���lo� �&�R� ���Tc# �mc�� ���hc�n��e�lvg�_����c�o�oh �,w���jlc�� �����5b

0ª�����j�c��d��� ���� ��n�f����e�g�s���Tfa�K�m�L���Bc�o�oh �,w���jlc�� �#o���e�gTna��e�������Wc�na�gf��[§Vb�98����o������Tjl�c��h�pC� ����n���c������m�t�y���jñ�����B;3c�� �����hc��873c�����������vg��ic��8Ad���� �mi����e�g�X61�gc���Î�¤;37�AC6?��b(98���|�&c��� c��hi���pC� �G�K���(� �l©Q���>���o���� ���_�(�&c�vgf��3oh ����C}_�h�&p?�e�m��v��grgc��a��o���e�gCi��&�&c� � c��hi���/p1����3cg� � f�jl��l���>nU�æ�b/98���m�K�Wc� �< �mc������K� � i<�&c���f���1�y�g?� ���T�&c� � c��hi���r��K���hi��<�����W;37�AC6������e�h}q� �h�T�,c��efh��?i��gf�� �knU�Wci��gf�o����<���O�g�����{�C���Vj�c�vg���e� fh���Q�y���jÃ� ���To������8��K� ��j�c&� �m��b

4]��� ��� �d��w�c�jlo�����pC�3�hc,���?�� �mc&����[� ���Go���f�jl�Gi������Gc��(cW}_�h�&p?�[�yfh�hi����e�g�5r_�y��(vg�e�g�����&c���f��m�/���� ���Qohc��c�jl��� ���r��K���hi��<�e��� �8o��cgi�����ic��U� ���f��k� ���Ti������<�y�g�c��R�q����o�f��3i������hvgf�{c&� �����k���O�e�_� � �m���mb0��e� ���gf�v��¦���l���[oU�� �y�i����e�¥oU�g��� �en����q���L�y�g�e���&pS� �����fhv��¥�����kjl�g ��i���jlo�����wtc��hc������K� �Wp?�e� ��i������f��hi��� ��c����_����r������ �3� �ejlo������Ui�c&���e�g�Jc����e�&p1��kfh�?����oa�K�y�g jÁ�K�gjl�Wc��hc��e��� ��1� ����w�c�jl�����W�K��h� �����e�R�e���� �Bjl������Cc���� f�jlo�� �����h���¤�R����R�mi�� �����t¯hb ­_��bJ@Jfhi{�¥���8� ����� �������L���3�R�mi����e�g�¥®L�K��jlo������h�m�>cg�>c �m�Kfh���mbsÕh��#��w�c�jlo�����rd� �����������¥i��g ���� c&���e�g�s�yf��hi����e�g�¦���E� oa�mi��e�y�t� �|� · ��í�ù�í���b¥~M���h��K�#cg� � f�jl�� ���W� ��j#oh�e�To������fhi��?�y���jä�y®R�1p?��������pC�l���f�vg��������8ohc��c�j#��� ���Q� M ø,ù M ú��rhi��g ��� oU���h������v[� �l��������� �mi�� �����a�Coac�{c����e��Hc��h�koa� oU���h����i�f���c�1� �#� ���Q�����Qo���f�jl�Wc&w����r�c��C� �h�To� ��&c����e����v#p?�e�h��c��a�q�����i���g���Kp?���h�kc���<nU�����������m�q���qc&�H�i��1�����W���oa�_�K�e� �����J���e�U� ��_� ����b

Õ����jS� ���G����evg�e�ac��h¯g�g©<jl�cg�Kf����jl��g�{��rRcW� f�nh� ���1���5�K�����[�æTp8c��(i{���g� ���l���>���o���� ���_�(c>� j�c����� c�jlo��e�C���h�gnh� �������T�hc&��c<� �ejl����c�z���3���hc&��p?��� i{�Wjl�evg�g��nU�8i������e�mi�����Q�y���j vg �gf��h�Tjl�cg�Kfh �j#��_����K�h�� � ���Ec&�u����>c��tc�ii�� �����_�b|98���qoU�����_���Tp1����qi{���_�K��M��cg�K�g�hc�nh�e�Li��e�_�K�l���J� �h���K�gf�{i���rVn�f��[� �c,���g���ki���fh��������e�hv[p1����Ti����a�����c��e���m��� �#� �hc��8�mc�i{��oa�g�e�_�?� ��c&�?���c��K�3©[j#�mc�� f����jl���_�8oa�g�e�_���?�y �gj���g����J��� �h��W� �����i�����MoU�����g�mbk.C�efa���������Moa�g�e�_�{�Q�e�mc��E� �|����f��a��c��_�W�����y���j�c&� �����zr5p?��� i{�Mp1��fh���j�c�}��[��K� ��j�c&� �����E���C� ���#jl�R�����/�R�Roa� ohc��c�jl��� ���3��� �J���e�qi�f��e�Q�y��T�Kfai{�E� jlc��e�/��c���cg�K�����r5c��h�� ���Ei����a�����c��e�_�����h� f����l�����L��c���c¥c� �|���� c&� ������e�X����� oU��{�K�m�`b¬0G�����e� �����hc���oU�����g�{�qp1����Ji{���g� ����K��jl�e� c�����Mc��h�tc��h����s���B�������#� f�nh� ���r/vg�e�R����vL� f�nh� ���{�>���3�K�����E�æ�r8�,©�rd��æBc��h�¦�g©|oa�g�e�_�{��bM98���oa�g�e�_�8�yf� � ���m���?�y���j�� ���W� ��fh�i��Gp8c��?����e��nU��{c&� ��e���e�hi��efa��������k�����>��©[oU�����_�?�hc&��cg�K���b

6.2. Results.C���h�������e�g�hc��H���k�cgi{�����z� ���T��c���c�� ���{��rRoU�g�K� � ����1jl�c��a�1c��h�k�,c� � c��ai���C����ha�¤î��Cp1����<ic�� i�f�� c&�����y��dc��e�R�����?¯_¨&æ>� f�����na�K� �g��`�&oU�����_���r�c��h�#c�ii�f�{c�i��Tp1cg��c����K�m� � ��>���[� ���?nhcg�K� �O���U� ���8�� fh�1�&c��ef��m�c&�8� �h�� �Toa�g�e�_���bd98���<�y�������&p?�e��v��K� {c&����v�����1p1����Ti���jlohc� �m�`�

° �_���c�� �v����gbO�G�K����v>cWPQc�fh���K� c��#o���Ri�����/���g�����oa�g��c�� �����l���U� �h��o��R���K� i�c�����nh� ����&c&���e�g�h�/c��������gr�{c�}R�e�hvL���g���Ecgi�i��gf��_�[jl�cg�Kfh �j#��_�[������mrVn�f��lj�c�}_����vB�h�Efh� �����?� ���JPQc�fa� � ��c��to���f�jl�jl��������b

Page 21: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 21

° �_���c�� �v��[��bV�3� ����vW68c,���� � c��>ic����en�{c&���e�g�[c��h�#j#��������e�ac����mxgfac�i��[i������i����e�g�5r�c������m� i� ��nU�����B�R�i�� ������®hb ¯�b

° �_���c�� �v��B­�b��G�K����v|� �h��PQc�fh���K� c��Mo���f�jl��j#������/p?������� o���f�v�N����5�`����o�f��>oac�{c�jl������{��b#98���o��R��� ��ic��`��c&�{c#���8�������e�_�����oa�g��c�� ����e�Jc��_��p8c,��b�4]�h�K� �mc��`r�p1�T�K��e�mi��8� �h�T�e��ohf���ohc�{c�jl��� ��{�nR�qjl�����ejl� �K����vl�����W�Kfhj������ x_fhc� �m�k�����H������hi���8nU����p1����k�����Tjl�������5c��h�k� ���W��c���chb

98���G��c���c>fh�K�m�l�y��1�cgi{���K� {c&� �v��#pC� ��� ���Q� c�jl��rRi���jlo��� �K����vT�y���jê�æT� ����©Q���`� ���<����evg�e�ac����c&�{cqoU�����_���bW9Vc�n��e���#v�������3� �h�#7?�R���Q@J�mc��s��x_fhc����BD( ���{�>�¤7�@L��D1�G���(o�������i�� �����J�y�g<�mc�i{����������� �J�����c�� �v�����btÕ����i���jlohc��� �K�g�5rd7�@L��D8ó<æ�b ��®E���#��n���c������m�¦fh� ����vL�����Ji�������p?�����X����o�f��ohc�{c�jl��� ��{�V��w����c��d� ����e(o� ����(j#�mc��5b/�_���c�� ��vg����cgi{���e����m�/�e�e�K���e�3�ejlo���&���j#��_���&�g����������(�&c���f���y��������3��c���cQ� c�jlo��e�m�/fh� ��`b/�_���c�� ��vg�>­Q� ��� ���3}_���h�#���O� na�m��� N¤��� � ����vh�_i�c��e��n�{c&� �����[� �mi{����� x_f��?���u�����fh� �������o�{c�i�� � i��gb�P<������q�����gf�v��k��c&�{cWoU�����g�{�(p?�e� �kp?��� i{�q� �#i�c��e��n�{c&� ��� ���<jl�R������rg����� �Cjl��� ������ejlo���&���m�5�g�W� �h�1fa�K�1���������?i������1p?�����[oh ����Ojl�c��>�y��d§Vr�n�f��(�_���c�� �v��W��� �O���g���>nU��� � �r�nU�ic�fh� ����>c���� ����c�}���Tcgi�i���f��_�T���8jl�R�����(���hcg���x_fhcgi���bk.C�gjlohc����� ���M�����_���c�� ��vg�e�m�l��c��h�s­J� ���&p��<� �hc��p?������� ���Q�Rf�j[na�?���z�gnh�K� �&c�� �����h�C���?� j�c����¤r_�����Qfh�K�Q���5� ���Ti��R���l�¤�Kfh���{c�n�����i�c��e��n�{c&����h�(���1jl����c�ii�f�{c&���3���hc��J� �ejlo����q���g�����oa�g��c�� ����v#� ���W�hc&��chb¼S½~¾dÿ �Uó[�æ �Hó[�m© �UóQ��æ �UóQ��©

�_� {c&����v��J� æhb�¨�© æ�b�¨&¯ æ�b ��¯ æhb�¨���_� {c&����v���� æhb ®R� æ�b ®h� æ�b ­_¨ æhb ­g¯�_� {c&����v��q­ æhb �_� æ�b�¨&� æ�b�¨&¯ æhb ¯g¯

9Oc�nh�e�l��b/7?�R���3@J�c��|��x_fhc� �m�kD( ���{�Cnhc�� ��k����ýE�gnh� ����,c�� �����h�9z�Jc���� ����<� ���q� �evg���e�ai�c��hi��l���C� �����ejlo���&���j#��_�<��� �grzp1�l�������l� �hc��T� �����gnh�K� �&c�� �����h�Qc���

�e�gv�N]����oU�g� �e� �����h�bO�R�[c��q� ���d���zæ�û �g�����_� {c&����vg�#­hrgýBóÍ�mæg�di���� �m�KoU���a����� �[��� �g�������oh �m����i�� ����v����oU�g� �e� �����>nR�Wc3��c�i�� ������h��w�oz�¤æ�û �g���/óÉ��û ­�r�c��h�W����fai�����v3����� �O� �Qæ�û ®_�[�¤�_���c�� ��vg�W��r�ýBóÍ�mæg�Vi�f��{�� ���G��� �gd���qo������ i����e��v#����oU�g� �e� ���������[cT��cgi�����(���d��û�©�b�98��� �(� �Cc>v���_fh�e����e�#fh� ���yf��U��j#oh �&�g��jl���_��e�k� �h�Wi����_����wR�����O�cg���e�g�e�gv�� i�c��ao�������i�� �����5b

98���TYGfac��_� ���e��N�YGfac��_� ���e�Go��������1���kÕO��v�f���Q�[i��g ��� oU���h�#���>�����T���{c��h��c������� ������ � ��fhc�� �Cnhc�� �����¥�_� {c&����vg�e�m�[��c��h�M�k���L�����qi�cg�K�#ý�ó��g©�bl98���lo������T�y��W�_���c�� �v��E��i����c� ���B� ���&p��QcknU��� � ����?���5�����T��c&�{cW���#� ���Qo������ i����e�g�<�����K� ��enhf�� ������� �hc��k� �?c�i{�������g���nR���_���c�� �v��J��b/�3�&pC�����mr_na��� �o��������1� ���&p����c,�R�_N���c�������qi{�hc��cgi���������K� � i��rgc��h���������C�y�mc&� fh �<���1��wRoh�e�g �m�l�yf� � ���1���q�����G�y�����e�&p?����v�K�mi����e�g�5b

Õ���1� c��v���C��c&�{c�� �����(pC�GpC�gf�� ����w�oU�i��?�_� {c&����vg�e�m�3�3c��h���T� �>oh ����fhi��G� �ejl����c�C��� f��e���bO�3�&p8N���g��mr/v��R���to������ i����e�g�t�y���jç���_� ���oU��� c&� �����X���������J��c&�{cEc��e�g���� ��e����[j>fhi{��jl������g��c��¦���g������ ���� ��n�f����e�g�B���(���m�K��v��JoU�����_���G�&����� �h�>o������ i����e�g�B���v������zb�4]�Bjl�g�K�<c�o�o�����ic&� �����a��rU��o����ej�c��V����N�K��v��a���y��Co��R�R� � i�c��h��nh� ����&c&� �����a�dc���?�����Co��cgi�����ic���b/:Gf�(j#��� ������j�c�}���dv���c&����dfa�K�����H� ���3i�������e�����v������a�Cp?�h����G��������Tc���3�y�pÉoh�_��� ��ic��`��c���c#oa�g�e�_�{��c��h��� �h�<fh�hi��K�{c����g���kc�nU��f��?jl�������5���hcg�RN�x_fhcgi��#�e�������� �< �v������h�/� �1 ��Ýh�i�� �m���e�q� ���<oa�_��������e�g(�&c��� c��hi���bVÕhf� � ���1��R������hi��G���5o�������i�� ������ejlo���&���jl���_���Gfh� �e��vB68c,�g�� ��c��Li�c��e��n�{c&� �����Mc��h�Ejl�������d���hcg���x_fhcgi��Li���� �mi�� �����Ljlc,�Lna�l�y�gf��h��e�|c�� �i��g�h�k��w�c�jlo����T�����i���enU��k���|åQ������m����c��a�J:[� �3c�vgc��E�¤��æ�ægæ�na��b

6.3. Sensitivity to modelling assumptions�R����c�rHp1�>�hc,�g�Wj�c����[�,c� ����fa��jl���������e����v�i{����� i��m��rUohc� � � i�fh��c� ���k���B���� c&���e�g�J� ��� ���#i�������� c&� ������yf��hi�� �����5r`p?��� i{�Mp?�e���������TnU�lc�o�o����o��� c&� �W�y��Tc����/c�o�o���� i�c&���e�g�h�bT~E�l���&p^nh ����Ýh�J��w�c�jl�e�h�[���&p

Page 22: Bayesian Calibration of Computer Models

22 Marc C. Kennedy and Anthony O’Hagan

••

••

•••

•••••

••

••

• •

••

••

• •

••

••

• •

••

••

•••

• •

••••

•••

••

••

••

•••

•••

•••

•• •

•••

••

••

•••

••

••

•••

••

••

••••

••

••••

••

••

••••

••

••

••

•••

••

••••••

•• •• •

•••••

••••••

••

••

••

••••

••

••••

••

•••

••

••

•••

••

••

••

• ••

••• •

•••

••

••

••

••

••

•••

••••

••

••

••

••

••

••

•••

••

•••••

•• ••••

• •

••

•••

• •

••

••

•••

••

• •••

••

••

••••

•••

••

••

••

••

••••

••

•••

•••

•••

•••••

•••••••

••

••

•• ••

•• ••••

•••

•••

••

•••

••

••

••

••

•• •••

••

••••

••

••

••••

••

•••

••

••

•••••

•••

• •

••••

••

•••

•••

••

••••

•••

•••••

• •

••••

••

•••

••

•••••

•••••

••••••

••

••

••••

• •••

••• •••• •••

•••••

••••••••

•• •••

••••

• ••

••

•••• ••

•••• • •

••••

•••••

••••

•• •• • ••

•••••••••• •• •• •••• •• •••

• ••• •••• ••• ••• •• ••••••••••

Quantiles of Standard Normal¿

Str

ateg

y 1

stan

dard

ised

res

idua

ls (

n=25

)

-3 -2 -1 0À

1 2Á

3Â-1

0-5

05

10

••

•••

••

••

•••

••

••

•••

••

••

••

••

•••

•••

••• •

••

••

••

••

•• •

••

•••

••

••

••

•••

••

••

••

••

••

•••

••

••

••

••

••

••

•••

•••

••

••

••

••••

••••

•• •

• •

••

• •

•••

••••

••

••

••

•• •••

•••

••

••

••

• •

••••

••

••

••

••

••

••

••

••

••

•••

••

• •

••••

••

••

••

••

••

••

••

••

••

••

••

••

•••

••

••

••

••

••

••

••

••

••

••

•••

••

••

•••

•••••••

••

••

••

••

••

•• •

••

••

••

•••

••

••

••

••

••

••

••

• ••

••

••

••

•••

••

••

••

••

••

••

••

••

•••

••

••

••

••

•••

••

•••

••

•••••

••

••

•••

••

••

••••

•••

••

••• •

••

••

••

••

••

••

•• •

•••

••

••

•• ••

••

• •

••••

••••

••

••

••••

••••

••

••••• •••

•• •

•••••

••••

Quantiles of Standard Normal¿

Str

ateg

y 2

stan

dard

ised

res

idua

ls (

n=25

)

-3 -2 -1 0À

1 2Á

3Â-6

-4-2

02

4Fig. 2. Quantile-Quantile plots for Strategies 1 and 2 with Ã�Ä=ŲÆ

�K�gjl�(c��e� � �hc�� �����doh��c�fh�K��n����djl���������e����v<c����Kf�jlo����e�g�h�zc��U�mi��O�e���y� ��hi��m�z���T�����Cic�� �d���������8�g©,N�oa�g�e�_�9z�gj��K}��hc&��chb/Õ�f� � ���������{c������3c���Gvg�e�g�����e�JåQ���h������kc��h�B:[� �3c�v_c��M�¤��ægæ�æ�na��b

98���qjl�������(�����i���enU��¥c�na�&�g�|���_� {c&����vg�M���<p?�����(nU�q ���y��� �m�B���Lc��T@t��b|98�� ��qc��e� � �hc�� �����jl�R����� �<c� �[��f����e�����m�BnU�����&pTbT4]�E@L��pC�[ ���c�w|� ���lc����Kfhj#o�� �����B���hc&�<� �h�#�R�RoU���ohc�{c�jl������{��c�����w���`rU���L@B­�p1�Wfh� �>c��Ec��e� ����hc�� �����Q�yf��hi�� �����hc��5�y�g jÁ�y��3� ���[i�������� c&� �������yf��ai�� �����zrHc��h�|���L@J®pC�Ti����h� ������1� ���T� � ��� ���oh��iG�y���jÃ���V�����Tvgc�fh� � � c��ki���� ���c�� �������yfh�hi����e�g�5bÇzÈR-WÑ�¡a��"`Z�) �&����'&¡¥%/�u�2{E) "�+���"{������'��2{�"�) '&�kZ6{R¡H"�+{+��h�&)��&Â�"��]"�){+ÊÉ>4��<p8c��<� f�v�vg��K� ��B�e�s�R�i�� �����®hb�©����hc&�Q��w�����v|�R�_oU���ohc��c�j#��� ���Gc&�Q� ����oU�g�K� � ����<jl����c��/�&c���f��m��r5{c&������<���hc��E� ��c�� ����v�������jc��8f��ai��� ��c��e�zrh� ��c��Jc�ii��o���c�n��e�W� ��j#oh�e�e�ai�c�� �����|���O� �h�Wjl�R������bC4���� �����u� ���������>i�cg�K�T���|jl�R����� �?���� ��� �Q}R�e�a�L���hc&�T�����y������ai�������� oa�mi�� c����e�Loa�_��������e�gG�&c��� c��hi���{�3c� �l�K��h� �����e�g�[����� ���qi{���g��i��[���(����� �gf�v��h������3oac�{c�jl������{�3���L������i��g ���� c&���e�g�|�yf��hi����e�g�5b#4]�Mc��Ec&� � �j#o��<������c�}g�[jl�g �lc�ii���fh�g�<���� ���kf��hi��� ��c����_���Mc�na�gf��>������ �qohc��c�jl��� ���rOpC�kfh�K�m�tcBi� fh�����Rf�jl�����ic��Cj#��� �����s���L���_� ��vg�c�� ��&��� M ø,ù M ú8���qi�c���i�f���c�� ����vQ� �h��oa�_��������e�g/o������ i����e�g�?j#�mc��h�Cc��h�#�&c��� c��hi���bV98���m�K�����oh �m�K��g������� �gf�v��h������1ohc�{c�jl������{�1�e����f�?�h����N���� ���� �go�� i3o������fhi������C��N����ejl���a�K�����hc��`i�������� c&� �������yf��hi�� �����h�bÇ�Ë_-sÑ{+�'&��) '��H����ÇB���JÌ"�)�¡É�{'&)�)�"��e���¤��'�¡ÉÍ98���J��w�oa�g�����_� � c����y���jÙ���<� ���Ei�������� c&� �����¦�yf��hi�� ��������#c�oho� �go����c�� �q�e��� �h�k���hc����x_fhc�i��L�yfh�hi����e�g�¦� �[c��hc����_� � i�rdc��a�¥� �h������y����qj�c,�s�����#na�k� �h�knU��K��y��<jl�R�������e����v|o��R���K� i�c��O� ��������j���bT~M��i�c� ��e�m�J��f��Qc��Ec��ac����R� � �3� �����_����ic��O� �k� ���l�g���#�����i���enU��c�nU�&���dnhf��Ofa�K����v������(� � ��� ���oh��id@Lc&�3Í����Wi�������� c&� �����Q�yfh�hi����e�g�>�Kfhv�v��m������TnR�T�3c��h��i��Ri{}Qc��a�W~sc����e� ����m����®R��bÇ8ÎU-GÑ�+�'&��) '��H���9Zg���R+�+�����¡¥�{'�)�) "����&����'&¡8�{��¡U���¤��'�¡É398���T�h�hc��zjl�������O�&c����c�� �����Ji��g�h� ����� �m��fh�K�m�� ���#� �K��� ���o�� iTvgc�fh���K� c��Bi���� ���c�� �����|�yf��hi�� �����H����î8ù�î��u��ó^��w�o5���FÏkQ î0�tî��`Q ú ��bW98��� �G���<�x_f����&c������_�� �>cg� � f�jl����vQ� �hc�� M ø ó M ú �e�q@¥�gb/98������K� ��j�c&����l�&c���f���(���H� �h�� ��ohc�{c�jl��� ��{�/f��a����1@¥�����e�U�nR�[c<��c�i�� �gd���z��æhbV�3�h����1@J®Tp1�?j#��v��_�d����������y�g �?��w�oa�mi��d���W�K���xgfh�����3���e�U� ��g�C�e���y� ��hi��m��� �ac��pC�Q�gn���c��e���m��p?�e� �J@¥�T�e�O� ��� �Q� ���K��h� �����e�R�e����� �#� �h�� �T �gf�v����h����Coac�{c�jl������{��b

Page 23: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 2398���� ��c��hc������K�m�l�Kf�vgv��m���[� �hc��J�¤cg�#c��R�¥��jlo� �&�g��jl���_�l��f���� �s���g����vg�c�� ����vLp?�e� �� �m�KoU�i��[���

� ���T�R�RoU���ohc�{c�jl������{��r�cg�8��o�oU�g� ��k����jlc�w��ejl� �K����vhrh���?����}������q����na�[�Kj�c�����rhc��h�¥��na�1�����T���H�i��3���fh� �e��v<c��e� � �hc�� �����1i��&�&c����c��hi��d�K� �fhi�� f����V����c���� �G� j�c����¤bO���&p1�����r,p1�C���<�����Vo����oU�g� �d���hc&�/c��R�Q���� ���m�K�Cjl�R����� �5���{�zoU�� �y�i�� ����b�Ad�����{�z����o� �m��� i�� �����>��� �g��5� f�vgv���K�5���hc&�V� ���C� �f��C����oU�g� �����e�g�>�KfhK��cgi����w�����n��e���?����i�c��5�y�c&��f����8���hc&�3p1�Wc���<��c����e����v�����o������ i��mbC4]�J� ��jl�W�K��h� ��rhc��e�V���O� ���Wjl��������?�ac,���o������ i����e�g�d�����K� ���n�f�� �����a�zp?�e� �T�{c������5� �hc��Oc� �����_��� �����5b�98�����z���Oc��Wc� �mc1�y��V����vg������v?�e�R�g��K� ��vgc&���e�g�5rn�f���� �8�e��}���e�q� ��nU�Wc�o�o���� i�c&���e�g��N]�KoU�i����ai�b

7. CONCLUSIONS AND FURTHER WORK~E�Q�hc,�g�Goh �m�K��g�����cl61c,�g�� ��c���c�oho� �_c�i{��� ��i�c��e��n�{c&� ����vlcli���jlo�f�� ���i������Qfh�K����vl��na�K� �&c&���e�g�h��y �gjÞ��������c��do���Ri������r�c��a�¥�Kf�na�K�mxgfh���_�>o������ i����e�g�tc��h�sfh�hi��K�{c����g���sc��ac����R� � �T���8� �h�qo���Ri�����p?��� i{�>i��g ��i����`�y�gVjl������g���hc����x_fhc�i���bO98���CoU�g�K� � ����O�Kfhj#j�c� ����5��c�}g�Ccgi�i��gf��_�V���hc����g���j�c���������v�K�gf�{i���1���Vf��hi��� ��c��e�_����b

~E�Q�hc,�g��� ��c�� �m��� �h�Qi������<cg�8cq� n�� c�i{}�nU�,wH��r�c��h��� �h�<jl��� �������8���m� i� ��na�m�����q����� �8ohc�oU��?c���c�o�oh�e� i�c�n��e�<���li���jlo�f������i��R����8���/c��n��e� {c����i���jlo�����w��e����b

03�#pC�k�hc,����c��� �mc����Mjl���_� �����h��t�������i����e�g��©�be�gr/�ejloU�� ��c��_��x_f���K� �����h�[���j�c����¦c�nU��f��[�����i{����� i��J���>���� ��v���oU�����g�{��bã98���Lo��R��� ��ic��3�gnh� ����,c�� ������� ������qp?�����G���u� ���×na�E�e��jl������`r<c��q�����������w�c�jlo����3oh �m�K��g������h�����r_n�f��1� ��� �<p?�e���Una�Q�K�e� fac&� �����a�C���qp?��� i{�q������ �3j�c,�lnU�<i����_� ������e�m�`b�98������� ��v��h�lc�����c����tfh� ��¦� �¥���c���Xc�na�gf���i������|f��ai��� ��c��e�_���tjl��v��_�qnU�Jfh�K�m�t�y�g#} ú �e�«��{���[����e�mc���Bc�nU��f��Qjl�����������hc����mx_fhc�i���bQ98���>o����nh�e�jÁ���Ci{���R�g� ����v����m�K��v��h��} ø c��h�@} ú � ��vg�e�g�>vg�_���i�c��e��n�{c&� ���������������Wjl�������5� ��jl�g �W���e�qi�f��e�b?98���l.1c� � �� � c���o� ����fai��G���m�K��v��a�8�y��F} ø ���m� i� ��nU���e�s�R�i�� �����s©�p1���}�p1�������e�L� ���#��w�c�j#oh�e�#���1���i����e�g�E¯hrU���Lp?�h��i{�L� �������m�K��v���}lú[���Qcg� � f�jl��|���na�Q�hwR�m�`b/98���� �W���m�K��v��h�?c���� �[��c�i��������{c&� �Q�����Wi��gjlo�f���c�� �����h�?cg�8��f����e�����m�k���J�R�i�� �����B©�b ­�b

~E�8�hc,�g�1ic�� ����T�gf��/�e�_����v�{c&���e�g�Wp?�e� �# �m�KoU�i��O���Q§�n_�[�K��jlo��e�?x_fhcg���c�� f����r,p?��� i{�#���O�y�mc�� �en�����y��l���&p8N�����jl���h� �����hc��?§În�f��qp1��f�� �Xna�mi���jl�J��jlo��cgi�����ic��8p?�����«��c� vg��l�Rf�j>nU��{�l���Ti�c��e��n�{c&� �����ohc�{c�jl��� ��{�b[98�����gn_�R����fh�Qc�o�o���gc�i{�L� ����s���[email protected]@M.Gbz���&p1���g��mrH� ���qic����en�{c&���e�g�E��� �K� ��en�f�� �����.V��§��� �w<ù+�5�G���Qc�i���jlo�����ic&����J�yfh�hi����e�g�E���1§Vrzc��h�L���Qp1��f�� �Lc�o�oa�mc�G� ��na�����e�qi�f��e�Q� �|�K��j>fh��c�� ��y �gjÖ����� �C��� �K� ��en�f�� �����qfh� ����v[@[email protected]#��� �������b/;������ � �h���������rg�e�q�gf�1��w�c�jlo�����(pC���ac,���?�y�gf��h��������<nU�?��c�� ���ac�n����QpC��e��c�o�o���,wR��j�c&����TnR�>c<���g j�c������ �K� ��en�f�� �����J��i����R��� vg���hi��(���U��f���e� ��c�� �����x_fhc���{c&��f���/ ��e����V���>c3�����j�c��_c�o�o���,w��ej�c�� �����a��b54���� �h���V���z� �f��(�y��O���evg�>����jl���h� �e�g�hc���§#�e�O� ����f�� �na�ToU�g��� �en����<� �lfh� �Wc��|c�o�oh �,w���jlc�� �[email protected]@E.Î�e�_����v�{c&���e�g��jl���������`b

4]�t��f�[��w�c�jlo�����r�pC�k�hc,�����h���#i����h� � �������M������jl����q��jloa�gK�{c��_�[i�cg�K���e�tp?�h��i{�¥�����ki��������f���o�f��>� �Wj[f��e� ���,c� � c&����b|D/�H�i�� �����qi�c��e��n�{c&���e�g�s� ���gf����M� ���c��e���Mfh�K�qc��e�1c,�&c�����c�n��e��i��R���q��f���o�f��{�c��h�#i��g ��� oU���h������vGo��R�R� � i�c��Rjl�cg�Kfh �j#��_���bVÕ��g/��w�c�jlo�����r��e�[� ���?�Rfhi��e�mc�/c�ii�� �����_�dc�oho��e� i�c�� ������ ���G;37�AC6tp1��f�� �#jlc�}���cQ� c��v��?�Rf�j[na�d���5c���(i����hi����_� {c&���e�g�[jl�cg�Kfh �j#��_���/� ��jl�8� ��jl�3nU���y����� ���G�h{���8v����fh�h�����oa�_�K�e� �����kjl�c�� f����jl���_�{�Cc� �Qc,�&c�����c�n��e�gbO98�h�Qc��e1jl�cg�Kf����jl��g�{�Cic��ko� �&�R� ����e���y���jlc�� �����qc�na�gf��(�����Gfh��}R���&p?��� ��f�{i��?�����j���rRc��h��� ��� ���y����G� ����f�� ��nU�3fh� ��q�e��� ���Qc��hc��e��� ���b98���>fa�K�[���(j[f������eoh�e�li������[��f���o�f����<c��a�Bjl�cg�Kf����jl��g�{��� �Gcq� �go���i>�y��G�yf���f� �[ �m�K�mc�{i{�5b34��<p1cg��Kfhv�v��m������¥�������i����e�g�X®abe��� �hc���j>f��e� ���&c����c�� ����f���o�f����#jl��v��_��na���hc��a���e�m�X� ��j#oh�e�¥nR�ti���c�� ����vc����������e�g�hc��O�e�ho�f��Tohc�{c�jl��� ��{�b34]�E� ���#�Rfhi����c�<c�o�o�����ic&� �����LpC�#i���fh���L�e�Eo� ���hi��eo����[� ��c&��ÐKjl�c�N�Kfh �j#��_�G���RoU�²Ñ|c��h�%ÐK{c����e�g�_fai��������nÑ�cg�Q�e��ohf����b����&p1�����rU�y�gQ� ���m�K�#���Roa�m�Q���1�e��ohf��W���Wp1��fh���������nU�? �mc�� ���hc�n��e�d� �Qj�c�}��C� �h�1}R���h�[���Ucg� � f�jlo����e�g�h�OpC�8j�c�}g�1c�na�gf���� ���?i��g ���� c&���e�g�>�K� �fhi���f� �gb

~E�q�ac,���q��� � i�fh���K�m�¥xgfh�����q��wR� ��h� �e�g�����B� �h�kx_f���K� �����s���?c���������hc&���e�g�qi��&�&c��� c��hi��l�K� �fhi�� f����bD/w�oU����ejl���_�{�3���oU�� � �m�J�e�s�R�i�� �����L¯hb ­��e�a����ic&����L� ��jl�l����vg ��W���C �gn�fh�K� ���m� �rHn�f��Tc�� �K��cq������ �Wi����h� ������djl������� �/���hc&�1c����e�&p¦�y��(jl�g �8���Ric������ ����K� �fhi�� f����bO~E�3�����m�#� �T��w�o�������?��fhdjl��� �h�R�h�p?�����|j#�g �Qc��a�k�&c� �����c�o�oh�e� i�c�� �����h�b

Page 24: Bayesian Calibration of Computer Models

24 Marc C. Kennedy and Anthony O’Hagan~��������e�¥�gf�[PQc�fh� � � c��Mo� ��i�����<�y�c�j#�pC�g }Hr`�e�>p1��f�� �LnU�q���� c&���e�g�����B�����c��evg�g� �y���p1c���J� �Bc�i�N

i��gj#jl����c�� �W�gnh�K� �&c�� �����h�?���d������e�&c�� ������3���/�����[i��R����rHc������M:[� �3c�vgc��¥�K����_����b�I3� ���&c&� �����m��c����K�gjl��� ��jl��Gc,�,c��e� c�nh�e�gr�n�f��<pC�W�ac,���T�����3��w�c�jl������������ �G� �l��c�mbG:3� ����jl����>� oa�mi�f�� c&���e�g�T� �go���i��y��>�yf�� f������� �c��i{�s���hi���fh���k��oU��������vEf�o¥� �h�B� n���cgi{}EnU�,w`�er/��� ��i�fh���K�m�¥���X�R�i�� �����Î�gbe�grOc��h�tc�o�No�����ic&� �����a�Wp?�e� �¦�h�evg�¦����j#��h� �e�g�hc��?§Vb¥:Gf�[��w�c�jlo�����[���e� ���K���L�hc,�g�q�����[v��g���qnU���g���h�tcB�y��p����j#��h� �e�g�h��rz�����Ti�c��e��n�{c&���e�g�Lo����n�����j��<j�c,�B�hc,�g�>j�c��R�Lic����en�{c&���e�g�Lohc��c�jl��� ���3� �M� �����bl98����K��j>fh��c�� ������N�nhc�� ���c�oho� �_c�i{�����d7?�gjlc����&p?� i��q"��?�&��bO�K�����®_�1i�c��|��cgi{}_���T����v��J����jl���h� �e�g�hc���§Bnhf�����R��G�����Qc����e�&pÍ�y�gGjl������V���hc����x_fhc�i���b<~E�l� fh�KoU�i��3���hc&�Tcqo��������j#���hc� �|����j#��h� �e�g�L����fhi�� �������w���{i�� � ��r�c��8���L.C�c��evJ"��?�&��bz���m�����_��rR���H��{�1� �h�Tj#�_����oh �gj#� � �e��vlc�oho� �_c�i{�k�e�J� fhi{��ic�� ��b

03.1åT;<:�~Î2zD(IQPQD(@LD(;39��98�����Q��� �c��i{�Lp1cg�<� f�o�oU�� � �m�LnR�J��� �c��i{�Bvg�c��_�TPQ74Ò�åW©&®R©�©g¨>�y���jÞ� ����Dd�hv�������� ����v|c��h�

Ad�R���K� i�c��d��i������hi���T7?�m�K�mc�{i{�s.C�gf��hi�����rz�3ålr5p?�e� �¥cg�����e� �����hc��V�a�hc��hi���c��di��g�g�� ��n�f����e�g�h�<�y���jè�����;3c�� �����hc��H73c�����������vg��ic��HAd���� �mi����e�g��61�gc�{�qc��h�q�����TDd�R�R�e����hj#��_�803v����ai���b�~M�<� �hc���}�;���e�5�3�ev�Nv����h�r_9V��jÃ.C�hc������i{}lc��h�l��������Ci������e�mc�vgf���Cc&�d�����<;Gc&���e�g�hc��U7�c�����������vg��ic��hA( ��� �mi�� �����q61�_c�{�>�y�go���&�_� ������vTfh�(p?�����l� ���<��c&�{c�rgc��h�#�y��1c����R� i����g�l� ���3fh�K�3���H� ���QPQc�fh��� ��c��#oh�ef�jl�Gj#������¤b�~M�3c���c�� �K��v���Rf��e�h�����Jv�{c&� ���yf��O�y��Tj�c��R�J�g����J������o��yf��(c��h�Eoa�K���e����_�Ti���jljl���_���<�y���jè����y� ���rH� �hc���hc,���<�����fh�1� ����jlo���&���G� ��� �?ohc�oa�?�e�|�Rf�jl�����fh�8p8c,����b

73D(Õ�D(7�DC;<.1D1�0��e��i{��� � ���5rhØabhc��h�|I3f��a�Kjl�����rh4�ba7Tbz�K��R¨�©��FÓU�����¤� +����������ÕÔ1)�"�*���������'&¡�ÖG¡H�&��$,+�� +�b8.1c�j>n������v����d�3���eN

����� �����qA( �m� �b03� �e���K�mrR7Wber�61fhi{}Hr_7WbRØab�r_IGf��&c����¤rh�`bRP#b�r���c�i{}��r_Øab�×Í~M��� i{�5rR~ b�ØhbH���m���g�g�(.C���i�f��e�C��o�� ��j#���c�� �����

�R��cJ� �x_f���g����c��(i��gjlo�f�� �W��w�oU����ejl��g�{���#I3�m�K��v��s���?c��s��f���o�f��>n�f��U�b�ÖC�g�U��É0Óa�]�&��� +{��É�r�ØÕÙ5r­��DÚ_®g�hb

68c&� �m��rV7Tbz0Wb�r�6Cfai{}UrV7TbzØaberO7?��ii��gjlc�v����arzD�b5c��h�E~��_�h�5rO�>bzA�b(�K����_©��GD/w�oU����ejl���_�{c��d���m�K��v��c��h�k��na�K� �&c&���e�g�q�y�g?��c� vg�Q� ��������j��b7Û-ɸÜ�É(ÓU�����¤� +���ÉeÓ`'�nÉ(6<rTÝTÞ5ra¨g¨²Ú���®hb

.C�����e�m��r`ØabUc��h�BIG���e�h����mr`A�bO�K��g���g��rrß�"{',+��]�&��� +��¤����+�-|ÇB'm*�"����u¡�ZzÓ��h�&�����&��àO¡U�{"�)��]�&�u¡a�¤$&r`;3��pÍZd���}H�~��e�����gb

.C��c� }g��r`7Tb5�>bd����R¨&�_�398���#�h{�K�<���oU�� �<���1ck~E�g }R����vJP< �gf�oE�g�E01��j#�_�Koh�������i#IG��� oa��� �����5�Q0jl�R�����&�y�gz�K�h�� �zc��h�<jl�����f�jÍ{c���vg������� oa��� �����Q���R�cg�������Rfhi���� ����H������cg�K�m�����?� ���dc�� jl�g� o���� �gr�3c� p1�����¤r�;G7�A(6CN]7����gb�2z���h�����5�/�3@E�h:[b

.C�,w`r_I[b�I>b�r�A/c��}Hr_ØabR�`berh��cgi{}���rRØhb�c��h���R����v��rh.Gb�D�bH���m���_���d9Vf�������vli��gj#oh�e��w�i���jlo�f�����?i������m�� �q��c���chbrÔ1) 'm��"{"{*&�u¡�Z&+['��T�2{�"�ÈOË�)�*8ÓU$&Â��h',+��u��ÂÞ'��T�2{�"<Ñ�¡a��"�)2�����{"l'��Pá/'�Â��H���¤�u¡�Z8Ó`����"�¡U�{"l�&¡H*Óa�]�&��� +��¤����+�âEÖC�U)��u�/È�ãåäOȲÎ3â9ãkækæOãåâ4Ó`"{�&���¤�e"DâPçSÖTr`4]�_� �� ��c�i��#Õh��f��a��c&���e�g�5rVÕac���K��c�wE�_��c�� �����5rV\O0>r��¯g¯6Ú��_¨R�gb

.C�,w`r5I>bzI[b�rVA/c��}Hr5Øhbz�`ber��R�e�hv���mrO.Gb5D3bd����g��¯_�30��K��c�� � ������ic��/jl���������L�y�g<� f�������vBc|i��gjlo�f�� �i������<� �qcl��c���c#nhcg�K�gb�èa"{�+{JÉ7Ü3"]�0æ�é&£�Ë�rUI3�o��b/���/�_�{c&�����K� � i��rh7?� i��T���h�e�g��{�K�e����b

.C�c��evarhA�b`�Hber`P<��� ���K� ��e�5rH@¥b�r`7?��f�vg�e�rUØhb`.GbUc��h�B�R�����f��e�r`0>bU�>bO�K����g�g�868c,���m�K� c����y�g �mi�c��K� ����vfh� �e��vl� c��v��Qi��gj#ohf�� �?j#��������b�àV¡��U�h����� +�{�"{*�Âl��¡h�R+���)�� �H�¤b0��&c���� c�n����Tc&���_�K��o5�êÒOÒ,p?p?pTb j�c&� �a��b ��f�mb cgi�b f�}JÒ&�K��c����Ò,o��R���Koh �m�TÒ,o�������i�� �����5b oh�

.C�c��evarhA�ba�Hb�r`P<��� �����������5ra@tber`�R���h��f��e�rH0WbU�WbHc��h�J�Rjl�e� �5r`Øabh0Wb����m����¯_�161c,�g��?�������c�3�����c�� �v������y��Qj�c&�{i{���e�hv��R�������i�c��nU���B��� ������g�eG�����K� �g �gb[4]�?ëG�&$�"�+{����¡=ÓU�����¤� +�������+8ì&rOØhb5@¥b561� �hc�����hrØhbh:[bR61���v���mrR0Wb�A�b�IGc,�R� ��c��a��0Wb�Õ1b�@¥bh�Rjl�e� �5r5������b ��bC:3wR�y��{�`�O�3��������{� ������Ad�����bO¯g�6ÚR�_©�b

Page 25: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 25.C � i{}Hrz@¥bOØhb�rO�3���y�rOD�b�rOØg�����m��rOØhbV0WbVc��h�s�3c,�Rp1�_���`r��HbV@tb(���m�����_�Q���hi��� ��c��e�_���Lc��hc������K� �Q���

� ���G�y�R����i{�hc�����c��h��c�� jl�g� o���� � i3��� � oa��� �e�g�qjl����f�����1���V@L037�.Gb�9z�mi{����� i�c��U7?�oa�gK�?;373A(6CN7T���®hr�;3c�� �����hc��57�c����e�g�e�gv�� i�c��`A( ��� �i�� ������6C�_c�{�`b

.C �m� � ����r�;Wbh0>bU.Gbz�K����h�m�AÓa�]�&��� +��¤����+���'&)SÓ��h�&�����&�Õí[������bd;��p×Zd�g }H��~��e�����gb.Cf�� ���5rh.Gbera@J���{i{��������rh9Qbera@J��� � �rR@tb�c��h�kZG���R����c�}g��mr�I>bz�K��g���m�C68c,���m�K� c��qoh �m����i�� ���������/�������� N

jl�e��� �K� � id�yf��ai�� �����a��r&p?�e� �lc�o�oh�e� i�c�� �����h�5� �G� ���8���� ��v��>c��h�>c��hc������K� �5���ai��gj#ohf�� �O��w�oa� ��jl���_���rÛ-ÉÕÖGÂ�"�)ÊÉAÓU�����¤� +���ÉrÖQ+�+�'m�²É�rÕÞTîzr��g©�­6Ú���¯�­hbI3���rUI>b�ra@Y\fh�e����mrhA�bac��h�J�R�����hc�rUI>bO�y�m��������{���Q�K��g���g�eÔ1)������¤���{�&�¸ï>'�¡&�h�&) ��Âl"���)����#��¡U*PÓH"�Â[� �h�&)��&£

Âl"���)�����ëG�&$�"�+����&¡�Óa�]�&��� +{������+{bd;3��pÉZd���}H�/��o� ����vg�� N�\/� � c�vabI3� c�i������ �rVA�b(�K����g�g�<68c,���m�K� c��E�_fhj#� � i�c��dc��hc��e��� ���b�ÓU�����¤� +����������"í#"���� +���'&¡�èÕ{�"{'&)�$s�&¡U*�Ü3"��e�&�]"{*èh'{�U����+GÑ-ðVr¸ñab����Hba�HbaP<fho���c�c��h�kØabh61���v��r_��h��b���rh;3��pÉZd���}H�/��o� ����vg��mr`�¯�­åÚU�&¨�©�bI3{c�oU��mrhI[bO�K��g�g©��80G� � ���� j#��_�Gc��h�|oh �gohc�v_c&� ���������/jl�������Vf��hi��� ��c����_���E��p?�����L��� � i�fh� � �����a��bSÛ-ÉÜ3'�$kÉeÓU�����¤� +���ÉeÓ`'�nÉ(6<rTÝÙ`r�®R©nÚ��_¨RbI3{c�oU��mr(I[ber1A���������chr/0Wb�rCAd{c����hrdA�b�rC��c��e� ��e����rC0Wb�r8.C�h�c���rC7Wber(D(v�f������e�grC�`ber(@B���h���m��r16<b�c��h�

9Vc��c��_� ��� c�rd�Hb��K��g���g�[��i���hc�����Ec��a�tohc��c�j#��� ���i�f��hi��� ��c����_���¥�e��PQDC��[email protected]�/0Ájl��� �h�R��N������vg��ic�������fh���L���s�Rfhi����c�<p8c��K� ����� � o��e�_� c��/ � � }Bc����K�m� � jl���_�b0ád'&Â3�¸ÉzÔ�{R$,+ÊÉ�ád'&Â#Â�É�rEññ-Ù5r��®R�nÚU�,©�©�b

Dd�&c��a��rU@¥bUc��h�B��i{�Rp8c� � ��ra9QbO�K����_©��8@J��� �������3�y��<c�o�oh �,w���jlc�� ����v����g����vg�c����?���B�K��c&�����K� � i��Gp?�e� ��KoU�i���c��z�j#oh�hc�� ���3���B68c,���m�K� c������g����vg�c�� �����|o����n�����j��>��p?�����L��� � i�fh���K�����a��bSÓa�]�&��� +��`É�ÓH���^É�r�ñ��zr��©�®åÚ��_¨���b

P<��� ���K� �����5rO@¥b(���m���g¯g�<�R��ohc��c�� ����v|na��e�������bq4]�=ëG�&$�"�+{����¡sÑ�¡²��"�) "�¡U�{"k��¡U*�í["{��� +{��'�¡¶èa"{�+{�¡h�^ò��h"�+�âóC+{+��&$,+q�u¡Gô>'&¡H'&��)k'��vë�)���¡U'M*�"Põ(�u¡U"����¤�?�y�m���#A�bVålbOP<�R��Cc��a�t0Wb/ëU�����e�h�����bB0�j��K� ����c�j|�;��gK����N��3������c��h�`b� �K��g���g�C03�&��fh�����e�hv�na��e�����/���� fai�� fh �m��bAÛ-ÉÕÜ�É"Óa�]�&��� +��`ÉAÓH'm�nÉd6<rÝT�5r`�m­�­6ÚH�m©�®hb

�3c��h��i���i{}Hr5@¥bV�`b5c��h�s�_� ��e�zrV@¥bz2(bd���m����­_�30ª68c,���m�K� c��Mc��hc��e��� ���G���8}R ��v�����vab0èa"���{R¡H'&Â�"���)�����+{rö Ý5r�®gæg­6ÚR®h�æhb�3c��h��i���i{}HrR@¥b��Hb�c��h��~Mc��e�����r�Øhb�7Tb`�K�����®_�(0��kc�o�o���gcgi{�l� �l���{c&� � �K� � i�c��H� ohc&����c���N�� �j#oU��{c��ajl�R��N

�����e����vl���Ojl��� ����������vg��ic��U�h��� ���T��p?�����B������i�fa� � �e�g�a��Û-ÉÕÖGÂ�"�)ÊÉAÓU�����¤� +���ÉEÖQ+{+�'m�nÉ�rTÞT÷zr�­�¯g�6Ú�­���æhb�3cg�K����� �r�ØabRc��h��7�c&�u�������r�0Wb�D3bH�K��g���g�1�Rohcgi���N¤���ejl�<j#������e������vlp?�����k������v�N�jl�j#�g �����oa��h����hi��g�

c����K�m� � ����v>4]���� c��h�5� �8p?���h��oa�&p1��8��� ��f�{i��l�yp?�e� �J��� ��i�fh���K�����U��brÖC�g�U����"{*PÓa�]�&��� +��¤����+�rh­��hr`�Ú�©�æ�b�3c,�R���Ri{}Hr�7Tb?���m���_¨��T68c,���m�K� c��s�����y������hi��kc�na�gf��[�gf�� o�f����#���3i���jlo�f��{c&� �����ac����e�M��w�oU���h� �e�g�kc��evg��N

�e� �hjl�(p?�����qf��hi��� ��c��e�_���#���l� �h�3����o�f��{��bd�3��o�f�n���� �K���m�qAd�aIÉ98���m�K� �r_�3���e�g��{�K�e���#���5;����K� ����v�N�hc�j|b

�3c,�R���Ri{}Hr�7Wbgc��a��:[� �3c�vgc��5r�0WbH���m���g¯g�/:G�l�e���y� ��hi����y��d�gf�� o�f����d���5i���jlo�f���c&���e�g�hc������>��w�oU���h� �����c���v��g �e� ��j��Cp?�����|f��hi��K�{c����_���q���k� ���Q����o�f��{��b/4]��ëG�&$�"�+����&¡�Óa�]�&��� +{������+9ì�rhØhb�@tbh61����hc�{���hrRØab:[b�6C� vg��mr_0>b�A�b�IGc,�R� ��c��h�k0>b�Õ1b�@¥bh�Rjl�����5rz������b ��bC:3wR�y��{�`�/����������� ������A( �m� �b/¯g���åÚR¯g­_¨Rb

����������5r�Øaba.GbH�K��g��­g�(���hi��� ��c��e�_���qc��a��� ���h� �����e�R�e���qc��hc��e��� ���(� �mi{����� x_f���C�y��8fh� �<�e�koa�K�y�g j�c��ai��c����K�m� � jl���_�5�y�gO{c����e�_c�i����e�g�dp8c��K� �8����� oU�g��c���råÜG"����������u���u�¤$Só1¡�Z��u¡U"{"�)��u¡�Z#�&¡U*SÓa$,+���"�Â~Ó`����"��¤$&r�ØÕø5r­g�_¨²ÚR­g¯_¨�b

����������5r�Øab�.Gb�rhPQc�����rRØhbR~ b�r�@Bim.Cfh �����grR7WbRI[b�c��h�k7?fh������5r�I[b�ålb`���m�����,�d�R��h�K�e� ���R�����qc��hc����_N�K� �C� �mi{����� xgfh��8c��h�k��� f����{�C�y��8oa�K�y�g j�c��hi��<c����K�m� � jl���_�8c��C�����Qp1cg�����G� � ��� c&� �����ko����e���1o�� c��_�mb

Page 26: Bayesian Calibration of Computer Models

26 Marc C. Kennedy and Anthony O’Hagan9z�mi{����� i�c��h7?��oU�� �8��03;3I<��æ�N�¨��æg­�rg��c��h��� cW;3c�� �����hc��h2zc�na�g�c�� �g ����r�0���n�fhx_f���x_f��G;���pÎ@B��wRN��i��hb

���gj#j�chrd9QbOc��h�¦��c����������e��rd0Wb?���m���g¯g�Q4]jloU�� ��c��ai��qjl�cg�Kfh �m�W���¦v�����nac��C� ���a�K�e� ���R�����¥c��ac����R� � �T���jl�R�����`��f�� o�f��mbrÜ3"������g���u���u��$vó1¡�Z��u¡H"{"�)��u¡�Z���¡U*8Óa$,+���"�©Ó`����"��¤$&r¸ÝTø5r`�ÚH�,¨�b

4]j�c��5r17Tbd2dbdc��h�«.C�g���&���r/~ bdØab����m���gæg�#�Rj�c�����N]� c�jlo��e�|� ���h� �����e�R�e���¦c��ac����R� � �W���i{����� x_f���#�y�gi��gj#ohf�� ��jl������� ��r?p?�e� �Éc��Îc�oho��e� i�c�� �����«���t � � }Xc���� ����Kjl���_�L��p?�����É��� � i�fh���K�����a��byá/'�Â[Â8ÉÓa�]�&��� +��`É�ä¸è{h"{'&)�$k��¡U*�Â�"��:{h'*&+{rù�÷zr`�,¨&®g�6ÚH��R¨,®hb

Ø��g����r�ØhbO0WbC�K��g���m�Q98�h�k� �i��g�h�M �oa�gK�[����cJp1���}_����v|v����fhoM�g�tc&��j#�_�Koh�������i������ oU��{�K�����5�#0o���Ri����fh �Q�������hi���fh���#����oU�g� �����e�g�J�e�B� ���[j#������z�y�gG� ���� �Gc��h�|jl�����f�jê�c���v��Wc�� jl�g� o���� � i��� �KoU��{�K���������O�cg�������Rfhi���� ����b/�3c��p1�����¤r�;373A(6CN�7W�m����bO2z���h�����5�/�3@E�h:[b

åQ�ejl������gK��rOP#bV�Hb>×Ë~Mc��_nac�rVP#b(�K��R¨&æg�G0�i��g ��� oU���h����hi��#nU����p1�����s68c,���m�K� c��B�m�����ej�c�� �����s���������i{�hc��K� � i3oh ��i��m� � ��?c��h���Kjl�R�������e�hv#nR��� o����e�h��brÖG¡h¡ÉAÇL�&�2{3ÉFÓa�]�&��� +��`É�rTØ(ñUr�®g�_©nÚ�©�æg��b

åQ�����h����[email protected]�c��h�J:[� �Gc�v_c��5r�0Wb5����ægæ�æ�c_�dA( �m����i�� ����v[� ���Q��f�� o�f��?�y���jÃc#i��gjlo��e��wki��gjlo�f�� �i������Qp?����k��cg����c�o�o���,wR��j�c&���e�g�h�8c���Qc,�&c��e� c�n�����b�ë���'&Â�"���)���ú���rÕÞÕÙ5r`�ÚU�m­�b

åQ�����h����gr5@¥bO.Gb5c��a�M:[� �3c�v_c��5r50>bd�¤��æ�æ�æ�na�<�Rf�o�o�����jl��g�{c���L������c���� �G�g�M68c,�g�� ��c��Li�c��e��n�{c&� ���������i���jlo�f�� ���i�������b�àV¡��U�h����� +�{�"{*qÂ��&¡a�R+���)�� �H�¤b0��&c���� c�n����Tc&���_�K��o5�êÒOÒ,p?p?pTb �K�h����b c�i�b f�}JÒk�<�K��mc��-Ò,oh�Ò&ic�� �Kf�ozb oh�

25��f5r�2db&c��h�W0�¤�Kc��r�D�bR���m���g�g��bO0X68c,�g�� ��c��<jl������g�y�gz��c�� ��v�f��8i�{c�i{}<v���&p8� �zb54]�[IG���gr�I>b�r�@Y\fh�e����mrA�b�c��a�Q���e���ac�r&I>b_�y�m��������{����råÔ8) �����¤���{���åï['&¡�����) �&Â�"���)����?�&¡H*FÓH"�Â[� �h�&) ��Âl"���)����/ë3��$�"�+�����¡�Óa�]�&��� +{£�¤����+�rh­�­g�6Ú�­g©�­hbz;��p×Zd�g }H�d�Ro������v��KN�\/�����c�vhb

@Bc&����������zrhP#b5����g¯�­_�CA( ���hi��eo�����1���Ovg���g�K��c�� � ������i��b�ó?�{'&¡H'&Â#����ß?"{'���É�rÕÝTÞ5rz�m�&®_¯6ÚH�m��¯g¯�b@Bi�åTc,�gr�@¥b�I>b�rU.C�g���&���r_~ b�Øhb�c��h��6C�mi{}Rjlc��5r�7Tb�Øab5����R¨&�_�(0Íi��gjlohc����� �������z��������Qjl��� �h�R�h�

�y��T� �����i����e�hvk�&c���f��m�G���C����o�f��T�&c��� c�n�����G�e�E� �h�lc��hc������K� �G���C�gf�� ohf��Q�y �gjÞcki���jlo�f�����Wi������gbèh"{��{R¡H'&Â�"���)�����+�rø>ñUra��­g�6Ú���®_©�b@J�������r�@¥bhI[bV���m���h�m�CÕhc�i�� �g � c��5��c�jlo����e�hv#oh��c��h�8�y��?oh ��e��jl�e�hc� �ki���jlo�f���c&���e�g�hc��`��w�oa� ��jl���_���bèh"{��{R¡H'&Â�"���)�����+�r öö r5�¯h�ÚU�&¨,®ab@J�������r`@¥b5I>bVc��h�E@J���{i{��������rz9Qb5Øhbd�K��g�g©��GD/w�o�����{c&�������IG�� ��v��h�G�y��>.C�gj#ohf���c�� �����hc���Ddw�oa� �eN

jl���_���r>Û-É"Óa�]�&��� +{��É7Ô1�e�&¡a¡�Z#Ñ�¡n�DÉ�rTØ ö r�­g���ÚR®gæ_��b@J�������r/@¥b/I>b�r(@J�e��i{����e��r(9Qb/ØabOc��h�sZG���R����c�}g��mrdI>b?�K����g­g�T68c,�g�� ��c��t���� �evg�¦c��a�tc��hc��e��� ���>���

i��gj#ohf�� �(��w�oU����ejl��g�{���Ofh� �����z������e�&c&���e�g��/����� f� ��c�i��?oh �m����i�� �����5r�èa"���{R¡H'&Â�"���)�����+{r ö Ý5r_�&®_­6Ú��©g©�b

;3c,�R����mrgØab�.Gb�c��a���Rjl�����5r�0Wb Õ1b @tb5����g�g�g�/0�o�oh�e� i�c�� �����h�C���Vc>jl��� �h�R�q�y��C� ���<���qi��e��g�?i��gjlo�f���c�N� ����������oa�_��������e�g?�����K� ���n�f�� �����a��rÖ1���H��ÉFÓa�]�&��� +{��É�r ö ñara����®ûÚ����g©�b

;��mc��d���m���g¯g�7ë3��$�"�+����&¡�üV"{�&)�¡h�u¡�ZF��'�)4ï>"���) ���Jï>"��¤%('�)�ú,+�bd;��p×Zd�g }H�d�Ro������v��KN�\/�����c�vhb� �K��g���g��7?��vg �m� � �e�g�Jc��h�Bi���cg� � �e�ai�c�� �����Jfh� �e�hvkPQc�fh��� ��c��Bo���Ri�����?o���e�g��b[�K��g���g�14]�z�4ë3��$�"�+����&¡Óa�]�&��� +��¤����+�é&rz��Øabh@¥ba6C� �ac�{���hrRØhbH:[b�6C� vg��mr�0WbhA�b�I<c,p?����c��a��0>b Õ1b @¥ba�Rjl�e� �5ra����b���r�®R¨�©nÚ©�æh�#��p?�����|IG� � i�fh� � �����a��bC:3w_�y�g��5���3��������{� ������A( �m� �b

;��&�&c�}HrmD�bg�K��g���g�Õí#"��]"�)�Â[�u¡a� +{�����?�&¡H*4Óa�]'��{��&+��¤����ó1)�)�'&)�ëG'&��¡H*,+(�u¡�ïW��Âl"�)����{�&�ûÖG¡U�&��$,+{� +�âR25�i�� f���;���� ��8���J@Bc&������j�c�� � i��?;��abeñ ö ØÕ÷5b/61����e���5�d�Ro������v��KN�\/�����c�vhb

:<c�}R������rUØhbHD�bHc��a�E:[� �Gc�v_c��5rU0Wb�����g���_�?68c,���� � c��|�e���y������hi��W�y��G� �h�>f��hi��� ��c��e�_���|�����K� ���n�f�� �����zb9z�mi{�5b/7?��ozbd����������� ���������/;���� � ����v��ac�j|rh�_��c�� � ������i�3�R�mi�� �����zb

Page 27: Bayesian Calibration of Computer Models

Bayesian Calibration of Computer Models 27:G�������� �rzP#b`~ bd�K��g��­g�G7?�v������hc��V�� ��h���<���M� f��e��c&� �lp1���W���oa�_�K�e� �����5b�Û-É�ÖGÂ�"�)ÊÉ�Óa�]�&��� +{��É�ÓH'm�nÉ�rÞTÞzr�­��gæ6Ú�­����hb:[� �Gc�v_c��5r�0>bO�K��_¨��g�?.Cf�����Q��� � ����v�c��h�|��o����ej�c��V���m�K��v����y��Go������ i����e�g�5b�Û-É>Ü�É�Óa�]�&��� +��`É�Ó`'�nÉ�6Ø�zr`�ÚR®_���yp?�e� �B��� � i�fh���K�����a��b� �K��g���m�C68c,���m��N]��� jl�e� �Gx_fhcg��{c&� fh �gb7Û-É"ÓU�����¤� +���ÉEÔ1���&¡h¡�Z[Ñ�¡²�DÉ�røT÷zrh�&®_©&N]��¯�æhb� �K��g�g���?����jl�[68c,���m�K� c����Rf�jl�����ic��Oc��hc��e��� ���b�4]�5�FëG�&$�"�+{����¡GÓa�]�&��� +��¤����+FÎ�r`ØabU@tbU61����hc�����arhØab

:[b_61� vg��mr_0>b�A�bRI<c,p?� ��c��a��0Wb�Õ1b�@¥bh�Rjl�e� �5r5������b���bC:3wR�y��{�`������������� ������A( �m� �r�­�®_©6ÚR­g¯�­�r�yp?�e� �J��� � i�fh���K�����a��b� �K��g���g�H0�@Bc� }g�&�3o����oU�� ���3�y�gOi��&�&c����c��hi��d�K� �fhi���f����bV9V�i{�5bO7?��o5bO����N��m­�r,����������� �����<���h;3��� N� ����v��ac�j|rh�_��c�� � ������i���R�i�� �����5bd03��� ��c,�&c�����c�n��e�Qc&�?�_�K��o5�ýÒkÒ,p?p?pTb � ������b c�i�b f�}JÒ>���m�c���Ò,oa��Ò&}_����zb oh�

:[� �Gc�v_c��5r(0>ber?åQ����������r8@¥b1.Gb(c��h�«:<c�}R�e���rCØab(D3b�����g���_�>�3�hi��K�{c����g���Xc��hc��e��� ���lc��a�X��� ����e���y������hi���� �R�g���C�y��8i��gjlo��e��w�i��gj#ohf�� �8i�������bV4]�z�rë3��$�"�+����&¡�Óa�]�&��� +��¤����+9é&r5��ØabR@tbR61� �hc�����hrØhb�:[b_61� vg��mrg0WbRA�bRIGc,p?� ��c��h��0Wb ÕCb @¥b��Rjl�e� �5rR��h��b���r�©�æg­6Ú�©��&®���p?������I3� ��i�fh���K�����U��b(:3wR�y��{�`������������ �e���qAd������b

:Gjl �grU�>bd����g�_¨��?68c,���� � c��J}R ��v�����vû�«jl���v�����v��gnh�K� �&c�� �����h�<c��h�Lxgfac������h�m�Bvgf�����K�m�����E}R��evg�e�hvhbÇL�&�2{3É|ß�"�'���É�r(ñ-÷zrh��©nÚ�­��hb:GpC��5r`0Wb56<b/���m���g�g��0ªi���_� {c��O�e��jl���Q�y��T2Vc&� ���L�R�RoU��{i�f�nU��� c�j#oh�e����vhbWØab`7Tbz�_�{c&� � �K�b[�R��i�b>6<rÝ3ØVrh©&®a�Ú�©�©��gbA��R������r8I>b1c��h��7�c��u� � �gr�0WbCD3bG�K����g�g�[4]���y� ��hi��J�y�gk����� � jl�������K� � iB� �ej[f�� c&� �����«jl������� ��L�����

68c,���� � c��#j#������e��v#c�o�oh �_c�i{�5bO9z�mi{����� i�c��H7?�oa�gK�8­�®g¯hrgIG��ohc�K��jl���_�C���V�_��c�� � ������i��rR����������� �e������O~Mcg�K������v�� ���zb

7�c&�u�������r&0Wb,D�b�r�P<�e�g���h�r&P#bm�>b,c��h�>ëU��5r&Øhb,D�b_����g�g©g�U4]���y������hi��d�y���jÍc3����� � jl�������K� � i/oU��o�fh��c�� ��������R�hc�jl� i��<jl�������/�y�gTna�&p?�h�c��Lp?�hc��������p?�����¥������i�fa� � �e�g�a��b�Û-É�ÖGÂl"�)ÊÉ�ÓU�����¤� +���É�Ö<+{+�'m�²É�r�÷T�zr®gæ_�nÚ_®_­�æhb

7?���g�T4]�h� fhchrOI[bVc��h�¥@Jf����e�r/A�b(�K��g���g�QÕh���m�R�y���p1c���E���f��c��d������pC�g }��<�y��[�����hohc�{c�jl���� � i# ��Nv������K�����zbW4]�MIG���grVI[berV@�\f����e�rzA�b5c��h�s�R�e�h�hc�rzI[b(������e� �g��{��r�Ô8) �����¤���{���"ï>'�¡&�h�&) ��Âl"��¤)������&¡H*ÓH"�Â[� �h�&)��&Â�"���)����9ë3��$�"�+����&¡�Óa�]�&��� +��¤����+�r5��h�ÚH���­hbz;��p×Zd�g }H�d�Ro������v��KN�\/�����c�vhb

7?��j�c����&p?��i���r_7Tber�61���g���5r_ålb_c��h�q9Oc,p?�5rRØhbR0WbH���m����®R�/Dd�&c��efhc�� ���������zAd����� i����e�g��f��hi��� ��c����_���[��������h�e�����c�Q�_�����������vg��ic���jl������� �Qfh� �e��vBc|68c,���m�K� c��Mc�o�oh �_c�i{�5bl4]�5��ÓU�����¤� +�������+A��'&)��2{�"�ó1¡aé�u£) '&¡aÂl"�¡h�/È_-#ç|����"�)AÜ3"��e�&�]"{*WÑ{+{+��h"�+<�y\>b�68c� �����K�?c��h��ålb�Õ1b�9zf��}Rj�c��5r��m����b���rh���_¨nÚR­��m��bz;3��pZd���}H�O~���������b

��c�i{}��r�ØhbU��i{�����e����mrh�Hba6<bhc��h��~E���i{�zr�~ baØabz���m���g�g�1I3�m�K��v��a�1�y��3i���jlo�f��������wRoU�����j#��_���bvèh"{��{R£¡U'�Âl"��¤)�����+�r ö ñar�®a�Ú_®�¨Rb

��c�i{}��r3ØaberG~E���i{�5r<~ b Øhb�rG@J�e��i{�h�����¤rQ9Qb Øab?c��h�×~��R���5rG�>b A�bT�K����g�g��I3�m�K��v��¬c��h�É0��hc��e��� ���k���.C��jlo�f������DdwRoU�����j#��_���rÕÓa�]�&��� +{��ÉAÓH���^É�rJØzrh®gæ��åÚ_®_­g©�b

��c��e� ��e����r_0>bera.C�hc��5rRålb_c��h�k��i���� �r�@¥bH�¤��ægæ�æ_�?�y�m����b��#ÇL�&�2{�"�Âl���¤���{�&�z��¡U*vÓU�����¤� +������{�&�TÇB"��2{�'m*,+���'&)ÓH"�¡�+��u���ué�u��$|ÖG¡U����$,+�� +DÉC;��pÎZd�g }H�/~����e���b/4]�|o�������b��c��e� ��e����rd0Wb/c��h�X�R��nU�����er/4�b�@¥b?���m���_©��T03na�gf��[������fh�K�k����{c���}E� {c��a���y�g j�c&���e�g�¥�e���K��h� �����e�R�e���

c��hc��e��� ���1���Vjl�������5�gf�� ohf��b/ÜG"������g���u���u�¤$8ó1¡�Z��u¡U"{"�)��u¡�Z|�&¡H*�Óa$,+��]"�ÂlÓH����"���$&rÝT�5ra�g��©6Ú���­g��b��c�jloh� ���zrRA�b�I[b�c��a��P<f�� � �g o5r�A�b5�K��g�g���(;��g��ohc�{c�jl��� ���iG��K� ��j�c&� �����k���O�����h�K��c�� �����hc� ��i��&�,c� �eN

c��hi��T���� fhi�� f����beÛ-É>ÖGÂ�"�)ÊÉAÓa�]�&��� +��`É7Ö<+{+�'�nÉ�rTÞÕÙ`r`�mæ��åÚU���m��b

Page 28: Bayesian Calibration of Computer Models

28 Marc C. Kennedy and Anthony O’Hagan��i{�RpC�m����mr,9Qb,c��h�W�d���� �r�;Wb&2(b_�K����g¯g�`68c,�g�� ��c��W�K�R�_� ���m�K� �V��z����}����������R�R�>�K�R�_� ���m�K� �>�ñp?�hc������_�m�

61�������� �1ohc��cg���,wq� c,��Ä�Ü3"]�h'&)��¤+W'��Q�:{h"GÑ�¡h�]"�)�¡H�&����'&¡H�&�AçP{������u¡�Z�ád'&Â#Â[� +���'�¡hrÕØîzr�®R¨�©nÚ_®_��æhb�R����� �hc�}g�&�HrO\[b(@¥b�r(\dc�}_fh�e�&��� }_��rC�Hbd@tber16C�g �������5r(7Wb/\>b�rC\/�g�����h��������}��&�Hr1:[b�4�b�r1PQc��������HrdZ#b

2db�r5åQ�g� �R}_�zr`\>bz�Hb�rz@Bc�}_�h���_� �ar`\>bz�Hb�rO.C�Rf�jl��i��e��Hr`\>b56<berVåQ��{� c�}��&�Hra0>b59Qberz@Lc� ���_�h����}g�hr\>bhA�bUc��h�JP<����}g�hrh0>bz���m���g©g�10��hc��e��� ����c��h�|o����vg���g� ���1���O{c���� c&���e�g�k��w�oa�_�Kf���Q�y�������&p?�e��v#�����c�ii�� �����_�#c��>�������R��nU�����c��¦i{����jl� i�c��1i���j>nh�e����9z�gj��K}_NK¨Rr�Ü3�g*&���&����'&¡�Ô8) '&�]"{������'&¡?í#',+��uÂl"���)�$&rÝJ÷zr���­åÚU�,��¯�b

�Rjl�����5rV@tbzc��h�MåQ���h�5rz7Tb(�K��g���g�G;��g��ohc��c�j#��� ���i[��K� ��j�c&���e�g�E���1�� ���vgf�� c�G�yf��hi����e�g�h�Tp?�e� �s����N����oU���a�����_���g�c�f�����i�������� c&� �m�t� ���{��b×4]�ÎI3���r?I>b�r�@Y\f�������mr8A�b1c��h���R�����hchr?I>bQ�y�m��������{����rÔ1) �g�������{�&�>ï>'�¡&�h�&) ��Âl"��¤)������&¡U*�Ó`"�Â#� �h�&) ��Âl"��¤)����vë3��$�"�+�����¡GÓa�]�&��� +��¤����+�rO�,©g¨nÚU�,¨���b�;3��pÍZd���}H��Ro���e�hv��� N�\/�����c�vhb

�_� ��e�zra@¥bh2(bz���m���R¨��12zc� vg�Q��c�jlo����To����oU�� � ����8����� �ej[f�� c&� �����|fh� ����v���c�� ���|�_�RoU��{i�f�nU�W��c�jlo����e��vabèh"{��{R¡H'&Â�"���)�����+�røT÷zr5��®_­6ÚU�,©��gb� �K��g���g�>Ñ�¡h�]"�)���'��e�&����'&¡×'��8Ó��h�&�����&��í#�&�]��-@ÓH'�Âl"=èÕ{h"�'�)�$v��'�)l![)��þZ��u¡�Z�É¥;��p�Zd���}H���Ro���e�hv��� N\/�����c�vhb

\/�ii{����chrV0>bz\>bC����g���_��b�DC�����ej�c&���e�g�¥c��h�M� �����_� �e�aic&� �����M�y�g>i��g�g���e�Rf��gfh�T� ohc&����c��do���Ri�����K�m��b@Û-ÉÜ3'�$kÉeÓU�����¤� +���ÉeÓ`'�nÉeë?rÝT�zrh���_¨nÚR­h�m��b\3� ��c�}g�&�R��i�r�6GbO���m�����_�1~Mc,�g������� N�nhcg�K�m���h����ohc��c�jl��� �� i<68c,�g��8jl������������b84]�BIG���graI[berH@�\f����e�rUA�b

c��h�B���e���ac�rHI>b��y�m��������{����r¸Ô8) �����¤���{���¸ï['&¡�����) �&Â�"���)������&¡H*#ÓH"�Â[� �h�&) ��Âl"���)�����ë3��$�"�+�����¡0Óa�]�&��� +{£�¤����+�r5�­g­6ÚH�m©�©�bz;��p×Zd�g }H�d�Ro������v��KN�\/�����c�vhb

~Mc��e}g��mrR�`b�P#b�r�I<c�jl�e��5r�A�b�rR2Vc�fh�5rRA�bR~ b�c��h�k�Rjl�e� �5r�0>b�ÕCb�@tbH�K��g���g�(68c,���� � c������g��ohc�{c�jl���KN � i[�e���y� ��hi��[�y��<{c��h���gjÞ��� ���� ��n�f����e�g�h�Qc��h�L ���c�� ��B�yf��hi�� �����h�l�yp?�e� �s��� � i�fh���K�����a��b#Û-É"ÜG'&$kÉÓa�]�&��� +��`ÉAÓH'm�²É/ÿ�rî>ñUr�®g�_©nÚ�©g�g¨�b

~E���i{�zrg~ b�ØaberR61fhi{}Hr_7TbRØaber���c�i{}��r_Øab�rg~��R���5r��>b_A�b�r_@B���{i{�������¤r�9QbRØhbRc��a��@J��� � �rg@¥bRI>b`�K����_�����i�����������vhr�o�������i�� ����vhr�c��h�ki���jlo�f��������w�oa� ��jl���_���rrèh"{��{R¡H'&Â�"���)�����+�r ö ØVr`�m©6Ú���©�b

~E�g�eoU�� �rg7Tb&2db����m���_©��V.C�gjlj#��_�O�g�W� �h�1oac�oU���nR�W7�c&�u�������r�P<�������a�Oc��h��ëU���5bEÛ-É�ÖGÂ�"�)ÊÉ7Óa�]�&��� +��`ÉÖ<+{+�'�nÉ�rT÷�5r�®R��¯åÚ_®_�_¨Rb~E�R���OrRI>bR0WbH���m���_����� 6eÒ�I��UpC�g }��bz4]��ëG�&$�"�+����&¡J+��]�&��� +{������+rÎ�������CØhb_@¥b_61� �hc�����hr�Øab�:[b 61���v��r

0WbhA�b�I<c,p?� �kc��h�|0WbhÕ1bh@¥bU�Rjl�����a��rh�_©��DÚR�g©���b/:3w_�y�g��5���3��������{� ������A( �m� �b