Cristiane Azevedo

Instituto Nacional de Matemtica Pura e Aplicada

Avaliao de Modelos de Risco atravs deBacktesting

Autora: Cristiane Azevedo Ferreira

Orientadores: Prof. Dr. Jorge P. Zubellie Prof. Dra. Beatriz Vaz de Melo Mendes

Rio de Janeiro

Junho de 2013

Para Miguel.

i

Agradecimentos

Agradeo aos Professores Jorge Zubelli e Beatriz Mendes pela orientao no desenvolvimentodeste trabalho e pelos conhecimentos transmitidos.

Agradeo aos meus colegas do BNDES, que sempre me apoiaram e incentivaram ao longodo curso.

Agradeo tambm ao Srgio, Rodrigo, Carlos, Osvaldo, Vincius, Matheus e Bruna porterem ajudado em inmeras situaes, e tambm pelo companheirismo nessa jornada.

E, em especial, agradeo a meu marido e minha famlia por terem compreendido minhaausncia e por tudo que tm feito por mim. Ter vocs ao sempre meu lado tornou as vitriasmais especiais e os momentos difceis mais leves.

iii

Resumo

A mensurao adequada dos riscos financeiros uma atividade fundamental na gesto de car-teiras de ativos. Para tal, existem diversas medidas de risco e metodologias para modelar asperdas de uma carteira. Porm, a variedade dos instrumentos financeiros e as condies demercado cada vez menos estveis tornam este problema no trivial. Por isso, importanteusar tcnicas adequadas para comparar e avaliar modelos de risco. Os backtests so a principalferramenta para esse fim, e consistem em testes de hiptese que comparam as medidas de riscocom as perdas histricas da carteira.

Neste contexto, o presente trabalho tem como objetivo analisar e comparar diferentes mto-dos de backtesting. Foram implementados trs mtodos de backtesting aplicveis ao Value-at-Risk (VaR) e um mtodo de backtesting genrico, que pode ser aplicado tanto ao VaR quantoao Expected Shortfall. Atravs de simulaes, verificou-se que uma limitao destes mtodos o baixo poder quando sries de um ou dois anos de dados so utilizadas. Por fim, os testesforam executados para diferentes modelos de riscos aplicados a sries nanceiras reais, ilustrandoa utilizao prtica dos testes aqui estudados.

Key words: Backtesting, Medidas de Risco, Modelos de Risco, Value at Risk, ExpectedShortfall

v

Sumrio

Contents vii

1 Introduo 1

1.1 Motivao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 Estrutura do trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Medidas e modelos de risco 5

2.1 Modelos de risco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.1.1 Modelos paramtricos univariados . . . . . . . . . . . . . . . . . . . . . . 82.1.2 Modelos de varincia-covarincia . . . . . . . . . . . . . . . . . . . . . . 132.1.3 Mtodo da Simulao Histrica . . . . . . . . . . . . . . . . . . . . . . . 142.1.4 Mtodo de Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.2 Medidas de Risco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162.2.1 Definies e Exemplos de VaR e Perda Esperada . . . . . . . . . . . . . . 17

2.3 Medidas coerentes de risco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3 Backtesting 21

3.1 Backtestings baseados em violaes . . . . . . . . . . . . . . . . . . . . . . . . . 223.1.1 Teste de Kupiec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223.1.2 Testes de Independncia Serial das Violaes . . . . . . . . . . . . . . . . 243.1.3 Backtest baseado em duration . . . . . . . . . . . . . . . . . . . . . . . . 27

3.2 Backtest para Perda Esperada . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313.2.1 Resultados da simulao . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4 Estudo de casos 35

4.1 Descrio das sries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354.2 Comparao dos modelos para sries de moedas . . . . . . . . . . . . . . . . . . 364.3 Comparao dos modelos para outras sries de moeda . . . . . . . . . . . . . . . 414.4 Comparao dos modelos para sries de juros . . . . . . . . . . . . . . . . . . . 42

5 Concluso 47

vii

viii SUMRIO

Bibliography 48

x SUMRIO

Captulo 1

Introduo

Medidas de risco tm como objetivo expressar o potencial de perdas de uma carteira deativos em dados um horizonte de tempo t com um nvel de probabilidade . Dois exemplos deperguntas que podem ser respondidas atravs de medidas de risco so:

1. Que valor de perda no ser ultrapassado com nvel de certeza?

2. Qual o valor esperado de perda, dado que a perda maior que um determinado limiar?

Para determinar com exatido esses valores, seria necessrio conhecer a distribuio deprobabilidades das perdas da carteira. Porm, na prtica, essa distribuio desconhecida, epor isso a perda potencial da carteira deve ser estimada atravs de um modelo de risco. Omodelo de risco consiste de dois elementos: a modelagem da distribuio das perdas dos ativosque compem a carteira e um mtodo de clculo para a medida de risco.

A escolha do modelo de risco determinante para a confiabilidade da medida de riscoobtida. Para avaliar a confiabilidade da medida de risco, as seguintes caractersticas devem serobservadas:

Propriedades tericas [1]: o modelo possui propriedades desejadas para uma medida derisco, como sub-aditividade, monotonicidade e invarincia translao?

Desempenho do modelo [8]: as perdas estimadas pelo modelo so compatveis com ohistrico de perdas?

A ferramenta mais utilizada para avaliao de medidas de risco o backtesting que, em linhasgerais, consiste em comparar, atravs de testes estatsticos, as perdas histricas de uma carteirade ativos com as medidas de risco geradas pelo modelo. A maioria dos mtodos de backtestingencontrados na literatura so mtodos baseados em violaes. Esses mtodos utilizam comoinformao apenas se as perdas ocorridas de fato ultrapassaram o limiar de perdas calculadopara cada dia. Mtodos mais recentes levam em considerao a dimenso das perdas quando

1

2 CAPTULO 1. INTRODUO

comparadas medida de risco. Um problema comum a todos os mtodos o baixo poder dostestes estatsticos, o que pode ser justificado pelo pequeno nmero de observaes extremas nasamostras utilizadas. Isso poderia inviabilizar o uso de backtest para comparao e escolha demodelos de risco.

Assim, o principal objetivo deste trabalho analisar e comparar diferentes mtodos debacktesting, de forma a entender as aplicaes e limitaes de cada mtodo. Para tal, duasabordagens sero utilizadas: primeiramente, o poder dos testes ser avaliado atravs de simula-es, e em um segundo momento, os testes sero aplicados a diferentes modelos de riscos, coma utilizao de sries financeiras reais. Com isso, espera-se responder a questes como: qual o tamanho mnimo de amostra para obter resultados confiveis; que caractersticas do modelode risco e das sries financeiras impactam nos resultados do backtest ; e como os resultados dediferentes mtodos de backtesting se comparam quando aplicados s mesmas sries e modelosde risco.

1.1 Motivao

Instituies financeiras, empresas e governos esto sujeitos a perdas decorrentes de oscilaesnos preos de mercado de seus ativos. Essas oscilaes, por sua vez, so causados por movi-mentos em taxas de juros, cotaes de moedas e de aes e preos de commodities. O risco deperda decorrente destes movimentos denominado risco de mercado. A m gesto de riscosde mercado tem sido a causa de falncias de empresas e bancos, o que se torna particularmentepreocupante em um cenrio globalizado, onde as economias encontram-se fortemente interliga-das e a falncia de uma nica instituio pode resultar em uma crise de grandes propores.

Jorion descreve em [14] alguns casos tpicos de m gesto de risco de mercado. Entre eles,podemos citar o caso do Banco Barings, que faliu aps 233 anos de funcionamento. Um nicooperador do banco assumiu uma posio extremamente elevada em futuros de ndice Nikkei225, compondo uma carteira que chegou a valer US$ 7 bilhes. Com a queda de 15% da bolsajaponesa, esses futuros sofreram uma queda de US$ 1,3 bilho, A situao foi agravada pelaposio vendida em opes e decises equivocadas para conter as perdas, levando o banco falncia. Outro caso o da Metallgeselschaft, um grande conglomerado industrial que assumiucontratos de longo prazo de venda de derivados de petrleo, fazendo o hedge1 destas posiescom contratos de curto prazo, rolados na medida em que venciam. Com a queda de 25% nospreos a vista, a empresa foi obrigada a depositar US$ 1 bilho em chamada de margem, capitaldo qual no esperava ter que dispor, e levando a empresa a srios prejuzos financeiros.

Para evitar crises globais por conta de epiosdios como esses, diversos bancos centrais pas-saram a exigir que instituies financeiras aloquem capital suficiente para fazer face a perdas

1O hedge uma posio tomada para mitigar riscos decorrentes da variao de preos.

1.2. ESTRUTURA DO TRABALHO 3

extremas decorrentes de risco de mercado. Essas iniciativas originaram-se com o Acordo deBasileia II, que consiste em uma srie de recomendaes para legislao e regulao bancria.O Acordo de Basileia II foi publicado em junho de 2004 e revisado em 2006 pelo Comit deSuperviso Bancria de Basileia, composto por membros de 29 pases, entre eles Brasil, EstadosUnidos, China, Frana, Alemanh, Coreia, Rssia e Itlia. Dois modelos so propostos nesteacordo para mensurao de risco de mercado: um modelo padro, onde o Banco Central definetodas as metodologias e calibraes do modelo, e um modelo interno, onde a instituio finan-ceira define o modelo mais adequado para seu funcionamento, com algumas restries. Nestemodelo, o risco deve ser mensurado atravs do chamado Value-at-Risk com nvel de confianade 99%, horizonte de tempo de dez dias e janela de dados mnima de um ano para estimaodos modelos, ficando cada instituio financeira livre para definir o modelo probabilstico maisadequado para as perdas da carteira, bem como as metodologias de estimao do modelo.

O capital regulatrio determinado no apenas pelo Value-at-Risk, mas tambm pelo resul-tado dos backtests. O backtest indicado no Acordo de Basileia consiste em avaliar quantos diasno ltimo ano a perda na carteira da instituio foi maior que medida de risco obtida por seusmodelos. Dependendo do nmero de violaes, o capital regulatrio pode ser penalizado emat 1/3 a mais, ou ser considerado inadequado, caso o nmero de violaes seja muito elevado.Este teste verifica apenas se o nmero de violaes observado compatvel com o nvel do VaR,mas testes mais sofisticados podem verificar outros aspectos do modelo, como a independnciatemporal entre as violaes.

O Acordo de Basileia III, publicado entre 2010 e 2011, e com introduo prevista paraat 2015, props a substituio do Value-at-Risk pela Perda Esperada como medida de riscopadro. Porm, a escassez de metodologias de backtesting desta medida de risco tem sidoum empecilho sua adoo. Este trabalho descreve um backtest aplicvel Perda Esperada(Expected Shortfall), que por ser um trabalho recente, e por sua complexidade, ainda no temsido aplicado no mercado.

1.2 Estrutura do trabalho

O trabalho est estruturado da seguinte forma:

O Captulo 2 conceitua Valor em Risco (Value-at-Risk, ou VaR) e Perda Esperada(Expected Shortfall ou Conditional Value-at-Risk), cita as propriedades necessrias paraque uma medida de risco seja coerente, e descreve alguns modelos para estimar medidasde risco.

O Captulo 3 descreve diferentes metodologias de backtesting tanto para o VaR comopara Perda Esperada.

4 CAPTULO 1. INTRODUO

O Captulo 4 consiste em estudos de casos, onde alguns modelos de risco sero avaliadosatravs das metodologias de backtesting estudadas no Captulo 3.

O Captulo 5 conclui o trabalho.

Captulo 2

Medidas e modelos de risco

Como j mencionado na introduo, um modelo de risco compreende a escolha de um modeloprobabilstico para o retorno da carteira e um mtodo para estimar a distribuio de proba-bilidade dos retornos. As medidas de risco (como quantis ou esperanas condicionais) soextradas a partir desta distribuio.

Alm da escolha da famlia de distribuio dos retornos da carteira e das medidas de riscoque sero utilizadas, diversas outras decises devem ser tomadas ao se utilizar um modelo derisco. Uma lista no extensiva destas decises seria:

O retorno da carteira ser explicado apenas por sua srie histrica ou por outras variveiseconmicas? Neste caso, quais variveis sero escolhidas, e como o retorno da carteira sermodelado em funo destas variveis? Por exemplo, para representar o retorno de umacarteira de aes, podemos usar como variveis explicativas ndices setoriais ou as sriesde retornos das aes que compem a carteira; j para ttulos de renda fixa, devemosescolher que vrtices das curvas de juros sero utilizados.

Qual ser o tamanho das sries histricas utilizadas nas estimativas? Sries muito peque-nas podem no ser estatisticamente significantes, enquanto sries muito grandes podemconter mudanas de regime que prejudicariam as estimativas.

Que modelos sero usados para precificar os ativos da carteira? O modelo de apreamentodos ativos vai influenciar diretamente na medida de risco obtida, seja no clculo dosretornos hipotticos da carteira, seja na funo que relaciona a variao do preo do ativoao retorno dos fatores de risco subjacentes.

A preciso das medidas de risco dependem tanto do modelo escolhido como de sua estimao.

Neste captulo, descreveremos os modelos de risco que sero avaliados nos estudos de casodo Captulo 5. Os modelos apresentados neste trabalho so frequentemente usados na indstriapara mensurao de risco com horizontes de tempo curtos (como um ou dez dias teis) [18]. Em

5

6 CAPTULO 2. MEDIDAS E MODELOS DE RISCO

seguida, sero apresentadas duas medidas de risco: Valor em Risco (VaR) e Perda Espe-rada (PE), tambm conhecido como Expected Shortfall , Conditional Value-at-Risk (CVaR)ou Average Value-at-Risk [20]. A escolha destas medidas tambm deveu-se sua popularidadee grande diversidade de trabalhos acadmicos sobre as mesmas.

Notaes e convenes adotadas

Antes de partir para as definies, conveniente estabelecer algumas notaes a serem utilizadasao longo deste trabalho.

O horizonte de tempo (ou holding period) para estimativa de retornos dado por .Exceto quando mencionado ao contrrio, ser de um dia til.

A seguinte conveno ser adotada para sries histricas e variveis aleatrias indexadasno tempo:

O ndice t (como em xt) representar o instante t.

Sries de valores observados sero representados em letras minsculas (como xt), evariveis aleatrias, em maisculas (p. ex. Xt).

Se a varivel ou elemento da srie for um vetor (ou vetor aleatrio), ser representadoem negrito (p. ex. Xt)

Quando a varivel ou elemento da srie se referir a um retorno, a indexao notempo indicar o final do perodo. Por exemplo, o retorno Zt+1 a variao de umagrandeza da data t a (t+ 1).

De modo geral, o retorno da carteira na data t ser representado por xt e Xt (respecti-vamente, um valor observado e uma varivel aleatria), e os vetor de retornos dos fatoresde risco, por zt e Zt.

O estimador de um parmetro ser denotado por .

Estatsticas de ordem: A srie ordenada por valor dos elementos de uma srie temporal{xi}Ti=1 sero representados por {x(j)}Tj=1, onde x(1) x(2) ... x(T ).

Retornos hipotticos

Ao modelar o retorno de uma carteira para um determinado horizonte de tempo, tipicamenteno sero consideradas mudanas nas quantidades dos ativos da carteira dentro deste perodo.Da mesma forma, as sries histricas dos retornos de uma carteira usadas nos backtests e noclculo de VaR e PE histricos no sero formadas por retornos reais (dado pelas quantidades de

2.1. MODELOS DE RISCO 7

cada ativo e seus valores em cada data da srie). Ao invs destes, usaremos sries de retornoshipotticos.

A srie de retornos hipotticos obtida fixando-se as posies da carteira na data t ecalculando o seu valor conforme as variveis de mercado observadas nas para as ltimas ndatas. Denotando por v(t,ti), 0 i n o valor da carteira com as posies da data t evariveis de mercado da data t i, temos que o retorno hipottico da carteira com posies dadata t e dados de mercado de t i dado por:

h(t,ti) = log(v(t,ti)) log(v(t,ti1)), i {0, 1, 2, ..., n 1}

O motivo para a utilizao dos retornos hipotticos em detrimento dos retornos reais ficaclaro com o seguinte exemplo. Suponha que desejamos modelar a distribuio do retorno deuma carteira de aes de hoje at o prximo dia til, e o desvio padro deste retorno sejaestimado pelo desvio padro amostral dos ltimos 5 retornos. Suponha agora que a composioda carteira e os valores das aes A e B sejam dadas conforme a Tabela 2.1 (coluna Qtde.para as quantidades e P.U. para os preos unitrios da ao). Se usamos o retorno real dacarteira, estamos considerando aplicaes, resgates e mudanas em sua composio na formaodos retornos, o que no reflete a volatilidade estimada da posio da carteira na data t. Assim,para estimar o desvio padro desta carteira composta por 3 aes A e 7 aes B em t, deve-seobservar como uma carteira fixa com estas posies se comportaria no tempo, e para isso, preciso usar os retornos hipotticos. Observe na ltima linha da tabela a diferena na estimativado desvio padro usando retornos reais e hipotticos.

Tabela 2.1: Comparao da estimativa de volatilidade usando retornos reais e hipotticos.

Data Ao A Ao B V. Real R. Real V. Hip. R. Hip.Qtde. P.U. Ret. Qtde. P.U. Ret.

t - 5 10 $5.00 0 $7.00 $50.00 $64.00t - 4 8 $4.80 -4.1% 1 $7.00 0.0% $45.40 -9.7% $63.40 -0.9%t - 3 7 $4.60 -4.3% 3 $6.90 -1.4% $52.90 15.3% $62.10 -2.1%t - 2 7 $4.70 2.2% 3 $7.20 4.3% $54.50 3.0% $64.50 3.8%t - 1 5 $5.10 8.2% 5 $6.80 -5.7% $59.50 8.8% $62.90 -2.5%t 3 $4.90 -4.0% 7 $7.00 2.9% $63.70 6.8% $63.70 1.3%

D.P. 5.51% 3.91% 9.25% 2.62%

2.1 Modelos de risco

Como j foi mencionado na introduo deste captulo, a definio de um modelo de riscoinicia com a escolha de uma distribuio para os retornos, e prossegue com a estimativa dos


parmetros desta distribuio. Mais precisamente, o problema de estimar a distribuio dosretornos consiste em definir a seguinte funo de distribuio de probabilidade:

F (Xt+1|t) (2.1.1)

onde t o conjunto de informaes conhecidas at o instante t. sobre essa distribuio quesero aplicadas as medidas de risco. Note que a distribuio estimada dos retornos varia a cadadata t+ 1, j que o conjunto dos dados conhecidos at t tambm varia com o tempo.

De acordo com a distribuio selecionada para os retornos da carteira, o modelo podeser classificado em paramtrico, onde os retornos so modelados atravs de distribuiesparamtricas como a normal ou a t de Student, ou no paramtricos, onde as medidas de riscoso extradas da distribuio emprica dos retornos histricos ou simulados. Modelos de riscotambm podem ser classificados em condicionais, como o modelo GARCH (Generalized Auto-Regressive Conditional Heteroscedasticity) ou no-condicionais, como o modelo paramtriconormal no-condicional.

A distribuio dos retornos da carteira estimada a partir de dados histricos, que podemser sries de retornos dos fatores de risco ou a prpria srie de retornos da carteira. De acordocom o modelo escolhido, as sries podem ser usadas para estimar os parmetros da distribuioda prpria carteira ou dos fatores de risco, ou como insumo de simulaes. O tamanho dassries histricas determinante para a estimativa da distribuio, e consequentemente, parao valor da medida de risco. Esse fato ser ilustrado nos estudos de caso, onde ser possvelobservar o impacto da existncia de perodos de crise nas sries histricas.

2.1.1 Modelos paramtricos univariados

Uma maneira simples de estimar medidas de risco de uma carteira modelar seu log-retornoXt+1 atravs de uma distribuio paramtrica univariada. Essa distribuio estimada a partirda srie de retornos hipotticos da carteira. Na prtica, modelos multivariados costumamapresentar melhores resultados por explicitarem as correlaes entre os ativos de risco quecompem a carteira, mas apresentaremos primeiramente os modelos univariados para ilustraralguns conceitos importantes para os demais modelos.

Modelos paramtricos no-condicionais

Em um modelo paramtrico no-condicional, assume-se que os log-retornos possuem uma dis-tribuio paramtrica, como, por exemplo, a Normal. Por ser um modelo no-condicional,assume-se que os retornos so independentes e identicamente distribudos.

Uma primeira abordagem para a estimativa dos parmetros usar estimadores de mxima


verossimilhana (EMV). Se Xt N(, ), sabe-se que os EMV para a mdia e varincia 2

equivalem media e varincia amostrais dos ltimos N log-retornos, {xi}t1i=tN :

=1

N

Ni=1

xti

=1

N

Ni=1

(xti )2 =N

i=1 x2ti

N 2

Distribuies como a t de Student podem apresentar um ajuste melhor aos dados por teremcaudas mais pesadas. Mas, a menos que o nmero de graus de liberdade desta distribuio sejapr-fixado, ele precisa ser estimado atravs de mtodos de otimizao.

Uma desvantagem dos mtodos no-condicionais pode ser observada na Figura 2.1, que ilus-tra as volatilidades do dlar de 2007 a 2011 estimadas por diversos mtodos. um fato estilizadoconhecido que sries financeiras apresentam heteroscedasticidade condicional (ou clusters devolatilidade), como ocorreu na crise de 2008. Podemos observar o efeito desse perodo na linhaem vermelho do grfico (b), que mostra a srie de volatilidade do dlar estimada pelo mtodono condicional com janela de um ano de dados. Como todas as amostras da janela tm omesmo peso, picos de volatilidade na amostra causaro um aumento sbito na estimativa, queir persistir enquanto o perodo de crise estiver na janela de amostragem. Aps sua sada,a volatilidade cair abruptamente e permanecer em valores baixos, at que ocorra um novoperodo de estresse na srie.

Modelo EWMA

Para contornar esse efeito, modelos condicionais podem ser utilizados. Uma possibilidade usar o modelo EWMA (Exponentially Weighted Moving Average). Este modelo foi propostopela equipe do JP Morgan dentro de sua metodologia RiskMetricsTM de avaliao de riscosfinanceiros [19]. O EWMA atribui pesos diferentes aos retornos da janela de amostragem, ondepesos maiores so atribudos a retornos mais recentes, e o decaimento dos pesos ao longo dotempo se d exponencialmente.

A varincia t+1 estimada recursivamente no modelo EWMA como:

t+1 = t + (1 )(xt )2

= (1 )Ni=0

i(xti )2

onde 0 < < 1 o fator de alisamento exponencial, sendo tipicamente prximo a 0.95, e N o tamanho da janela. Quanto menor for , menor ser a persistncia do modelo, e maior sera sensibilidade a variaes recentes. A soma dos pesos atribudos a cada variao igual a 1.


2007 2008 2009 2010 2011 2012

0

.05

0.0

5

(a)

Lo

g

Re

torn

o

2007 2008 2009 2010 2011 2012

0.0

05

0.0

15

0.0

25

(b)

Vo

latilid

ad

e

2007 2008 2009 2010 2011 2012

0.0

10

.03

0.0

5

(c)

Vo

latilid

ad

e

2007 2008 2009 2010 2011 2012

0.0

00

.03

0.0

6

(d)

Vo

latilid

ad

e

Figura 2.1: Log-retornos do dlar de 2007 a 2011 (a) e volatilidades estimadas pelos modelosno-condicional (b), EWMA (c) e GARCH(1,1). Em (b), o tamanho da janela de 6 meses nalinha azul e 1 ano na linha vermelha. Em (c), o fator de decaimento do EWMA de 0.9 emazul, e 0.97 em vermelho. E (d), a janela usada para estimativa do GARCH de 1 ano.

O grfico (c) da Figura 2.1 ilustra a volatilidade do dlar estimada pelo mtodo EWMA.Observe que a volatilidade responde mais rpida e intensamente a grandes variaes que o mo-delo no-condicional. Em contrapartida, a volatilidade cai mais rapidamente, onde a velocidadedesta queda dada pelo fator de decaimento, e no pelo tamanho da janela utilizada. Valenotar que no mtodo EWMA o tamanho da janela determina apenas onde a srie de pesosser truncada. Idealmente, esse tamanho deve ser ajustado para ser o menor possvel em quea soma dos pesos esteja suficientemente prxima de 1, adotando uma soluo de compromissoentre eficincia computacional e preciso da estimativa.


Modelo GARCH

O modelo GARCH (Generalized Auto-Regressive Conditional Heteroskedasticity) foi propostopor Bollerslev em [5], e base para um grande nmero de modelos de sries temporais ampla-mente utilizados em finanas.

Definio 1. Seja {Zt}tZ um rudo branco1 com mdia zero e desvio padro 1. {Xt}tZ um processo GARCH(p,q) se estritamente estacionrio e satisfaz, para todo t Z e algumprocesso {t}tZ, a:

Xt = tZt

2t = 0 +

pi=1

iX2ti +

qj=1

j2tj

Em particular, o modelo GARCH(1,1) tem a forma:

Xt = tZt

2t = 0 + 1X2t1 +

2t1

A equao da definio 1 adequada para modelar sries com clusters de volatilidade. Comoexemplo, observe no modelo do GARCH(1,1) que |Xt| tende a assumir um valor maior quandoa volatilidade t for maior, o que pode ocorrer quando |Xt1| ou t1 so grandes. Em outraspalavras, o modelo implica em persistncia de altas volatilidades.

Algumas propriedades matemticas de processos GARCH valem destaque:

Mdia e varincia condicionais:

Seja Ft = (Xs : s t) a -lgebra que representa o processo at o tempo t. A definio1 garante que t Ft-mensurvel. Com isso, temos que:

E[Xt|Ft1] = E[tZt|Ft1] = tE[Zt|Ft1] = tE[Zt] = 0

E[X2t |Ft1] = E[2tZ2t |Ft1] = 2tE[Z2t |Ft1] = 2t

Essa propriedade mostra que o modelo heteroscedstico, j que a varincia condicionaldo processo muda ao longo do tempo.

Condio para estacionariedade:

Um processo {Xt}tZ estritamente estacionrio se para todo t1, ... tn, k Z e todon N, os vetores (Xt1 , ..., Xtn) e (Xt1+k, ..., Xtn+k) possuem a mesma distribuio. Emparticular, o processo GARCH(1,1) estritamente estacionrio se E[ln(1Z2t + )] < 0.

1Um rudo branco um processo estacionrio de segunda ordem com autocorrelao nula para lags diferentesde zero.


Sries financeiras costumam ser melhor ajustadas a modelos GARCH de ordens baixas,sendo o GARCH(1,1) uma escolha bastante frequente. As inovaes Zt so tipicamente mode-ladas com distribuio normal ou t de Student, onde esta ltima tem a vantagem de capturaras caudas pesadas de retornos financeiros, mas pode demandar o ajuste de um parmetro adi-cional (o grau de liberdade da distribuio). Um contorno para isso fixar o nmero de grausde liberdade. Em [6], Bollerslev conclui que 8 graus de liberdade so, de modo geral, uma boaparametrizao para sries financeiras.

O modelo GARCH permite ainda uma srie de variaes. Em [7], Bollerslev cita mais de100 modelos inspirados no ARCH e no GARCH. Em [13], so comparados 330 modelos e suaspossveis variaes da famlia GARCH para modelar retornos intra-dirios de cmbio de MarcoAlemo por Dlar e de aes da IBM. Surpreendentemente, os autores no puderam identificarnenhum modelo significativamente superior ao GARCH(1,1).

Passemos agora ao ajuste de um modelo GARCH(1,1) a uma srie histrica. Suponha que adistribuio condicional de Xt+1 ser estimada com base nos t+ 1 ltimos retornos observadosx0, x1, ..., xt. Os parmetros 0, 1 e de um modelo GARCH(1,1) so estimados por mximaverossimilhana, onde a densidade conjunta de probabilidade dada por:

L(0, 1, |x0, x1, ..., xn) = fX1,...,Xt|X0,0(x1, ..., xt|x0, 0) (2.1.2)

=ti=1

fXi|Xi1,...,X0,0(xi|xi1, ..., x0, 0) (2.1.3)

=ti=1

1

ig

(Xii

)(2.1.4)

onde g(z) a densidade de probabilidade das inovaes {Zt}tZ.

As volatilidades i, 0 i n no podem ser observadas, mas exceto por 0, podem sercalculadas em funo de retornos e volatilidades anteriores. Resolvendo a recurso da expresso2.1.2, temos que:

2t = 0

(1 t

1

)+ 1

ti=1

tiX2i1 + t20

Essa equao pode ser demostrada facilmente por induo:

21 = 0

(1 1

1

)+ 1

0X20 + 120

= 0 + 1X20 +

20


e, por induo:

2t = 0 + 1X2t1 +

2t1

= 0 + 1X2t1 +

[0

(1 t1

1

)+ 1

t1i=1

t1iX2i1 + t120

]

= 0

[1 +

(1 t1

1

)]+ 1

[X2t1 +

t1i=1

t1iX2i1

]+ t20

= 0

(1 t

1

)+ 1

ti=1

tiX2i1 + t20

Como 0 no pode ser estimado, seu valor deve ser arbitrado. Duas escolhas so para 0 soa varincia amostral de X0, X1, ..., Xt, ou simplesmente assum-lo como zero. Para uma amostrasuficientemente grande, essa escolha no ter impacto relevante, j que o termo que multiplica0 t, que tende a zero quando t tende a infinito. Substituindo-se essa equao em 2.1.2,obtemos a expresso de verossimilhana que deve ser maximizada para estimar os parmetrosdo GARCH. Note que dependendo da distribuio assumida para as inovaes, pode ser queparmetros adicionais desta distribuio tambm precisem ser estimados.

2.1.2 Modelos de varincia-covarincia

No mtodo da varincia-covarincia, assume-se que o retorno de uma carteira dado pelacombinao linear dos retornos dos fatores de risco a que est exposta, ou seja:

Xt =di=1

wiZi,t (2.1.5)

onde d o nmero de fatores de risco, wi a exposio da carteira ao fator de risco i e Zi,t oretorno o i-simo fator de risco na data t. Esse modelo tem como premissa que, para pequenasvariaes nos fatores de risco, a variao no preo total da carteira se comporta de forma linear.

O vetor de retornos dos fatores de risco Zt modelado atravs de uma distribuio mul-tivariada fechada sob operadores lineares, de forma que a distribuio do retorno da carteiraseja da mesma famlia da distribuio dos fatores de risco e possa ser definida em termos damatriz de covarincias dos retornos. Para utilizar este mtodo, necessrio que a carteira sejadecomposta nas exposies em fatores de risco. Dependendo dos instrumentos da carteira, importante verificar se a representao de seus retornos sob a forma linear uma aproximaosatisfatria.

Uma distribuio muito utilizada neste mtodo a normal, ou seja, Zt Nd(t,t), ondet o vetor de retornos esperados dos fatores de risco estimado para a data t e t Rdd a


matriz de varincia-covarincia. Neste caso, a distribuio de Xt tambm normal com mdiawTt e varincia wTtw. Outras distribuies podem ser utilizadas, como a t de Student e asdistribuies hiperblicas generalizadas, dando mais peso s caudas da distribuio.

Para a distribuio normal multivariada no-condicional, os estimadores de mxima verossi-milhana dos parmetros e podem tambm ser a mdia e a varincia-covarincia amostrais,como no caso univariado:

t =1

N

Ni=1

zti

t =1

N

Ni=1

(zti )T (Zti )

Tipicamente, assume-se que zero, j que um fato estilizado conhecido que sries de retornosfinanceiros tm mdias aproximadamente nulas.

O modelo EWMA tambm pode ser estendido para um modelo multivariado normal. Nestecaso, o estimador da matriz de varincias-covarincias assume a seguinte forma:

t+1 = t + (1 )(Zt )(Zt )T

= (1 )Ni=0

i1(Zti )T (Zti )

2.1.3 Mtodo da Simulao Histrica

No mtodo da Simulao Histrica, os retornos da carteira so modelados atravs da distribuioemprica dos retornos hipotticos. A distribuio emprica definida por um conjunto deobservaes de uma varivel aleatria:

Definio 2. Sejam X1, X2, ..., Xn R variveis aleatrias independentes e identicamentedistribudas com funo de distribuio F (x). A funo de distribuio emprica Fn(x) definida como:

Fn(X) =1

n

ni=1

I(,x](Xi)

A hiptese de que a distribuio emprica uma boa aproximao para sua distribuio realencontra fundamento no Teorema de Glivenko-Cantelli [22]:

Teorema 1 (Glivenko-Cantelli).

Fn F = supxR|Fn(x) F (x)| 0 q.c.


Este teorema requer que duas hipteses sejam assumidas: primeiro, que os retornos hi-potticos sejam independentes e identicamente distribudos, o que classifica o mtodo comono-condicional. A segunda hiptese diz respeito ao nmero de amostras, que deve ser suficien-temente grande para que a diferena entre as distribuies real e emprica seja satisfatria. AFigura 2.2 ilustra a influncia do tamanho da amostra: as quatro distribuies foram obtidasda mesma srie (de dlar), com tamanhos de amostra entre 6 meses e 5 anos de dados, sendoque a ltima data de todas as amostras a mesma (30/12/2011). A linha pontilhada equivalea 5% de probabilidade, e permite visualizar a diferena no quantil para diferentes tamanhos deamostra.

0.02 0.01 0.00 0.01 0.02

0.0

0.2

0.4

0.6

0.8

1.0

0.020 0.016 0.012

0.0

00

.05

0.1

00

.15

Figura 2.2: Distribuies empricas do dlar para amostras de 6 meses, 1, 2 e 5 anos de dados(respectivamente, as linhas preta, vermelha, verde e azul).

Apesar das condies acima no serem satisfeitas, este mtodo apresenta duas vantagensem relao aos anteriores: de fcil implementao e no requer que nenhuma hiptese sobre adistribuio dos retornos seja feita. O clculo do VaR e da Perda Esperada a partir dos retornosordenados particularmente fcil, como ser visto a seguir.

2.1.4 Mtodo de Monte Carlo

Uma alternativa para o mtodo de simulao histrica a simulao de Monte Carlo. Estemtodo tambm se baseia na distribuio emprica dos retornos da carteira. Mas, ao invsde usar retornos hipotticos, o mtodo utiliza retornos gerados por um nmero elevado desimulaes.

A gerao dos retornos consiste nos seguintes passos:


1. Simular diversos cenrios a partir da distribuio conjunta dos fatores de risco que com-pem a carteira.

2. Para cada cenrio, calcular o retorno da carteira a partir dos valores dos fatores de riscodo cenrio.

3. Gerar a distribuio emprica dos retornos calculados no passo anterior.

Para que o primeiro passo seja realizado, preciso que o retorno da carteira possa ser expressoem termos dos retornos de fatores de risco (como retornos de aes, de ndices e de vrticesde curvas de juros), e que a distribuio conjunta destes fatores de risco seja estimada. Acomplexidade computacional do mtodo depende do nmero de cenrios simulados, do nmerode fatores de risco e da complexidade da estimativa da distribuio dos fatores de risco.

2.2 Medidas de Risco

Em diversos trabalhos [15], [3], [18] encontra-se a seguinte definio matemtica para risco:

Definio 3. Seja um espao de probabilidade m = (,F ,P), onde o conjunto dos possveisestados da economia, F uma -lgebra e P uma medida de probabilidade P : F [0, 1].Um risco X(), uma varivel aleatria real definida em .

Em termos concretos, podemos entender retornos de ativos e de carteiras em um determi-nado instante t como riscos: essas grandezas so variveis aleatrias reais cujo valor dependedo estado da economia at o momento em que forem observados. Artzner aponta em [3] que orisco est relacionado com a variao do valor futuro de uma carteira, j que apenas valores nofuturo esto sujeitos a incertezas. No contexto da definio 3, Kerkhof define medida de riscode uma maneira bastante genrica:

Definio 4. Seja M(m) o conjunto dos possveis riscos definidos em . Uma medida derisco uma funo :M(m) R {}.

Em outras palavras, a medida de risco resume um risco atravs de um valor real.

Nesta seo, sero apresentadas duas medidas de risco: o Valor em Risco (VaR) e PerdaEsperada (PE). Em linhas gerais, o VaR de uma carteira representa um quantil superior daperda estimada da carteira (ou, analogamente, um quantil inferior do retorno), sendo a medidade risco recomendada por Basileia II e adotada como padro por diversas instituies financeirase rgos reguladores no Brasil. A Perda Esperada, como o nome j indica, o valor esperadoda perda dado que essa perda foi superior ao VaR. H uma tendncia que a Perda Esperadapasse a ser a medida de risco recomendada pelas prximas verses de Basileia, uma vez que ela mais informativa sobre a real dimenso das perdas extremas da carteira.

2.2. MEDIDAS DE RISCO 17

2.2.1 Definies e Exemplos de VaR e Perda Esperada

A definio matemtica de VaR remete definio de quantis: se X a varivel aleatria querepresenta os retornos de uma carteira, o VaR(X), X (0, 1) dado por [1], [15]:

VaR(X) = Q(X) = sup{x R|P(X x) } = inf{x R|P(X x) > } (2.2.1)

onde Q(X) o -quantil superior de X.

Denotando a distribuio de probabilidade de X por F (x) = P(X x) , podemos simplificara notao, escrevendo:

VaR(X) = F() (2.2.2)

onde F(x) = inf{x R|P(X x) > } tambm conhecida como a inversa generalizada dafuno de distribuio F [18].

A Perda Esperada de nvel dado por [1]:

PE(X) = 1

(E[XI(,Q(X)]

]+Q(X)( P(X Q(X)))

)(2.2.3)

Se F(X) uma funo contnua, ento P(X Q(X)) = , e a expresso acima se reduz a:

PE(X) = 1

(E[XI(,QX]

])(2.2.4)

Notao adotada para VaR e Perda Esperada

Neste trabalho, o nvel do VaR e da PE ser denotado por . Em relao ao nvel do VaR, possvel encontrar duas convenes na literatura. Em [14], [18], [4] e [21], o nvel do VaR de fato um nvel de confiana, sendo tipicamente um valor prximo de 1, como 95% ou 99%.Em outros trabalhos, como [3] e [10] esse nvel prximo de 0, como 1% ou 5%. Essa ltimaconveno ser adotada ao longo do trabalho.

Exemplo 1: VaR e Perda Esperada de um ativo com distribuio normal

A ttulo de ilustrao, vamos calcular o VaR e o PE de um ativo com distribuio dos retornosX N (, ), e sejam (.) e (.), respectivamente, as funes de distribuio e densidade deprobabilidade normais padro. Temos, ento, que:

VaR(X) = 1())

PE(X) = 1

1()

x

2e

(x)2

22 dx = (1())


Figura 2.3: VaR e Perda Esperada de nvel 10% para retornos com distribuio normal padro.A rea cinza corresponde a 10% de probabilidade.

Exemplo 2: VaR e Perda Esperada de um ativo com distribuio t de Student

Seguindo o mesmo raciocnio que no exemplo anterior, temos que se X t(, , ):

VaR(X) = t1 ()

PE(X) = g(t

1 ())

( + (t1 ())

2

1

)onde t(.) e g(.) so, respectivamente, as funes de distribuio e densidade de probabilidadet de Student com graus de liberdade.

Exemplo3: VaR e Perda Esperada de um ativo a partir de sua distribuio emprica

Ao calcular o VaR e a Perda Esperada de um ativo a partir de sua distribuio emprica, pode-seperceber as implicaes das descontinuidades na funo de distribuio. Para ilustrar o clculo,considere a funo de distribuio da Figura 2.4. O exemplo ilustra o VaR com nvel de 20%(na figura, a linha pontilhada em vermelho).

Conforme a definio de quantis dada em 2.2.1, podemos ver no exemplo abaixo que as duasdefinies se equivalem:

X = {x R|P(X x) 0.2} = (,1) sup(X) = 1

X+ = {x R|P(X x) > 0.2} = [1,) inf(X+) = 1

Como a funo de distribuio uma funo crescente, e os conjuntos X e X+ so comple-mentares, o primeiro ter sempre a forma (,VaR), e o segundo, [VaR,).

2.3. MEDIDAS COERENTES DE RISCO 19

3 2 1 0 1 2 3

0.0

0.2

0.4

0.6

0.8

1.0

Retorno

Dis

trib

ui

o

de

Pro

ba

bili

da

de

Figura 2.4: Exemplo de distribuio emprica.

Reproduzindo a equao de Perda Esperada em 2.2.3:

PE(X) = 1

(E[XI(,Q(X)]

]+Q(X)( P(X Q(X)))

)onde

{E[XI(,Q(X)]

]= 0.2(2) + 0.2(1) = 0.6

P(X Q(X)) = 0.4

PE(X) = 1

0.2(0.6 1(0.2 0.4)) = 2

2.3 Medidas coerentes de risco

A definio 3 de medida de risco bastante flexvel e comporta o Valor em Risco e a PerdaEsperada. De fato, qualquer funo real definida em M(m) pode ser uma medida de riscoa partir desta definio. Apesar de flexvel, essa definio no impe determinadas condiesque seriam desejveis a uma medida de risco. Por exemplo, a funo f(m) = k, onde k umaconstante qualquer, se encaixa na definio de medida de risco em 3.

Neste contexto, Artzner define em [3] um conjunto de axiomas que caracterizam uma me-dida de risco coerente. Esses axiomas so:

1. Monotonicidade: X M(m), X 0 (X) 0

Este axioma indica que quando no h risco de perda (X 0), a medida de risco nopode ser maior que zero. Da mesma maneira, uma medida de risco maior que zero implicaque existe uma probabilidade no nula de perda. Por outro lado, uma carteira pode ter


medida de risco menor que zero e ainda assim apresentar probabilidade no nula de perda.

2. Sub-aditividade: X, Y,X + Y M(m) (X + Y ) (X) + (Y )

A sub-aditividade diz respeito ao efeito de diversificao de carteiras: o risco de duascarteiras, quando avaliadas conjuntamente, deve ser no mximo igual soma do riscoindividual de cada carteira, podendo ser menor. Em outras palavras, a diversificao temo poder de reduzir o risco de uma carteira.

3. Homogeneidade positiva: X M(m), R (X) = (X)

Este axioma significa que multiplicar as posies de uma carteira por um escalar vaimultiplicar o risco por esse mesmo escalar.

4. Invarincia translao: X M(m), k R (X + k) = (X) k

A carteira (X+k) equivale a adicionar carteira ativos livres de risco cujo valor k. Issoequivale translao na distribuio das perdas em k, e portanto a perda ser reduzidaexatamente neste montante.

Conforme demonstrado em Artzer [2], a Perda Esperada uma medida coerente. J o Valorem Risco monotnico, positivamente homogneo e invariante translao, mas no sub-aditivo, e portanto, no uma medida de risco coerente. possvel mostrar esse fato a partir deum exemplo simples: sejam 100 debntures, todas emitidas por empresas diferentes, e cada umacom 2% de probabilidade de inadimplncia. O preo de cada debnture $100 e os eventosde inadimplncia das debntures so independentes entre si. No havendo inadimplncia, oretorno de cada debnture de $5, e havendo, todo o valor perdido (ou seja, o retorno de-$100). Denotando por Ii o evento de inadimplncia da debnture i, temos que o retorno dacarteira com N debntures dado por X =

Ni 5(1 Ii) 100Ii.

Sejam agora duas carteiras: a carteira A possui uma das debntures, e a carteira B composta pelas outras 99 debntures. O Var de nvel 5% da carteira A igual a -$5, enquantoo da carteira B o equivalente a 4 empresas inadimplentes em 992, o que d uma perda de4$100 (994)$5 = $75. Por fim, o VaR da carteira (A+B) equivale a 4 inadimplnciasem 100, com uma perda de 5 $100 (100 5) $5 = $25. Ou seja, VaR(A+B) = $25 >Var(A) + VaR(B) = (-$5) + (-$75) = -$80, contradizendo a sub-aditividade.

Por fim, vale notar que se a distribuio das carteiras normal, vale a sub-aditividade doVaR.

2Para esse resultado, usou-se a inversa generalizada da distribuio binomial

Captulo 3

Backtesting

Modelos de risco so usados na tomada de decises tanto por gestores de investimentos, quedesejam adequar a relao entre o retorno desejado e o risco incorrido, como por autoridadesreguladoras, que devem observar se as instituies financeiras esto assumindo mais riscos queseu patrimnio pode suportar. Por isso, as estimativas de perda fornecidas pelos modelos derisco devem ser constantemente avaliadas atravs de backtesting, que compara as estimativasde risco com perdas ocorridas de fato atravs de testes estatsticos.

Os mtodos mais populares de backtesting, como os propostos em [16], [9] e [10], analisama srie de violaes do VaR, ou seja, em que momentos a perda incorrida foi maior que o VaRestimado pelo modelo de risco. Como a probabilidade de violao do VaR de nvel iguala , ento podemos afirmar que se o modelo de risco estiver correto, a srie de violaes seruma srie i.i.d. de variveis aleatrias com distribuio Bernoulli com parmetro . Os doistrabalhos citados acima usam testes de razo de verossimilhana para verificar essa hipte-ses. Dependendo da propriedade que est sendo avaliada, os backtests baseados em violaesso classificados na literatura como testes de cobertura incondicional, testes de indepen-dncia ou testes de cobertura condicional (que avaliam conjuntamente o nvel do VaR e aindependncia das violaes).

Por desconsiderar a magnitude das perdas, mtodos de backtesting baseados em sries deviolaes no podem ser aplicados ao Expected Shortfall. H poucos trabalhos na literaturasobre backtesting desta medida de risco. Em um deles, Kerkhof e Melenberg desenvolveramum framework para backtesting de uma medida de risco qualquer [15], que consiste em umteste de hiptese cuja estatstica observada a diferena entre a medida de risco provenientedo modelo de risco e a medida aplicada distribuio histrica das perdas.

Uma das crticas aos mtodos de backtesting apresentados a seguir a baixa taxa de rejeiode modelos mal especificados. Como ser mostrado a seguir, o poder dos testes pode serindesejavelmente baixo quando o tamanho da amostra usada no backtest pequena. Outroproblema que os mtodos so baseados na distribuio assinttica das estatsticas de teste.

21

22 CAPTULO 3. BACKTESTING

Essa distribuio pode ter uma diferena significativa para a distribuio real.

Nas prximas sees, sero estudados diversos modelos de backtesting. Foram selecionadosmtodos amplamente utilizados no mercado, como o mtodo de Kupiec [16] e de Christoffersen[9], ou mtodos que se propem a corrigir deficincias observadas nos mtodos mais populares,como o testes baseados em duration [10] e o mtodo de Kerkhof e Melenberg [15].

Para simplificar a apresentao dos mtodos a seguir, consideraremos o horizonte de tempode um dia, exceto quando explicitado. A extenso para outros horizontes de tempo ser des-crita ao final do captulo, e alteraes de posies na carteira de um dia para o outro serodesconsideradas.

3.1 Backtestings baseados em violaes

Seja {Yt}Tt=1 a srie dos retornos observados, e {VaRt}Tt=1 a srie das estimativas de VaR denvel . Diz-se que houve uma violao na data t quando a perda da carteira em t foi maiorque o VaR estimado para essa data. Assim, a sequncia de violaes {Yt}Tt=1 dada por:

It =

{1, se Yt < VaRt0, caso contrrio

Se o modelo de VaR foi especificado corretamante, a probabilidade da perda Yt ser maiorque VaRt igual a . Assim, espera-se que a srie {It} seja i.i.d. com distribuio Bernoulli().

O teste de Kupiec um teste de cobertura incondicional, e os testes propostos por Chris-toffersen ([9] e [10]) so testes de independncia e de cobertura condicional.

3.1.1 Teste de Kupiec

O teste de Kupiec consiste em um teste de hiptese sobre o nvel do VaR estimado pelomodelo de risco:

H0 : =

H1 : 6=

Sob a hiptese nula, {It} tem distribuio Bernoulli(), e portanto o total de violaes Vtem distribuio binomial:

V =Tt=1

It Binomial(T, )

O autor prope usar o teste da razo de verossimilhana para testar a hiptese nula em

3.1. BACKTESTINGS BASEADOS EM VIOLAES 23

Tabela 3.1: Intervalos de violaes no teste de Kupiec T Teste 1% Teste 5%1% 250 [0, 7] [1, 6]1% 500 [1, 11] [2, 9]1% 1000 [4, 19] [5, 16]1% 2000 [10, 32] [12, 29]5% 250 [5, 22] [7, 19]5% 500 [14, 38] [17, 35]5% 1000 [34, 68] [38, 64]5% 2000 [76, 126] [82, 119]

(3.1.1). A estatstica do teste dada por:

(V ) = 2 ln

L( | V )sup{L( | V ) : [0, 1]}

=

2 ln

(V (1 )(TV )

V (1 )(TV )

), se V > 0

2 ln((1 )T

), se V = 0

onde L(.) a funo de verossimilhana, = V/T o estimador de mxima verossimilhanade e, assintoticamente, (V ) 2(1)1.

A Tabela 3.1 mostra os valores mnimo e mximo de violaes para no-rejeio no teste deKupiec com nveis de confiana de 1% e 5%, nveis de VaR de 1% e 5% e tamanho da amostraT variando de 250 a 2000 dias. Observe que para os valores menores de T , a faixa de violaesna regio de no-rejeio relativamente ampla. Por exemplo, se T = 250, 6 violaes noso suficientes para rejeitar o VaR de 1%. O valor de mxima verossimilhana para quandoV = 6 = 6/250 = 2, 4%, siginificativamente maior que o nvel esperado do VaR (de 1%).Isso sugere um erro de tipo II grande.

1Em um teste de razo de verossimilhana, a estatstica de teste assintoticamente distribuda como umachi-quadrada. O grau de liberdade dado pela diferena entre o nmero de parmetros livres nos modelosassociados s hiptese nula e alternativa. O modelo da hiptese nula no possui parmetros livres, pois supe-se que = . J na hiptese alternativa, o parmetro livre.


Anlise do poder do teste

O poder do teste de Kupiec (probabilidade de rejeitar o modelo quando a hiptese nula falsa) dado por:

(1 ) = 1Vmaxv=Vmin

(T

v

)va(1 a)(Tv)

onde:

a hiptese alternativa tem a forma = a;

[Vmin, Vmax] o intervalo de confiana para o nmero de violaes, conforme o nvel deconfiana do teste.

A Figura 3.1 mostra o poder deste teste para diversas hipteses alternativas e para vriostamanhos de amostra T . Neste grfico, percebe-se que o poder de teste depende fortementedo tamanho da amostra: no teste de nvel de 5%, quando o tamanho da amostra de 2000dias, so rejeitados mais de 90% dos modelos com nvel de VaR de 2% (ou seja, 2 vezes maisque o nvel de VaR da hiptese nula). J se o tamanho da amostra de 250 dias, essa taxa derejeio cai para pouco mais de 20%.

Figura 3.1: Poder do teste de Kupiec com nvel de confiana de 5%(abaixo) para VaR de 1% ediversos tamanhos de amostra

3.1.2 Testes de Independncia Serial das Violaes

Como observado por Mandelbrot em [17], grandes variaes [nos preos de ativos financeiros]tendem a ser seguidas por grandes variaes, em qualquer direo, e pequenas variaes ten-dem a ser seguidas por pequenas variaes. desejvel que o modelo VaR capture esse fato


estilizado, sendo maior (e portanto, mais conservador) nos perodos de mais turbulncia nomercado. Se o modelo de risco considera a volatilidade como sendo constante, provvel queas violaes ocorram com frequncia maior que o esperado em perodos de maior volatilidade,e com menor frequncia nos demais perodos.

Christoffersen props em [9] e [10] testes estatsticos para verificar se a srie de violaes temporalmente independente, indicando que a variao de volatilidade da srie foi capturadapelo modelo de risco.

A primeira abordagem do autor uma simplificao do problema, e testa a independnciaentre duas datas consecutivas na srie de violaes. Se essa dependncia existe, e se datas noconsecutivas so independentes, a srie pode ser interpretada como uma Cadeia de Markov deprimeira ordem cuja matriz de probabilidades de transio :

=

[(1 01) (1 11)01 11

]

onde ij = P(It = j|It1 = i), ou seja, 11 e 01 so, respectivamente, a probabilidade dehaver violao dado que houve e que no houve violao no dia anterior. O teste de indepen-dncia, no caso, consiste em verificar se a probabilidade de haver violao na data t independede ter havido violao em t 1, ou seja:

H0 : 01 = 11

H1 : 01 6= 11 (3.1.1)

Alternativamente, possvel fazer um teste de cobertura condicional atravs um teste de hip-tese similar:

H0 : 01 = 11 =

H1 : 01 6= 11 (3.1.2)

Assim, sejam:

T0 =T1t=1

(1 It) T01 =T1t=1

It+1(1 It)

T1 =T1t=1

It T11 =T1t=1

It+1It

Ou seja, T0 e T1 so, respectivamente, o nmero de no-violaes e de violaes, des-considerando o ltimo elemento da srie {It}; T01 o nmero de violaes que sucedem umano-violao e T11 o nmero de violaes que sucedem uma violao. Novamente, T01 e T11


possuem distribuio binomial. Logo, para testar a hiptese de independncia em 3.1.1, o testeda razo de verossimilhana tem a forma:

IND(V ) = 2 ln

sup(01,11){L(01, 11 | I) : 01 = 11}sup

(01,11)

{L(01, 11 | I)}

onde I representa as observaes de T0, T1, T01 e T11 e (V ) tem distribuio assinttica 2(1).Neste caso, temos que:

= T01+T11T0+T1

o estimador de mxima verossimilhana de 01 e 01 na hiptese nula;

01 = T01/T0 e 11 = T11/T1 so, respectivamente, os estimadores de mxima verossimi-lhana de 01 e 01.

Assim, a estatstica do teste dada por:

IND(V ) =

2 ln(

(T01+T11) (1 )(T0+T1T01T11)

01T01 (1 01)(T0T01) 11T11 (1 11)(T1T11)

), se T01 + T11 > 0

2 ln(T01 (1 )(T0+T1T01)

01T01 (1 01)(T0T01)

), se T11 = 0

2 ln(T11 (1 )(T0+T1T11)

11T11 (1 11)(T1T11)

), se T01 = 0

Esse teste s vlido quando h pelo menos uma violao na srie observada. Amostras semviolaes foram consideradas como no rejeitadas nos clculos acima. Para valores pequenosde T (como T=250, bastante utilizados na prtica), a probabilidade de no haver violaes significativamente alta e pode prejudicar a aplicao do teste. Por exemplo, para = 1%, essaprobabilidade igual a 8%.

O teste pode ser facilmente adaptado para testar a hiptese nula 01 = 11 = , bastandoque L( | I) seja substitudo por L( | I). Neste caso, porm, o espao de variveis da funode verossimilhana associada s hiptese nula diminui de 1 para zero, e portanto, a estatsticatem distribuio 2(2).

Estimativa do poder do teste atravs de simulaes de Monte Carlo

O poder deste teste foi estimado atravs de simulaes de Monte Carlo para alguns valoresT e algumas combinaes de e 11. Note que, fixada uma probabilidade incondicional =P(It = 1) e uma probabilidade 11 = P(It = 1|It1 = 1), a probabilidade 01 fica tambm


determinada:

= P(It = 1)

= P(It = 1|It1 = 1)P(It1 = 1) + P(It = 1|It1 = 0)P(It1 = 0)

= 11 + 01(1 )

01 =(1 11)

1

A Tabela 3.2 mostra o poder estimado pelas simulaes para um teste com nvel de 5% deconfiana e nvel de VaR de 1%. Para cada combinao de T e 11, foram geradas 10.000 sries.

Tabela 3.2: Poder do teste de Christoffersen baseado em cadeias de Markov11 (%) 250 500 1000 2000

1 1.53 1.28 1.62 1.492 2.71 2.84 4.34 5.145 7.38 9.42 15.13 24.5710 15.27 21.01 35.87 56.5920 28.41 43.5 66.92 87.3

Os resultados encontrados por Christoffersen em [10] tambm apontam para o baixo poderdeste mtodo de backtesting.2 Neste trabalho, Christoffersen aplica a metodologia de VaRhistrico sries de retornos Yt geradas pelo modelo GARCH(1,1)-t(d):

Yt+1 = t

d 2d

zt+1 2t+1 = +

2t

(d 2d

zt+1

)2+ 2t

Os parmetros utilizados foram d = 8, = 0.1, = 0.85, = 0.5 e = 3.9683e 6, oque implica em uma persistncia de volatilidade igual a 0.975. O poder do teste avaliado peloautor para VaR de 1% e nvel de confiana do teste de 5% ficou entre 26.3% (para amostra detamanho 250) e 42.7% (amostra de tamanho 1500).

3.1.3 Backtest baseado em duration

Backtests baseados em cadeias de Markov de primeira ordem apresentam uma fragilidade ntida:no capturam dependncias de ordens superiores. Para corrigir esse problema, Christoffersenprops em [10] um segundo mtodo de backtesting baseado na srie de durations . Esta srie obtida a partir da srie de violaes, e cada elemento representa o nmero de dias entre duas

2O teste realizado em [9] no utiliza VaR. Ao invs disso, considera como violaes os retornos fora de umintervalo de confiana bilateral de 75%. Como essa configurao bastante atpica quando comparada ao VaR,preferimos citar os resultados obtidos em [10]


violaes consecutivas:Di = ti ti1 (3.1.3)

onde Di o i-simo elemento da srie de durations e ti a data 3 da i-sima violao. Parailustrar, a duration correspondente a uma violao no dia seguinte a outra violao vale 1. J sehouve trs dias sem violao entre duas violaes, a duration vale 4 (pois ocorreu no quarto diaaps a violao imediatamente anterior). Como It uma varivel aleatria Bernoulli, ento Di uma varivel aleatria geomtrica com probabilidade , ou seja, Pno-cens(Di = d) = (1)d1.

Por motivos no informados em seu artigo, Christoffersen no utilizou a distribuio geo-mtrica para modelar as durations ; tendo optado pela distribuio exponencial, sua equivalenteno caso contnuo. O autor argumenta que o vis introduzido pelo uso de uma varivel contnuaser endereado nas simulaes de Monte Carlo utilizadas na realizao do teste.

Tendo a distribuio exponencial como hiptese nula, o teste de razo de verossimilhanarequer que a hiptese alternativa seja uma distribuio mais genrica, que tenha a exponencialcomo um caso especfico. Alm disso, a distribuio alternativa deve permitir funes hazardno constantes, capturando o decrscimo na probabilidade de violao na medida em que otempo sem ocorrncia de violaes aumenta. O teste de razo de verossimilhana vai, ento,medir quanto um modelo sem memria (distribuio exponencial) se diferencia do modelotimo, possivelmente com memria.

Trs distribuies so sugeridas pelo autor para a hiptese alternativa: Weibull, Gamma eEACD (Exponential Autoregressive Conditional Duration), cujas distribuies so dadas por:

Weibull: f(D; a, b) = abbDb1e(aD)b

Gamma: f(D; a, b) = abDb1eaD((b))1

EACD: f(Di|i; a, b) = 1i eDi/i , com i Ei1[Di] = a+ bDi1

onde a hiptese nula para os trs modelos H0 : b = 1.

A distribuio EACD a nica condicional, e portanto a nica que leva em considerao aordenao das durations, o que poderia sugerir maior poder do teste que utiliza essa distribuio.Porm, os testes realizados pelo autor apontaram que quando a distribuio EACD utilizada,o poder do teste similar ao backtest baseado em cadeias de Markov. O mesmo no podeser dito acerca do backtest de duration com distribuio alternativa Weibull. Apesar do poderdeste teste tambm ser comparvel ao de cadeias de Markov para amostras pequenas, ele significativamente superior para amostras maiores (de 4 anos ou mais). Por esse motivo, nestetrabalho sero utilizados os testes de independncia baseados em cadeias de Markov, e emduration com distribuio alternativa Weibull, onde a escolha do mtodo ser feita em funodo tamanho da amostra.

3Mais precisamente, ti a posio em It da i-sima violao.


A implementao do teste consiste em trs etapas: gerao da srie de durations ; clculodos estimadores de mxima verossimilhana para a hiptese alternativa e para a hipteses nula;e clculo das verossimilhanas nas duas hipteses. Estas etapas so descritas a seguir.

Obteno da srie de durations

A obteno da srie de durations com base na srie de violaes bastante direta, exceto pelaprimeira e pela ltima durations. Para ilustrar este fato, tomemos como exemplo a srie deviolaes

{It}16t=1 = {0, 0, 0, 1, 0, 0, 0, 0, 1, 1, 0, 0, 0, 1, 0, 0} (3.1.4)

Usando a equao 3.1.3, obtemos D2 = 5 (pois houve violaes consecutivas no quarto e nonono dias), D3 = 1 e D4 = 4. Mas a nica coisa que se pode dizer sobre a primeira e ltimadurations que D1 > 3 e D5 > 2. Isso ocorre porque no houve violao nem no primeiro nemno ltimo dia da srie de violaes. Suponha que a srie de durations de 3.1.4 seja representadaapenas por:

{Di}5i=1 = {3, 5, 1, 4, 2}

Note que a srie {1,0,0,1,0,0,0,0,1,1,0,0,0,1,0,1} teria uma srie de durations idntica, mas aprobabilidade desta srie ocorrer diferente da srie de 3.1.4.

Assim, para complementar a informao da srie de durations, Christoffersen props umasrie {Ci}Ni=1 que indica se Di corresponde a um dado censurado. Diz-se que a duration Di censurada quando ela representa apenas um limiar inferior para seu valor verdadeiro, e noo seu valor exato. Assim, temos que C1 = C5 = 1 (indicando que D1 e D5 so censuradas), eC2 = C3 = C4 = 0. Obviamente, apenas o primeiro e o ltimo elementos da srie de durationspodem ser censurados.

Implementao do backtest baseado em durations com distribuio Weibull

Tendo obtido a srie de durations, preciso calcular os estimadores de mxima verossimilhanapara as distribuies exponencial e Weibull. A log-verossimilhana de uma srie de durationscensurada dada por:

ln(L(D; )) = C1 ln(S(D1)) + (1 C1) ln(f(D1)) +N1i=2

ln(f(Di))

+ CN ln(S(DN)) + (1 CN) ln(f(DN))

onde N o tamanho da srie de durations, f a funo de distribuio com parmetros e S a funo de sobrevivncia da distribuio.


Para o caso exponencial, possvel obter os estimadores de mxima verossimilhana anali-ticamente. A distribuio exponencial dada por f(d) = aead, e sua funo de sobrevivncia S(d) = ead. Assim, temos que:

a =(N C1 CN)N

i=1Di

Mas uma desvantagem do teste baseado em durations que no h frmula fechada para osestimadores de mxima verossimilhana da distribuio Weibull (assim como para as demaisdistribuies Gamma e EACD). A necessidade de utilizao de um algoritmo de otimizaonumrica torna o mtodo computacionalmente mais complexo quando comparado com o testebaseado em cadeias de Markov. Porm, especificamente para a distribuio Weibull, possvelexplicitar uma relao entre os parmetro no ponto timo:

a =

(N C1 CNN

i=1Dbi

)1/b

Com isso, o problema de otimizao transforma-se em um problema de uma varivel.Utilizou-se a funo optimize do software R para aproximar os estimadores de mxima veros-similhana. Essa funo usa o mtodo de Newton e aproxima a matriz hessiana pelo mtodoBFGS. Apesar de a hessiana poder ser facilmente explicitada para a funo Weibull, seu uso ge-rou algumas instabilidades numricas. Com isso, apenas a primeira derivada da funo-objetivofoi fornecida para o otimizador. A nica restrio do problema que os parmetros a e b devemser ambos maiores que zero.

Estimativa do poder do teste atravs de simulaes de Monte Carlo

Para avaliar o poder do teste, utilizou-se simulao de Monte Carlo. Para gerar as sries deduration, foram simuladas sries de variveis aleatrias Wi Weibull. Arredondou-se cada Wipara cima, transformando os elementos da srie em nmeros inteiros maiores que zero. Parasimular o primeiro elemento (que pode ser uma duration censurada), sorteou-se uma variveluniforme discreta U entre zero e dW1e 1, onde D1 = dW1e U , e C1 = 0 se e somente seU = 0. Para i > 1, fazemos Di = dWie at que o tamanho da srie de violaes seja alcanado,o que pode implicar na censura do ltimo elemento da srie.

Como espera-se que a taxa de violaes diminua quanto maior for a duration (funo ha-zard decrescente), foram utilizados valores de b menores que 1 na simulao. Foram simuladas1.000 sries de duration para T=2.000 com b = 1/2, nvel do VaR de 1% e nvel de confianado teste de 5%. Com esta configurao, o poder do teste ficou em 61%.

3.2. BACKTEST PARA PERDA ESPERADA 31

3.2 Backtest para Perda Esperada

Como foi mencionando na seo anterior, testes baseados em violaes no so aplicveis Perda Esperada, pois essa medida de risco reflete a magnitude esperada (e no o valor mnimo)das piores perdas. Diante deste problema, Kerkhof e Melenberg propuseram em [15] um mtodogenrico de backtesting, que consiste na construo de um intervalo de confiana para a medidade risco a partir da distribuio emprica das perdas. O teste baseia-se no mtodo do delta-funcional [23] e pode ser aplicado a uma vasta gama de medidas de risco, incluindo o VaR e aPerda Esperada. Para sua aplicao, necessrio que os retornos passem previamente por umprocesso de padronizao, como ser visto a seguir. Por fim, vale mencionar que este um testede cobertura no-condicional, pois a ordenao dos retornos no levada em considerao.

Construo da estatstica de teste

Kerkhof e Melenberg definem medidas de risco como funcionais que mapeiam elementos doespao das distribuies de probabilidade DF em reais:

%(Q) : DF R

Por esta notao, o VaR de nvel escrito como:

%(Q) := Q1() (3.2.1)

e a Perda Esperada, como:

%(Q) := 1

( Q1()

x dQ(x) +Q1()

(

Q1()

dQ(x)

))(3.2.2)

onde Q a distribuio padronizada dos retornos. Se Q uma distribuio contnua, ento Q1() dQ(x) = , e neste caso:

%(Q) := 1

( Q1()

x dQ(x)

)(3.2.3)

Um conceito importante para a construo da estatstica do teste proposto em [23] o defuno de influncia. Em linhas gerais, a funo de influncia x(%,Q) do funcional %(Q)em um ponto x mede quanto %(Q) varia quando ocorre uma perturbao em Q na direo deuma funo-impulso x. Formalmente, escreve-se:

x(%,Q) = limt0+

%((1 t)Q+ tx) %(Q)t

(3.2.4)


Se %(Q) Hadamard-diferencivel, podemos aplicar o mtodo do delta-funcional [23]:

T (%(QT ) %(Q)) =

T

1

T

Tt=1

t(Q) + op(1), Et(Q) = 0, E2t (Q)

3.2. BACKTEST PARA PERDA ESPERADA 33

denotada por (x), e a funo densidade, por (x). Temos, ento, que:

VaR(Q) = 1() (3.2.8)

PE(Q) =(1())

(3.2.9)

E[x2I(,Q1()](x)

]= 1()(1()) (3.2.10)

Com essas expresses, a estatsticas de teste 3.2.5 calculada simplesmente substituindo-se asequaes acima em 3.2.4, 3.2.6 e 3.2.7

Padronizao dos retornos

Os testes propostos em [15] so aplicveis a retornos independentes e identicamente distri-budos. Porm, sabe-se que a distribuio dos retornos de uma carteira tipicamente varia notempo. Mesmo que o modelo de distribuio de retornos para uma determinada data sejano-condicional, os parmetros do modelo tipicamente so reavaliados a cada dia tk a partir dohistrico de retornos {Yt}, t {k T, ..., k 1}.

Para contornar essa situao, Kerkhof e Melenberg propuseram o uso de retornos padro-nizados. Seja Yt Ft o retorno de um ativo (ou carteira de ativos) na data t. Tipicamente, adistribuio exata Ft no conhecida, sendo aproximada por uma distribuio Pt. O objetivofinal do backtest testar a hiptese nula H0 : Pt = Ft.

Como precisamos de uma srie identicamente distribuda (pelo menos sob a hiptese nula),podemos usar o Teorema da Integral de Probabilidade: se Yt Pt, ento Pt(Yt) possui distri-buio uniforme, e portanto:

ht = G1(Pt(Yt)) G

Se Pt 6= Ft, temos que ht Qt 6= G. Desse modo, ao usar a srie de retornos padronizados{ht} para testar a hiptese nula H0 : G = Qt, estamos testando indiretamente a hipteseH0 : Pt = Ft.

3.2.1 Resultados da simulao

Inicialmente, verificamos o tamanho do teste, simulando 1.000 sries de retornos {Xt}Tt=1, Xt N(0, 1) para vrios tamanhos de T e verificando quantas foram rejeitadas. A importnciadeste teste verificar a velocidade de convergncia da estatstica de teste para sua distribuioassinttica normal.

Para avaliar o poder do teste da mesma forma como foi feito para o teste de Kupiec, preciso definir o desvio padro que gera o mesmo nvel de violao. Assim, devemos encontrar


Tabela 3.3: Tamanho do teste de KerkhofTeste 1% Teste 5%

T VaR PE VaR PE1% 250 11 3 47 381% 500 21 11 75 561% 1000 9 9 57 461% 2000 10 5 34 375% 250 14 6 54 405% 500 14 8 52 445% 1000 15 9 69 435% 2000 5 6 42 35

o desvio padro tal que:

Xt N(0, ) P(Xt < 1(0)) = 1

onde 0 o nvel do VaR sob a hiptese nula e 1 a probabilidade de violao do VaR nahiptese alternativa.

A Figura 3.2 mostra o poder do backtest de Kerkhof e Melenberg para o VaR de nvel 1%e diversos valores de T. O nvel de confiana do teste foi de 5%.

Figura 3.2: Poder do teste de Kerkhof com nvel de confiana de 5% para VaR de 1% e diversostamanhos de amostra

Captulo 4

Estudo de casos

4.1 Descrio das sries

Para realizar os estudos de caso, foram utilizadas 35 sries financeiras brasileiras de log-retornos,sendo 5 sries de cmbio para real (dlar, euro, libra, iene e franco suco), e 3 curvas de juros(pr-fixados, cupom de IPCA e DIxDlar) com 10 vrtices cada (1, 2, 3 e 6 meses, 1, 2, 3, 4,5 e 10 anos). Todas as sries apresentaram valor mdio significativamente inferior ao desviopadro: no pior caso, a relao valor mdio/desvio padro foi de 0.12 para o vrtice de um msda curva de juros pr-fixados.

Como era esperado, a volatilidade das taxas de cmbio geralmente maior que a das curvasde juros, exceto para vrtices longos. A volatilidade das taxas de cmbio foi similar para ascinco moedas, ficando dentro do intervalo de 0.945% a 1.24%, enquanto que os vrtices at3 anos das curvas de juros apresentaram volatilidades menores que 0.42%. Alm disso, asvolatilidades dos vrtices das trs curvas de juros aumentaram com o prazo (Figura 4.1), sendoque o vrtice de 10 anos da curva de juros pr-fixado apresentou a maior volatilidade, de 2.5%.

Para analisar a variao da volatilidade ao longo do tempo, cada srie foi dividida emblocos de um ano e a volatilidade de cada bloco foi calculada. A evoluo das volatilidadespode ser vista na Figura 4.2. Percebe-se um pico de volatilidade em todas as sries no ano de2008, especialmente nas sries de cmbio. Os vrtices longos de juros pr-fixados apresentaramvolatilidades bastante elevadas em 2004, mostrando tendncia de queda com o passar dos anos.

O Grfico 4.3 mostra a funo de autocorrelao para os lags de 1 a 10 das curvas de jurose das moedas. Cada vrtice est representado por uma cor, e a linha pontilhada em azul ointervalo de confiana de 95% para a hiptese nula de que a autocorrelao zero. Observa-seque a hiptese nula foi descartada para os vrtices mais curtos da curva de juros pr-fixados,havendo uma autocorrelao positiva significativa em todos os lags. Tambm possvel notaruma correlao negativa no lag 1 para os vrtices curtos das curvas de DIxDolar e Cupom deIPCA. Para as sries de moeda, a hiptese nula de autocorrelao igual a zero no foi descartada

35

36 CAPTULO 4. ESTUDO DE CASOS

0 20 40 60 80 100 120

0.0

00

0.0

15

0.0

30

Figura 4.1: Volatilidade mdia das curvas de juros para vrtices de 1 a 120 meses. A linhapreta a curva de juros pr-fixado, a vermelha, de DIxDolar, e a azul, de cupom de IPCA.

2004 2006 2008 2010 2012

0.0

00

0.0

10

0.0

20

Juros Pr

2004 2006 2008 2010 2012

0.0

00

0.0

10

0.0

20

Cupom IPCA

2004 2006 2008 2010 2012

0.0

00

0.0

10

0.0

20

DIxDOL

2004 2006 2008 2010 2012

0.0

00

0.0

10

0.0

20

USD,EUR,LIB,IEN,CHF

Figura 4.2: Evoluo da volatilidade mdia anual de cada fator de risco. Cada linha das curvasde juros representa um vrtice.

para a maioria dos lags.

4.2 Comparao dos modelos para sries de moedas

Para iniciar o estudo de casos, tomaremos a srie de dlar como exemplo, e analisaremos osresultados dos backtests para cinco modelos de estimativa de VaR e perda esperada: modelo

4.2. COMPARAO DOS MODELOS PARA SRIES DE MOEDAS 37

Figura 4.3: Funo de autocorrelao para os fatores de risco, lags de 1 a 10.


paramtrico normal no-condicional, modelo paramtrico normal com decaimento EWMA, mo-delo de simulao histrica, modelo GARCH(1,1) com distribuies Normal e t de Student com8 graus de liberdade 1. As configuraes para os modelos paramtrico normal, de simulaohistrica e GARCH correspondem a trs tamanhos de janela de dados (T=250, 500 ou 1000),e o modelo EWMA foi testados com parmetros =0.94 e 0.97.

A Tabela 4.1 mostra os p-valores dos backtests aqui tratados para as diferentes configuraesmodelos de risco, utilizando nvel de confiana do VaR e da Perda Esperada de 1%. O backtestfoi realizado para uma srie de 4 anos de dados (de 2008 a 2011, 1000 pontos). As tabelas aseguir mostram os p-valores dos testes de Kupiec, teste de independncia de primeira ordem deChristoffersen (Chr.98), teste baseado em duration (Chr.04), e teste de Kerkhof e Melenbergpara VaR (KM VaR) e Perda Esperada (KM PE).

Tabela 4.1: Resultados de backtests para VaR e PE (nvel 1%) para uma carteira de dlarutilizando 1000 pontos. Valores em negrito representam no-rejeio no teste com nvel deconfiana de 95%, e em itlico, no-rejeio para nvel de confiana de 99%.

Modelo Kupiec Chr.98 Chr.04 KM VaR KM PEPar. Normal, T=250 0.0223 0.0001 0.0002 0.0242 0.0000Par. Normal, T=500 0.0110 0.0002 0.0000 0.0000 0.0000Par. Normal, T=1000 0.0794 0.0013 0.0000 0.0000 0.0000EWMA, =0.94 0.7465 0.6858 0.6755 0.6166 0.3690EWMA, =0.97 0.7465 0.0658 0.0934 0.9364 0.0704Sim. Hist, T=250 0.0223 0.0000 0.0000 N/A N/ASim. Hist, T=500 0.1390 0.0176 0.0000 N/A N/ASim. Hist, T=1000 0.2306 0.0005 0.0000 N/A N/AGARCH-Normal , T=250 0.7544 0.8548 0.0524 0.0000 0.0000GARCH-Normal , T=500 0.7544 0.8931 0.2207 0.0000 0.0000GARCH-Normal , T=1000 0.5102 0.8931 0.2207 0.0000 0.0000GARCH-t, T=250 0.0397 0.6207 0.9652 0.0000 0.0000GARCH-t, T=500 0.0090 0.6207 0.5484 0.0000 0.0000GARCH-t, T=1000 0.0090 0.7193 0.5171 0.0000 0.0000

O nico modelo de risco no rejeitado em nenhum dos testes foi o Paramtrico Condicionalcom decaimento EWMA (para ambos os valores de =0.94). Todos os demais modelos foramrejeitados pelos testes de Kerkhof e Melenberg aplicados ao VaR e Perda Esperada. Consi-derando apenas os testes baseados em violaes, os modelos no rejeitados por nenhum testeforam os dois EWMA e as trs configuraes do modelo GARCH(1,1) com inovao normal. Ano rejeio do modelo GARCH-t nos testes de Christoffersen sugere que o modelo conseguiucapturar as variaes de volatilidade das sries, mas a rejeio no teste de Kupiec indica que onvel do VaR no foi capturado corretamente.

1Em [6], Bollerslev afirma que essa uma boa parametrizao para sries financeiras.

4.2. COMPARAO DOS MODELOS PARA SRIES DE MOEDAS 39

Como visto no Captulo 3, importante interpretar os resultados do backtest levando-seem considerao no apenas o p-valor, mas tambm o poder do teste. A no-rejeio de ummodelo de risco no necessariamente indica que o modelo est adequado, mas pode ser tambmconsequncia do baixo poder de rejeio do backtest. Os dois fatores que influenciam no poderde um backtest so o nmero de pontos usados no teste e o nvel de confiana da medida derisco, j que o nmero esperado de violaes na amostra depende deste nvel.

No teste acima, usou-se um nmero de pontos para backtest equivalente a 4 anos de dados.A prtica da indstria usar um nmero menor de pontos, devido ao tempo em que dadosde risco vm sendo coletados e ao custo computacional de usar amostras maiores. Veremosna Tabela 4.2 o resultados dos mesmos modelos quando aplicados a backtests para um ano dedados (250 pontos).

Na Tabela 4.2, as sries de VaR e perdas histricas foram divididas por ano, e a duplade sries de cada ano alimentou uma execuo diferente do backtest. possvel observar oproblema de escassez de violaes no backtest de duration, que requer duas ou mais durations,sendo ao menos uma delas no-censurada. Este problema ocorreu nos testes cujos p-valores dacoluna Chr.04 foram marcados com N/A, e este resultado no ser considerado como rejeio.

Apesar do poder dos testes ter sido reduzido pelo menor nmero de pontos, no houvevariao significativa nos resultados, sendo os modelos EWMA os que apresentaram os melhoresresultados, e os modelos GARCH-Normal com bons resultados para os testes baseados emviolaes. Porm, possvel perceber que a rejeio dos testes de Kerkhof e Melenberg e deChristoffersen aparentou ser menos rigorosa, evidenciando a reduo no poder do teste. Issopode ser observado nos testes dos modelos paramtrico no-condicional e de simulao histrica,que foram rejeitados nos testes com 4 anos de dados, a agora deixam de ser rejeitados paraalguns anos. O teste de Kupiec tambm deixou de rejeitar o modelo GARCH-t, resultado quefoi consistente para os cinco anos testados.

Uma outra questo que pode ser abordada nestes testes a influncia de perodos de altavolatilidade nos resultados do backtest. Na Figura 4.1, observou-se um pico de volatilidadenos anos de 2008 e 2009. Porm, no h uma diferenciao clara dos resultados destes anosquando comparado aos demais, sugerindo que os resultados do backtest no so influenciadospor variaes nas volatilidades das sries.

Por fim, analisaremos os mesmos backtests quando executados com 4 anos de dados (1000pontos), mas usando um nvel de 5% para as medidas de risco. Neste caso, o poder do teste aumentado tanto pelo nmero de pontos como pelo maior nvel das medidas de risco.

Observa-se ques os modelos EWMA continuam sem rejeies, exceto pela rejeio do testede Kupiec com nvel de confiana de 95% para =0.97. Os resultados para os modelos GARCHforam similares aos da Tabela 4.1, com rejeio de todos os modelos pelos testes de Kerkhofe Melenberg e dos modelos GARCH-t tambm pelo teste de Kupiec. Mas, ao contrrio dos


Tabela 4.2: Resultados de backtests para VaR e PE (nvel 1%) para uma carteira de dlarutilizando 250 pontos para a estimativa do modelo e 250 para o backtest.

Modelo Ano Kupiec Chr.98 Chr.04 KM VaR KM PE2008 0.0014 0.0316 0.0290 0.0000 0.00002009 0.0250 1.0000 N/A 0.0000 0.0010

Par. Normal 2010 0.7419 0.8572 0.6024 0.5306 0.97302011 0.0190 0.0094 0.0335 0.0132 0.07042012 0.7419 0.8572 0.0668 0.7368 0.81642008 0.7580 0.7868 0.6469 0.1026 0.58082009 0.2781 0.9284 N/A 0.7828 0.2350

EWMA, =0.94 2010 0.7580 0.7868 0.0210 0.6884 0.66682011 0.7419 0.8572 0.2074 0.6640 0.45962012 0.1619 0.6508 0.4622 0.1464 0.02602008 0.7580 0.7868 0.6469 0.1000 0.02082009 0.0250 1.0000 N/A 0.1486 0.0572

EWMA, =0.97 2010 0.7580 0.7868 0.6603 0.7744 0.43842011 0.7580 0.0198 0.0228 0.7544 0.74442012 0.3805 0.7178 0.9621 0.3306 0.07182008 0.0014 0.0316 0.0019 N/A N/A2009 0.0250 1.0000 N/A N/A N/A

Sim. Hist 2010 0.2781 0.9284 N/A N/A N/A2011 0.0054 0.0000 0.0005 N/A N/A2012 0.7580 0.7868 0.5244 N/A N/A2008 0.7580 0.9284 N/A 0.0000 0.00242009 0.7580 0.9284 N/A 0.0016 0.0010

GARCH-Normal 2010 0.7580 0.9219 N/A 0.0000 0.00002011 0.7419 0.9284 N/A 0.0000 0.00002012 0.3435 0.8569 0.0668 0.0002 0.00882008 0.2781 0.7868 0.4731 0.0002 0.04562009 0.2781 0.7868 0.0081 0.0170 0.0100

GARCH-t 2010 0.3955 0.7868 0.6603 0.0008 0.00702011 0.2781 0.8572 0.2074 0.0000 0.00002012 0.7466 0.7121 0.7357 0.1486 0.5518

4.3. COMPARAO DOS MODELOS PARA OUTRAS SRIES DE MOEDA 41

Tabela 4.3: Resultados de backtests para VaR e PE (nvel 5%) para uma carteira de dlarutilizando 1000 pontos.

Modelo Kupiec Chr.98 Chr.04 KM (VaR) KM (PE)Par. Normal, T=250 0.3746 0.0001 0.0000 0.4482 0.0010Par. Normal, T=500 0.1333 0.0001 0.0000 0.0014 0.0000Par. Normal, T=1000 0.0695 0.0024 0.0000 0.0722 0.0000EWMA, =0.94 0.0974 0.6999 0.1653 0.0846 0.4884EWMA, =0.97 0.0484 0.5995 0.6962 0.0690 0.3050Sim. Hist, T=250 0.3200 0.0000 0.0000 N/A N/ASim. Hist, T=500 0.7730 0.0000 0.0000 N/A N/ASim. Hist, T=1000 1.0000 0.0005 0.0000 N/A N/AGARCH-Normal , T=250 0.3746 0.6281 0.8732 0.0000 0.0000GARCH-Normal , T=500 0.2332 0.0457 0.4475 0.0000 0.0000GARCH-Normal , T=1000 0.1333 0.2032 0.7394 0.0000 0.0000GARCH-t, T=250 0.0001 0.1699 0.7932 0.0000 0.0000GARCH-t, T=500 0.0005 0.1268 0.6082 0.0000 0.0000GARCH-t, T=1000 0.0003 0.3000 0.6318 0.0000 0.0000

testes das medidas de risco ao nvel de 1%, o teste de Kupiec deixou de rejeitar os modelosparamtrico no condicional e de simulao histrica. Como o poder dos testes maior nestecaso, o resultado sugere que as medidas de risco so modeladas mais adequadamente para umnvel maior

Uma ltima observao sobre os testes acima que, apesar do artigo de Christoffersen[10] sugerir que o teste de duration tem um poder maior quando comparado aos demais, nofoi possvel notar diferenas significativas entre os dois testes de independncia de violaes,exceto pelo fato de que o teste de duration foi invivel para um grande nmero de testesquando uma amostra de um ano de dados foi utilizado. Como este ltimo teste tem ainda aimplementao mais complexa, o teste de independncia de primeira ordem permanece comouma opo interessante para o uso prtico.

4.3 Comparao dos modelos para outras sries de moeda

Os backtests foram aplicados a outras sries de moedas (Euro, Yen, Libra e Franco Suo)usando-se 1000 pontos (4 anos) para backtest, nvel de confiana do VaR de 1%, nvel deconfiana do teste de 5%. Os resultados desta e das prximas sees sero mostrados demaneira agregada, indicando no mais o p-valor de um nico teste. Ao invs disso, ser indicadoquantas rejeies um determinado modelo sofreu. Assim, cada modelo foi ajustado a cada umadas cinco sries de moeda, e esses cinco ajustes foram testados por todos os backtests. Osvalores da Tabela 4.4 indicam o percentual de rejeies dentre os 5 testes realizados para cada


combinao de modelo e teste. Por exemplo, se um modelo foi rejeitado no teste de Kupiecpara as sries de Yen e de Libra, o valor exibido para o teste de Kupiec aplicado a esse modeloser de 40% (2 de 5 moedas).

Tabela 4.4: Percentual de rejeies nos backtests aplicados a 5 sries de moedas.

Modelo Kupiec Chr.98 Chr.04 KM VaR KM PEPar. Normal, T=250 60% 40% 100% 100% 100%Par. Normal, T=500 60% 80% 100% 100% 100%Par. Normal, T=1000 20% 100% 100% 100% 100%EWMA, =0.94 20% 0% 20% 20% 60%EWMA, =0.97 0% 0% 0% 0% 60%Sim. Hist, T=250 40% 80% 100% N/A N/ASim. Hist, T=500 40% 60% 100% N/A N/ASim. Hist, T=1000 20% 100% 100% N/A N/AGARCH-Normal , T=250 0% 0% 20% 100% 100%GARCH-Normal , T=500 0% 0% 0% 100% 100%GARCH-Normal , T=1000 0% 0% 20% 100% 100%GARCH-t, T=250 80% 0% 20% 100% 80%GARCH-t, T=500 100% 0% 0% 100% 80%GARCH-t, T=1000 100% 0% 0% 100% 80%

Os resultados observados so compatveis com os da srie de dlar. O modelo EWMAcom =0.97 no foi rejeitado em nenhum dos testes baseados em violaes, sendo rejeitado noteste de Kerkhof e Melenberg para Perda Esperada para 3 moedas. O EWMA com =0.94foi rejeitado em 20% dos testes de Kupiec, de duration e de Kerkhof e Melenberg para VaR,sendo rejeitado tambm em 60% dos testes de Kerkhof e Melenberg para Perda Esperada.Os modelos GARCH(1,1)-Normal praticamente no tiveram rejeies nos testes baseados emviolaes, mas foram rejeitados nos testes de Kerkhof e Melenberg. O modelo de simulaohistrica com janela de 4 anos teve poucas rejeies no teste de Kupiec, mas foi rejeitado nosoutros testes. Os demais modelos apresentaram um nmero significativo de rejeies em todosos testes.

4.4 Comparao dos modelos para sries de juros

Uma pergunta natural se os resultados sero similares tambm para outras sries financeiras,como as sries de retornos associados a taxas de juros. Como visto na primeira seo destecaptulo, estas sries possuem caractersticas diversas das sries de moedas, como autocorrelaosignificativa no primeiro lag e menor volatilidade nos vrtices de vencimentos mais curtos.

Para responder a essa pergunta, os mesmos modelos foram aplicados a 3 grupos de 10 sriescada: juros pr-fixados, cupom de DIxDlar e cupom de IPCA. As sries correspondem aos

4.4. COMPARAO DOS MODELOS PARA SRIES DE JUROS 43

retornos associados a 10 vrtices de cada curva (de 1 ms a 10 anos). As configuraes dosmodelos e testes so as mesmas da seo anterior, ou seja, 1000 pontos (4 anos) para backtest,nvel de confiana do VaR de 1%, nvel de confiana do teste de 5%. A Tabela 4.5 mostra opercentual de rejeies, como na Tabela 4.4.

As sries de juros apresentaram resultados bastante diferentes das sries de moeda. Osmodelos EWMA, que tiveram as menores taxas de rejeio para as sries de moeda, foramrejeitados pelo teste de Kupiec e de Kerkhof e Melenberg na maioria das sries de juros. Poroutro lado, o modelo de simulao histrica teve resultados razoveis para os trs grupos desries. Tomando o teste de Kupiec como critrio principal de escolha, a janela de estimativa domodelo de distribuio com 2 anos de dados (500 pontos) apresentou um resultado ligeiramentesuperior. Nos testes de Christoffersen, os trs tamanhos de janela apresentaram resultadossimilares, com um nmero de rejeies significativo para ambos os testes, mas um pouco menorno teste independncia de primeira ordem.

Considerando apenas os testes baseados em violaes, o modelo GARCH(1,1)-Normal tevebons resultados em apenas dois casos: para juros pr-fixados com janela de estimativa de 1000pontos de dados, e cupom de IPCA com mesma janela de estimativa. Para a srie de DIxDlar,todas as configuraes deste modelo apresentaram alta taxa de rejeio pelo teste Kupiec,mas resultados relativamente bons nos testes de independncia e Kerkhof e Melenberg. J omodelo GARCH-t para o mesmo grupo de sries apresentou baixa rejeio nos testes baseadosem violaes, mas rejeies em todas as execues dos testes de Kerkhof e Melenberg. Osresultados dos testes para as sries de DIxDlar mostram uma discordncia entre os backtestscuja causa requer maior investigao.

Uma anlise similar foi realizada agrupando-se as 30 sries por prazo de vencimento (curtoprazo, correspondendo de 1 a 6 meses, e longo prazo, de 1 a 10 anos), mas como mostra aTabela 4.6, os resultados para vrtices curtos e longos no apresentam diferenas significativas.


Tabela 4.5: Percentual de rejeies nos backtests aplicados a juros pr-fixados, cupom DIxDlare cupom de IPCA (10 vrtices para cada curva).

Curva Modelo Kupiec Chr.98 Chr.04 KM VaR KM PEPar. Normal, T=250 54% 58% 92% 92% 100%Par. Normal, T=500 0% 33% 63% 46% 100%Par. Normal, T=1000 8% 33% 75% 25% 92%EWMA, =0.94 92% 21% 38% 100% 100%EWMA, =0.97 50% 21% 75% 100% 100%Sim. Hist, T=250 13% 25% 100% N/A N/A

Pr Sim. Hist, T=500 0% 8% 75% N/A N/ASim. Hist, T=1000 8% 33% 42% N/A N/AGARCH-Normal , T=250 33% 17% 33% 67% 50%GARCH-Normal , T=500 17% 0% 33% 67% 67%GARCH-Normal , T=1000 0% 0% 0% 50% 33%GARCH-t, T=250 0% 0% 17% 100% 100%GARCH-t, T=500 67% 0% 0% 100% 100%GARCH-t, T=1000 83% 0% 17% 100% 100%Par. Normal, T=250 75% 54% 50% 83% 100%Par. Normal, T=500 100% 42% 100% 100% 100%Par. Normal, T=1000 92% 50% 100% 92% 100%EWMA, =0.94 92% 8% 0% 92% 100%EWMA, =0.97 75% 42% 8% 83% 100%Sim. Hist, T=250 0% 38% 42% N/A N/A

DIxDOL Sim. Hist, T=500 8% 33% 100% N/A N/ASim. Hist, T=1000 8% 50% 92% N/A N/AGARCH-Normal , T=250 75% 25% 0% 21% 0%GARCH-Normal , T=500 75% 0% 0% 21% 0%GARCH-Normal , T=1000 75% 33% 0% 21% 0%GARCH-t, T=250 13% 0% 8% 100% 100%GARCH-t, T=500 25% 0% 0% 100% 100%GARCH-t, T=1000 8% 0% 0% 100% 100%Par. Normal, T=250 42% 42% 42% 100% 100%Par. Normal, T=500 42% 33% 42% 92% 100%Par. Normal, T=1000 13% 42% 42% 63% 88%EWMA, =0.94 88% 0% 0% 100% 100%EWMA, =0.97 42% 8% 8% 100% 100%Sim. Hist, T=250 8% 17% 25% N/A N/A

IPCA Sim. Hist, T=500 0% 17% 33% N/A N/ASim. Hist, T=1000 33% 25% 50% N/A N/AGARCH-Normal , T=250 33% 0% 8% 100% 92%GARCH-Normal , T=500 58% 0% 8% 100% 100%GARCH-Normal , T=1000 0% 0% 8% 100% 100%GARCH-t, T=250 63% 25% 0% 75% 88%GARCH-t, T=500 75% 0% 0% 88% 88%GARCH-t, T=1000 75% 0% 0% 100% 100%

4.4. COMPARAO DOS MODELOS PARA SRIES DE JUROS 45

Tabela 4.6: Percentual de rejeies nos backtests aplicados a juros, vrtices agrupados porvencimento (1 a 6 meses, e 1 a 10 anos)

Vcto. Modelo Kupiec Chr.98 Chr.04 KM VaR KM PEPar. Normal, T=250 58% 25% 50% 100% 100%Par. Normal, T=500 33% 0% 42% 75% 100%Par. Normal, T=1000 42% 0% 50% 58% 92%EWMA, =0.94 92% 8% 25% 100% 100%EWMA, =0.97 50% 25% 33% 100% 100%Sim. Hist, T=250 8% 25% 50% N/A N/A

1-6m Sim. Hist, T=500 0% 0% 50% N/A N/ASim. Hist, T=1000 17% 0% 33% N/A N/AGARCH-Normal , T=250 50% 0% 50% 13% 50%GARCH-Normal , T=500 67% 0% 33% 29% 50%GARCH-Normal , T=1000 50% 0% 38% 25% 50%GARCH-t, T=250 50% 25% 0% 75% 88%GARCH-t, T=500 25% 0% 0% 88% 88%GARCH-t, T=1000 25% 0% 0% 100% 100%Par. Normal, T=250 56% 78% 72% 83% 100%Par. Normal, T=500 61% 72% 94% 83% 100%Par. Normal, T=1000 33% 83% 94% 61% 94%EWMA, =0.94 89% 11% 0% 94% 100%EWMA, =0.97 61% 22% 28% 89% 100%Sim. Hist, T=250 6% 28% 61% N/A N/A

1-10a Sim. Hist, T=500 6% 39% 89% N/A N/ASim. Hist, T=1000 17% 72% 89% N/A N/AGARCH-Normal , T=250 50% 22% 22% 56% 44%GARCH-Normal , T=500 50% 0% 39% 39% 56%GARCH-Normal , T=1000 17% 22% 50% 11% 44%GARCH-t, T=250 17% 0% 11% 100% 100%GARCH-t, T=500 72% 0% 0% 100% 100%GARCH-t, T=1000 67% 0% 6% 100% 100%

Captulo 5

Concluso

Nos ltimos anos, a estabilidade do sistema financeiro tem sido o foco de diversas recomenda-es por Basileia e pelos Bancos Centrais, e um dos pilares destas recomendaes mensuraoadequada dos riscos decorrentes das oscilaes do mercado. Os backteskts tm um papel fun-damental neste contexto, j que so as principais ferramentas de avaliao de modelos de risco.Assim, o objetivo deste trabalho foi estudar algumas metodologias de backtesting para Value-at-Risk e Perda Esperada, e analis

Documents

Cristiane Azevedo