Embed Size (px)
Citation preview
O Impacto do Bug dos Relógios sobre o Absenteísmo: uma Análise para a Edição do Exame Nacional do Ensino Médio 2019
Silvio da Rosa Paula1
Vinicius Bonfim Pacheco 2
Dianifer Leal Borges3
Jean Marcel Del Ponte Duarte4
Resumo
Este estudo tem como objetivo avaliar o impacto do bug nos relógios, causado pelo fim do horário de verão, no absenteísmo no Exame Nacional do Ensino Médio (ENEM) de 2019. Para atingir esse objetivo, utilizamos métodos quase experimentais de desenho de regressão descontínua e diferença-em-diferenças. Os resultados encontrados indicam que as falhas nos aparelhos digitais contribuíram significativamente para a redução do absenteísmo, fazendo com que o ENEM 2019 obtivesse a menor abstenção desde 2001. Além disso, os resultados indicam que o grupo socioeconômico mais beneficiado foram os alunos com renda mensal familiar mínima salário, cuja educação da mãe não ultrapassa o ensino fundamental completo.
Palavras-chave: ENEM, Absenteísmo, Métodos Quasi-Experimentais.Classificação JEL: A21, I21, C21.
Abstract
This study aims to assess the impact of the bug on clocks, caused by the end of daylight saving time, on absenteeism in the National High School Exam (ENEM) of 2019. To achieve this goal, we use quasi-experimental methods of regression discontinuity design and difference-in-differences. The results found indicate that failures in digital devices contributed significantly to the reduction of absenteeism, making ENEM 2019 to obtain the lowest abstention since 2001. In addition, the results indicate that the most benefited socioeconomic group were students with family monthly income up to a minimum wage, whose mother's education are no higher than complete elementary school.
Keywords: ENEM, Absenteeism, Quasi-Experimental Methods.JEL Classification: A21, I21, C21.
1 Doutorando em Economia Aplicada pelo Programa de Pós-Graduação em Organizações e Mercados (PPGOM) da Universidade Federal de Pelotas (UFPel). E-mail:[email protected] . 2 Doutorando em Economia Aplicada pelo Programa de Pós-Graduação em Organizações e Mercados (PPGOM) da Universidade Federal de Pelotas (UFPel). E-mail: [email protected] . 3 Doutoranda em Economia Aplicada pelo Programa de Pós-Graduação em Organizações e Mercados (PPGOM) da Universidade Federal de Pelotas (UFPel). E-mail: [email protected]. 4 PhD student of Applied Economics at Universidade Federal de Pelotas (UFPel). E-mail: [email protected]
1. Introdução
Em 22 anos de existência, o Exame Nacional do Ensino Médio (ENEM), se consagrou
como a principal porta de entrada para o ensino superior no Brasil. De acordo com o Ministério
da Educação e Cultura (MEC), em 2015, o ENEM se tornou a segunda maior avaliação de
acesso a ensino superior do mundo, ficando atrás somente do exame Gaokao, realizado na China
(MEC, 2015a). Segundo as estatísticas disponibilizadas pelo Instituto Nacional de Estudos e
Pesquisas Educacionais (Inep), o exame passou de 157 mil inscritos, em sua primeira edição de
1998, para aproximadamente 5,8 milhões de inscritos em 2020 (MEC, 2015b; INEP, 2020a).
Inicialmente, o ENEM tinha como objetivo avaliar o aprendizado adquirido durante a
educação básica, fornecendo insumos de forma a auxiliar o governo na elaboração de políticas
públicas voltadas a educação. Contudo, o número crescente de instituições que adotaram seus
resultados como instrumento de seleção a seus estudantes, fez com que, em 2004, o MEC
institui-se o Programa Universidade para Todos (ProUni), o qual vinculou a concessão de bolsas
de estudos em instituições privadas de ensino superior aos resultados do ENEM (INEP, 2015).
Nesse contexto, atualmente cerca de 130 instituições públicas utilizam as notas do ENEM
como método de entrada integral ou parcial. Além disso, os candidatos podem utilizar os
resultados do exame para obter financiamento estudantil, por meio do Fundo de Financiamento
Estudantil (Fies). Cabe destacar, que o ENEM também é aceito em diversas instituições fora do
Brasil, como é o caso de Portugal, onde 50 instituições admitem os resultados individuais do
ENEM em seus processos seletivos (INEP, 2020b).
Desde a primeira edição do ENEM, houve uma preocupação com a democratização do
acesso ao exame. Dentro desta ótica, em 2001, foi estabelecido que os estudantes concluintes do
ensino médio de escola pública teriam garantida a isenção do pagamento da taxa de inscrição. Ao
longo dos anos, outras regras de isenções foram criadas, consolidando que entre 2013 a 2020,
aproximadamente 70% dos participantes fossem beneficiados com a isenção (ENEM, 2019).
Além disso, outro cuidado constante do MEC, diz respeito ao absenteísmo.
O crescente número de inscritos foi acompanhado por elevadas taxas de abstenções.
Desta forma, desde 2011, o Inep vinha estudando mecanismos para inibir o número de faltas
(SALDAÑA & PALHARES, 2015). De acordo com o Inep, entre as edições de 2013 e 2017,
houve um prejuízo na ordem de R$ 962 milhões, com participantes que se inscreveram, mas não
compareceram às provas (MEC, 2018). Diante disso, em 2017, o MEC estabeleceu que os
candidatos isentos que se abstiveram deveriam justificar sua ausência para poder ter direito a
nova isenção no ano seguinte. Segundo o MEC, essa medida visa além de inibir o absenteísmo,
promover uma maior eficiência na gestão dos gastos, de forma que o montante economizado seja
revertido na ampliação de recursos de segurança (INEP, 2018a).
Nessa perspectiva, de prejuízos acumulados e elevadas taxas de abstenções, os dados
consolidados do exame do ENEM de 2019 foram muito bem vistos, dado que ficou marcado
pelas menores taxas de absenteísmo já registradas no exame para o segundo dia de provas.
Entretanto, um fato que chamou muito a atenção da mídia foi a falha ocorrida nos relógios
devido ao fim do horário de verão.
Nesse cenário, em uma breve contextualização, o horário de verão entrava em vigor todos
os anos desde 1985. Em sua última alteração, em 2017, o governo federal estabeleceu que
horário de verão passaria a entrar em vigor às zero horas do primeiro domingo do mês de
novembro de cada ano. Coincidentemente, a nova data de alteração dos relógios aconteceria no
dia 4 de novembro de 2018, isto é, no mesmo dia de aplicação das primeiras provas do ENEM
2018. Tal fato motivou um pedido do MEC para o adiamento do início do horário de verão, de
forma a não prejudicar os candidatos (NASCIMENTO , 2018 ).
Em 2019, o governo federal, por meio do Decreto nº 9772, de 25 de Abril de 2019,
extinguiu o horário de verão. No entanto, muitos dispositivos eletrônicos, principalmente, os
celulares, seguiram programados previamente para adiantar em uma hora seu horário no primeiro
domingo do mês de novembro, data que novamente cairia no primeiro dia de provas do ENEM
2019. A mudança automática nos relógios pegou muitos candidatos de surpresa. Embora a
possibilidade da alteração dos relógios fosse prevista por grandes empresas como, Motorola e
Google, que alertaram seus usuários para a possível alteração no horário (EBC, 2019a;
GOOGLE BRASIL, 2019).
Diante dessas considerações, utilizando a estratégia empírica de desenho de regressão
descontinua e diferença-em-diferenças, avaliou-se o impacto do bug do relógio causado pelo
término do horário de verão nas abstenções no ENEM 2019. Os resultados encontrados indicam
que a falha dos aparelhos afetou negativamente o absenteísmo, contribuindo para que o exame
obtivesse a menor taxa de abstenção desde 2001. Em termos de magnitudes, o bug pode ter
contribuído para uma redução de até 85 mil faltas, evitando um desperdício financeiro da ordem
de R$ 8,9 milhões.
O artigo está estruturado em 6 seções. Logo após esta introdução, nas seções 2 e 3 são
feitos breves levantamentos históricos do ENEM e do horário de verão, respectivamente. Na
seção 4, são apresentados os dados e as estatísticas descritivas. Na seção 5, é exposta a estratégia
empírica. Na seção 6, são apresentados os resultados. Por fim, na seção 7, são feitas as
considerações finais.
2. ENEM
O Governo Federal por meio do Instituto Nacional de Estudos e Pesquisas Educacionais
Anísio Teixeira (Inep), criou em 1998, o Exame Nacional do Ensino Médio (ENEM). Até o ano
de 2008, o principal objetivo era avaliar as competências e as habilidades desenvolvidas ao longo
da escolaridade básica (ENEM, 2015). Em 2004, o Ministério da Educação e Cultura (MEC),
instituiu o Programa Universidade para Todos (ProUni) e vinculou a concessão de bolsas de
estudo em instituições privadas de ensino superior com base nos resultados do ENEM. O
crescente número de instituições universitárias que passaram também a adotar seus resultados
para selecionar seus estudantes, fez com que o ENEM fosse ganhando cada vez mais importância
no cenário nacional.
Dentro dessa perspectiva, a partir de 2009, o ENEM foi reformulado, se tornando uma
das principais vias de acesso às universidades federais do país. As mudanças ocorridas nesse
período, abrangeram o formato de avaliação, que passou a ser realizado em dois dias de provas
consecutivos e, também, ficando marcado pelo início dá utilização da Teoria de Resposta ao Item
(TRI)5. (INEP, 2011).
Desde suas primeiras edições, o ENEM demonstrou ser um exame inclusivo, garantindo a
isenção da taxa de inscrição para os alunos de escola pública. Em 2001, o governo federal
oficializou a isenção para todos os concluintes do ensino público e para os candidatos que
concluíram os estudos por meio do Educação de Jovens e Adultos (EJA), nos doze meses
5 A TRI é uma ferramenta estatística que qualifica as respostas, permitindo a comparação entre candidatos da mesma população que tenham sido submetidos a provas diferentes. A TRI também é utilizada por outros exames, como por exemplo: o exame de proficiência em língua inglesa (TOEFL), Avaliação da Educação Básica (SAEB), Exame Nacional para Certificação de Competências de Jovens e Adultos (ENCCEJA) e na Prova Brasil.
anteriores ao período de inscrição. Desta forma, também foram beneficiados os concluintes e
egressos do ensino médio em qualquer das modalidades que se declararam impossibilitados de
pagar a taxa de inscrição. A gratuidade da taxa de inscrição nos casos descritos, acarretou um
total de 82,6% de candidatos isentos, passando o número de inscritos de 352.487 inscritos em
2000 para 1.200.883 em 2001(ENEM, 2001).
A partir de 2007, novos critérios para isenção foram estabelecidos. Além dos concluintes
do Ensino Médio de escola pública, também ficaram isentos do pagamento da inscrição, os
candidatos membros de família de baixa renda, inscritos no cadastro único para programas
sociais do Governo Federal, nos termos do Decreto nº 6.135, de 26 de junho de 20076. Assim, o
crescente número de inscritos também foi acompanhado por elevadas taxas de abstenções.
Nesse contexto, o governo federal buscou diversas alternativas para combater as altas
taxas de absenteísmo. Desde 2011, o Inep já estudava mecanismos para inibir o alto número de
faltas. De acordo com o Inep, entre as edições de 2013 a 2017, houve um prejuízo de R$ 962
milhões com participantes ausentes (MEC, 2018). Utilizando as informações disponíveis de
abstenções e custo médio das provas para o período de 2009-2019, estimamos aproximadamente
R$ 1.84 bilhões de prejuízos em valores corrigidos pelo IPCA para junho de 20207. Diante dessa
realidade, em uma tentativa de inibir as abstenções, em 2017, o MEC estabeleceu que os
candidatos isentos que se abstiveram deveriam justificar sua ausência para ter direito a uma nova
isenção no ano seguinte (INEP, 2018a).
Cabe ressaltar, que os prejuízos com as abstenções não recaem exclusivamente sobre os
candidatos isentos, dado que desde 2009 as provas são subsidiadas. Ou seja, a partir do momento
que o ENEM passou a ter o formato de dois dias de provas, o valor da taxa de inscrição não
cobriu o custo médio do exame (INEP, 2017; INEP, 2018b; INEP, 2020c). No gráfico 1 é
possível observar como ocorreu a evolução dos valores das taxas de inscrições e o custo médio
das provas.
6 Candidatos com renda familiar mensal per capita de até meio salário mínimo, ou que possua renda familiar mensal de até três salários mínimos. Ver mais em: Planalto.gov.7 A tabela com os cálculos e fontes encontram-se no apêndice.
Gráfico 1: Taxa de inscrição x custo médio da prova.
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
R$- R$20.00 R$40.00 R$60.00 R$80.00
R$100.00 R$120.00
Taxa de inscrição Custo médio da prova
Fonte: Elaborado pelos autores a partir dos dados disponibilizados pelo Inep.
Entre o período de 2000 a 2014, a taxa de inscrição foi represada em R$35,00, apesar das
constantes variações dos preços de mercado e reajustes inflacionários. Após 10 anos, em 2015, a
taxa foi reajustada em 80%. Mesmo com os aumentos ocorridos nos anos posteriores, as taxas
seguiram com um valor abaixo dos custos médios (INEP, 2017; INEP, 2020c ). A mais recente
aposta do MEC para reduzir os custos de aplicação das provas seria o ENEM digital. Segundo o
Inep, além de reduzir os custos, a versão digital tem o potencial de reduzir as abstenções de
estudantes que fazem a prova em locais8 distantes de onde moram (TOKARNIA, 2019).
Diante da realidade de prejuízos acumulados e taxas elevadas de abstenções, em 2019, o
ENEM obteve as menores taxas de absenteísmo desde 2001 e, também, a menor taxa de
abstenção no segundo dia de provas de todo o exame. No gráfico 2, é possível observar a
evolução das taxas de absenteísmo no exame desde 2009.
Gráfico 2: Absenteísmo no ENEM.
8 É oportuno frisar, que apesar do ENEM ter uma abrangência nacional, conforme os microdados, em apenas 1.727 municípios dos 5.570, são aplicadas as provas. Os participantes dos 3.843 municípios, que representam algo entorno de 17%, ou seja, 866,8 mil candidatos precisaram se deslocar para outros municípios para participar do ENEM 2019.
2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 20190.0%
5.0%
10.0%
15.0%
20.0%
25.0%
30.0%
35.0%
40.0%
45.0%
38.1%
26.7% 25.8% 27.1% 27.4% 29.3%25.7%
30.4% 30.1%
24.8%23.1%
41.0%
29.3% 27.9% 29.3% 29.8% 31.4%27.3%
32.2% 34.1%
29.2%27.2%
Abstenção 1º dia Abstenção 2º dia
Fonte: Elaborado pelos autores a partir dos dados disponibilizados pelo Inep.
O decreto que extinguiu o horário de verão marcou a edição do ENEM 2019 com o bug
causado no horário dos dispositivos eletrônicos. Tal fato será discutido na próxima seção.
3. Horário de Verão e Bug nos Relógios.
O horário de verão representa uma alteração no fuso horário, que tem como intuito
aproveitar os dias mais longos que as noites de primavera a verão proporcionam. O primeiro país
a adotá-lo foi a Alemanha, em 1916, posteriormente, diversos países começaram a utilizá-lo. No
Brasil, tivemos diversas tentativas de adotar o horário de verão. No período de 1931 a 1985, o
horário de verão foi utilizado 11 vezes. Devido à escassez de água e sobrecarga do sistema
elétrico brasileiro, o horário de verão passou a ser utilizado anualmente a partir de 1985,
abrangendo todo o território nacional. Ao longo dos anos, sua abrangência geográfica foi
reduzida com a saída dos estados9 do Norte e Nordeste (MONTALVÃO, 2005).
Figura 1: Mapa das unidades federativas cobertas pelo Horário de verão.
9 Até ser extinto, o horário de verão, vigorava para os Estados do Rio Grande do Sul, Santa Catarina, Paraná, São Paulo, Rio de Janeiro, Espírito Santo, Minas Gerais, Goiás, Mato Grosso, Mato Grosso do Sul e no Distrito Federal, cobrindo 3.326 municípios de um total de 5.570.
Fonte: Elaborado pelos autores.Nota: a região em cinza representa a cobertura do horário de verão em 2018.
No Brasil, as datas que delimitam o período de vigência do horário de verão são
determinadas a partir de um decreto presidencial. Em 2017, por meio do Decreto nº 9.242, de 15
de dezembro, ficou instituído que o horário de verão teria início a partir da zero hora do primeiro
domingo do mês de novembro de cada ano, até zero hora do terceiro domingo do mês de
fevereiro do ano subsequente. Tal mudança, fez com que o início do horário de verão coincidisse
com o primeiro dia de provas do ENEM 2018.
É de conhecimento da literatura, que o adiantamento nos relógios, pode prejudicar tanto
a capacidade cognitiva como a atenção e mudanças do humor, devido à alteração da qualidade do
sono. Além disso, o horário de verão possui o potencial de gerar um impacto negativo no
desempenho dos alunos (SCHNEIDER & RANDLER, 2009 ; GASKI, SAGARIN, 2011;
MEDINA et al. 2015 ; SUN, WANQI et al . 2019 ; JIN & ZIEBARTH, 2020). Diante dessa
situação e da possibilidade de atrasos dos candidatos, o MEC entrou com um pedido para o
adiamento do início do horário de verão. A princípio o governo atendeu o pedido, porém, voltou
atrás e revogou a decisão, mantendo o início do horário de verão para a zero hora do primeiro dia
de exames 2018 (BRANDÃO, 2018).
Em 2019, com base em estudos técnicos do Ministério de Minas e Energia, que
indicavam que o horário de verão não produzia os resultados esperados na redução de consumo
de energia elétrica, o novo presidente em exercício, extinguiu o horário de verão, por meio do
Decreto nº 9.772, de 25 de abril 2019 (MME, 2019). No entanto, muitos dispositivos eletrônicos,
seguiram programados previamente pelo Decreto nº 9.242/2017, para adiantar em uma hora seus
relógios, no primeiro domingo do mês de novembro, data que novamente coincidia com o
primeiro dia de provas do ENEM 2019. A mudança automática nos relógios afetou
principalmente celulares com sistema operacional Android, computadores e relógios de rua.
A possível alteração automática dos dispositivos já era prevista por fabricantes de
celulares como a Motorola e pelo Google, que divulgou uma nota explicando que alguns
celulares poderiam não ter a informação necessária para evitar que o horário não fosse alterado
automaticamente, dado que a medida do governo poderia afetar o banco de dados global da
Internet Assigned Numbers Authority (IANA), ferramenta utilizada por dispositivos eletrônicos
para garantir a hora certa (EBC, 2019a; GOOGLE BRASIL, 2019). De acordo com o Sindicato
Nacional das Empresas de Telefonia e de Serviços Móvel Celular e Pessoal (SindiTelebrasil), a
falha não foi provocada pelas operadoras de telefonia e sim pelos dispositivos que atualizaram a
hora automaticamente conforme anteriormente programado (GUSMÃO, 2019).
A mudança automática nos relógios dos celulares pegou muitos candidatos de surpresa,
que acabaram chegando com uma hora de antecedência. O fato repercutiu nas redes sociais,
chegando aos Trending Topics da rede social Twitter10. É pertinente destacar, que de acordo com
os microdados do ENEM 2019, aproximadamente 97,8% dos candidatos afirmam possuir pelo
menos um celular em sua residência.
4. Dados
O principal conjunto de dados utilizado são os microdados do ENEM 2019,
disponibilizados pelo Instituto Nacional de Estudos e Pesquisas Educacionais (Inep). Ademais,
foram utilizados dados em nível municipal de frota de veículos coletados do Ministério da
Infraestrutura (MI); população estimada, obtida junto ao Instituto Brasileiro de Geografia e
Estatística (IBGE); e dados de precipitação para os dois dias de exame, obtidos do Instituto
Nacional de Meteorologia (INMET). Cabe observar, que a partir dos dados de precipitação das
estações automáticas e convencionais, foi realizada uma interpolação espacial com interpolador
determinístico univariado, baseado no inverso do quadrado da distância ponderada, identificado
pela seguinte equação:
10 Ver mais em: https://twitter.com/hashtag/horariodeverao
Zm=∑m=1
n
( 1dm
2 ∗zm)
∑m=1
n
( 1dm
2 )
Em que Zm é o valor interpolado para o município m; zm é a precipitação em milímetros em cada
estação e dm2 representa a distância euclidiana entre as estações. Foram utilizados os dados de 919
estações meteorológicas espalhadas por todo território brasileiro. O conjunto de variáveis
utilizadas é descrito na tabela 1.
Tabela 1: Descrição das variáveis utilizadas.Legenda Descrição Fonteln(Abs_dia_1) Logaritmo natural das abstenções por município no 1º dia de ENEM; INEPln(Abs_dia_2) Logaritmo natural das abstenções por município no 2º dia de ENEM; INEPln(Abs Renda) Logaritmo natural das abstenções de candidatos com renda familiar mensal de
(0|─1); (1|─2); (2|─4); (4|─6); (6|─8); (8|─10); (10|─Máx) salários mínimos;INEP
ln(Abs Educação) Logaritmo natural das abstenções de candidatos que a mãe: (Não_Estudou); (Fund_Imcomp); (Med_Comp); (Sup_Comp); (Pós_Comp), ou seja, fundamental incompleto; fundamental completo; médio completo; superior completo; pós graduação completo respectivamente.
INEP
% Escola Pública Percentual de estudantes que frequentam ou frequentaram todo ensino médio em escola pública.
INEP
% Mulheres Percentual de candidatos mulheres; INEP% Negros Percentual de candidatos negros; INEPMédia renda Renda familiar média em salários mínimos; INEPMédia educação Mãe
Média da educação da mãe Onde: (Sem estudo = 0); (Fundamental Incompleto = 1); (Fundamental completo= 2); (Médio completo = 3); (Graduação Completa = 4); (Pós Graduação Completa = 5),
INEP
Precipitação_dia_1 Chuvas em milímetros no 1º dia de ENEM; INMETPrecipitação_dia_2 Chuvas em milímetros no 2º dia de ENEM; INMET
Transp. Público Proxy para transporte público (Qtd de ônibus + micro ônibus)/população; MI & IBGE
Distância (km) Distância entre o centroide de cada município até a fronteira limite do horário de verão, sendo negativa para os municípios controles e positivas para os tratados;
IBGE
Lat e Long Latitude e longitude do município;Dummies de fronteira
A fronteira foi dividida em oito seguimentos: Segmento 1: é a divisa entre os estados de Mato Grosso e Rondônia; Seguimento 2: Mato Grosso e Amazonas; Seguimento 3: Mato Grosso e Pará; Seguimento 4: Mato Grosso e Tocantins; Seguimento 5: Goiás e Tocantins; Seguimento 6: Goiás e Bahia; Seguimento 7: Minas Gerais e Bahia; Seguimento 8: Espirito Santo e Bahia.
Fonte: Elaborado pelos autores. Nota: exceto para ln(Abs_dia_1) e ln(Abs_dia_2), as demais variáveis de abstenções são para os candidatos que se ausentaram nos dois dias do exame. Todas as variáveis municipais são referentes aos municípios de residências dos candidatos.
A tabela 2 fornece as estatísticas descritivas para os grupos de municípios tratados e
controles, utilizando todos os municípios para os anos de 2018 e 2019. O grupo tratado
representa aqueles municípios onde ocorreu a falha nos relógios, ou seja, os municípios cobertos
pelo decreto de horário de verão em 2018. O grupo de controle representa os municípios que não
eram cobertos pelo decreto do horário de verão.
Tabela 2: Estatísticas descritivas.Tratados Controles
Obs Mean Std.Dev. Min Max Obs Mean Std.Dev. Min Max
ln(Abs_dia_1) 6652 3.857 1.411 0.000 11.212 4488 4.366 1.161 0.000 10.288ln(Abs_dia_2) 6652 4.030 1.407 0.000 11.380 4488 4.510 1.168 0.693 10.444
ln(Abs Renda 0|─1) 6652 2.438 1.367 0.000 9.473 4488 3.859 1.110 0.000 9.360
ln(Abs Renda 1|─2) 6652 3.041 1.407 0.000 10.382 4488 3.097 1.263 0.000 9.455
ln(Abs Renda 2|─4) 6652 2.398 1.442 0.000 9.810 4488 1.849 1.233 0.000 8.224
ln(Abs Renda 4|─6) 6652 1.273 1.260 0.000 8.433 4488 0.792 0.997 0.000 6.832
ln(Abs Renda 6|─8) 6652 0.687 0.987 0.000 7.442 4488 0.369 0.755 0.000 6.122
ln(Abs Renda 8|─10) 6652 0.455 0.829 0.000 6.846 4488 0.219 0.623 0.000 5.645
ln(Abs Renda 10|─Máx) 6652 0.561 0.991 0.000 7.869 4488 0.290 0.754 0.000 6.615
ln(Abs Não_Estudou) 6652 1.127 1.138 0.000 8.123 4488 2.050 1.145 0.000 7.438
ln(Abs Fund_Imcomp) 6652 3.044 1.362 0.000 10.139 4488 3.570 1.159 0.000 9.344
ln(Abs Fund_Comp) 6652 2.025 1.360 0.000 9.289 4488 2.224 1.191 0.000 8.463
ln(Abs Med_Comp) 6652 2.482 1.453 0.000 10.028 4488 2.795 1.223 0.000 9.239
ln(Abs Sup_Comp) 6652 1.337 1.252 0.000 8.754 4488 1.506 1.077 0.000 7.568
ln(Abs Pós_Comp) 6652 1.229 1.122 0.000 7.909 4488 1.279 1.006 0.000 7.060
ln(Abs Escola Pública) 6652 2.437 1.306 0.000 9.439 4488 2.778 1.172 0.000 8.685
ln(Abs Escola Privada) 6652 0.227 0.628 0.000 6.768 4488 0.159 0.485 0.000 4.990% Escola Pública 6652 0.325 0.112 0.000 1.000 4488 0.289 0.108 0.013 0.777% Mulheres 6652 0.611 0.058 0.273 0.929 4488 0.611 0.051 0.278 0.879% Negros 6652 0.410 0.217 0.000 0.927 4488 0.755 0.109 0.039 0.992Precipitação_dia_1 6652 0.018 0.022 0.000 0.229 4488 0.003 0.006 0.000 0.127Precipitação_dia_2 6652 0.015 0.018 0.000 0.220 4488 0.006 0.015 0.000 0.194Transp. Público 6646 0.007 0.009 0.001 0.499 4482 0.003 0.008 0.000 0.362Distância (km) 6652 839.3 513.31 12.06 2159.9 4488 -707.1 353.74 -1553.45 -9.669
Fonte: elaborada pelos autores.
Em geral podemos observar que em média ambos os grupos são semelhantes, exceto para
as variáveis de precipitação e distância que apresentam maiores diferenças como esperado.
5. Estratégia empírica
Para atingir o objetivo de avaliar o impacto do bug dos relógios sobre as abstenções no
ENEM 2019, utilizaremos a estratégia empírica de Regression Discontinuity Design – RDD
geográfico, para explorar a descontinuidade gerada pelos municípios que possuíam horário de
verão, que chamaremos de municípios tratados, e os municípios que não possuíam horário de
verão, representam os municípios controles.
A técnica de Desenho Regressão Descontínua tornou-se popular nos últimos anos, sendo
empregada para inferência causal em ciências sociais e naturais quando a experimentação não é
possível (GELMAN & IMBENS, 2018). No entanto, de acordo com Cattaneo et al., (2019) , a
maneira com que ela é interpretada difere significativamente entre os autores. Dessa forma, em
nossas estimações seguiremos os passos sugeridos em A Practical Introduction to Regression
Discontinuity Designs: Foundations11 com a utilização do pacote Rdrobust.
Na estratégia empírica de RDD, a participação em um programa é determinada total ou
parcialmente pelo cutoff, que está em função de uma variável contínua, onde em nosso estudo é
representado pelas distâncias dos centroides dos municípios até a fronteira que é delimitada pelo
decreto do horário de verão. O pressuposto principal do método consiste na descontinuidade, que
garante que os indivíduos acima ou abaixo do cutoff são comparáveis, diferindo apenas quanto
ao recebimento ou não do tratamento (IMBENS & LEMIEUX, 2008).
Para as estimações, utilizamos o método não-paramétrico com a seleção de bandwidth
ótima sugeridas por Cattaneo et al., (2019) 12, que são: MSERD, MSESUM, CERRD e CERSUM
em conjunto com um kernel triangular, que irá atribuir pesos para cada observação com base na
distância até o ponto de corte, sendo que esses pesos diminuem linearmente e simetricamente
conforme o valor da pontuação se afasta do ponto de corte. A utilização do kernel triangular em
conjunto com uma largura de banda que otimiza o erro quadrático médio (MSE), levará a um
estimador de pontos com propriedades ideais (CATTANEO et al., 2019 ).
Ademais, seguindo uma estratégia semelhante a de Dell et al . (2010) , incluiremos em
nossa especificação latitude e longitude, e também efeitos fixos de segmento de fronteira, que
marcam as divisões político administrativas entre diferentes unidades federativas. Formalmente,
a equação que iremos estimar é descrita pela seguinte expressão:
ym=α+γ bugm+ f ( Distm )+ f ( Distm )∗bugm+ f (Geom )+∑i=1
7
segms +ϵ m (1)
11 A Practical Introduction to Regression Discontinuity Designs: Foundations é um guia prático de aplicação e interpretação de Regressões descontinuas nos softwares R e Stata, idealizado por Cattaneo, Idrobo e Titiunik (2019).12 Onde: MSERD - one common MSE-optimal bandwidth selector for the sum of regression estimates; MSESUM - one common MSE-optimal bandwidth selector; CERRD - one common Coverage Error Rate optimal bandwidth; CERSUM - one common Coverage Error Rate optimal bandwidth selector.
Em que ym representa a abstenção no município m; bugm é uma dummy que assume o valor de 1
para os municípios tratados e 0 para os municípios controles; f ( Distm ) é o RD polinomial que
controla os potenciais efeitos de acordo com a distância euclidiana dos centroides dos municípios
até a fronteira; f ( Distm )∗bugm representa a interação do RD polinomial e a dummy de
tratamento; f (Geom ) contém as funções de localização geográfica, latitude e longitude, que
permitem controlar a descontinuidade multidimensional; segmi representa a divisão da fronteira
em oito seguimentos, ou seja, seg assume o valor de 1 se o município m estiver mais próximo do
segmento de fronteira s, e zero caso contrário e ϵm representa o termo de erro da regressão.
Além disso, utilizaremos a estratégia empírica de Diferença-em-Diferenças - DID. O
modelo de DID é uma das técnicas mais populares para avaliação de efeitos causais e
intervenções. Em nosso estudo, utilizaremos a abordagem canônica com dois períodos, com os
dados do ENEM 2018 e 2019. Resumidamente, o método DID irá o estimar efeito do bug dos
relógios, comparando a variação média dos resultados experimentados pelo grupo de municípios
afetados, com a variação média dos resultados experimentados pelo grupo de municípios que não
foram afetados pelo bug (ATHEY & IMBENS, 2006). Em termos formais estimamos a seguinte
equação:
ymt=α+δ1 bugmt+ β' Xmt+Pt +f m+ϵmt (2)
Em que ymtrepresenta as abstenções no município m no ano t; bugmt é uma variável binária que
assume o valor de 1 quando o município se encontra dentro do grupo de municípios afetados
pelo bug e zero caso contrário; X mt é o vetor de covariadas do modelo; Pt indica o efeito fixo de
tempo; f m indica o efeito individual fixo e ϵmt representa o termo de erro variável no tempo do
município.
6. Resultados
Nessa seção são apresentados e discutidos os resultados encontrados. Na tabela 4,
apresentamos os resultados das estimações econométricas com o método RDD geográfico para o
primeiro dia de provas do ENEM 2019. As especificações (1) a (4) apresentam os resultados
para o primeiro dia de exames e as especificações de (5) a (8) apresentam os resultados para o
segundo dia de exames.
Tabela 3: Resultados para o 1º e 2º dia de provas ENEM 2019 com RDD Geográfico.Primeiro dia de exames Segundo dia de exames
(1) (2) (3) (4) (5) (6) (7) (8) Convencional -0.36*** -0.25** -0.28* -0.35** -0.34** -0.23** -0.26 -0.34**
(0.14) (0.11) (0.17) (0.14) (0.14) (0.12) (0.17) (0.14)Bias-corrected -0.39*** -0.23** -0.28* -0.34** -0.37*** -0.21* -0.26 -0.32**
(0.14) (0.11) (0.17) (0.14) (0.14) (0.12) (0.17) (0.14)Robusto -0.39** -0.23* -0.28 -0.34** -0.37** -0.21 -0.26 -0.32**
(0.16) (0.13) (0.18) (0.15) (0.16) (0.13) (0.18) (0.15)% Faltas evitadas robusto13 -32,3% -31,6% 0 -28,8% -30,9% 0 0 -27,4%Qtd Faltas evitadas14 -30.260 -28.631 0 -25.888 -34.521 0 0 -29.050Tipo de Banda Mserd Msesum Cerrd Cersum Mserd Msesum Cerrd Cersum Largura de Banda (h) 295.64 426.93 192.07 277.37 296.79 426.03 192.82 276.79Largura de Banda (b) 509.34 765.29 509.34 765.29 510.31 760.07 510.31 760.07FE de segmento de fronteira ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ Matching ✓ Qtd total de faltas nos tratados 93.700 173.968 55.715 89.817 111.621 204.685 65.733 106.079N Controles 412 580 281 391 412 578 284 391N Tratados 561 888 341 516 563 884 343 514Nota: Os níveis de significância são representados por * significativo a 10% ** significativo a 5% e *** significativo a 1%. Onde: a largura de banda está em quilômetros, sendo a Largura de Banda (h) para as estimações (b) e para correção do viés (b).
Os resultados encontrados indicam que a falha dos relógios contribuiu para a redução do
no número de abstenções no primeiro dia de exame. Em termos percentuais, podemos inferir que
o bug reduziu as abstenções na ordem de 28,8% a 32,3%. Em outras palavras, o bug dos
relógios, pode ter evitado até 30.260 faltas, somente para o conjunto de municípios utilizados nas
estimações, dado que o RDD tem uma baixa validade externa. Sendo assim, concluímos que a
falha dos relógios pode ter evitado um prejuízo15 de até R$ 3.193.035.
Já os resultados encontrados para o segundo dia de provas do ENEM 2019 chamam a
atenção. Inicialmente é esperado que não haja efeito sobre o segundo dia de exame, dado que o
evento ocorre somente no primeiro dia de provas, contudo, é razoável supor que o bug tenha
alterado a composição dos grupos. Em outras palavras, o evento pode ter beneficiado aqueles
13 Por se tratar de um modelo log-lin com variável dummy, para obtermos o verdadeiro impacto utilizamos a seguinte equação: 100∗[expδ1−1]. Ver mais em: GILES, David, et al . (2011) 14 Estimativas, com base nas abstenções nos municípios cobertos pela Largura de Banda (h), e no percentual de faltas evitadas.15 O valor do prejuízo evitado é baseado no custo médio da prova multiplicado pela abstenção evitada R$105,52 x 30.260 = R$ 3.193.035,20.
candidatos mais propensos a se atrasarem, que uma vez beneficiados, sentiram-se motivados a
realizar a segunda rodada de provas, reduzindo assim as abstenções também no segundo dia. Em
geral, os resultados indicam que o bug contribuiu para uma redução nas abstenções em
magnitudes semelhantes as observadas no primeiro dia de exame, variando entre -27,4% e -
30,9%.
Na tabela a seguir, apresentamos as estimações para o placebo utilizando um cutoff
fictício em 150km. Em termos práticos, são estimados dois conjuntos de regressões. Primeiro são
regredidos somente o grupo de municípios controles, atribuindo um cutoff em 150km de
distância da fronteira, posteriormente, é realizado o mesmo para o grupo de municípios tratados.
Esperamos que os coeficientes estimados não sejam significativos. Caso contrário, fica
comprometida a relação causal entre a falha dos relógios e a redução nas abstenções observadas.
Tabela 4: Resultados do Placebo para o 1º e 2º dia de ENEM 2019 com RDD Geográfico.Primeiro dia de exames Segundo dia de exames
(1) (2) (3) (4) _ (5) (6) (7) (8)
-150
km
Convencional -0.28 -0.27 -0.48 -0.45 -0.34 -0.32 -0.54 -0.51 (0.33) (0.33) (0.39) (0.39) (0.34) (0.33) (0.40) (0.39)Bias-corrected -0.29 -0.28 -0.48 -0.44 -0.38 -0.36 -0.55 -0.51 (0.33) (0.33) (0.39) (0.39) (0.34) (0.33) (0.40) (0.39)Robusto -0.29 -0.28 -0.48 -0.44 -0.38 -0.36 -0.55 -0.51 (0.41) (0.41) (0.43) (0.43) (0.41) (0.41) (0.43) (0.43)
Tipo de Banda Mserd Msesum Cerrd Cersum Mserd Msesum Cerrd Cersum Largura de Banda (h) 66.92 69.35 45.50 47.15 65.23 69.06 44.35 46.95Largura de Banda (b) 99.93 100.50 99.93 100.50 99.08 100.23 99.08 100.23FE de segmento ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ N Controles 90 92 60 62 86 92 58 62N Tratados 103 105 63 65 99 105 60 65
150k
m
Convencional 0.28 0.29 0.32 0.33 0.31 0.31 0.34 0.34 (0.26) (0.28) (0.34) (0.36) (0.27) (0.28) (0.35) (0.36)Bias-corrected 0.33 0.33 0.35 0.35 0.35 0.35 0.36 0.37 (0.26) (0.28) (0.34) (0.36) (0.27) (0.28) (0.35) (0.36)Robusto 0.33 0.33 0.35 0.35 0.35 0.35 0.36 0.37 (0.35) (0.35) (0.38) (0.39) (0.35) (0.35) (0.39) (0.39)
Tipo de Banda Mserd Msesum Cerrd Cersum Mserd Msesum Cerrd Cersum Largura de Banda (h) 107.98 99.26 71.99 66.17 107.03 99.34 71.35 66.23Largura de Banda (b) 139.28 150.66 139.28 150.66 138.32 149.15 138.32 149.15FE de segmento ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ N Controles 194 180 123 117 193 180 123 118N Tratados 206 192 135 121 206 192 135 121Nota: Os níveis de significância são representados por * significativo a 10% ** significativo a 5% e *** significativo a 1%. Onde: a largura de banda está em quilômetros, sendo a Largura de Banda (h) para as estimações (b) e para correção do viés (b).
Em suma, os resultados para o placebo do primeiro e segundo dia de exames indicam que
nenhum coeficiente foi estatisticamente significativo. Sendo assim, podemos inferir que os
resultados anteriormente encontrados são válidos e representam o efeito da falha dos relógios
sobre as abstenções.
Dando continuidade as estimações, as próximas tabelas apresentam os resultados com o
estimador de Diferença-em-Diferenças, com os dados dos exames de 2018 e 2019.
Tabela 5: Resultados para o 1º e 2º dia de provas ENEM com DID.Primeiro dia de provas Segundo dia de provas
(1) (2) (3) (4) (5) (6) (7) (8)
DiD -0.14*** -0.12*** -0.14*** -0.12*** -0.13*** 0.02 -0.13*** -0.11***
(0.01) (0.01) (0.01) (0.01) (0.01) (0.02) (0.01) (0.01)
% Faltas evitadas robusto -13,06% -11,30% -13,06% -11,30% -12,19% 0 -12,19% -10,41%Qtd Faltas evitadas 85.038 73.578 85.038 73.578 79.373 0 79.373 67.783Covariadas Não Sim Não Sim Não Sim Não SimD. Ano Sim Sim Sim Sim Sim Sim Sim SimEfeito fixo Sim Sim Sim Sim Sim Sim Sim Simr2 0.04 0.99 0.99 0.99 0.03 0.34 0.99 0.99N 11128 11128 11128 11128 11128 11128 11128 11128
Nota: Elaborado pelos autores. Os níveis de significância são representados por * significativo a 10% ** significativo a 5% e *** significativo a 1%. Obs: as covariadas utilizadas foram, o total de abstenção nos municípios tratados para o primeiro dia de ENEM 2019 é 651.139.
Os resultados indicam que o bug dos relógios reduziu em até 13% as abstenções no
primeiro dia de exame, e em até 12,2% no segundo dia de exames. Em outras palavras, o bug
reduziu até 85.038 e 79.373 faltas para o primeiro e segundo dia, respectivamente. Sendo assim,
podemos inferir que a falha dos relógios pode ter evitado um prejuízo de até R$8.973.209.
Na tabela 6 apresentamos os resultados para o placebo atribuído aleatoriamente a um
conjunto de municípios respeitando a mesma proporção de municípios afetados pelo bug.
Tabela 6: Resultados Placebo para o 1º e 2º dia de provas ENEM 2018 e 2019 com DID.Primeiro dia de provas Segundo dia de provas
(1) (2) (3) (4) (5) (6) (7) (8)
DID 0.02 -0.00 -0.00 -0.00 0.02 0.02 -0.00 -0.00(0.04) (0.01) (0.01) (0.01) (0.04) (0.03) (0.01) (0.01)
Covariadas Não Sim Não Sim Não Sim Não SimD. Ano Sim Sim Sim Sim Sim Sim Sim SimEfeito fixo Sim Sim Sim Sim Sim Sim Sim Simr2 0.04 0.99 0.99 0.99 0.03 0.34 0.99 0.99
N 11128 11128 11128 11128 11128 11128 11128 11128Nota: Elaborado pelos autores. Os níveis de significância são representados por * significativo a 10% ** significativo a 5% e *** significativo a 1%.
Observamos que para os resultados do placebo atribuído aleatoriamente, indicam que
nenhum coeficiente foi estatisticamente significativo. Portanto, podemos concluir que os
resultados anteriormente encontrados, são válidos e representam o efeito do bug dos relógios
sobre as abstenções.
Diante da confirmação do impacto da falha dos relógios sobre as abstenções, avançamos
nas estimações, buscando agora identificar o perfil socioeconômico dos candidatos afetados.
Sendo assim, agrupamos os candidatos ausentes por faixas de renda familiar, educação da mãe e
se estudou em escola pública ou privada. Para sintetizar os próximos resultados do estudo
utilizamos os candidatos ausentem nos dois dias de exame.
Tabela 7: Resultados abstenção nos dois dias de exame por faixa salarial16.0|─1 1|─2 2|─4 4|─6 6|─8 8|─10 10|─Máx
DID -0.17*** -0.07*** -0.05* -0.06** -0.06** -0.02 -0.01 (0.02) (0.02) (0.03) (0.03) (0.02) (0.02) (0.02)% Faltas evitadas -15,63% -6,76% -4,87% -5,82% -5,82% 0 0Covariadas Sim Sim Sim Sim Sim Sim SimD. Ano Sim Sim Sim Sim Sim Sim SimEfeito fixo Sim Sim Sim Sim Sim Sim Simr2 0.97 0.97 0.96 0.94 0.92 0.92 0.94N 11128 11128 11128 11128 11128 11128 11128Nota: Elaborado pelos autores. Os níveis de significância são representados por * significativo a 10% ** significativo a 5% e *** significativo a 1%.
Primeiramente, observamos para os candidatos ausentes nos dois dias de exame por
faixa salarial familiar. Encontramos resultados que sustentam que a falha dos relógios
beneficiou, principalmente, os candidatos com renda familiar menor que 1 salário mínimo. De
acordo com MEC (2018), mais de 2/3 das abstenções no ENEM 2017, foram de candidatos
isentos por possuir renda familiar mensal per capita de até meio salário mínimo. Podemos
concluir, que o bug reduziu as abstenções do grupo de candidatos que mais contribui para as
altas estatísticas de abstenções no ENEM.
Em termos de magnitudes, podemos inferir que o bug foi responsável por uma redução
das abstenções na ordem de -15,6% para os candidatos com renda familiar de até 1 salário
16 As estatísticas descritivas desses conjuntos de dados encontram-se no apêndice.
mínimo, e entre -4,8% e -6,7% para os candidatos com renda familiar entre 1 e 8 salários
mínimos. Ademais, para os candidatos com renda familiar acima de 8 salários mínimos não
encontramos efeitos significativos.
Tabela 8: Resultados abstenção nos dois dias de exame pela educação da mãe17.Não_Estudou Fund_Imcomp Fund_Comp Med_Comp Sup_Comp Pós_Comp
DID -0.10*** -0.13*** -0.14*** -0.11*** -0.07** -0.06**
(0.03) (0.02) (0.03) (0.02) (0.03) (0.03)% Faltas evitadas -9,51% -12,19% -13,06% -10,41% -6,76% -5,82%Covariadas Sim Sim Sim Sim Sim SimD. Ano Sim Sim Sim Sim Sim SimEfeito fixo Sim Sim Sim Sim Sim Simr2 0.94 0.98 0.95 0.97 0.93 0.92N 11128 11128 11128 11128 11128 11128Nota: Elaborado pelos autores. Os níveis de significância são representados por * significativo a 10% ** significativo a 5% e *** significativo a 1%.
No contexto das abstenções com base na educação da mãe, os resultados corroboram com
os encontrados anteriormente, dado que a renda é uma função da educação (MINCER &
POLACHEK, 1974). Em termos de magnitudes, podemos inferir que a falha nos relógios
contribuiu para a redução das abstenções nos grupos de candidatos, com educação parental
menor, beneficiando, principalmente, os estudantes cuja mãe não estudou até o ensino
fundamental completo em -13,06%.
Os resultados encontrados sustentam que a falha dos relógios ocasionada pelo fim do
horário de verão, contribuiu de forma significativa para a redução das abstenções na edição de
2019 do Exame Nacional do Ensino Médio, contribuindo para que obtivesse as menores taxas de
absenteísmo desde 2001, e também a menor taxa de abstenção no o segundo dia de provas de
todo o exame. Ademais, os candidatos que mais foram beneficiados, em termos de redução no
número de faltas, apresentam um perfil socioeconômico com renda familiar inferior a 1 salário
mínimo, cuja educação da mãe vai até o ensino fundamental completo.
7. Conclusão
Em duas décadas de existência, o Exame Nacional do Ensino Médio (ENEM), se
consagrou como a principal porta de entrada para o ensino superior no Brasil. No entanto, o
17 As estatísticas descritivas desses conjuntos de dados encontram-se no apêndice.
crescente número de participantes foi acompanhado por altas taxas de absenteísmo. Nossas
estimativas indicam que entre 2009-2019 houve um prejuízo acumulado de aproximadamente
R$1.84 bilhões com as abstenções.
Dentro desse contexto, este trabalho tem como objetivo avaliar o impacto da falha dos
relógios ocasionada pelo fim do horário de verão sobre o absenteísmo no Exame Nacional do
Ensino Médio na edição de 2019. A estratégia empírica utilizada foi a de Regression
Discontinuity Design – RDD geográfico não paramétrico, implementada seguindo os passos
descritos em A Practical Introduction to Regression Discontinuity Designs: Foundations por
Cattaneo et al., (2019) .
Os resultados encontrados, sustentam a hipótese de que a falha dos relógios contribuiu de
forma significativa para a redução das abstenções no ENEM 2019, beneficiando, principalmente,
os candidatos com um perfil socioeconômico de renda familiar inferior a 1 salário mínimo
mensal, cuja educação da mãe vai até o ensino fundamental completo. Em termos de magnitudes,
o bug dos relógios pode ter evitado até 85.038 faltas no primeiro dia de exame, evitando um
desperdício de até R$8.973.209.
Em suma, se uma falha nos relógios pode contribuir para redução das abstenções,
campanhas de conscientização em redes sociais e mídias convencionais, alertando os
participantes e os pais desses candidatos sobre as datas e horários do exame e os incentivando a
olharem com antecedência os locais de provas, pode surtir um efeito semelhante. Os resultados
encontrados no estudo, sugerem que existe espaço para políticas, de forma a reduzir as
abstenções.
Referências
ATHEY, Susan; IMBENS, Guido W. Identification and inference in nonlinear difference‐in‐differences models. Econometrica, v. 74, n. 2, p. 431-497, 2006.
BRANDÃO, Marcelo, 2018: Governo decide manter começo do horário de verão em 4 de novembro. EBC, AGÊNCIA BRSIL, 15 de outubro de 2018. Disponível em: https://agenciabrasil.ebc.com.br/geral/noticia/2018-10/governo-decide-manter-comeco-do-horario-de-verao-em-4-de-novembro. Acesso em: 23 de ago. 2020.
CATTANEO, Matias D.; IDROBO, Nicolás; TITIUNIK, Rocío. A practical introduction to regression discontinuity designs: Foundations. Cambridge University Press, 2019.
DELL, Melissa. The persistent effects of Peru's mining mita. Econometrica, v. 78, n. 6, p. 1863-1903, 2010.
EBC, 2019. Celulares adiantam relógios em uma hora no dia do Enem. EBC, AGÊNCIA BRSIL, 03 de novembro de 2019. Disponível em: https://agenciabrasil.ebc.com.br/educacao/noticia/2019-11/celulares-adiantam-relogios-em-uma-hora-no-dia-do-enem. Acesso em: 22 de ago. 2020.
ENEM, 2001, Relatório Pedagógico Enem 2001. PORTAL INEP, 20 de outubro de 2015. Disponível em: http://download.inep.gov.br/educacao_basica/enem/relatorios_pedagogicos/relatorio_pedagogico_enem_2001.pdf. Acesso em: 22 de ago. 2020.
ENEM, 2015. Relatório Pedagógico. Enem 2011-2012. PORTAL INEP, 20 de outubro de 2015. Disponível em: http://portal.inep.gov.br/documents/186968/484421/Relat%C3%B3rio+Pedag%C3%B3gico+Enem+2011-2012/b29257e3-2a6c-44a3-992a-02130c379ba9?version=1.2 . Acesso em: 22 de ago. 2020.
ENEM, 2019. Balanço das inscrições e perfil dos participantes. PORTAL INEP, Maio de 2019. Disponível em: http://download.inep.gov.br/educacao_basica/enem/downloads/2019/Enem_2019_Balanco_final.pdf. Acesso em: 22 de ago. 2020.
GASKI, John F.; SAGARIN, Jeff. Detrimental effects of daylight-saving time on SAT scores. Journal of Neuroscience, Psychology, and Economics, v. 4, n. 1, p. 44, 2011.
GELMAN, A.; IMBENS, G. 1-Why High-Order Polynomials Should Not Be Used in Regression Discontinuity Designs. JOURNAL OF BUSINESS & ECONOMIC STATISTICS, v. 37, n. 3, 2018.
GILES, David E. et al. Interpreting dummy variables in semi-logarithmic regression models: Exact distributional results. University of Victoria Department of Economics Working Paper EWP, v. 1101, p. 1-24, 2011.
GOOGLE BRASI, 2019. Trabalhando para a melhor experiência em seu Android. BRASIL GOOGLE BLOG, 18 de outubro de 2019. Disponível em: https://brasil.googleblog.com/2019/10/trabalhando-para-melhor-experiencia-em.html. Acesso em: 22 de ago. 2020.
GUSMÃO, Gustavo, 2018: Horário de verão gera jogo de empurra entre marcas de celular e operadoras. REVISTA EXAME, 23 de outubro de 2018. Disponível em: https://exame.com/tecnologia/horario-de-verao-gera-jogo-de-empurra-entre-marcas-de-celular-e-operadoras/. Acesso em: 23 de ago. 2020.
IMBENS, Guido W.; LEMIEUX, Thomas. Regression discontinuity designs: A guide to practice. Journal of econometrics, v. 142, n. 2, p. 615-635, 2008.
INEP, 2011: O que é TRI?. PORTAL INEP, 21 de Junho de 2011. Disponível em: http://portal.inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/content/o-que-e-tri/21206 . Acesso em: 22 de ago. 2020.
INEP, 2013: Indicadores Consolidados Enem 2013. PORTAL INEP, 25 de outubro de 2013. Disponível em: http://download.inep.gov.br/educacao_basica/enem/downloads/2013/indicadores_consolidados_dados_nacionais_estados_enem_2013.pdf . Acesso em: 23 de ago. 2020.
INEP, 2015. Relatórios Pedagógicos. PORTAL INEP, 20 outubro 2015. Disponível em: http://portal.inep.gov.br/relatorios-pedagogicos. Acesso em: 22 de ago. 2020.
INEP, 2017: Entenda o aumento no valor da taxa de inscrição do Enem. PORTAL INEP, 19 de Abril de 2017. Disponível em: http://portal.inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/content/entenda-o-aumento-no-valor-da-taxa-de-inscricao-do-enem/21206 Acesso em: 22 de ago. 2020.
INEP, 2018a. Mais de 88% dos que solicitaram isenção da taxa de inscrição no Enem 2018 terão a gratuidade. LABORATÓRIO INEP, 07 de Maio de 2018. Disponível em: http://www.laboratorio.inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/content/id/1447632. Acesso em: 22 de ago. 2020.
INEP, 2018b: Apresentação ENEM 2018. PORTAL INEP, 04 de Novembro de 2018. Disponível em: http://download.inep.gov.br/educacao_basica/enem/downloads/2018/apresentacao/apresentacao_enem_04112018.pdf. Acesso em: 22 de ago. 2020.
INEP, 2020a. 5,8 milhões estão inscritos para fazer o Enem 2020. PORTAL INEP, data. Disponível em: http://portal.inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/content/5-8-milhoes-estao-inscritos-para-fazer-o-enem-2020/21206. Acesso em: 22 de ago. 2020.
INEP, 2020b. Enem Portugal. PORTAL INEP, 05 fevereiro 2020. Disponível em: http://portal.inep.gov.br/enem/enem-portugal. Acesso em: 22 de ago. 2020.
INEP, 2020c: Maior índice de participação em 10 anos; custo com processo foi menor do que em 2018. PORTAL INEP, 17 de Janeiro de 2020. Disponível em: http://portal.inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/content/maior-indice-de-participacao-em-10-anos-custo-com-processo-foi-menor-do-que-em-2018/21206. Acesso em: 22 de ago. 2020.
JIN, Lawrence; ZIEBARTH, Nicolas R. Sleep, health, and human capital: Evidence from daylight saving time. Journal of Economic Behavior & Organization, v. 170, p. 174-192, 2020.
MEC, 2015a. A segunda maior prova de acesso ao ensino superior do mundo. PORTAL MEC, 05 de outubro de 2015. Disponível em: http://portal.mec.gov.br/ultimas-noticias/418-enem-946573306/31151-a-segunda-maior-prova-de-acesso-ao-ensino-superior-do-mundo. Acesso em: 22 de ago. 2020.
MEC, 2015b. Exame evolui desde a criação, há 17 anos, e amplia oportunidades na educação superior. PORTAL MEC, 18 de setembro de 2015. Disponível em: http://portal.mec.gov.br/ultimas-noticias/212-educacao-superior-1690610854/30781-exame-evolui-desde-a-criacao-ha-17-anos-e-amplia-oportunidades-na-educacao-superior. Acesso em: 22 de ago. 2020.
MEC, 2018. Balanço das inscrições e perfil dos participantes. PORTAL MEC, Maio de 2018. Disponível em: http://portal.mec.gov.br/docman/maio-2018-pdf/88171-inscritos-enem-2018/file. Acesso em: 22 de ago. 2020.
MEC, 2019. Último dia para pagar taxa de inscrição; têm início os recursos de atendimento. PORTAL MEC, 23 de maio de 2019. Disponível em: http://portal.mec.gov.br/rede-e-tec-brasil/rede-e-tec-brasil-proedu/418-noticias/enem-
946573306/76411-ultimo-dia-para-pagar-taxa-de-inscricao-tem-inicio-os-recursos-de-atendimento, Acesso em: 23 de ago. 2020.
MEDINA, Diana et al. Adverse effects of daylight saving time on adolescents' sleep and vigilance. Journal of clinical sleep medicine, v. 11, n. 8, p. 879-884, 2015.
MINCER, Jacob; POLACHEK, Solomon. Family investments in human capital: Earnings of women. Journal of political Economy, v. 82, n. 2, Part 2, p. S76-S108, 1974.
MME, 2019: Horário de Verão. MINISTÉRIO DE MINAS E ENERGIA. SECRETARIA DE ENERGIA ELÉTRICA - MME. Disponível em: http://www.mme.gov.br/secretarias/energia-eletrica/destaques-do-setor-de-energia/horario-brasileiro-de-verao . Acesso em: 23 de ago. 2020.
MONTALVÃO, Edmundo, 2005: O setor elétrico e o horário de verão. SENADO FEDERAL. Disponível em: em: https://www2.senado.leg.br/bdsf/handle/id/102 . Acesso em: 22 de ago. 2020.
NASCIMENTO, Luciano. MEC pede alteração do início do horário de verão por conta do Enem. EBC, AGÊNCIA BRSIL. 27 de setembro de 2018. Disponível em: https://agenciabrasil.ebc.com.br/educacao/noticia/2018-09/mec-pede-alteracao-no-inicio-do-horario-de-verao-por-conta-do-enem. Acesso em: 22 de ago. 2020.
SALDAÑA, Paulo; PALHARES. Isabela. MEC cria regra para inibir faltas no Enem e aumenta taxa de inscrição. SENADO FEDERAL, 2015. Disponível em: https://www2.senado.leg.br/bdsf/bitstream/handle/id/511057/noticia.html?sequence=1&isAllowed=y. Acesso em: 22 de ago. 2020.
SCHNEIDER, Anne-Marie; RANDLER, Christoph. Daytime sleepiness during transition into daylight saving time in adolescents: Are owls higher at risk?. Sleep medicine, v. 10, n. 9, p. 1047-1050, 2009.
SUN, Wanqi et al. Associations of weekday-to-weekend sleep differences with academic performance and health-related outcomes in school-age children and youths. Sleep medicine reviews, v. 46, p. 27-53, 2019.
TOKARNIA, Mariana, 2019: Inep estima que Enem custará R$ 105,52 por participante. EBC, AGÊNCIA BRSIL, 10 de outubro de 2019. Disponível em: https://agenciabrasil.ebc.com.br/educacao/noticia/2019-10/enem-devera-custar-r-105-52-por-participante-estima-inep Acesso em: 22 de ago. 2020.
APÊNDICE
Tabela A1: Dispêndios com ENEM.Ano inscritos Abstenção %
Isentostaxa de
inscriçãoCusto por
Participante Prejuízo Total Prejuízo em valores de Jun/2020 IPCA
2009 4.148.721 1.564.068 - R$ 35,00 R$ 39,24 R$ 61.374.028,32 R$ 107.373.475,892010 4.626.094 1.332.315 - R$ 35,00 R$ 38,10 R$ 50.761.201,50 R$ 86.134.307,202011 5.380.857 1.420.546 - R$ 35,00 R$ 51,03 R$ 72.490.462,38 R$ 109.047.844,752012 5.814.644 1.622.286 - R$ 35,00 R$ 62,74 R$ 101.782.223,64 R$ 145.491.286,592013 7.173.574 2.130.551 73,15% R$ 35,00 R$ 70,10 R$ 149.969.484,89 R$ 199.983.558,252014 8.760.366 2.520.642 73,19% R$ 35,00 R$ 77,59 R$ 194.996.865,12 R$ 238.480.093,562015 7.746.442 2.138.016 74,38% R$ 63,00 R$ 93,23 R$ 197.039.554,56 R$ 240.978.291,512016 8.627.371 2.687.850 76,81% R$ 68,00 R$ 91,49 R$ 243.626.724,00 R$ 273.959.615,45
2017 6.731.341 2.017.253 70,29% R$ 82,00 R$ 87,54 R$ 176.590.327,62 R$ 193.353.676,582018 5.513.662 1.374.430 63,80% R$ 82,00 R$ 106,13 R$ 121.879.722,26 R$ 127.633.517,692019 5.095.270 1.163.700 67,28% R$ 85,00 R$ 105,52 R$ 122.793.624,00 R$ 125.411.338,482020 5.687.271 - 83,00% - - -
TOTAL TOTAL R$ 1.493.304.218,29 R$ 1.847.847.005,95
Nota: Elaborado pelos autores. Obs: para o período de 2009 a 2013 e 2019 o prejuízo é calculado multiplicando a abstenção pelo custo por participante, para os demais anos foi utilizado o informado pelo INEP. A conversão em dólar americano foi feita utilizando a cotação do dólar para o dia 31/07/2020, onde 1 Dólar dos Estados Unidos USD = 5,2033 Real/BRL, sendo assim, temos um Prejuízo total de USD 355.129.822,603. Fonte dos dados: (INEP, 2013); (INEP, 2017); (MEC, 2018); (ENEM, 2019); (INEP, 2018a); (INEP, 2018b ) ; (INEP, 2020a ); (INEP, 2020c ) ; (MEC, 2019)
