Avaliação Continuada
Mesa Redonda: Diferentes perspectivas e metodologias de Avaliação. Como avaliar?
Ana Maria Carneiro – NEPP/Unicamp
24 de abril de 2013
I Seminário Nordeste da RBMA
Objetivo da apresentação
• Apresentar o conceito de avaliação continuada
• Mostrar um exemplo de avaliação continuada
– Programa de Formação Interdisciplinar Superior da Universidade Estadual de Campinas (ProFIS/Unicamp)
• Pontuar desafios
Ações afirmativas na Unicamp
• Criação dos cursos noturnos (1991 - 2009): 35% das vagas
• Isenção da taxa do vestibular (2000)
• Programa de Ação Afirmativa e Inclusão Social (PAAIS) em 2004
– Pontuação adicional na nota final do vestibular para alunos de escolas públicas e para autodeclarados membros de minorias raciais
– 32,6% do número total de admissões na Unicamp em 2011
• ProFIS em 2011
ProFIS – Curso de formação geral
• Curso de complementação de estudos de nível superior
– Duração de 2 anos (máximo 3 anos)
– 117 créditos:
– 28 disciplinas obrigatórias
– 8 créditos eletivos
– 40% dos créditos em atividades práticas (salas de aula, laboratórios e Iniciação Científica obrigatória)
• Conhecimento básico do mundo natural, social e artístico
Programa de Formação Geral
• solucionar problemas de forma cooperativa
• comunicação
• raciocínio lógico
• pesquisa quantitativa e qualitativa
Desenvolvimento de habilidades básicas
• Formação de cidadãos críticos
• Preparação para o mundo do trabalho
Impactos
1ª fase do processo seletivo + Ação Afirmativa
• Objetivo: trazer para Unicamp os melhores alunos concluintes das escolas públicas de Ensino Médio de Campinas
– Jovens talentosos aptos que não passam no vestibular ou nem se inscrevem
– 55% das escolas públicas da cidade não tiveram aluno matriculado na Unicamp
• Seleção – 120 vagas
– 1ou 2 alunos de cada escola de Campinas - melhor nota do Exame Nacional do Ensino Médio (ENEM)
2ª fase do processo seletivo: ingresso na graduação regular
• Durante 2 anos – apoio na escolha da carreira
• Após os 2 anos, escolha curso de graduação na Unicamp:
– 130 vagas
– Em 52 de 56 cursos diferentes
– Critério de ranqueamento dos alunos: Coeficiente de Rendimento nas disciplinas obrigatórias
Conceito de avaliação continuada
• Avaliação entendida como parte integrante da própria definição de política pública
– deve integrar todo o ciclo de uma política, programa ou projeto
– ferramenta para apoiar a gestão durante implementação, funcionamento do programa e depois (impactos)
MonitoramentoMonitoramento
Avaliação das necessidadesAvaliação das necessidades
PriorizaçãoPriorização
Avaliação de resultados
Avaliação de resultados
Avaliação de impactos
Avaliação de impactos
Gestão e revisão do programa
Definição da Agenda
Identificação e seleção de alternativas
Implementação
Objetivos
• Avaliar a implementação e viabilidade do ProFIS como programa de formação geral para Unicamp
• Avaliar o impacto do ProFIS na formação e trajetória profissional do aluno
• Avaliar o processo seletivo do ProFISna promoção da inclusão social
Equipe da avaliação
Equipe executora
• Ana Maria Carneiro (Coord.)
• Cibele Y. Andrade • Stella Telles• Mírian Gonçalves• Carla Graia• Ana Paula Camelo• Marcelo Tavares• Tiemi Fujiyoshi (IC ProFIS) • Gabriela Santos(IC ProFIS)
Comitê de Orientação
• Elisabete M. A. Pereira (FE)
• José Alves (PRG)
• Francisco A. M. Gomes (ProFIS)
• Maria Inês Petrucci Rosa (ProFIS)
Colaboradores
� Adriana Bin (FCA)
� Camila Zeitoum (DPCT)
� Celma Domingues (SAE)
� Adriane Soares (SAE)
� Elizabeth Mercuri (FE)
� Joice Melo (NEPO)
� Soely Polydoro (FE)
� Alex Vital Otero
� Carol Ponciano
� Luís Eduardo S. Simões
� Pedro Casagrande
� Sarah Marconatto
� Marcos Oliveira (IC ProFIS)
� Caroline Melo (IC ProFIS)
� Melody Camargo
� Priscila Camelo
Programa de Formação Interdisciplinar Superior - ProFIS
Programa Piloto de Formação Geral
Formação interdiscipli
nar
Novo processo seletivo
Ação afirmativa
Apoio na escolha da carreira
Resultados e impactos do ProFISEnsino Médio
Graduação profissional
ProFISUnicamp
Mundo do trabalho
Unicamp
Desenho metodológico:1. Estudo longitudinal2. Multidimensional3. Quase experimental4. Participativo
Objeto de avaliação
Curso Formação Geral
Curso de graduação
Acompanhamento do aluno desde seu ingresso até o término da formação e inserção social
Como se aplica no caso do ProFIS
MonitoramentoMonitoramento
Avaliação de resultados
Avaliação de resultados
Avaliação de impactos
Avaliação de impactos
Gestão e revisão do programa
Definição da Agenda
Identificação e seleção de alternativas
Implementação
Turm
a 2011
Turm
a 2012
Turm
a 2013
Disciplinas
Iniciação Científica
Monitoramento
• Alunos
– Desempenho
– Situação em relação ao Ensino Superior
• Disciplinas
– Montagem
– Alocação professores, PEDs e PADs
– Dificuldades e inovações curriculares
– Caráter interdisciplinar
• Iniciação Científica
– Projetos
• Questionário matrícula• Questionário anual de Acompanhamento• Dados secundários (DAC e COMVEST)
• Entrevistas semestrais com professores• Dados secundários (DAC, DGRH, PRPG e COMVEST)
• Questionário anual com orientadores• Dados secundários (PRP)
Avaliação de resultados
• Processo seletivo
– Inclusão social no acesso e permanência
– Escolha da carreira
• Programa de Formação Geral
– Desenvolvimento de habilidades básicas
• Questionário matrícula• Questionário anual de Acompanhamento• Questionário e entrevistas com professores• Dados secundários
Avaliação de impactos
• Alunos e Grupos de comparação
– Permanência e conclusão do Ensino Superior
– Formação
– Trajetória profissional (satisfação profissional)
• Programa de Formação Geral
– Desenvolvimento de habilidades básicas
• Processo seletivo
– Atração de alunos da rede pública para Unicamp
• Questionário matrícula• Questionário anual de Acompanhamento• Questionário e entrevistas com professores• Dados secundários
Grupos de comparação
• Grupo de inscritos com perfil semelhante de desempenho no ENEM dos matriculados – impacto do curso de formação geral + curso de graduação
• Grupo de alunos da Unicamp egressos da escola pública – impacto do curso de formação geral
Curso Formação Geral
Curso de graduação
Vantagens da Avaliação Continuada
• Avaliação pode integrar o processo decisório para melhorá-lo em termos de eficiência, eficácia e efetividade
• Seguimento dos resultados e impactos desde o início
• Maior flexibilidade para definição das metodologias (em geral uso de métodos mistos)
• União das atividades de monitoramento e da avaliação de impacto, incluindo os impactos de longo prazo
Desafios da avaliação continuada
• Internamente:
– Equipe interna capacitada + apoio de colaboradores externos
– Constituir um sistema de monitoramento e avaliação (M&A) abrangente e efetivo
– Modular a avaliação para o timing da gestão
• Externamente
– Desenvolver nos gestores a habilidade de compreender os resultados do M&A para que levá-los conta na condução da política pública