Upload
ips-pt
View
1
Download
0
Embed Size (px)
Citation preview
Avaliação de processos e análise de resultados: o caso dos Mestrados de Enfermagem Médico-Cirúrgica
Alice Ruivo & Lucília Nunes Professoras Coordenadoras ESS/IPS
1
Sessão: Sistemas de Qualidade
Avaliação de processos e análise de resultados: o caso dos Mestrados
de Enfermagem Médico-Cirúrgica
• Sumário
▫ Contextualização
▫ Metodologia
▫ Resultados/Discussão dos Resultados
▫ Síntese
2
Alice Ruivo & Lucília Nunes
Avaliação de processos e análise de resultados: o caso dos Mestrados
de Enfermagem Médico-Cirúrgica
• O Sistema Português da Qualidade (SPQ) é o conjunto integrado de entidades e organizações interrelacionadas e interatuantes que, seguindo princípios, regras e procedimentos aceites internacionalmente, congrega esforços para a dinamização da qualidade em Portugal e assegura a coordenação dos três subsistemas – da normalização, da qualificação e da metrologia – com vista ao desenvolvimento sustentado do País e ao aumento da qualidade de vida da sociedade em geral
(Artigo 4º do Decreto-Lei n.º 71/2012 de 21 de março).
3
Alice Ruivo & Lucília Nunes
Sistema Português da Qualidade
• A adopção de formas de garantia de qualidade académica e de sistemas de avaliação externa e de acreditação como instrumentos essenciais de promoção da dimensão europeia de garantia de qualidade.
• O tema da acreditação, por tanto tempo alheio ao desenvolvimento do ensino superior na Europa, faz agora parte activa das agendas da política pública e nos prospectos da reforma institucional.
Decreto lei nº74/2006 de 24 Março Lei n.º1 2003 de 6 Janeiro
Tendências
Avaliação de processos e análise de resultados: o caso
dos Mestrados de Enfermagem Médico-Cirúrgica
• O IPS deve garantir o sucesso do Instituto, através de abordagens sistemáticas, planeadas e transparentes. Para o efeito o IPS decidiu implementar e manter um sistema integrado de gestão. Este sistema inclui a gestão da qualidade como uma componente essencial da gestão do instituto. Politica de Qualidade do IPS (Abril, 2013)
4
Alice Ruivo & Lucília Nunes
Política de Qualidade IPS
• A Unidade para a Avaliação e a Qualidade do Instituto Politécnico de Setúbal (UNIQUA/IPS) tem como principal função a promoção e implementação de boas práticas de gestão da qualidade na comunidade IPS
Avaliação de processos e análise de resultados: o caso dos Mestrados
de Enfermagem Médico-Cirúrgica
• A Unidade de Melhoria Contínua é uma unidade transversal à
ESS/IPS, na tutela directa do Director, que tem como objectivos
gerais promover a melhoria da qualidade das actividades de
ensino/aprendizagem e a qualidade institucional, assim como a
divulgação de boas práticas, sendo responsável pela
implementação das acções conducentes à concretização dos
objectivos definidos.
A UMC articula as suas actividades com o Conselho Pedagógico e
com a UNIQUA/IPS.
5
Alice Ruivo & Lucília Nunes
ESS IPS
Alice Ruivo & Lucília Nunes
6
Avaliação de processos e análise de resultados: o caso
dos Mestrados de Enfermagem Médico-Cirúrgica
Avaliação de processos e análise de resultados: o caso dos Mestrados
de Enfermagem Médico-Cirúrgica
Mes
tra
do
En
ferm
ag
em
Méd
ico
-Cir
úrg
ica
1º semestre
(domínio de competências comum)
2º semestre
(domínio especializado)
3º semestre (domínio especializado)
7
Alice Ruivo & Lucília Nunes
Departamento Enfermagem
2 Cursos Mestrado
90 ECTS
Parecer Favorável da
Ordem Enfermeiros CPLEE MC
1º Curso - Ano letivo 2010/2011 e 2011/2012 2º Curso – Ano letivo 2011/1012 e 2012/2013
Avaliação de processos e análise de resultados: o caso dos Mestrados
de Enfermagem Médico-Cirúrgica
Metodologia
Estudo de caso, transversal, de âmbito quanti-qualitativo
(acerca da formação em si e da avaliação do impacto da formação nas práticas de cuidados de enfermagem especializados na área em questão)
Instrumentos
• Questionários quantitativos on line (elaborados relatórios de avaliação)
• Reuniões efetuadas com os representantes dos cursos (comissões de curso), para feed-back avaliativo, de âmbito qualitativo.
• Sessões letivas com avaliação formativa (estudantes das duas turmas) para recolha de outros dados qualitativos no final de cada semestre.
• Análise das temáticas dos trabalhos já desenvolvidos no que aos resultados dizem respeito (nomeadamente com enfoque na melhoria da qualidade dos cuidados de enfermagem prestados em estágio).
8
Alice Ruivo & Lucília Nunes
Avaliação de processos e análise de resultados: o caso dos Mestrados
de Enfermagem Médico-Cirúrgica
DIMENSÕES DO QUESTIONARIO
1. AUTO-AVALIAÇÃO DO ESTUDANTE
2. DESENVOLVIMENTO DE COMPETÊNCIAS
3. FUNCIONAMENTO DA UNIDADE CURRICULAR
4. DESEMPENHO DOCENTE
5. RECURSOS DE APOIO AO ENSINO-APRENDIZAGEM
Alice Ruivo & Lucília Nunes
9
Avaliação de processos e análise de resultados: o caso dos Mestrados
de Enfermagem Médico-Cirúrgica
Resultados
Participantes/Estudantes inscritos:
1º Curso – 30 estudantes
2º Curso – 42 estudantes
Total – 72 estudantes
Média de Preenchimento de questionários ao longo dos semestres de 66%.
As médias de satisfação nos diferentes itens são de 4.5 (entre o satisfeito e muito satisfeito). (a escala varia entre 1 e 6 - totalmente insatisfeito ao totalmente satisfeito, com um item para o sem opinião).
10
Alice Ruivo & Lucília Nunes
Avaliação de processos e análise de resultados: o caso dos Mestrados
de Enfermagem Médico-Cirúrgica
Resultados (cont.)
Contributos Qualitativos (reuniões e sessões letivas de avaliação) -
incidiram essencialmente no acréscimo de conteúdos práticos aos diferentes
módulos (SBV, SAV, C Traumatologia, Simulação em Catástrofe)*.
Resultados - 19 trabalhos desenvolvidos e defendidos publicamente (até ao
momento) - (26%).
11
Alice Ruivo & Lucília Nunes
Avaliação de processos e análise de resultados: o
caso dos Mestrados de Enfermagem Médico-
Cirúrgica
Análise categorial dos Projetos de Intervenção no Serviço [PIS]
12
Alice Ruivo & Lucília Nunes
Risco Clínico e segurança dos cuidados [6]
Gestão dos Cuidados [3]
Intervenção em emergência [3]
Situação de doença crónica e paliativa [3]
Implementação de Vias Verdes [2]
Planeamento de alta [1]
Feridas e Viabilidade
Tecidular [1]
Avaliação de processos e análise de resultados: o
caso dos Mestrados de Enfermagem Médico-Cirúrgica
Descritivo dos Projetos de Intervenção no Serviço [PIS]
13
Alice Ruivo & Lucília Nunes
RISCO CLÍNICO E SEGURANÇA DOS CUIDADOS
• A segurança das pessoas no transporte intra-hospitalar para a realização de técnicas pneumológicas
• Cuidados de enfermagem especializados para a segurança do cliente
• Segurança do cliente
• Proteger para prevenir
• Higienização das mãos : uma prioridade no SANE. Adesão dos enfermeiros à higienização das mãos nos cinco passos do programa "Salve vidas: higienize as mãos"
• Relatório de Projeto: Plano de Cuidados de Enfermagem ao Doente/Familia Renal no SANE: Uma Realidade Possível
• Intervenções de Enfermagem na Prevenção da Pneumonia Associada à Ventilação Mecânica
FERIDAS E VIABILIDADE TECIDULAR
• Avaliação e classificação de úlceras de pressão: uniformização da prática de Enfermagem baseada na evidência
PLANEAMENTO DE ALTA
• Mapear o regresso a casa. A Qualidade da Intervenção Educativa de Enfermagem no Planeamento da Alta da Pessoa Submetida a Transplante de Progenitores Hematopoiéticos
Avaliação de processos e análise de resultados: o caso
dos Mestrados de Enfermagem Médico-Cirúrgica
INTERVENÇÃO EM EMERGÊNCIA
• Cuidar com qualidade a pessoa intoxicada por organofosforados na sala de emergência
• Uniformização de cuidados de enfermagem ao Grande Queimado na Sala de Emergência
• Organização da equipa de enfermagem nas salas de emergência
14
Alice Ruivo & Lucília Nunes
SITUAÇÃO DE DOENÇA CRÓNICA /PALIATIVA
• A via subcutânea para hidratação e administração de terapêutica na pessoa com patologia crónica e/ou paliativa
• Pessoa com cancro da mama - articular para melhor cuidar
• Suscetibilidade e controle da infecção no doente neutropénico/família
VIAS VERDES
• Implementação da Via Verde Sépsis no Serviço de urgência Geral
• Implementação da Via Verde Sépsis no Serviço de Urgência Geral - promover a saúde agilizando processos de cuidados
GESTÃO DOS CUIDADOS • Plano de integração no
Serviço de Urgência • Por uma Sala de Emergência
funcional • Normalização da organização
dos carros de emergência
Avaliação de processos e análise de resultados: o caso
dos Mestrados de Enfermagem Médico-Cirúrgica
Síntese
A avaliação é um processo contínuo, que permite:
• Promoção a adequação/introdução de conteúdos (permitindo a aplicação
prática de conhecimentos teóricos);
• Desenvolvimento de projetos necessários e dinâmicos (uniformização de boas
práticas, diminuição das taxas de infeção, aumento dos conhecimentos das equipas,
ganhos em saúde para os clientes e famílias, satisfação dos profissionais e dos
clientes entre outros).
• Parcerias de trabalho entre os enfermeiros orientadores/professores, com apoio
dos responsáveis dos serviços e das equipas.
15
Alice Ruivo & Lucília Nunes
Avaliação de processos e análise de resultados: o caso dos Mestrados
de Enfermagem Médico-Cirúrgica
A avaliação contínua da qualidade e a preocupação em obter os mais elevados
níveis de desenvolvimento dos estudantes acompanham, a par e passo, as
atividades letivas e clínicas - e, pensando nos objetivos deste Seminário,
consideramos que as alterações de uma edição para a seguinte assim como os
resultados (nas diferentes perspetivas, desde o curso aos contextos e clientes e
famílias) materializam práticas de qualidade, que efetivam a responsabilidade
científica, clínica, humana e social dos cursos.
16
Alice Ruivo & Lucília Nunes
Palácio da Bemposta – Paço da Rainha
Práticas de Qualidade específicas na formação de oficiais: A Academia MilitarTenente-Coronel Gualdino Lopes Antão - Gabinete da Qualidade da Academia Militar
Transferência e valorização do conhecimento científico e tecnológico.Apoio ao desenvolvimento .Cooperação e intercâmbio cultural, científico e técnico com instituições congéneres, nacionais e internacionais.Quadros habilitados para o desempenho de funções dirigentes na sociedade e no Estado.
Valor para a
comunidade
Sustentação Recursos Materiais
Recursos Humanos
Recursos FinanceirosInfraestruturas
Segurança
Processos Ensino, Formação e Qualificação
Investigação,Desenvolvimento
& Inovação
Apoio àComunidade
Associação, Cooperação
e Intercâmbio
Ativo Organizacional Ativo Pessoal Ativo InformacionalAprendizagem
e Crescimento
ESPECIFICIDADE
Valor para a AM, Exército
e GNR
Quadros altamente qualificados com competências e capacidade para comandar em situações de risco,complexidade e incerteza, em resposta às exigências da segurança e da defesa nacional.
Aumento da eficácia, eficiência, accountability e qualidade.
Plan
o de
Ativ
idad
es Anu
al
Orçamento
Relatório de Atividades
Atividades Anuais
Interna(SQ)
Externa(QUAR)
QUALIDADE
AVALIAÇÃO
Plano Anual de Atividadescom INDICADORES
Objetivos Estratégicos do EXÉRCITO
Atribuições do Ensino Superior (EESPUM)
Objetivos Estratégicos Enquadrantes
Objetivos Estratégicos
Objetivos Operacionais
MISSÃO
VALORES
VISÃO
Plan
o Estratégico Plurianu
al Objetivosda GNR
Metodologias, Práticas e Critérios de Qualidade
A oferta formativa dos cursos destinados à profissão de Oficial remete para:
• À entrada – Fase de Seleção
• Ao longo da formação
• À saída – Feedback ‐ Retroação
Requisitos de qualidade na fase de Seleção
Académica
É recolhida a prova documental das avaliações dopercurso escolar (classificações do secundário)
O aumento da procura tem permitido uma seleção decandidatos à Academia Militar com classificações deingresso mais elevadas
Desde 2012 que foram fixados 14 valores comoclassificação mínima de ingresso nos cursos da AM
No presente ano letivo 2013/14, uma prova de avaliação e seleção dascompetências escrita e oral em inglês – dá garantias de maior homogeneidadeà partida entre os alunos
Descrição, implementação e maturidade
Requisitos de Qualidade na fase de Seleção
Exige-se capacidade motora, força, velocidade,resistência e desembaraço - indispensáveis ao futurodesempenho profissional do oficial do Exército/ GNR..
Física
Médica
Avaliação médica do estado de saúde do candidato,permite identificar estados físicos que impeçam oulimitem o seu futuro desempenho profissional.
Descrição, implementação e maturidade
Requisitos de Qualidade na fase de SeleçãoGabinete de Psicologia - testes psicotécnicos – avaliamaptidões psicomotoras, cognitivas, emocionais oude personalidade do candidato.
Perfis de personalidade são confirmados por entrevistapsicológica durante a Prova de Aptidão Militar (PAM)
Psicológica
Prova de Aptidão Militar (PAM)
Avaliam-se requisitos de adaptação à vida deinternato e contacto com a formação e vida militar.
Testes de dinâmica de grupo; entrevista psicológica emilitar, para avaliar a autoconfiança, comunicação,resolução de problemas, persuasão, liderança, etc.
Em cada uma das fases, um júri responsável toma adecisão, em função dos requisitos de qualidade.
Práticas de Qualidade durante a Formação
• Formação para uma atividade profissional conhecida e delimitada;• Facilidade de recolha feedback do “empregador”;• Capacidade de lições aprendidas do Exército e GNR instalada - feedback
Adequação entre formação e empregabilidade :
Exército GNR
Descrição, implementação e maturidade
Práticas de Qualidade durante a Formação
• Integração no Corpo de Alunos – Forma e orienta;
• Dir. de Ensino – Ref. Académica/ Comportamental;
• Gab. de Psicologia - dá formação em métodos deestudo; organização do tempo; apoio na socializaçãoe apoio psicológico;
• Diretor de Curso - elemento fundamental na ligaçãoentre aluno, corpo docente e estrutura de comando;
• Acompanha, deteta problemas precocemente,propõe soluções; ligação entre alunos e docentes;
• Mentor, aconselha, orienta e promove o sucesso
Enquadramento e acompanhamento constante do aluno:
Descrição, implementação e maturidade
Práticas de Qualidade durante a Formação
• Articulação teoria-prática da formação militar
• Corpo docente equilibrado – civis e militares
• Adequação do comportamento ético a requisitosda profissão – avaliação comportamental do aluno.
• O Diretor do Curso recolhe dos docentes; integra etransmite-a ao Comandante do Corpo de Alunos.
• Aluno – autoavaliação – hétero avaliado – conheceavaliação – corrige comportamentos relativamentea código de valores (Código de Honra do Aluno).
• Internato – estimula socialização na cultura militar
Formação Militar, Ética e Comportamental:
Descrição, implementação e maturidade
Práticas de Qualidade durante a Formação
• Estimula-se uma cidadania ativa e responsável
• Alunos são estimulados a manter-se fisicamentesaudáveis e intelectualmente ativos.
• Tempos livres – Integrados nas atividades extracurriculares (seleções desportivas; grupos deatividades lúdicas, serviços à comunidade, etc.)
• Atividades são sempre orientadas eenquadradas por um oficial ou docente que sedisponibiliza para o efeito.
Exercício físico, atividade lúdica e serviço à comunidade:
Descrição, implementação e maturidade
Práticas de Qualidade durante a Formação
• Aulas obrigatórias – melhor acompanhamento;• Programa é cumprido – faltas complementadas;• Disponibilidade e orientação próxima dos docentes
(orientação tutorial)• Alunos e docentes participam na melhoria
contínua da qualidade dos processos;• Elaborados relatórios de contributos de docentes,
alunos e lições aprendidas do Exército e GNR(quando detetadas necessidades de formação);
• Ex. alunos e Comandantes – participam namelhoria da adequação formação - profissão;
Qualidade dos processos de ensino - aprendizagem:
Descrição, implementação e maturidade
Práticas de Qualidade ‐ Investigação
Coordenadores e diretores de curso – orientam e Integram alunos em linhas deinvestigação centrais para o Exército e GNR e conteúdos nucleares dos seus cursos.
DOCUMENTOS E FORMULÁRIOS:
• Plano estratégico;• Manual da Qualidade• Plano da Qualidade• NEP (Normas Exec. Permanente)• Diretivas Comandante;• Job Descriptions;• Fichas das UC• Fichas Curriculares docentes;• Etc. ….
Descrição, implementação e maturidade
Melhoria Contínua:
Participação na melhoria:
- Exército e GNR – Lições aprendidas;
- Comandantes das unidades (relatórios dosempregadores);
- Diretores de formação das Escolas Práticas;
- Ex. alunos
Implementação de melhorias:
- Propostas consolidadas – atribuição de recursos e responsabilidades
- Próximo ano (ciclo anual) – avaliação da implementação das melhorias
Práticas de Qualidade – Final do Ciclo
Descrição, implementação e maturidade
Salvaguardando as especificidades próprias:
Poderão traduzir-se em mais-valias para outras IES :I. Avaliação e seleção inicial, não limitada às classificações do secundário, mas
também sujeita a requisitos de qualidade orientados para um conjunto de perfisprofissionais de potencial empregabilidade;
II. Processo de Tutoria mais próximo do aluno, que identifique problemas e apoie asua resolução mais precocemente, promova uma adequada integração dediscentes e uma coordenação eficaz entre estes e os docentes;
III. Utilização abrangente e integrada de processos de melhoria contínua (e.g.retroação; lições aprendidas), que envolva docentes, discentes, investigadores eempregadores;
IV. Maior integração dos discentes em ID&I orientada para os sectores deatividade de futura empregabilidade, com vantagem para ambos.
Transferibilidade das práticas
Carla Pereira | Eduardo Cruz | Lurdes Martins | Isabel Amaral
Implementação de um Sistema de Gestão da Qualidade Educativa: Processo e Resultados 2010-13
Escola Superior de Saúde - Instituto Politécnico de Setúbal Campus do IPS, Estefanilha Edificio da ESCE 2914-503 Setúbal | Portugal
!
- a promoção de uma cultura de qualidade, envolvendo todos
os atores numa melhoria participada e continuada da formação;
- a produção de informação ao longo do tempo, permitindo
avaliar o impacto das medidas introduzidas;
- a utilização de critérios claros, comparáveis e replicáveis,
minimizando a interferência de julgamentos individuais e facilitando as tomadas de decisão para a melhoria continuada no processo de ensino-aprendizagem.
PrincípiosSistema de Gestão da Qualidade Educativa | ESS-IPS
Para uma monitorização semestral e anual da qualidade do processo de ensino-aprendizagem:
- preenchimento de inquéritos online por parte dos estudantes; - avaliação das taxas de sucesso das unidades curriculares (UC);
Metodologia
Sistema de Gestão da Qualidade Educativa | ESS-IPS
Estudantes
DocentesCoordenação
CP
CTC
UC Curso UO
UMC
Metodologia
Produção de relatórios
(semestrais e anuais)
- Situação normal - Sit. problema
Elaboração de relatório
Implementação do plano de
melhoria
Relatório final (docência/ discência)
Elaboração de parecer e plano
de Melhoria
- Análise e divulgação do plano - Elaboração de relatório do curso
Avaliação da implementação do plano
Análise dos relatórios e planos
de melhoria
Parecer
UMC
Comissão de Curso
UC: docentes e discentes
CP
CTC | Direcção
Coordenação do Curso
Sistema de Gestão da Qualidade Educativa | ESS-IPS
Escola Superior de Saúde Estudantes inscritos por ano letivo
2010-11 2011-12 2012-13
498
558
479
79
481
61
542
Licenciaturas
Mestrados
Sistema de Gestão da Qualidade Educativa | ESS-IPS
Resultados
2010-11
4%
87%
2011-12 2012-13
Taxa de resposta
Questionários excluídos
Resposta aos inquéritos online acerca da percepção dos estudantes
sobre a qualidade e satisfação do processo de ensino-aprendizagem
6%
77%
7%
80%
Resultados
Sistema de Gestão da Qualidade Educativa | ESS-IPS
2010-13 Perceção dos estudantes acerca do processo de ensino-
aprendizagem
Auto-Avaliação do estudante
Desenvolvimento de competências
Funcionamento da UC
Desempenho docente
Recursos de apoio
1- Discordo completamente
6- Concordo completamente
4.1 - 4.9
4.4 - 5.4
4.2 - 5.1
4.4 - 5
4.3 - 5.2
3
Resultados
Sistema de Gestão da Qualidade Educativa | ESS-IPS
Percepção dos estudantes
Taxa de Sucesso < 75%Quais as situações-problemas identificadas?
Em 27 das 166 UC’s avaliadas- 16%
2010-11 2011-12 2012-13
Em 26 das 209 UC’s avaliadas- 8%!
Em 21 das 192 UC’s avaliadas- 11%
12%
4%7%
1%
10%
1%
Resultados
Funcionamento da UC
46%
Sistema de Gestão da Qualidade Educativa | ESS-IPS
Quais as situações-problema identificadas?
Desempenho docente
24%
Percepção dos estudantes relativa ao processo de EA 2010-13
Recursos de apoio 16%
- O docente mostrou-se disponível para atender/ apoiar os estudantes
- A carga de trabalho da UC foi adequada face às unidades de crédito definidas (ECTS) - Os métodos e critérios de avaliação foram suficientemente explicitados
- As salas de auto-estudo foram adequadas às necessidades desta UC
Resultados
Sistema de Gestão da Qualidade Educativa | ESS-IPS
Planos de Melhoria! 2010-13
Problema/ Proposta de Melhoria
Acção Monitorização Responsabilidade/ recursos
Calendário
!Carga horária por dia
- Planeamento da distribuição das horas da UC (60h) ao longo dos módulos 3 e 4
Determinação do n.º horas da UC por semana
Docente responsável da UC, colaborador e coordenador do curso
Até 18/ Fev
- Distribuir as horas respeitantes a cada módulo no horário semanal
Horário semanal com períodos de aula inferiores a 3/ 4h
Docente responsável da UC, colaborador, coordenador do curso e responsável do respectivo módulo
Até 18/ Fev
Recursos de apoio ao estudo
- Introdução e/ ou recomendação de recursos educativos na plataforma de e-learning (moodle) ou sua consulta na biblioteca da ESS
Acesso/ consulta na plataforma de e-learning
Docente responsável da UC e colaborador
Ao longo da UC
- Visualização de material didáctico em aula
Acesso a salas com internet ou outro material (Laboratório de Anatomia)
Docente responsável da UC, colaborador, coordenador do curso e responsável do respectivo módulo
Ao longo da UC
!Problema identificado: taxa de sucesso: aprovados/ inscritos- 74.07% !
Reflexões
Sistema de Gestão da Qualidade Educativa | ESS-IPS
A implementação do sistema contribuiu para…!!- A discussão e reflexão conjunta por parte dos estudantes, docentes e coordenadores sobre os problemas identificados, possibilitando a sua análise em diferentes perspectivas;!
- O envolvimento dos estudantes na melhoria de ajustes curriculares mediante a reestruturação realizada por referência ao processo de Bolonha;!
- A discussão sobre a política institucional para a qualidade;!
- A responsabilização por parte dos estudantes das medidas de melhoria introduzidas.!
Conclusão
Sistema de Gestão da Qualidade Educativa | ESS-IPS
- Um sistema de gestão com capacidade para produzir informação sistematizada, identificar situações problema e implementar acções de
melhoria efectivas;!
- Um sistema com envolvimento e compromisso de todos para a melhoria continuada do processo;!
- Um sistema que promove decisões suportadas para a
implementação de práticas educativas de qualidade.!
3 anos
Autoavaliação dos Cursos do IST: R3A
Ana Torres, Carla Patrocínio, Raquel Aires Barros
Instituto Superior Técnico
27 Novembro 2013, IST
27 de Novembro de 2013
Sumário
2
• Enquadramento
• Histórico e calendarização
• Estrutura
• Resultados actuais
• Ideais futuras: benchmarking
• Transferibilidade da prática
27 de Novembro de 2013
Enquadramento
3
Desenv. do Ensino Superior
Interesse dos empregad., governo e cidadãos comuns
Espera-se que universidades
funcionem como
empresas
Avaliação da qualidade SIQuIST
27 de Novembro de 2013
Enquadramento
4
RECURSOS
GOVERNAÇÃO
INTERNACIONALIZAÇÃO
I&DI
Ligação à Sociedade
R3A
Fénix
SEI QUC
Ensino
QUC Subsistema para avaliação
da Qualidade das Unidades
Curriculares
SEI Sistema de Suporte à
Elaboração de
Inquéritos do IST
Fénix Sistema de Informação
do IST
R3A Relatórios Anuais de
Autoavaliação
27 de Novembro de 2013
Histórico
e calendarização
5
Inicio – 1º + 2º Ciclo: resultado das experiências de Avaliação e Acreditação dos cursos do IST
Reformulação: automatização e produção em tempo útil + componente do SIQuIST
Extensão ao 3º ciclo
Definição de valores fronteira para despoletar mecanismos de intervenção
2003/04
2011
≥2012
≥2013
Histórico
Calendarização
NEP: Sistematização
Informação e Produção R3A
Outubro - Março
Coord. Curso e
OG:
Análise e feedback
Março – Abril
27 de Novembro de 2013
Estrutura
6
Ingresso
Indicadores oferta, procura e qualidade
Origem geográfica
Posicionamento do curso
Processo
Educativo
Indicadores globais
Internacionalização
Corpo docente
QUC
Fluxo de alunos
Eficiência
Formativa
Indicadores globais
Empregabilidade
Resultados de estudos e inquéritos
Incorpora indicadores previstos nos processos
A3ES e SIGQUTL (a rever com criação Ulisboa)
27 de Novembro de 2013
Oferta cong.
NMS
Vagas
Taxa ocupação
Habil. Anter.
Estrutura
7
Ingresso
Nº matric.
Doc. ETI
Abandono
Taxa aprov
% mulheres
% estrang.
Processo
Educativo
Nº diplom
Anos conclusão
Nota final
curso
Empregab.
Eficiência
Formativa
27 de Novembro de 2013
Resultados actuais
10
Atractividade / Índices de qualidade elevados 4 10
Atractividade regional 3 0
Heterogeneidade do percurso profissional dos estudantes 0 1
Taxa de abandono / Incidência de abandonos no 1º ano 14 1
Nº de UC leccionadas em Inglês 14 4
Desempenho académico dos alunos 6 9
Plano curricular/ Competências multidisciplinares 4 11
Qualidade do corpo docente/ensino 3 14
Nº de alunos em mobilidade 3 0
Nº de prescritos 2 0
Nº de estudantes internacionais 1 5
Interacção com o mundo empresarial 1 1
Nº de trabalhadores estudantes elevado 1 0
Envolvimento dos alunos em actividades de I&D 1 0
Visitas de estudo 0 1
Horário pós-laboral 0 1
Nº de anos para conclusão do curso 10 3
Nº de diplomados 4 0
Saídas profissionais/ Empregabilidade 3 16
Média da nota final de curso 0 4
Ingresso
Processo
Educativo
Eficiência
Formativa
PontosFracos
PontosFortes
Feedback
coordenadores de
curso: 2011/12
27 de Novembro de 2013
Ideais futuras: benchmarking
11
Benchmarking
Adoptar melhores práticas
Mudança
Melhoria contínua/
Desempenho excelente
Necessidades da instituição
Definição
Melhor
prática
Prática
corrente
Desempenho
superior
27 de Novembro de 2013
Ideais futuras: benchmarking
12
Metodologias Processos duplicáveis
internamente?
Processos internos similares?
Técnicas adaptáveis?
Benchmarking Interno
Benchmarking Externo
Métricas disponíveis?
Processos significativamente
superiores?
Práticas transferíveis?
Sim
Sim
Sim
Sim
Sim
Sim
Não
Não
Não
Não
Não
Fonte: Southard & Parente (2007, p. 5)
“O Benchmarking é a procura de melhores práticas em
qualquer lado. Se a instituição é suficientemente grande,
tais práticas podem estar mais perto do que se imagina”
(Mittelstaedt, 1992).
Alstete (1995)
Externo Competitivo
Interno
Implícito Externo Multi-
sectorial
Externo Cooperatvo
27 de Novembro de 2013
Ideais futuras: benchmarking
13
Fases do processo de benchmarking
Fonte: Fong et al. (1998)
Fase de planeamento
1. Identificar os alvos de benchmarking.
2. Identificar os melhores níveis de desempenho para comparação.
Fase de análise
3. Determinar a diferença de desempenho.
4. Projectar novos níveis de desempenho.
Fase de integração
5. Divulgar conclusões.
6. Estabelecer objectivos funcionais.
Fase de acção
7. Desenvolver planos de acção.
8. Implementar e monitorizar progresso.
Fase de maturidade
Novas práticas completamente integradas? Houve melhorias no desempenho?
Sim Não
27 de Novembro de 2013
Ideais futuras: benchmarking
14
Escala
Excelente
Regular
A melhorar
Inadequado
27 de Novembro de 2013
Transferibilidade da prática
15
Compilação de dados de forma prática, clara e objectiva
Produção anual de resultados por oposição a produção pontual
Indicadores transversais a todas as instituições
Efeitos visíveis na gestão dos cursos
Indicadores pedidos no âmbito de avaliações externas ou
organismos oficiais
Obrigada pela vossa atenção.
Mais informações: [email protected]
Outros trabalhos: http://nep.tecnico.lisboa.pt/
27 de Novembro de 2013
Seminário
Práticas de qualidade:
Resultados no ensino superior
Inquéritos pedagógicos (ips):
Análise da qualidade do ensino na
Faculdade de Motricidade Humana
Rui Claudino
Objetivos: 1. Melhorar o acesso dos alunos aos ips;
2. Automatizar o tratamento dos dados, diminuindo o tempo entre respostas e resultados;
3. Dar a conhecer os resultados de forma transparente a todos os intervenientes (docentes e discentes), aos
órgãos de gestão (CP e Presidência) e ao público em geral;
4. Manter um registo histórico da apreciação individual de cada disciplina e docente;
5. Contribuir para uma avaliação mais objetiva do desempenho docente;
6. evitar a redundância de sistemas;
7. Permitir a integração e a interoperabilidade dos ips, com outras aplicações web do CP;
8. Incorporar na FMH o conhecimento resultante deste processo.
Metodologia: Aproveitando o questionário em suporte de papel, aplicado em anos anteriores, criámos um módulo web, no
Portal do CP (aplicação web de apoio às atividades didáticas e pedagógicas), para colocar o questionário online,
através de vários formulários web.
Os alvos foram os alunos dos cursos de:
licenciatura,
mestrado;
e de alguns dos cursos de doutoramento.
O questionário era composto por 3 (três) partes, onde os alunos efetuavam:
1. uma apreciação das disciplinas, relativamente a conteúdos e importância, para a sua
formação;
2. uma auto-avaliação da sua dedicação às disciplinas;
3. uma apreciação do docente ou dos docentes, com responsabilidade na lecionação das
disciplinas.
Descrição, implementação e maturidade:
Após um semestre de testes, os IPs foram colocados em operação;
Desde então, foram realizados em cada um dos semestres, durante os últimos três anos;
A aplicação web foi desenvolvida recorrendo a uma framework MVC proprietária;
Foram desenvolvidos em PHP, com o “motor” de base de dados MySQL;
Como servidor web foi utilizado o Apache;
Todas estas tecnologias foram instaladas nos servidores da FMH;
A gestão e manutenção dos IPs foi feita por uma aplicação de back-office;
O tratamento dos dados é feito em tempo real, através do recurso às funcionalidades estatísticas do MySQL e
PHP;
A apresentação online dos resultados é obtida através da utilização de uma "template engine", para PHP,
designada por Smarty;
A impressão dos resultados é suportada por documentos PDF, gerados "on-the-fly", recorrendo à integração da
classe FPDF .
Resultados práticos:
Verificámos uma adesão significativa dos alunos, traduzida num maior número de respostas aos IPs;
O tempo de apresentação dos resultados foi drasticamente reduzido, pois o tratamento dos dados é calculado
automaticamente e em tempo real;
Os resultados podem ser consultados:
pelos alunos;
pelos docentes;
pelos regentes;
pelos coordenadores;
e pelos elementos do CP.
Os vários outputs, podem contribuir para melhorar objetivamente a avaliação do desempenho dos docentes.
Transferibilidade da prática:
Este processo foi utilizado nos vários cursos da FMH;
Em primeiro lugar foi utilizado em todas as licenciaturas e depois nos cursos de mestrado;
No último semestre, do último ano, foi já utilizado nalguns cursos de doutoramento;
O conhecimento adquirido, permitiu a adaptação dos IPs a:
Cursos breves;
Cursos de pós-graduação;
Foram também feitas adaptações a inquéritos sobre a qualidade das instalações da FMH;
Neste momento, estamos a aplicar o conhecimento adquirido, no desenvolvimento de uma framework mais simples
(agon lite), para responder a aplicações menos complexas:
como é o caso dos inquéritos efetuados no âmbito do Observatório da Empregabilidade da FMH OEFMH),
sobre o emprego dos recém- licenciados da FMH.