Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores

Aula 6Disciplina: Recuperação da Informação

Letícia Strehl23 abr. 2009

Conteúdos da Aula 6

O estudo e avaliação da produção científica: critérios e indicadores Fator de Impacto

2 anos 5 anos

Medidas do ritmo de obsolescência da literatura Índice de Citação Imediata Meia vida das citações

Critérios de avaliação da produção científica (3/3) Com que qualidade o trabalho foi produzido?

Critérios de avaliação da produção científica (3/3):Com que qualidade é produzido?

Avaliação por pares Ex.: consultoria ad hoc, Sistema Qualis

Indicadores de impacto(considerando, neste caso, citação=visibilidade

= qualidade?!) Ex.: Fator de impacto (Thomson Reuters) e

Índice H

As formas de definir o conceito de qualidade

Sentidos: histórico absoluto social

COLE, Jonathan; COLE, Stephen. Social stratification in science. Chicago: The University of Chicago Press, c1973. Cap 2: Measuring the quality of scientific research, p. 21-36.

As formas de definir o conceito de qualidade: sentido histórico absoluto

Um ortodoxo historiador da ciência poderia aplicar um conjunto de critérios absolutos para avaliar a qualidade de um trabalho científico.

Aqueles trabalhos que incorporam a verdade científica e que possibilitam a melhor compreensão dos fenômenos empíricos são trabalhos de alta qualidade.

O fato de um conjunto particular de trabalhos ser momentaneamente ou temporariamente ignorado em nada representa a sua qualidade.

A qualidade de uma contribuição científica só pode ser medida a partir de uma retrospectiva histórica


As formas de definir o conceito de qualidade: sentido social

Formada a partir de um ponto de vista filosófico pautado na premissa de que a verdade absoluta não existe, é sim, construída socialmente.

O que pode ser considerado verdadeiro hoje, talvez não possa ser reconhecido amanhã.

A qualidade de um trabalho é definida como o que está sendo útil para a comunidade em um dado momento.

Se os cientistas encontram uma idéia particular que seja útil para o seu trabalho, esta idéia encerra em si um valor, e, por este motivo, ela pode ser considerada como tendo alta qualidade.


Indicadores de impacto

Tipos de estudos de citação

Escola normativa Escola microssociológica.

Liu MX (1993) Progress in documentation: the complexities of citation practice: a review of citation studies. Journal of Documentation 49 : 370-408.

Tipos de estudos de citação:Escola normativa

Pressuposto: Os cientistas dão crédito aos estudos que

influenciaram seu trabalho pelas referências que mencionam em suas publicações, dando respaldo para o uso das citações como medida do impacto da atividade científica.


Tipos de estudos de citação:Escola microssociológica

Pressuposto: Existem complexas motivações para

citação que ainda não são bem entendidas e, por esta razão, as referências feitas nos trabalhos não podem ser simplesmente interpretadas como indicadores de relevância.


A legitimação dos indicadores de impacto

Premissa: Trabalhos importantes são freqüentemente

citados na literatura científica Concepções:

Sentido social de definição da qualidade Crença na teoria normativa de citação

Funções da Citação (1)

1. Prestar homenagem aos pioneiros; 2. Dar crédito para trabalhos relacionados;3. Identificar metodologia, equipamento etc.;4. Oferecer leitura básica; 5. Retificar o próprio trabalho;6. Retificar o trabalho de outros;7. Analisar trabalhos anteriores; 8. Sustentar declarações;9. Informar aos pesquisadores de trabalhos

futuros;

WEINSTOCK, M. Citation indexes. IN: ENCYCLOPAEDIA of library and information science. New York: M. Dekker, c1971. V. 5, p. 16-40.

Funções da Citação (2)

10. Dar destaque a trabalhos pouco disseminados, inadequadamente indexados ou desconhecidos (não citados);

11. Validar dados e categorias de constantes físicas e de fatos etc.;

12. Identificar idéias originais nas quais uma idéia ou um conceito são discutidos;

13. Identificar publicações originais que descrevam conceitos ou termos epônicos;

14. Contestar trabalhos ou idéias de outros;15. Debater a primazia das declarações dos

outros.WEINSTOCK, M. Citation indexes. IN: ENCYCLOPAEDIA of library and information science. New York: M. Dekker, c1971. V. 5, p. 16-40.

Problemas da análise de citações como método de pesquisa (1)

Influências formais não citadas; Citação tendenciosa ou preconcebida; Influências informais não citadas; Autocitação; Existência de área em que os autores

tradicionalmente não citam as fontes que utilizam;

Diferentes tipos de citações;

MACROBERTS, M.H.; MACROBERTS, B.R. Problems of citation analysis: a critical review. Journal of the American Society for Information Science, Washington, v.40, n.5, p.342-9, 1989.

Problemas da análise de citações como método de pesquisa (2)

Variações nas médias de citação relacionadas ao tipo de publicação, nacionalidade, período, extensão e especialidade;

Citações a fontes secundárias; Tamanho da audiência.


Problemas da análise de citações como fonte de dados

Limitações técnicas de índices de citações e bibliografias: Autoria múltipla; Sinônimos; Homônimos; Erros de edição; Cobertura da literatura.


Moya Anegón, Felix de. Análisis bibliométrico de los resultados de investigación en ciencias sociales y humanidades: limitaciones y oportunidades. Apresentação realizada no "Seminário de Comunicação Científica, São Paulo, 13 de junho de 2008".

SPINAK, Ernesto. Indicadores cienciométricos. Ciência da Informação, Brasília, v. 27, n.2, p.142, maio/ago. 1998. Link

http://www.scielo.br/pdf/ci/v27n2/spinak.pdf

Requisitos para o cálculo dos índices de impacto

Existência de bases de dados que indexem: uma quantidade representativa de

documentos; as referências citadas nas publicações.

Atualmente, as principais bases de dados para o cumprimento desta finalidade são a Web of Science, a Scopus e o Google Acadêmico

Todavia...

Tradicionalmente, as bases de dados capazes de fornecer informações sobre o impacto dos trabalhos centram-se basicamente no conhecimento veiculado em periódicos internacionais!

Mesmo crescente, o número de periódicos nacionais nas bases é irrisório

2008 2007 2006 2005

62

30

23

19

14

7

14

3

78 Web of Science

Scopus

Número NÃO definitivo

KRIEGER, Eduardo M. Indicadores cienciométricos e as políticas de gestão em C&T. Apresentação no EEBC realizado em set. 2008

Moya Anegón, Felix de. Análisis bibliométrico de los resultados de investigación en ciencias sociales y humanidades: limitaciones y oportunidades. Apresentação realizada no "Seminário de Comunicação Científica, São Paulo, 13 de junho de 2008".

Implicações da limitação do escopo dessas bases

A valorização da competitividade, o impacto e a visibilidade internacionais

-Produção Exógena-

Todas as áreas são norteadas por estes valores?

KRIEGER, Eduardo M. Indicadores cienciométricos e as políticas de gestão em C&T. Apresentação no EEBC realizado em set. 2008

leticia

Isso é citação por publicação ou simplesmente produtividade?

Partindo dos indicadores desenvolvidos para os trabalhos publicados em periódicos internacionais…

Fator de Impacto

O fator de impacto (FI)

Há décadas o principal indicador de visibilidade das publicações

Publicado anualmente no Journal Citation Reports (JCR)

O FI como critério de avaliação da produção científica

Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.

Como o FI é calculado?

A Origem da Fórmula do FI

Idealizado por Eugene Garfield e Irving Sher

Definição dos títulos a serem indexados no Science Citation Index (SCI)

GARFIELD, Eugene; SHER, I. H. New factors in the evaluation of scientific literature through citation indexing. American Documentation, New York, v.14, n.3, p. 195-201, July 1963.

Definição da Fórmula do FI

Normalização das citações pelo número de artigos publicados no periódico

Periódicos de revisão Tipos de documentos citados

Em 1965, Derek de Solla Price verificou que 12 das 15 referências correspondiam a artigos de periódicos

Idade das referências citadas 21 a 25% das referências são a trabalhos

publicados nos últimos três anos ou menos

Motivos do sucesso do FI como critério de avaliação da produção científica Dificuldades relacionadas com o

levantamento de dados de citações a trabalhos individuais

Facilidade de compreensão “Robustez” (pequena variação de um

ano para outro) Rápida disponibilidade

GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.

Todavia...

a comparação de fatores de impacto de periódicos de áreas de diferentes ou, até mesmo, de sub-áreas diversas de uma mesma área é impraticável

Comparação de valores absolutos de FI de periódicos de diferentes áreas

Variação dos Valores Médios de FI por Áreas do Conhecimento

AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.

http://arxiv.org/PS_cache/physics/pdf/0508/0508025v5.pdf

FI Médio das Áreas dos Periódicos Citados na CSP

Diferenças nos valores de FI das(sub-)áreas: principais fatores

Pelo menos dois fatores contribuem para as diferenças de FI Densidade dos artigos: número médio de

referências citadas por artigo Idade das citações/Ritmo de obsolescência:

número médio de referências recentes citadas por artigo, Índice de Citação Imediata, Meia-vida das citações

Densidade e idade das citações: exemplo

Oncologia Densidade dos artigos

Idade das citações

Matemática Densidade dos artigos

Idade das citações

Densidade

Correlação entre o número médio de referências e de citações feitas aos artigos, por área

Referências por artigos/citações recebidas em

médiaÁreas do Conhecimento

Pouca densidade/entre 5 e 6

Engenharia, Tecnologia e Matemática

Média densidade/entre 8 e 10

Psicologia e Biologia

Alta densidade/entre 12 e 15

Astronomia, Geologia, Física, Química e Medicina Clínica

Altíssima densidade/18 e 20

Pesquisa Biomédica

NARIN, F. Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientific activity. Cherry Hill: Computer Horizons, 1976.

Dados possivelmente desatualizados, mas o que vale é a diferença observada nos padrões de

citação

Idade das citações/Ritmo de obsolescência

Ritmo de obsolescência

É a diminuição da utilização da informação no decorrer do tempo.

Medidas criadas pelo ISI Índice de Citação Imediata (ICI) Meia-vida das Citações (MV)

Índice de Citação Imediata (ICI)

Medida da velocidade com que os novos conhecimentos são incorporados à literatura

Quanto maior o ICI maior o ritmo de obsolescência da literatura

Fórmula:

A proximidade dos valores do FI com o ICI

Os valores de FI e do ICI são freqüentemente muito próximos.

Isto ocorre porque não só o ICI, mas também o FI, coloca em destaque os títulos que publicam pesquisas correntes, de fronteira.

GARFIELD, Eugene. Use of Journal Citation Reports and Journal Performance Indicators in measuring short and long term journal impact. Croatian Medical Journal, Lengerich, v.41, n.4, p.368-374, 2000. Disponível em: <http://www.vms.hr/cmj>. Acesso em: 11/07/2001.

Proporção de Artigos Indexados pelo ISI e não Citados nos Primeiros Cincos Anos após sua Publicação, por Área

HAMILTON, David. Research papers: who’s uncited now. Science, Washington, v. 251, n. 25, p. 25, Jan. 1991.

A Meia Vida das Citações (MV)

A MV é definida como o tempo (em anos) para que 50% das citações recebidas por um periódico apareçam na literatura

Quanto maior a MV menor o ritmo de obsolescência da literatura

No JCR são calculados dois indicadores para medir a MV, de modo a medir a idade das citações: Concedidas; e, Recebidas.

MV: a fórmula

Um jeito mais simples de explicar a MV

A explicação: O " ANAIS DA ACADEMIA BRASILEIRA DE CIENCIAS " foi citado 756 vezes em 2007. Metade deste número é: 378. Precisa-se saber o tempo transcorrido para que sejam alcançadas estas 378 citações,

repassando os anos em sentido decrescente. Somando-se o número de citações para os artigos publicados de 2007 a 2000 tem-se

382 citações (50,53%), ou seja, 8 anos. Contudo, precisa-se calcular o tempo para que os exatos 50% das citações atingidas.

Assim, se no período de 2007 a 2001 (7 anos) tem-se 328 citações, precisa-se de mais 50 citações para que seja completadas as 378.

Como estas 50 citações correspondem a 92,6% das 54 citações recebidas em 2007 para os artigos publicados em 2000, tem-se que a meia-vida dos “Anais da ABC" é 7,9 anos.

O FI de 5 anos para áreas que obsolescem mais lentamente

FI de 2 ou de 5 anos? A resposta seria o valor da MV?

Ranking de Impacto Medido com Dados de Citação Coletados em Diversos Períodos

55

13 18 14 29

131

23

155

221

275

3412 9 18 23

60

19

76 87 97

57

17 626

67 6898

7187 93

0

50

100

150

200

250

300

JOU

RNA

L O

F IN

FECT

IOU

S D

ISEA

SES

AN

NA

LS O

F IN

TERN

AL

MED

ICIN

E

ARC

HIV

ES O

F G

ENER

AL

PSYC

HIA

TRY

CIRC

ULA

TIO

N

JOU

RNA

L O

F VI

ROLO

GY

AM

ERIC

AN

JO

URN

AL

OF

EPID

EMIO

LOG

Y

JOU

RNA

L O

F TH

E N

ATI

ON

AL

CAN

CER

INST

ITU

TE

INTE

RNA

TIO

NA

L JO

URN

AL

OF

CAN

CER

AM

ERIC

AN

JO

URN

AL

OF

CLIN

ICA

L N

UTR

ITIO

N

BRIT

ISH

JO

URN

AL

OF

PSYC

HIA

TRY

FI- 1991 FI 7anos FI 15 anos

GARFIELD, Eugene. Long-term vs. short-term impact: Does it matter?. The Scientist, v. 12, n. 3, p. 10-12, Feb. 1998.


A Física no Brasil

Um exemplo de uso desastroso do FI para avaliação da Produção Científica Diferenças entre sub-áreas

específicas Evolução temporal dos valores

Distribuição de Valores de FI em Diferentes Sub-áreas da Física

STREHL, Letícia. Relação entre algumas características de periódicos de física e seus fatores de impacto. Orientação Ida R.C. Stumpf. 2003. Dissertação (Mestrado em Comunicação e Informação)- Programa de Pós-graduação em Comunicação e Informação da Universidade Federal do Rio Grande do Sul, Rio Grande do Sul, 2003.


Variação do FI de Três Periódicos com FI Próximo de 1 no anos de 1993 a 2000

0

0,2

0,4

0,6

0,8

1

1,2

1,4

1,6

1993 1994 1995 1996 1997 1998 1999 2000

Val

ores

de

FI

J. MAGNETISM AND MAGNETIC MATERIALS

INTERNATIONAL J. MODERN PHYSICS B

NUCLEAR INSTRUMENTS & METHODS IN PHYSICS RESEARCH A



Percentual de Periódicos que de um Ano para o Outro Mudaram de Categoria de FI da CAPES



Uma alternativa para uso do FI de modo relativo às sub-áreas

0,000

1,000

2,000

3,000

4,000

5,000

0,000 0,200 0,400 0,600 0,800 1,000 1,200 1,400 1,600 1,800

Percentil 50

Pe

rce

nti

l 75

F. Aplicada Óptica

F. Atômica, Molecular e Química F. Matéria Condensada

F. Fluídos e Plasmas F. Matemática

Astronomia e Astrofísica F. Nuclear

F. Partículas e Campos

> 0,947 = Qualis A

> 1,659 = Qualis A

... a Conclusão

Complexa rede de fatores associada à

forma como FI é calculado pelo ISI.

Influência: Tamanho e ritmo de obsolescência na

comparação geral

Ritmo de obsolescência e densidade na

comparação por sub-áreas

O desafio

A avaliação capaz de considerar as

diferenças existentes entre as várias

(sub-)áreas

Desenvolvimento de indicadores que

valorizem as publicações de qualidade

que tratam de problemas regionais e que

não são publicadas em periódicos

internacionais

Fim

Education

Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores