Tendencias en la evaluación de publicaciones académicas
Isidro F. AguilloLaboratorio de Cibermetría
CINDOC-CSIC
2
Agenda Aspectos básicos de bibliometría y cienciometría
El papel de las bases de datos de citas: Web of Knowledge
Impacto en la evaluación de revistas, investigadores e instituciones Errores de interpretación y malas prácticas
El problema de las ciencias sociales, humanidades (y tecnologías)
Publicación electrónica y Web Recomendaciones para editores
www.webometrics.info
3
Situación actual Los profesores universitarios y los
investigadores españoles están sujetos a evaluación de su actividad científica
La evaluación se realiza mediante evaluación por pares y el uso de técnicas bibliométricas Los indicadores más importantes deberían obtenerse
del análisis de citas
Existe un “monopolio” respecto de la(s) base(s) de datos fuente para el análisis Web of Knowledge (Thomson Scientific)
www.webometrics.info
4
Licencia nacional del WoK FECYT contrata la licencia para todas las universidades y
centros de investigación y universaliza su uso Se generaliza la consulta del WoK y la utilización de sus
datos Factor de impacto de revistas Publicaciones por autor (grupo o institución) Número de citas recibidas Índice h
Los propios interesados obtienen sus datos personales sin conocimiento de las limitaciones y sesgos de dicha base de datos
www.webometrics.info
www.webometrics.info 5
6
Problemática del WoK Cobertura sesgada
Sesgo original Revistas fuente (citantes) en el núcleo
Sesgo geográfico Países desarrollados
Sesgo idiomático Inglés
Sesgo temático Biomedicina Artículos de revisión
Incremento secular Más revistas, más artículos (más citas) Fuerte impacto al añadir revistas locales
www.webometrics.info
7
Cobertura del WoK
www.webometrics.info
WoK
No-WoKFuente(citante)
Citado
75%25%
WoK
No-WoK
Wok>No-Wok Wok>Wok Global 25% 75%Biología Molecular 8% 92%Ciencias Sociales 71% 29%
Datos ISI (Moed, 2005)
8
Publica o perece Incremento número de publicaciones
Aumento del número de autores Publicaciones “salami” Estudios a corto plazo vs largo plazo Revisiones vs investigación original
Migración hacia “revistas internacionales” Revistas de circulación restringida Revistas de temática local
Abandono de otros formatos Libros (humanidades) Actas de congresos (ojo con Scopus!, ciencias de la computación) Informes (tecnologías) Publicaciones electrónicas (??)
www.webometrics.info
9
Evolución de la productividad
www.webometrics.info
1980 2002 %Artículos 478.000 814.000 70%Autores 1.187.000 3.081.000 160% articulos/autor 0,4 0,26 -34%Autores únicos 545.000 1.095.000 101% artículos/autor único 0,88 0,74 -15%
Autores/artículo (+52%)
Autores/autores únicos (+29%)
Artículos/autores únicos (-15%)
Datos ISI (Moed, 2005)
10
Problemática con el análisis Producción científica
Autoría/afiliación no normalizada Infravaloración por fallos de identificación
Autoría fraccionada El impacto y la medida de la coautoría
Análisis de citas Auto-citas
Personales (auto-bombo) Grupo (colegas, discípulos) Continuidad
Factor de impacto esperado vs FI real Número de citas reales recibidas, no FI de la revista
Limitaciones del índice h Válido para carreras dilatadas, sesgos disciplinares
www.webometrics.info
11www.webometrics.info
12
Algunas consecuencias Ciencia en español
En detrimento de la docencia Destrucción de los canales de comunicación en español Preferencia por colaboración con EUA/UE frente a Iberoamérica
Actividad en ciencias sociales y humanidades Infravaloración de la producción Indicadores no disponibles o poco viables
Dificultad para realizar análisis de citas
Problemas para realizar comparaciones bibliométricas con otras disciplinas o combinar datos
Rechazo o incomprensión de científicos sociales y humanistas hacia la evaluación
www.webometrics.info
13
Algunas soluciones Evaluación cuantitativa con revistas no-fuente
Citas a revistas (y otros objetos) no incluidos en WoK In-Recs (CC. Sociales) ec3.ugr.es/in-recs/ Medicina ec3.ugr.es/medicina/ IME (Medicina) ime.uv.es/imecitas/impacto_ime.asp
Evaluación mixta (formal, cualitativa, cuantitativa) Criterios Latindexwww.latindex.unam.mx RESH (CC. Sociales y Humanas) resh.cindoc.csic.es DICE (idem Difusión) dice.cindoc.csic.es
Otras fuentes de datos Scopus Google Scholar
www.webometrics.info
14www.webometrics.info
Libros
Informes
CapítulosLibros
ActasCongresos
Artículos revistas
WoK
15www.webometrics.info
16www.webometrics.info
17www.webometrics.info
ene-06 Artículos WoK Scopus ambos
Embase 4865 53,40% 90,50% 52,20%Geobase 2065 51,80% 89,80% 50,90%BIOSIS 4480 60,00% 68,10% 57,10%PsycInfo 1990 54,30% 64,80% 52,10%Ebsco 7739 56,40% 60,60% 49,80%CSAIPA 371 34,50% 59,00% 34,50%CAB 7443 38,00% 45,90% 36,80%Sociological Abstracts 1777 37,10% 42,70% 31,60%EconLit 1077 28,80% 41,70% 27,30%Agricola 2215 36,40% 40,00% 35,40%Pubmed 16621 27,30% 37,30% 24,30%SocIndex 3703 29,60% 34,60% 25,90%Eric 1264 30,90% 34,30% 27,50%INSPEC 8966 20,80% 27,10% 19,90%MathSciNet 2697 25,10% 26,90% 22,40%LLBA 1555 28,90% 22,80% 18,10%CSALISA 477 15,70% 21,80% 14,70%Georef 13345 9,40% 12,80% 8,70%Philosophers Index 1194 24,50% 12,60% 10,50%ATLA 1549 21,80% 8,80% 7,40%MLA 4923 14,00% 3,20% 2,70%BHA 2244 11,90% 2,00% 1,40%
www.library.uu.nl/geosource/jeroen/scopuspresentatie20060418.ppt
18
Reto digital
www.webometrics.info
Web Pública Web Privada
Bases de datos
Repositorios
Revistas electrónicas
Web Visible
Internet Invisible
19www.webometrics.info
20
Google Scholar (I)
www.webometrics.info
Objetos en dominios universitarios (enero
2007)
21
Google Scholar (II)
www.webometrics.info
Objetos en dominios universitarios (julio 2006)
22
Ficheros ricos
www.webometrics.info
FORMATOS GLOBAL
ACROBAT PDF 608.000 114.849 18,9%MS WORD DOC 119.000 16.898 14,2%MS POWERPOINT PPT 22.900 4.447 19,4%POSTSCRIPT PS 13.600 4.193 30,8%
CONTRIBUCIÓN ACADEMICA (Google, miles)UNIVERSIDADES
Dominios universitarios (Julio 2006)
23
Repositorios
www.webometrics.info
eprints.rclis.org
roar.eprints.org
24
Combinando
www.webometrics.info
25
La nueva edición Electrónica, por supuesto
Acceso abierto, la ventaja de la visibilidad Multiformato Multilingüe (inglés Y otros) Posicionada (en motores de búsqueda)
e indizada (en bases de datos: web invisible)
Hipertextual desde repositorios, depósito único (o no?)
Arquitectura web y Usabilidad Estándares (metadatos y otros) Navegabilidad, incluyendo identificación (electrónica y física), mención de
responsabilidad, tipo de licencia (copyright) Persistencia Sindicación RSS, Blogs, Wikis Estadísticas
www.webometrics.info
26
¿Y las monografías? Versión en papel
Serializar Preferiblemente multidisciplinares ISSN además de ISBN
Tratamiento de revista Criterios Latindex !!!
Versión electrónica Dominios propios Contenidos, no solo texto completo Metadatos, interoperabilidad Interactividad: Foros, opiniones, sugerencias Estadísticas de uso
www.webometrics.info
27www.webometrics.info
28
¿Por qué? La evaluación necesita fuentes (bbdds)
Cobertura amplia (exhaustividad) Criterios de selección (inclusión) rigurosos (calidad= peer review)
Acceso universal (fácil, asequible)
Las fuentes (bibliográficas) deben admitir medidas Análisis (control) documental
Las estadísticas deben generar indicadores Parámetros significativos, con un objetivo Masa crítica
Los indicadores deben ser comparables Asimilación a indicadores bibliométricos de artículos
www.webometrics.info
29
Pero … Las fuentes son escasas
Con un diseño “inadecuado” Con una cobertura limitada Costosas de mantener De difícil (o caro) acceso
Los indicadores de visibilidad miden solo presencia En múltiples bases de datos con coberturas temática, geográfica o idiomática y
criterios de selección no comparables
Los indicadores de uso basados en circulación son inaccesibles o poco fiables Distribución (Amazon Rank) Bibliotecas
Un índice de citas podría ser inviable
www.webometrics.info
30www.webometrics.info
31
… edición electrónica Ventajas
Distribución mundial Google Books, Amazon Search Inside
Seguimiento detallado Visitas, volcados
Interacción con los lectores Costes (!?)
Inconvenientes Inversión tecnológica Competencia en mercado global Financiación de los modelos Open Access Control de la auto-publicación
www.webometrics.info
32www.webometrics.info
33www.webometrics.info
34www.webometrics.info
35
Conclusiones/Recomendaciones La evaluación de la actividad científica no solo se
reforzará sino que guiará la publicación académica Ciencias Sociales y Humanidades se evaluarán con los
mismos (o similares) criterios que las CC. Puras Las monografías deben incorporarse al proceso o serán
ignoradas La serialización y la edición electrónica pueden ser claves
para que sean tenidas en cuenta Las monografías deben incorporarse a las fuentes
utilizadas para el análisis cuantitativo o crear su proprio sistema Los rankings son una opción
www.webometrics.info
36www.webometrics.info