Embed Size (px)
Citation preview
Estrategias para el aumento de la visibilidad de la actividad científica
Orlando Gregorio-Chaviano
Taller
• Evaluar tendencia a partir de las necesidades.- Revistas de mayor visibilidad- Autores e instituciones de mayor importancia. • Obtención de indicadores de impacto de
revistas- Indicadores desde JCR y SJR• Evaluación de aspectos de gestión- Alcance, tiempos de gestión • Construcción de la identidad digital para la
visibilidad de los autores
o Herramienta de evaluación y disciplina instrumental…
o Su importancia radica en los indicadores que aporta y que posibilitan el análisis cuantitativo y cualitativo para conocer regularidades.
Bibliometría
1. Aplicación de las matemáticas y los métodos estadísticos al objeto de estudio de la Bibliotecología.
2. Comprende la aplicación de análisis estadísticos para estudiar las características del uso y creación de los documentos, el estudio cuantitativo de la producción de documentos, la aplicación de métodos matemáticos al análisis del uso de los libros y otros soportes, dentro y entre los sistemas de bibliotecas.
3. Obtención de indicadores para la evaluación
Bibliometría: el origen
Manifiesto de Leiden (2015)
1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos.
2. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador.
3. La excelencia en investigación de relevancia local debe ser protegida.
4. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta.
5. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación.
Declaración de San Francisco (2012)
El uso del Factor de impacto en la evaluación de revistas científicas: - El indicador favorece las áreas que tienen citas de vida media corta (ciencias de la vida y las ciencias exactas) y desfavorece otras áreas.- Los artículos de revisión reciben más citas que los artículos originales y algunos editores suelen preferir este tipo en sus revistas.-Existe un claro predominio de las revistas en idioma inglés.-El indicador no ofrece información sobre artículos individuales.
Categoría Criterio
A1 Revistas ubicadas en Q1 y Q2 de JCR o SJR
A2 Revistas ubicadas en Q3 y Q4 de JCR o SJR
B Revistas ubicadas en Q1 de H5 según Google académico
Revista incluida en al menos un índice bibliográfico o dos bases
bibliográficas con comité científico de selección del área temática de
la revista.
C Revistas ubicadas en Q2 - Q3 de H5
Revista incluida en al menos un índice bibliográfico o dos bases
bibliográficas con comité científico de selección del área temática de
la revista.
Publindex (2016)
Optimización de los procesos de publicación científica
o Identificación de las revistas o Dinámicas de funcionamiento de las revistas
científicaso Preparación de manuscritoo Superación del proceso de revisión por pares
Proceso de planeación de la investigación
Aumento de la visibilidad y el impacto
Proceso de planeación de la investigación
o Producción científica precedenteSituación en periodos anteriores
o Proyectos actualesNúmero de proyectos, participantes, posibles
artículos, tiempos de trabajo
o Conformación de los grupos de trabajoColaboración en los artículos, responsables,
liderazgo
o Output: cantidad total de publicaciones de un agregado. o Publicaciones en Q1 (cuartil 1): proporción de artículos que un país o
institución logra publicar en las revistas científicas más prestigiosas del mundo en cada disciplina (25% superior). Este es un indicador de calidad que permite predecir que el impacto que alcanzarán los artículos publicados en esta revistas estará por sobre la media del mundo.
o Excelencia: representa la proporción de artículos de un agregado (país, área, categoría) incluido en el conjunto formado por el 10% de los trabajos científicos más citados del mismo agregado. (Q1)
o Liderazgo: Producción científica donde la institución evaluada está en el “correspondence author”.
o Colaboración: cantidad de la producción científica de un agregado que tiene colaboración (nacional, internacional)
Indicadores Scimago
Proceso de publicación (ANTES)
Análisis de tendencias (cambio de enfoque y de estrategia) - Estándar internacional, menos publicaciones, problemas relevantes.
Colaboración - Número de autores, firmas internacionales…
Selección de la revista - Indicadores bibliométricos y de gestión
Proceso de publicación (DURANTE)
Bibliografía -Actualidad, trabajos que ha publicado la revista, citar toda la estructura de citación del tema. Autores y revistas relevantes…..-Equilibrio en las referencias (promedio de las revistas)Tablas y gráficos (equilibrio) Normas de la revistaEnvío a colegas …
Proceso de publicación (DESPUES)
o Hacer una “cover letter”o Organizar el manuscrito…o Exponer el autor de correspondencia o Organizar el trabajo de revisión para dar
respuesta a los revisores…o Incluir ORCID (orcid.org)
Cover letter
CARACTERISTICAS •Dirigirla al editor •Carácter más informar que el manuscrito•No extensa•No es un copy/paste del resumen
QUE DEBE INCLUIR •Título y autores•Premisas básicas del estudio •Novedad e importancia •Qué no se ha enviado a otra revista •Propuesta de revisores o No
REVISTA FACTOR IMPACTO
Q Promedio autores
Promedio referencias
No. palabras
clave
Tiempos de respuesta
Scientometrics 2.084 1 6 41 5 3 meses
Profesional de la información
0.710 3 4 29.3 6 2 meses
Rev. Española Doc. Científica
0.551 3 5 33.1 5 2 meses
Journal of Documentación
1.063 2 6 60.9 4 1 mes
Investigación Bibliotecológica
0.146 4 5 40 8 6 meses
GESTION
La visibilidad de la ciencia desde la publicación en revistas de impacto y la posición en cuartiles.
Las citas y el Índice h como medida de influencia.
Estrategias de visibilidad, impacto y gestión de la investigación y de las revistas
INDICIOS DE CALIDAD – MEDIDAS DE EVALUACIÓN DE LA INVESTIGACIÓN
PRODUCCIÓN CIENTIFICA EN REVISTAS DE IMPACTO
POSICIÓN DE LA REVISTA EN LA CATEGORÍA SEGÚN IMPACTO
o El “prestigio” de un investigador se mide por sus publicaciones científicas.
o La publicación científica como principal insumo en la evaluación.
o La cita es reflejo de la visibilidad y la influencia científica.
Principios básicos
Cuantitativos- Bibliometría- Indicadores de I+D
Cualitativos
- Per Review
- Revistas
Mixtos
- Combinación de los anteriores
La evaluación de la calidad
Niveles de agregación
o Macro
Países, regiones, instituciones….o Meso
Universidades, departamentos, grupos de investigación…
o Micro
Personas, grupos, secciones….
Tener en cuenta
o Hábitos de citación.o Envejecimiento de las disciplinaso Formas de comunicación de la cienciao Indicadores basados en las citaso Calidad de la investigación desde las citas.o Ventanas de citación y formas de recuento
Producción y Citación
Hábitos de citación
Cada disciplina tiene sus propios hábitos de citación y obsolescencia
HISTORIA
2011
2003
BIOLOGIA CELULAR
Tipologías documentales
Comunicación
Scopus WoS
243 revistas – 20,298 citas 83 citas x revista
79 revistas – 49,514 citas 626 citas x revista
Tendencias
Años 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
Ncit/Ndoc 15,2 13,3 10,95 9,39 7,97 6,2 4,53 3,04 1,59 0,49 0,09
La publicación como medida de calidad
Qué es una revista de impacto?
Aquellas indexadas en ISI WoS y Scopus……que generan visibilidad e impacto….
Y las que no están? ………….
Porqué publicar en revistas de impacto?
o Mayor visibilidad (autores e instituciones)
o Atracción de recursos económicos (institucion)
o Avances en la carrera científica (autores)
Web of Science (WoS) Servicio de Thomson (antiguamente ISI), contiene aproximadamente 1,5
millón de registros y más de 23 millones de referencias citadas por año de más de 230 disciplinas de la ciencia, las ciencias sociales, las artes y las
humanidades. 11 mil revistas científicas.
Incluye información bibliográfica completa para todos los archivos, incluyendo referencias citadas. Se actualiza semanalmente y brinda acceso a las ediciones del Science Citation Index, Social Science Citation Index y Arts
& Humanities Citation Index y el Journal Citation Report (JCR).
Web of Science (WoS)
Scopus (Elsevier)
o Base de datos multidisciplinaria y de citas de revistas científicas …..
o El número de revistas cubiertas por SCOPUS es mayor que el de la WoS
o Al igual que ISI WoS tiene funcionalidades de uso bibliométrico
Google Scholar
Proporcionado por Google permite realizar búsquedas en publicaciones académicas:
revistas, tesis, libros, resúmenes e informes técnicos de áreas de investigación
Acceso a Google Scholar Metrics para evaluar revistas.
Publish or Perish (PoP)
Leyes
La Bibliometría se fundamenta en un conjunto de “leyes empíricas”, las cuales se han establecido gracias a estudios cuantitativos en los que interviene el recuento de nº de artículos, nº de revistas, nº de autores, etcétera.
Fundamentación
Algunas leyes
o Ley de Bradford o concentración-dispersión de la literatura.
o Ley de Lotka o Ley de crecimiento exponencial (distribución de autores).
o Ley de Price o crecimiento exponencial. o Ley de obsolescencia (Índice de Price)
Ley de Bradford
o Origen marcado por su importancia estratégica en el desarrollo de colecciones.
o En la actualidad posibilita conocer los núcleos de especialización temática y de productividad en las áreas del conocimiento, es decir, cuáles son las revistas más productivas por área.
o De esta verificación llega a la conclusión de que “en una determinada materia las publicaciones periódicas pueden ser clasificadas en tres grupos, de acuerdo con los criterios siguientes:
Aquellas altamente productivas; las medianamente productivas y las escasamente productivas.
Formulación teórica
...tres zonas con la misma cantidad aproximada de artículos, pero
diferente cantidad de publicaciones: la zona núcleo con pocas revistas y la
zona III o alejada del núcleo con muchas revistas.....
Formulación teórica
Ejemplo
REVISTAS POR ZONA
ARTICULOS POR ZONA
Núcleo 3 101
Zona 2 7 130
Zona 3 30 84
Importancia
• Un núcleo reducido de revistas concentra la mayor cantidad de artículos sobre un tema.
• La concentración de la productividad es sinónimo de especialización.
Ley 80/20
Núcleo y dispersión
Concentración
Dispersión
Autores élite y revistas especializadas
o Postulado de Lotka “…un menor número de autores publica el mayor número de artículos siendo el grupo más representativo y productivo en el área del conocimiento estudiada.”
o Distribución inversa
Ley de Lotka
o La literatura científica pierde actualidad cada vez más rápido, mientras que el número de publicaciones (Ndoc) se multiplica por dos cada 10-15 años, el número de citas (Ncit) que reciben tales publicaciones se divide por dos cada diez años aproximadamente.
o La vida media de la literatura de las diversas ramas científicas es variable; por ejemplo en Física, es de tres a cinco años, en Química, de siete a ocho, en Matemáticas de diez años y en algunas ciencias sociales más de diez años.
Ley de Price
o Relacionado con el consumo de información. o Porcentaje de referencias con una
antigüedad menor a 5 años (Price, 1965). Las revistas que publican artículos referidos a campos muy dinámicos suelen tener una vida media baja y un índice de Price alto.
Índice de Price
Análisis bibliométrico de la literatura científica publicada en "Ciencia. Revista hispano-americana de ciencias puras y aplicadas" (1940-1974)
Índice de Price para una revista
Indicadores ……
o Representan una medición agregada y compleja que permite describir o evaluar un fenómeno, su naturaleza, estado y evolución.
o Miden las acciones relacionadas con la generación, difusión, transmisión y aplicación de conocimientos científicos y tecnológicos.
o Constituyen una de las herramientas más utilizadas para la medición del producto de la investigación científica.
Martínez E, Albornoz M. Indicadores de Ciencia y Tecnología: estado del arte y perspectivas. Caracas: Nueva Sociedad-UNESCO. 1998.
Macías Chapula CA. Papel de la informetría y de la cienciometría y su perspectiva nacional e internacional. Acimed. 2001;9
Indicadores
Importancia de indicadores
Se emplean como herramienta de apoyo a la toma de decisiones en la gran cantidad de escenarios de la política científica:
oRankingsoEvaluaciones institucionales (grupos de investigación)oAgencias nacionales de evaluación
Herramienta de diagnóstico
Dirección de la investigación:- Discusión sobre las posibles estrategias de publicación y dirección de la investigación
Complemento del Peer Review:- Juicios de calidad sobre la investigación
Conocimiento de los sistemas de investigación:- Conocer cuestiones críticas para el direccionamiento de la investigación
Indicadores
o Los que miden la cantidad de las publicaciones científicas (indicadores de publicación)
o Los que miden la calidad y el impacto desde las relaciones entre las publicaciones científicas (indicadores de citación)
PRODUCCION IMPACTO
COLABORACION ALTMETRICOS
Indicadores
Producción oProducción absoluta (Ndoc total y por años)oNo. de documentos citables (Totales y por años)oTasa de variación interanual (TV)oÍndice de actividad (IA)oÍndice de esfuerzo temático (IET)
Indicadores
LimitacionesIndicadores de producción
o Miran o evalúan solo la cantidad obviando la calidad.
o Potencian el síndrome Publicar o Perecer (PoP) al dividir investigaciones en varias publicaciones
o No siempre la productividad es sinónimo de relevancia el progreso científico.
Citación
oNúmero de citas y citas por documentoo Citas en tipologías citables y niveles de agregación o Factor de impacto (impact factor)o Factor de impacto normalizado (FIN)o SJR (Scopus)o Distribución de revistas por cuartiles (Q)o Cantidad de publicaciones altamente citadas (top)o Indice h y sucesivos
LimitacionesIndicadores de citación
o Los científicos y las revistas científicas (editores) pueden hacer “ingeniería de impacto”.
o La cita no debe verse 100% como reflejo de la calidad de la investigación pues viene unida a diversos factores.
Colaboración científica
o Documentos en colaboracióno Indice de coautoría (autores por documento)
o Colaboración nacional, internacional…..o Citas con colaboracióno % de documentos citadoso Liderazgo científico
Colaboración- Número de documentos en colaboración, tasa de colaboración (%)-Tipología y patrones de colaboración
La colaboración con científicos muy productivos y visibles aumenta la citación
Altmétricos- Se obtienen de las redes sociales (especialmente visualizaciones y descargas)
Indicadores (otros)
Tasas de colaboración (número y % de doc en colaboración)
Índice de coautoría general (aut/art)
Índice de coautoría institucional (autores inst / total autores)
Número de Instituciones firmantes (absoluto)
Patrones de colaboración (interna, nacional, internacionales) (absoluta y en%)
Indicadores de colaboración
Sin colaboración (WithoutC): Documentos con afiliación única. Solo participa UNA institución.
Colaboración nacional: DOS instituciones distintas de un mismo país.
Colaboración internacional: Documentos con afiliaciones de más de un país. Si se analizan documentos de COL y hay un autor de USA, ya es internacional.
Tipos de colaboración
Causas aumento colaboración
La alta especialización de la ciencia actual - creación de equipos de investigación cada más vez más amplios.
Multidisciplinariedad de los programas de investigación - provocan la necesidad de contar con científicos de diferentes áreas.
El coste de determinados proyectos donde se hace necesario compartir los recursos disponibles.
El desarrollo de internet que ha agilizado y facilitado el intercambio fluido de ideas.
Los tiempos de dedicación a la investigación.
LimitacionesIndicadores de colaboración
o Tendencias desmesuradas en las colaboración
o Se afirma que la colaboración genera citas, pero depende no se la colaboración en cuanto a números sino en cuanto a con quién se colabora.
Mide el prestigio científico de fuentes de investigación: valor de citas ponderadas por documento. Una publicación transmite su propio “prestigio” o estatus a otra por el hecho de citarla. En la práctica, esto significa que una cita de una fuente con un SJR relativamente alto tiene un mayor valor que una cita de una fuente con un SJR más bajo. Se calcula con una ventana de tiempo de 3 años.
Scimago Journal Rank - Scopus
Factor de impacto - WoS
Mide el promedio de citas que reciben los artículos de una revista en una ventana de tiempo de dos (2) años.
Desde el punto de vista matemático es más fácil de entender que el SJR.
Sesgo hacia las ciencias sociales y a que no se conoce la influencia de artículos individuales en las revistas.
Factor de impacto - Ejemplo
Citas recibidas en 2013 por los artículos publicados en 2011 y 2012
o Citas recibidas 2013 por los artículos publicados en 2011 = 85
o Citas recibidas 2013 por los artículos publicados en 2012 = 98
Total Citas = 183
Número de artículos publicados en 2011 y 2012
o Número de artículos publicados en 2011 = 178
o Número de artículos publicados en 2012 = 185
Total Artículos = 363
IMPACT FACTOR = Citas (183) / Artículos (363) = 0,50
o Se toman cada uno de los trabajos de un autor en un período de tiempo y se listan en forma descendente en función del número de citas recibidas. Se construyen dos (2) listas; una ascendente (ranking) y una descendente (citas).
Mayor número de orden donde la cantidad de citas sea mayor o igual (no menor) al número de orden. Un autor o revista
tendrá un índice h si h trabajos han recibido h citas.
Posibilita conocer cuáles son aquellos artículos que aportan la mayor cantidad de citas.
Índice h
RANGO CITAS
1 6
2 5
3 4
4 4
5 2
6 1
7 1
8 1
9 0
10 0
RANGO A1 A2
1 21 133
2 17 15
3 15 9
4 15 4
5 15 4
6 13 3
7 11 3
8 10 3
9 9 2
10 8 1
11 7 1
12 5 1
13 5 1
14 4 1
15 4 1
16 4 1
40 189 189
Autor 1 (A1)
o Índice h: 9
AUTOR CON 9 TRABAJOS CON AL
MENOS 9 CITAS
Autor 2 (A2)
o Índice h: 4
o Valora un esfuerzo científico prolongado a lo largo de la vida académica e investigativa.
o El aumento del número de artículos publicados no tiene efecto inmediato sobre el índice h.
o Un artículo muy citado no influye en el índice h.
o Los artículos pocos citados tampoco influyen en el valor del índice.
Características
Índice h sucesivos
* Se calculan siguiendo la misma distribución o aplicación metodológica que el índice h. (llamado acá h1. Se pueden calcular para diferentes agregados.
1.Para un grupo de investigaciónSe ordenan todos los miembros del grupo en orden decreciente por su índice h individual (h1). Donde cruzan los umbrales se obtiene el índice h del grupo de investigación (h2)
2. Para una instituciónSe ordenan todos los grupos de investigación de la institución en orden decreciente por su índice h (h2). Donde cruzan los umbrales se obtiene el índice h de la institución (h3)
Indicadores de entorno en el índice
h‐core: Conjunto de artículos que tienen un número de citas igual o superioral número h del índice.Índice h5. El índice h limitado a las citas recibidas por los artículos en los últimos cinco años naturales completos. Índice i10. Número de artículos que han recibido al menos diez citas cada uno de ellos.Índice m. Corrige que los investigadores noveles se vean desfavorecidos en el cálculo del índice. Se divide el valor h entre el número de años de carrera como investigador o de la primera publicación en una revista científica. Un índice m de 1 es señal de éxito, un índice m 2 es ser investigador extraordinario y alcanzar el 3 es reflejo de una actividad excepcional.
Listado de revistas ordenadas de mayor a menor factor de impacto (o SJR) se divide en cuatro partes iguales, cada una de las partes sería un cuartil. Las revistas con el IMPACTO más alto están en el primer cuartil.
Distribución por cuartiles
Cuartiles
Revistas más citadas Q1
Q2
Q3
Revistas menos citadas Q4
+ Grado de dificultad
- Grado de dificultad
Enfoques estratégicos para la evaluación
o Selección de revistas para publicar.o Análisis de tendencias ( artículos citados, revistas más
productivas, instituciones …..o Cómo evaluar el output científico de la institución o área,
autoreso Cómo ascender en el cuartil.o Cómo acceder a corriente principal.
Análisis de tendencias
Resultados ordenados por citas
1
2
3
Resultados pertinentes (fuente y relacionados)
Artículos de interés
Análisis de una revista
Visibilidad e impacto de la revista
Número de documentos que concentran las citas
H índex y artículos más citados
Evaluación desde Journal Citation Report (Incites)
Comparar revistas
Tener en cuenta Cuartil o tendencia, seleccionar las
revistas, el año, y la métrica
Evaluación de áreas del conocimiento
Revistas por ranking
Categorías por ranking
Scopus
% de no citados Q1 vs Q4
INDICADORES BIBLIOMÉTRICOS Y
DE GESTIÓN
ALCANCE
Búsqueda de una revista
En conclusión para medir y evaluar se necesita conocer…….
o Producción total de documentos (Ndoc) – (para diferentes agregados) y tasa de variación (con respecto a etapas anteriores)
o Citas recibidas (Ncit)o Documentos por cuartiles (Q) (alta, mediana y escasa visibilidad)o Porcentaje de documentos citados (N doc cit)o Indice h de los autores (h index)o Producción con liderazgo.o Documentos en colaboración (nacional e internacional)o Citas con colaboración. o Indice de co-autoría. o Tasa de autoacitación. ….. y otros…..
Diseñar ficha de indicadores institucionales
Construcción de la identidad digital
Gestión a partir de diferentes fuentes para darle visibilidad a la investigación individual y de grupos de investigación
Construcción de la identidad digital para la visibilidad
o Identidad personal: ORCID, ResearcherID o Servicios de alojamiento: Repositorios, institucionales y
temáticos, SlideShare, Blogs o Motores de búsqueda académicos: Google Scholar
Citations o Redes sociales académicas: Academia.edu, ResearchGate o Redes sociales profesionales: LinkedIn o Redes sociales generales: Twitter, Facebook
ORCID
SlideShare
ContribucionesInteraccionesReputación
COMPETIR
Visibilidad e impacto
Indicadores para todo el perfil Indicadores
históricos
Indicadores para un documento
Academia.edu
Métricas
Aplicaciones 2.0 en la difusión de resultados
Depósito Canal central Difusión
Ejemplos
De nada sirven todas las herramientas sino tienes
algo que decir……
Conocer el estado actual de la actividad científica institucional posibilita el diseño acertado de políticas científicas futuras, aumentar el output científico, la visibilidad y el impacto …
Deben estar involucrados los investigadores, los grupos de
investigación, editores…
