ÍNDICES DE CITAS, FACTOR DE IMPACTO E INDICIOS DE CALIDAD EN CIENCIAS SOCIALES Y HUMANIDADES

Francisco José Sáenz de Valluerca López

Biblioteca Francisco de Vitoria

vallu@usal.es

http://campus.usal.es/vito

InVito: http://diarium.usal.es/vito/

: @bivito

INDICIOS

DE CALIDAD

CRITERIOS ANECA: PROFESOR CONTRATADO Y AYUDANTE DOCTOR (Ciencias Sociales y jurídicas)

5%

9%

4%

12%

9%

9%

5%

5%

Libros y capítulos de libro 12%

Artículos científicos

30%

CRITERIOS ANECA: TITULAR DE UNIVERSIDAD (Ciencias Sociales y Jurídicas)

4%

2%4%

26%

8%

3%

3%

5%

5%

40% Publicaciones científicas

CRITERIOS ANECA: CATEDRÁTICO DE UNIVERSIDAD (Ciencias sociales y jurídicas)

6%3%3%

22%

7%

3%

3%

10%

43% Publicaciones

científicas

ANECA:

• Programa PEP: Principios y orientaciones para la aplicacion de los criterios de evaluación (2007)

• Programa Academia: Principios y orientaciones para la aplicación de los criterios de evaluación (2008)

•CNEAI:

• Resolución de 19 de noviembre de 2012, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación. (2012)

ANEP: • Criterios de evaluación de la I+D en Ciencias Sociales (2007) en Humanidades (2007)

ACSUCYL:• Orientaciones sobre la evaluación previa del profesorado contratado y del profesorado de las universidades privadas en

posesion del título de doctor. (2012)

CRITERIOS DE EVALUACIÓN

• PEP: • Artículos: Preferentemente JCR, otras bases de datos SCI, SSCI, AHCI, Latindex, DICE y presencia en bases de datos.• Libros, etc.: ISBN, prestigio editorial, reseñas, traducciones.

• ACADEMIA:• Artículos: JCR o equivalentes, otras bases de datos; DICE. Para CC.SS: Latindex, DICE. Para Ciencias Jurídicas: DICE. Para Artes y Humanidades: presencia en bases de datos• Libros, etc.: ISBN, prestigio internacional y nacional,

• CNEAI:• Artículos: JCR, SCOPUS, ERIH, IN-RECS, DICE, FECYT, Bases de datos, Criterios formales Apéndice I• Libros, etc.: Citas recibidas, prestigio editorial, reseñas, traducciones

• ANEP: • Artículos: para CC.SS: ISI (JCR) o similares. Para Humanidades: criterios formales• Libros: Calidad editorial, citas recibidas

• ACSUCYL: • Artículos: JCR, ERIH, CARHUS+, IN-RECS, Latindex, DICE, otras bases de datos

JCR

SCOPUS

DICE

LATINDEX

RESH

IN-RECS

CARHUS...

Criterios (objetivos) para la evaluación de revistas:

• BIBLIOMÉTRICOS (basados en análisis de citas)

• FORMALES (basados en características externas de las revistas)

• OPINIÓN DE EXPERTOS

• MIXTOS (combina criterios anteriores)

ANÁLISIS DE CITAS

• Web of Knowledge• Scopus, Google Scholar, CiteSeerx, GetCITED, SciELO• In-Recs, In-Rech, In-Recj, DICE

INDICADORES BIBLIOMÉTRICOS• Nº DE CITAS• FACTOR DE IMPACTO• FACTOR DE IMPACTO A CINCO AÑOS• ÍNDICE DE INMEDIATEZ• VIDA MEDIA CITADA• VIDA MEDIA CITANTE• EIGEN FACTOR• INFLUENCIA DEL ARTÍCULO• ÍNDICE H • ÍNDICE G• SCIMAGO JOURNAL RANK (SJR)• SNIP (Source Normalized Impact per Paper)

FACTOR DE IMPACTO

• Es la media de veces que los artículos de una revista publicados en los dos años anteriores, han sido citados en el año seleccionado.

• Se calcula dividiendo el número de citas recibidas en el año seleccionado a artículos de los dos años precedentes, por el total de artículos citables publicados en los dos años precedentes

FACTOR DE IMPACTO

Nº de citas recibidas (año) por artículos publicados (dos años anteriores)

FI (año) =Nº de artículos citables publicados (dos años anteriores)

OTROS INDICADORES JCR

• Factor de impacto a cinco años• Factor de inmediatez• Vida media citada• Vida media citante• Cuartil• Eigenfactor• Influencia del artículo

INDICADORESWeb of Science

• Nº de citas por autor/artículo

• Índice H

ÍNDICE H (de Hirsch)

• Un autor alcanza un índice H = X cuando ha publicado al menos X artículos que han obtenido al menos X citas cada uno

• Se obtiene ordenando los artículos por orden descendente de nº de citas recibidas. El índice H será el último número de orden que sea igual o menor que el número de citas

H = 7

ÍNDICE G (de Egghe)

Dado un conjunto de artículos ordenados por orden decreciente del número de citas recibidas, el índice g es el número más grande tal que los primeros g artículos juntos han recibido al menos g2 citas

SCIMAGO JOURNAL RANK

SCIMAGO JOURNAL RANK

• SJR es una medida del impacto, influencia o prestigio de una revista. Expresa la media de citas ponderadas recibidas en el año seleccionado por los artículos publicados en la revista durante los tres años anteriores.

SCOPUS

• Nº de citas por artículo

• SNIP

• Índice H

Sesgos:

• Sesgo a favor de la ciencia básica, en general y hacia disciplinas como la Física, Química, Matemáticas, Biología, Farmacología y Ciencias Médicas, en particular

• Sesgo a favor de la ciencia producida en países anglosajones. España solo tiene en torno a un 1% de las revistas de WOK

• Sesgo a favor de las publicaciones en lengua inglesa (el 95%)

• La categoría “LAW” de JCR contiene 2 revistas españolas (de 133). Ambas solamente desde 2009, y ambas en el 4º cuartil.

• La categoría “LAW” de SJR contiene 3 revistas españolas (de 274)

Sesgos

• Los editores de las revistas pueden manipular e inflar artificialmente el FI

• Sesgo a favor de los artículos de revisión frente a los de investigación

• Sesgo a favor de revistas con pocos artículos.• Algunos items (cartas al director, comentarios…) cuentan

en el numerador (citas), pero no en el denominador (artículos). Inflando el FI

• La dilación en la publicación puede incrementar el FI• Thomson y Elsevier son juez y parte.• No se puede replicar el FI utilizando los datos disponibles

públicamente.

… además

• La tasa de citación no es igual en todas las disciplinas y subdisciplinas

• La ventana de 2 años penaliza las contribuciones duraderas• La distribución de citas/artículos no es normal, se debería usar la

moda o la mediana, pero no la media• La relación entre la calidad de los artículos y el FI se está

diluyendo desde la publicación de revistas electrónicas.• El factor de impacto se refiere a la revista, no al artículo ni al

investigador• Hay otros indicadores que evalúan directamente el artículo o al

investigador

…

CRITERIOS DE SELECCIÓN DE REVISTAS THOMSON REUTERS

• Puntualidad• Seguimiento de las convenciones editoriales internacionales (títulos de

revista informativos, títulos de artículos completamente descriptivos y resúmenes de autor, información bibliográfica completa de todas las referencias citadas e información completa de la dirección de cada autor.

• Texto en inglés• Revisión por pares• Contenido• Diversidad internacional de autores, editores y comité editorial• Análisis de citas

[Revistas regionales]

Garfield, E., "How ISI Selects Journals for Coverage: Quantitative and Qualitative Considerations," Current Contents, May 28, 1990.

… además

• Prácticamente la totalidad de los investigadores españoles de ciencias jurídicas publican en revistas españolas

• Entre el 70% y el 90% de las citas que reciben revistas españolas en WOK proceden de revistas españolas

• Los trabajos originados en el seno de las Ciencias Jurídicas atraen fundamentalmente la atención de los entornos donde los descubrimientos se producen. Su destino es el consumo de las comunidades científicas nacionales ya que es una investigación muy influenciada por las peculiaridades culturales, donde prima lo contextual, predominan los problemas de corte local y se adopta una orientación aplicada.

Conclusión

• Ni WOK ni SCOPUS evalúan adecuadamente la producción científica española en Ciencias Sociales y Humanidades

Son índices bibliométricos elaborados a partir del recuento de citas con el fin de determinar la relevancia, influencia e impacto científico de las revistas españolas en Derecho (IN-RECJ), Ciencias Sociales (IN-RECS) así como de sus autores, e instituciones.

Los elabora el Grupo de investigación EC3 Evaluación de la Ciencia y de la Comunidad Científica (Universidad de Granada)

• Se elabora con las referencias bibliográficas de 64 revistas de 11 especialidades del derecho

• Calcula el impacto de 340 revistas

• Desde 2001

• Ofrece gran cantidad de indicadores bibliométricos para cada revista, entre ellos el índice de impacto.

• Se ofrece un listado por especialidades de los trabajos más citados en la base de datos, con indicación de los trabajos citadores y citados.

• De los autores se ofrece un listado por especialidades de los autores más citados en la base de datos, con indicación de los trabajos citadores y citados.

• De las instituciones se ofrece un listado por especialidades de las instituciones más citadas en la base de datos, con indicación de los trabajos citadores y citados.

• Se elabora con las referencias bibliográficas de 154 revistas de las principales disciplinas de ciencias sociales

• Calcula el impacto de 761 revistas

• Desde 1994

• Ofrece gran cantidad de indicadores bibliométricos para cada revista, entre ellos el índice de impacto.

• Se ofrece un listado por especialidades de los trabajos más citados en la base de datos, con indicación de los trabajos citadores y citados.

• De los autores se ofrece un listado por especialidades de los autores más citados en la base de datos, con indicación de los trabajos citadores y citados.

• De las instituciones se ofrece un listado por especialidades de las instituciones más citadas en la base de datos, con indicación de los trabajos citadores y citados.

- Muestra la tasa de citación 2004-2008 para revistas de humanidades elaborado por EPUC

- El total de revistas citantes fue de 417, lo que representa el 20% del universo de revistas españolas de Humanidades, Ciencias Sociales y Jurídicas. De ellas 184 corresponden a humanidades a Humanidades.

GOOGLE SCHOLAR• Google Scholar es un motor de búsqueda que

indexa el texto completo de literatura científica incluyendo la mayoría de las revistas electrónicas revisadas por pares, informes técnicos, preprints, libros, páginas web académicas…

• También extrae las citas y nos proporciona indicadores

GOOGLE SCHOLAR METRICS

• Ofrece una clasificación de las primeras 100 revistas del mundo por idioma de publicación, según el índice h de las revistas en los últimos 5 años.

• En inglés las 20 primeras por disciplinas y subdisciplinas

MIS CITASPermiten a los autores realicen el seguimiento

de las citas de sus artículos.

comprobar quién cita sus publicaciones,

crear un gráfico de las citas a lo largo del tiempo y

calcular varios tipos de estadísticas sobre las citas: índice h

hacer que el perfil sea público para que pueda aparecer en los resultados de Google Académico cuando los usuarios busquen al autor

ALTMETRICS = ALTMETRÍAS

• Los filtros tradicionales para seleccionar literatura relevante están fallando:– La revisión por pares es lenta, convencional y no hay responsabilidad de los revisores– Recuento de citas: es lento, estrecho, no mide el impacto extra-académico, ni tiene en

cuenta las razones para citar– Factor de impacto: no valora el trabajo individual, sus elaboración exacta es un secreto

comercial, es relativamente fácil de trampear• Los resultados de la investigación se diversifican, además de artículos tenemos:

– Datasets, código, diseño experimental– “Nanopublicacion”, donde la unidad citable es un argumento o pasaje más que un

artículo completo– Autoediciones vía blogs y comentarios en los blogs

• Los investigadores están utilizando nuevas formas de comunicación:– Zotero, Mendeley, CiteUlike, Facebook, Twitter, Repositorios, Blogs

• Estas nuevas formas de comunicación dejan un rastro de impacto mucho más rico que el que se tenía hasta ahora. Los elementos de este rastro es lo que llamamos ALTMETRÍAS.

• Las altmetrías son diversas: pueden medir el impacto del nuevo ecosistema académico

• Las altmetrías son rápidas: usando APIs públicas pueden recoger datos en días o semanas. Permiten incluso crear recomendaciones en tiempo real y sistemas de filtrado colaborativos.

• Las altmetrías son el crowdsourcing de la revisión por pares• Las altmetrías muestran el impacto de la propia fuente (no

del vehículo)• Las altmetrías muestran el impacto extra-académico• Las altmetrías son más difíciles de trampear

ALTMETRICS = ALTMETRÍAS

Criterios (objetivos) para la evaluación de revistas:

• BIBLIOMÉTRICOS (basados en análisis de citas)

• FORMALES (basados en características externas de las revistas)

• OPINIÓN DE EXPERTOS

• MIXTOS (combina criterios anteriores)

LATINDEX

LATINDEX

• Latindex es un sistema de información que proporciona datos sobre las revistas académicas que se publican en Iberoamérica y el Caribe. Además, ofrece datos útiles para el análisis y evaluación de las revistas de la región.

• Surge en 1995 en la UNAM (Universidad Nacional autónoma de Mexico) y se convierte en una red de cooperación regional a partir de 1997.

• Su objetivo es difundir, hacer accesible y elevar la calidad de las revistas académicas editadas en la región, a través del trabajo compartido

• Cubre todas las disciplinas divididas en siete grandes grupos: artes y humanidades, ciencias agrícolas, ciencias de la ingeniería, ciencias exactas y naturales, ciencias médicas, ciencias sociales, multidisciplinarias

PRODUCTOS LATINDEX

Actualmente Latindex ofrece tres bases de datos:

Directorio, con datos bibliográficos y de contacto de todas las revistas registradas

Catálogo, que incluye únicamente las revistas que cumplen los criterios de calidad editorial diseñados por Latindex

Enlace a Revistas Electrónicas, que permite el acceso a los textos completos en los sitios en que se encuentran disponibles.

Latindex establece unos criterios de calidad que evalúa en las revistas que incluye en el catálogo.

CRITERIOS LATINDEX

• REVISTAS IMPRESAS (33 criterios)

• Características básicas

• Características de presentación de la revista

• Características de gestión y política editorial

• Características de contenido

• REVISTAS ELECTRÓNICAS (36 criterios)

• Adapta a las revistas electrónicas los criterios de las revistas impresas

EUROPEAN REFERENCE INDEX FOR THE HUMANITIES (ERIH)

-Surge para poner en valor la investigación científica en Humanidades, frente a las bases de datos americanas centradas en ciencias aplicadas. Se centra en la visibilidad y difusión de las revistas.

2007-2008:

- Se valoran 14.000 revistas europeas de humanidades

- Se dividen en 14 áreas temáticas. Para cada una se establece un panel de expertos.

- Se publica la lista ERIH inicial.

ERIH

2008-2011

-Se establece un mecanismo de feedback para que editores, autores, entidades… proporcionaran información sobre las revistas

-En 2011 se publican las listas ERIH revisadas.

ERIH

Criterios básicos de inclusión:

-Política de selección de artículos (peer-review)

-ISSN

-Puntualidad

-Identificación del Comité editorial

-Información bibliográfica completa de las referencias citadas

-Dirección completa de cada autor.

ERIH

CATEGORÍAS ERIH:

NATional (NAT): revistas europeas con importancia académica reconocida entre los investigadores de la disciplina dentro de un grupo determinado (generalmente lingüísticamente); citadas ocasionalmente fuera del país de edición, aunque su público es la comunidad académica local.INTernational (INT): revistas europeas y no europeas con importancia académica internacional reconocida por los investigadores en los respectivas disciplinas, y que son regularmente citadas en todo el mundo. Tiene dos subcategorías según los criterios de influencia y visibilidad:INT1: revistas internacionales con alta visibilidad e influencia entre investigadores en las diversas disciplinas en distintos países; regularmente citados en todo el mundo.INT2: publicaciones internacionales con visibilidad e influencia significativas en las diversas disciplinas en distintos países W: Revistas que inician su publicación hace menos de tres años.

ERIH

DIFUSIÓN Y CALIDAD EDITORIAL DE LAS REVISTAS CIENTÍFICAS

ESPAÑOLAS (DICE)

DICE tiene el objetivo de facilitar el conocimiento y la consulta de algunas de las características editoriales de las revistas españolas de Humanidades y Ciencias Sociales y Jurídicas más estrechamente ligadas a la calidad, ofreciendo una serie de indicadores para cada revista.

ANECA utiliza esta base de datos como referencia de calidad de las publicaciones españolas, en sus procesos de evaluación de profesorado.

La elabora el grupo de investigación “Evaluación de publicaciones científicas en Ciencias Sociales y Humanas” (EPUC) del CSIC.

• INDICADORES DICE:

• Valoración de la difusión internacional (presencia en BBDD)

•Visibilidad alta (>12), media (6-11), baja (<5)

• Internacionalidad de las contribuciones (%)

• Apertura exterior de los autores

• Existencia de evaluadores externos

• Criterios LATINDEX cumplidos

• Categoría ANEP (A+, A, B, C)

• Categoría ERIH

• Categoría CARHUS

…pero DICE cesa su actividad en 2013

REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y HUMANIDADES (RESH)

• RESH (Revistas Españolas de Ciencias Sociales y Humanidades) es un sistema de información que integra indicadores cualitativos y cuantitativos de calidad para las revistas científicas españolas de Ciencias Sociales y Humanidades:

• Indicadores de calidad editorial (CNEAI -19, ANECA -22, LATINDEX)

• Difusión (Presencia en bases de datos)

• Opinión de expertos (encuesta 2009). ICE: Indicador de calidad según expertos

• Impacto: tasa de citación (CC. SS: 3 años; Humanidades: 5 años). 417 revistas fuente.

•RESH ofrece un retrato estático de las revistas españolas de Humanidades y Ciencias Sociales

• Elaborado por EPUC + EC3

CARHUS Plus+

Es un sistema de clasificación de revistas científicas de los ámbitos de CCSS y Humanidades que se publican a nivel local, nacional e internacional. Su finalidad es contribuir a la evaluación de la investigación que se lleva a cabo en el sistema científico y universitario catalán con la máxima objetividad.

Lo desarrolla AGAUR (Agència de Gestió d’Ajuts Universitaris i de Recerca)

CARHUS Plus+

• Clasifica las revistas en cuatro niveles: A, B, C, D.

• REVISTAS A: » Presentes en la WOS» ICDS > 9,5» Revistas de catalanística con buena puntuación

• REVISTAS B, C y D:– ICDS (50%)– FORMATO (25%): (Cumplimiento de la periodicidad, Instrucciones a

los autores, afiliación de los autores, Palabras clave, Resumen en inglés)

– SISTEMA DE REVISIÓN (12,5%)– COMITÉ EDITORIAL (12,5%)

CARHUS Plus+

Es un indicador que mide la difusión de las revistas en las bases de datos científicas:

a) 3 puntos: títulos presentes en 7 bases de datos internacionales de índice y resumen de carácter multidisciplinar sobre CC.SS. y humanidades

b) 3 puntos: títulos presentes en bases de datos de carácter especializado.c) Máximo de a + b = 5 puntos.d) 3,5 puntos: títulos presentes en una de las bases de datos de WOSe) 2,5 puntos: títulos presentes en Latindex y que no están presentes en

ninguna de las bases de datos internacionales.f) pervivencia de la revista para los títulos presentes en el repertorio Ulrich's

periodicals directory, con la condición de que sea una publicación viva y con la fecha de inicio bien definida.

Nota:en el caso del derecho se ha estipulado una excepción porque se considera que todo el ámbito en general tiene un déficit de visibilidad.

El ICDS es elaborado por MIAR.

ICDS (Índice Compuesto de Difusión Secundaria )

Contiene un listado exhaustivo de bases de datos que incluyen la revista

Matriu d’Informació per a l’Avaluació de Revistes

CLASIFICACIÓN INTEGRADA DE REVISTAS CIENTÍFICAS

(CIRC)

CIRC

•Clasificación de las revistas científicas españolas de CC.SS. y Humanidades en función de la calidad, integrando los productos de evaluación existentes y considerados positivamente por las diferentes agencias de evaluación nacionales como CNEAI, ANECA).

•La clasificación consta de cuatro grupos jerárquicos (gA, gB, gC, gD) en función de la visibilidad de las revistas y un quinto grupo de excelencia (gEx).

•EPUC+EC3+ACUTE+LEMI

•Desde junio de 2011 la clasificación CIRC se integra en Dialnet

CIRC

El criterio para la asignación a los grupos jerárquicos depende de las puntuaciones que obtiene la revista en bases de datos como:

•SCI, SSCI, AHCI

•JCR

•SCOPUS

•SJR

•ERIH

•IN-RECJ, IN-RECS, IN-RECH

•DICE

•LATINDEX

LIBROS

• SPI muestra un ranking de editoriales basado en la opinión de expertos españoles en Humanidades y Ciencias Sociales

… Ediciones Universidad de Salamanca solicitará una evaluación del original presentado a través de un doble informe encargado a expertos (más conocido como sistema de evaluación por pares con sistema de doble ciego), que determinará la validez, calidad, interés y conveniencia de su publicación o no. La obra asimismo recibirá una evaluación editorial interna, de carácter técnico. …

LIBROS

Buscar en la página web de la editorial, especialmente en el apartado de “normas para autores”

El servicio de búsqueda de indicadores del Servicio de Bibliotecas

Herramientas USAL para ayudar a encontrar indicadores

ACUCYL •Publicaciones de tipo B: En el campo de Ciencias Sociales y Jurídicas, los artículos publicados en revistas indexadas en el Journal Citacion Reports (JCR) del Social Sciences Citation Index (SSCI) y situadas dentro del tercer y cuarto cuartil de su categoría, y en la base Impacto de las Revistas Españolas de Ciencias Sociales (IN-RECS) dentro del primer cuartil de su categoría...

CNEAI • Campo 7. Ciencias Sociales, Políticas, del Comportamiento y de la Educación. a) Los artículos en revistas de reconocida valía, aceptándose como tales las recogidas en los listados por ámbitos científicos en el «Subject Category Listing» del «Journal Citation Reports» del «Social Science Citation Index» y el «Science Citation Index» (Institute for Scientific Information –ISI–, Philadelphia, PA, USA).b) Podrán considerarse también los artículos publicados en revistas listadas en otras bases de datos nacionales o internacionales (por ejemplo, ERIH, INRECS, LATINDEX, SCOPUS, DICE-CINDOC, etc.), ...

DISPARIDAD DE CRITERIOS

DISPARIDAD DE CRITERIOS

ANECA (Programa Academia : Principios y orientaciones 2.0)• En Ciencias Sociales y Jurídicas se valoran preferentemente las

publicaciones científicas en revistas de prestigio incluidas en el Social Sciences Citation Index y el Science Citation Index. Se podrán valorar las publicaciones indexadas en otras bases de datos en función de su calidad y reconocimiento, en concreto, SCOPUS y, en menor medida, IN-RECS, IN-RECJ.

ANEP (Criterios de evaluación de la I+D en ciencias sociales)• ... Un listado que en algunos ámbitos está tomando cierto peso es el

In-RECS, que “replica” la metodología del ISI, en el universo de las revistas españolas. Nos preocupa la posible utilización de este listado en tareas de evaluación de la investigación, por varios motivos... pensamos que estas clasificaciones no se deben admitir como criterio de calidad en aquellas evaluaciones que conlleven algún resultado institucional, especialmente para evaluar la actividad individual de los investigadores.

INDICADORESDE CALIDAD

“Lo que yo me pregunto es: ¿Estaremos teniendo impacto?”