D. GLORIA GMEZ DEL PULGAR RODRGUEZ DE SEGOVIA. con D.N.l.764163 L

A U T O R 1 Z A:

A que su tesis doctoral con el ttulo: Calidad de lasRevistas Espaolas de Derecho Pblico pueda serutilizada para fines de investigacin por parte de laUniversidad Carlos III de Madrid.

Getafe, 11 de junio de 2004

Fdo.: GmezRodrguez de Segovia.

del Pulgar

FACULTAD DE HUMANIDADESCOMUNICACIN Y DOCUMENTACIN

Departamento de Biblioteconoma y Documentacin

/TU SE?(2d-

CALIDAD DE LAS REVISTAS ESPAOLAS DE DERECHO PBLICO

TESIS DOCTORAL

Presentada porGloria Gmez del Pulgar Rodrguez de Segovia

Director: Jos Ramn Prez tvarez-OssorioTutor: Elas Sanz Casado

Getafe, 2003

;-e

/

A mis hos Sergio y Natalia,para que vean que el esfuerzo merece la pena

A mis padres,porque lo aprend de ellos

Y ngel por comprenderme

Escribo. Escribo que escribo.Mentalmente me veo escribir que escribo

y tambin puedo yerme ver que escribo

(El Grafgrafo. Salvador Elizondo)

AGRADECIMIENTOS

El cuento El Grafgrafo es el mejor representante de una corrienteliteraria conocida como novela de la escritura y supuso mi primeracercamiento a la investigacin cientfica. Por eso lo he destacado y porque enlos ltimos meses me he sentido como su protagonista vindome escribir queescriba la tesis, y, como reflejada en un infinito juego de espejos, sin podervislumbrar un final que hoy, parece haber llegado.

Quiero dar las gracias, en primer lugar, a don Jos Ramn Prezlvarez-Ossorio, por su amabilidad al haber aceptado dirigir el trabajo de unacompleta desconocida, y por su dedicacin en estos aos.

Tambin a don Elas Sanz Casado, que, desde que dirigi mi tesina, haconseguido que sea capaz de creer un poco ms en m misma.

Tampoco puedo perder la oportunidad de agradecer su atencin a doaAdelaida Romn Romn, que me ayud a perfilar el tema de la tesis y meresolvi las dudas que, sobre todo al principio del trabajo, me surgieron.

Debo reconocer tambin el trabajo de todos los profesionales de loscentros a los que he acudido a consultar sus fondos, entre ellos, a los delCentro de Estudios Polticos y Constitucionales, donde yo trabajo, y muyespecialmente a doa Pilar Fernndez Huscar, mi compaera, pero sobretodo amiga, que mantiene en perfecto orden y control la coleccin depublicaciones peridicas de nuestra biblioteca.

Tambin quiero agradecer su inters a todos aquellos amigos quealguna vez se interesaron por eso. Y, por su puesto, a mi familia, sobre todo aSergio, Natalia y ngel, por su paciencia y comprensin durante el tiempo quehe dedicado a estos menesteres y a los que debo unas vacaciones a tiempocompleto.

INDICE

1. INTRODUCCIN 11.1. La evaluacin de las revistas cientficas41.2. La evaluacin de las revistas cientficas en Norteamrica81.3. La evaluacin de las revistas cientficas en Europa111.4. La evaluacin de las revistas cientficas en frica y Asia131.5. La evaluacin de las revistas cientficas en Latinoamrica141.6. La evaluacin de las revistas cientficas en Espaa171.7. Clasificacin de los estudios de evaluacin de revistas cientficas... 26

2. OBJETIVOS DEL ESTUDIO31

3. SELECCIN DE LA MUESTRA35

4. METODOLOGA434.1. Soluciones metodolgicas de aplicacin general46

4.1.1. Obtencin de datos474.1.2. Normalizacin de la edicin de publicaciones peridicas474.1.3. Antigedad de las revistas484.1.4. Periodicidad y puntualidad494.1.5. Concepto de coautora504.1.6. Sistemas de seleccin de originales514.1.7. Concepto de originalidad524.1.8. Concepto de endogamia534.1.9. Difusin de las revistas53

4.1.9.1. Distribucin544.1.9.2. Servicios de difusin nacionales e internacionales544.1.9.3. Difusin por Internet60

4.2. Anlisis directo de la muestra61

1

4.3. Descripcin de los modelos de evaluacin de revistas formuladospor organismos de investigacin62

4.3.1. Modelo de la Universidad de So Paulo624.3.1.1. Introduccin624.3.1.2. Formulacin y notas65

4.3.2. Modelo del Instituto Colombiano Colciencias724.3.2.1. Introduccin724.3.2.2. Formulacin y notas77

4.3.3. Modelo del Instituto Mexicano Conacyt814.3.3.1. Introduccin814.3.3.2. Formulacin y notas83

4.3.4. Modelo del National Research Council de Canad874.3.4.1. Introduccin874.3.4.2. Formulacin y notas89

4.3.5. Modelo del proyecto LATINDEX934.3.5.1. Introduccin934.3.5.2. Formulacin y notas94

4.4. Normalizacin de los modelos de evaluacin de revistas964.4.1. Identificacin y clasificacin de los indicadores

empleados964.4.2. Clculo y unificacin de las puntuaciones totales

mximas1024.4.3. Nueva formulacin de los modelos111

5. RESULTADOS1175.1. Resultados obtenidos del anlisis directo de las publicaciones119

5.1.1. Edicin de las revistas1195.1.1.1. Entidades editoras. Naturaleza jurdica1195.1.1.2. Entidades editoras. Distribucin geogrfica1215.1.1.3. Pautas de edicin. Antigedad1235.1.1.4. Pautas de edicin. Tirada1245.1.1.5. Pautas de edicin. Periodicidad y puntualidad125

II

5.1.1.6. Comits editoriales. Composicin 1255.1.1.7. Comits editoriales. Distribucin geogrfica1285.1.1.8. Comits editoriales. Endogamia1315.1.1.9. Comits editoriales. Sistemas de seleccin de

originales1345.1.1.10. Comits editoriales. Porcentaje de aceptacin de

originales1355.1.1.11. Normalizacin de las publicaciones peridicas135

5.1.2. Caracterizacin de los autores1395.1.2.1. Autores. Distribucin geogrfica1395.1.2.2. Autores. Distribucin institucional1465.1.2.3. Autores. Endogamia1485.1.2.4. Autores. ndice de coautora1515.1.2.5. Autores. Colaboraciones. Distribucin institucional1545.1.2.6. Autores. Colaboraciones. Distribucin geogrfica156

5.1.3. Caracterizacin de los trabajos publicados1605.1.3.1. Trabajos publicados. Tipologa documental1605.1.3.2. Trabajos publicados. Grado de originalidad164

5.1.4. Difusin de las revistas analizadas1665.1.4.1. Difusin nacional1665.1.4.2. Difusin internacional1715.1.4.3. Difusin por Internet176

5.2. Resultados de la evaluacin tras la aplicacin de los modelosformulados por organismos de investigacin182

5.2.1. Resultados de la aplicacin del modelo de la Universidad deSo Paulo182

5.2.1.1. Normalizacin1825.2.1.2. Duracin1855.2.1.3. Periodicidad1855.2.1.4. Inclusin en ndices1865.2.1.5. Difusin1865.2.1.6. Colaboracin y divisin de contenido188

III

5.2.1.7. Resultados globales 1905.2.2. Resultados de la aplicacin del modelo del Instituto

Colombiano Colciencias1945.2.2.1. Calidad editorial1945.2.2.2. Normalizacin1975.2.2.3.Visibilidad nacional1985.2.2.4. Visibilidad internacional2005.2.2.5. Resultados globales201

5.2.3. Resultados de la aplicacin del modelo del InstitutoMexicano Conacyt205

5.2.3.1. Contenido2055.2.3.2. Arbitraje2055.2.3.3. Contribuciones2075.2.3.4. Edicin y distribucin2075.2.3.5. Criterios formales2085.2.3.6. Resultados globales210

5.2.4. Resultados de la aplicacin del modelo del NationalResearch de Canad214

5.2.4.1. Contenido cientfico2145.2.4.2. Uso y aceptacin de las revistas por la comunidad 215

cientfica5.2.4.3. Calidad editorial2175.2.4.4. Resultados globales218

5.2.5. Resultados de la aplicacin del modelo del proyectoLATINDEX222

5.2.5.1. Caractersticas bsicas2225.2.5.2. Presentacin de las revistas2245.2.5.3. Gestin y poltica editorial2255.2.5.4. Caractersticas de los contenidos2265.2.5.5. Resultados globales227

Iv

5.3. Resultados de la evaluacin tras la aplicacin de los modelosuna vez normalizados231

5.3.1. Resultados de la aplicacin del modelo de la Universidad deSo Paulo normalizado231

5.3.2. Resultados de la aplicacin del modelo del InstitutoColombiano Colciencias normalizado233

5.3.3. Resultados de la aplicacin del modelo del InstitutoMexicano Conacyt normalizado235

5.3.4. Resultados de la aplicacin del modelo del NationalResearch Council de Canad normalizado236

5.3.5. Resultados de la aplicacin del modelo del proyecto Latindexnormalizado238

5.3.6. Resultados comparados240

5.4. Propuestas de ranking final2415.4.1. Ranking segn el primer mtodo2425.4.2. Ranking segn el segundo mtodo2445.4.3. Comparacin de los dos ranking finales247

6. CONCLUSIONES2496.1. Caractersticas de la revistas espaolas de Derecho Pblico2516.2. Caractersticas de los modelos de evaluacin de revistas

formulados por organismos de investigacin2606.3. Conclusiones globales264

7. BIBLIOGRAFA2677.1. Artculos y monografas2697.2. Pginas Web294

8. RELACIN DE CUADROS, FIGURAS Y TABLAS299

y

9. APNDICES 3051. Modelo de evaluacin de revistas del 1.5.1307II. Modelo de evaluacin de revistas de la UNESCO (1964)309III. Relacin de revistas analizadas, con sus acrnimos311IV. Bibliotecas de consulta313V. Cuestionario enviado a las editoriales315VI. Direcciones de Internet de las revistas analizadas317VII. Cuestionario original del modelo del Instituto Mexicano Conacyt319VIII. Criterios de calidad del modelo Latindex323IX. Trabajos publicados. Tipologa documental. Nmero de pginas327X. Resultados obtenidos tras la aplicacin del modelo de la

Universidad de So Paulo normalizado329Xl. Resultados obtenidos tras la aplicacin del modelo del Instituto

Colombiano Colciencias normalizado333XII. Resultados obtenidos tras la aplicacin del modelo del Instituto

Mexicano Conacyt normalizado337XIII. Resultados obtenidos tras la aplicacin del modelo del National

Research Council de Canad normalizado341XIV. Resultados obtenidos tras la aplicacin del modelo del proyecto

Latindex normalizado345XV. Ranking final de las revistas analizadas, obtenido por el primer

Mtodo349XVI. Ranking final de las revistas analizadas, obtenido por el segundo

Mtodo353XVII. Fichas completas individuales por revistas357

VI

1. INTRODUCCIN

1. INTRODUCCIN

La sociedad actual ha pasado de ser conocida como Sociedad de laInformacin, a ser denominada Sociedad del Conocimiento, ya que, gracias ala utilizacin de las nuevas tecnologas de la informacin, cada vez es ms fcilel intercambio, no slo de datos, sino tambin de conocimiento, o experiencia,entre los seres humanos.

Este intercambio se ha realizado desde siempre, ya que lo que noscaracteriza como personas es nuestra capacidad para procesar la informacinque recibimos de nuestro entorno y convertirla en conocimiento que somoscapaces de representar, conservar y difundir. Los habitantes de Altamira noshan enseado, a travs de sus pinturas en las cuevas, cmo era el mundo queles rodeaba y cules eran sus principales actividades, avances posteriorescomo la escritura o la imprenta han agilizado la posibilidad de transmitirconocimiento y ahora disponemos de medios ms rpidos, eficaces y eficientesque nunca.

Por lo tanto, el avance de la ciencia ha sido posible no slo gracias aconcebir ideas fructferas, elaborar nuevos experimentos, formular nuevosproblemas o establecer nuevos mtodos (Merton, 1977, p. 567), sino, sobretodo, gracias a la transmisin efectiva del conocimiento cientfico:

... the production of new knowledge (...) ls not really complete until ithas been transmitted to sorne others, so that it is no longer one mansknowledge only (Machlup, 1962, p. 14)

Esta transmisin de conocimiento se ha realizado a travs de los mediosde difusin disponibles en cada momento, correspondencia personal einstitucional, hojas informativas, reuniones, libros... (Lpez Yepes, 1989). Enlos siglos XVI y XVII se produce una explosin tanto cuantitativa comocualitativa de los estudios cientficos, es la poca de la revolucin cientfica, en

3

la que se puede fijar el nacimiento de las revistas cientficas1 por la necesidadde transmitir los resultados de las investigaciones de una manera ms rpidaque a travs de los libros (Lpez Piero, Navarro y Portela, 1989) y a la vez,con la garanta de la revisin que ejercan sobre los manuscritos los miembrosde las sociedades cientficas en las que nacieron.

Las revistas cientficas son, por tanto, el principal vehculo decomunicacin de los resultados de las investigaciones en la mayora de lasdisciplinas, adems de ser tambin soporte y archivo del conocimiento, de losproductos de la mente humana, materia constitutiva del mundo 3 quedistingui Popper:

Podemos llamar al mundo fsico mundo 1, al mundo de nuestrasexperiencias conscientes mundo 2 y al mundo de los contenidos lgicosde los libros, bibliotecas, computadoras y similares, mundo 3 (Popper,1972, p. 77)

Entre los inquilinos de mi tercer mundo se encuentran especialmentelos sistemas tericos y tan importante como ellos son los problemas ylas situaciones problemticas. Demostrar tambin que los inquilinosms importantes de este mundo son los argumentos crticos (...), ascomo los contenidos de las revistas, libros y bibliotecas (Popper, 1972,p. 107)

1.1. La evaluacin de las revistas cientficas

Desde su aparicin, el nmero de ttulos de revistas disponibles no hahecho ms que crecer, a pesar de las dificultades, fundamentalmente de tipoeconmico, con las que se encuentran los editores. Esta abundancia de ttulos,junto con la inestabilidad del mercado editorial, ha hecho que desde haceaproximadamente cuatro dcadas se hayan multiplicado los estudios de

1 En enero de 1665 se publica el primer nmero de la revista Journal de Savants y en abril delmismo ao nace Philosophical Transactions of the Royal Society

4

evaluacin de las revistas cientficas en un gran nmero de pases. Pero, qubeneficios se obtienen de una evaluacin?, por qu evaluar revistascientficas?.

La investigacin cientfica es una actividad crucial en todo pas que seconsidere desarrollado, pero su elevado coste, financiado en gran medida confondos pblicos, hace que sea objeto de una evaluacin constante que sedesarrolla a lo largo de todo el proceso. Se habla de una evaluacin ex ante(Bellavista, Guardiola y Mndez Miaja, 1997, pp. 1-2), cuando lo que seexaminan son los proyectos y programas propuestos por los centros deinvestigacin, y tambin cuando son examinados esos mismos centros y decuyos resultados depende su presupuesto. Se realiza tambin una evaluacinde proceso, durante la realizacin de un proyecto, que permite corregir ocambiar actividades para obtener un resultado mejor. Por ltimo, se lleva acabo una evaluacin ex post, es decir, del trabajo finalizado, o de la actividadglobal desarrollada por un centro en un periodo determinado.

Las dos primeras fases de la evaluacin se llevan a cabo, prcticamenteen exclusiva, a travs del juicio de expertos, es el sistema conocido como peerreview. En la ltima fase, al contar ya con el resultado fsico de lainvestigacin, se pueden utilizar otros mtodos de evaluacin. Esta evaluacinpuede ser, en principio, meramente cuantitativa, es decir, basada en elrecuento de trabajos, analizando as la productividad de un autor concreto, deun centro de investigacin determinado o analizar toda la produccin cientficade un pas, por disciplinas o periodos determinados.

La evaluacin tambin puede ser cualitativa, cuando se intenta medir lacalidad de la produccin cientfica. En este caso se puede recurrir, de nuevo, aljuicio de expertos, pero tambin se puede medir el impacto de un trabajoanalizando el nmero de veces que es citado, o analizando su visibilidadrastreando su presencia en bases de datos.

En este contexto podemos fijar la evaluacin de las revistas cientficasque son el principal reflejo de los resultados de la investigacin. Pero la

5

evaluacin de las revistas tiene entidad propia. La revista es un productoeditorial susceptible de ser analizado no slo por la calidad de sus artculos,sino tambin por su calidad formal. Por eso, hay un gran nmero deprofesionales que obtienen valiosa informacin de los estudios de evaluacin,entre ellos, los editores, los bibliotecarios, los cientficos y los responsables deorganismos de financiacin.

Por un lado, se ayuda a los editores al darles a conocer los puntosdbiles de sus publicaciones, ya que as pueden preparar productos mscompetitivos y que alcancen una mayor y mejor difusin entre la comunidadcientfica internacional. Su intervencin es decisiva, ya que slo de ellosdepende que se introduzcan mejoras formales y, en gran medida, pueden influiren la mejora del contenido (Licea de Arenas, Torre y Morales, 1999),seleccionando buenos profesionales que forman parte del comit editorial(Prez Gmez, 1998), cuyo papel es fundamental a la hora de seleccionarmaterial de calidad (Arboleda, 1995). Adems, los editores deben preocuparsede incluir en sus publicaciones instrucciones que ayuden a los autores apreparar sus trabajos, y, como ha observado Ann C. Weller (1987), las mejoresrevistas incluyen instrucciones ms completas.

Por otro lado, los responsables de las bibliotecas y centros dedocumentacin encuentran valiosos datos que les ayudan a la hora de decidir aqu revistas deben suscribirse, ya que el mercado ofrece un gran nmero dettulos de cada materia y los presupuestos suelen estar muy ajustados. Losmismos bibliotecarios emprenden, a veces, estudios de evaluacin de suscolecciones para ajustarse a su espacio o a su presupuesto limitado. Es el casode trabajos como los de A. Valls Pasola (1993), en Espaa, el de Martnez,Barbieri y Aguado (1991), en Argentina, o el de Yang (1998), en China, por citaralgunos.

Los cientficos obtienen informacin sobre su comportamiento comogrupo y del valor de su trabajo personal, y, sobre todo, les permite conocercules son las revistas de mayor calidad, aqullas a las que les interesa dirigirsus trabajos, que as obtendrn una mayor difusin y sern ms valorados.

6

Finalmente, los organismos de financiacin obtienen datos que lespermiten tomar las decisiones adecuadas para distribuir mejor sus recursos,normalmente escasos. Si los datos obtenidos son importantes para organismossostenidos con financiacin privada, an ms importantes deberan ser para losorganismos sostenidos con fondos pblicos, cuya principal obligacin esofrecer servicios de calidad al mejor coste posible, es decir, ser eficientes en laasignacin de los recursos econmicos. Algunos modelos de evaluacin sedesarrollan precisamente para seleccionar las revistas a las que ayudareconmicamente: es el caso del modelo de la Universidad de So Paulo, enBrasil, diseado para seleccionar las revistas a las que iran destinadas lasayudas de FAPESP (Fundacin de Amparo a la Investigacin del Estado deSo Paulo), o el modelo mexicano desarrollado por el Conacyt (ConsejoNacional de Ciencia y Tecnologa de Mxico) que subvenciona revistas quecumplen ciertos criterios de calidad.

Por todo lo expuesto, se deduce que la evaluacin de revistas es unanecesidad para Ja comunidad cientfica, que es la que comienza a promover losestudios de evaluacin, sobre todo, a partir de los aos sesenta, coincidiendocon un importante aumento de la produccin bibliogrfica, aumento que nosiempre iba acompaado de calidad, ya que la falta de medios econmicos, enunos casos, o la mala canalizacin de los mismos en otros, provocaba elnacimiento y desaparicin de ttulos de forma indiscriminada. Los estudios deevaluacin deben disearse, por tanto, para ayudar en la seleccin de ttulosde inters y para promover acciones dirigidas a la mejora de su calidad comoproducto editorial, lo que redunda en disponer de mejores vas de difusin.

Este tipo de estudios se ha desarrollado desde entonces en todas laspartes del mundo, aunque, como se ver en la revisin bibliogrfica que seincluye a continuacin, hay zonas ms productivas que otras, como es el casode los pases latinoamericanos

7

1.2. La evaluacin de revistas cientficas en Norteamrica

No se puede iniciar el repaso de la historia de los trabajos sobreevaluacin de revistas sin reparar en la importancia que, prcticamente desdesu nacimiento, han tenido los ndices de citas, impulsados por Eugene Garflelddesde el Institute for Scientific Information (ISI). Creados en principio comorepertorios bibliogrficos, pronto se vio su aplicacin en la evaluacin derevistas (Garfield y Sher, 1963; Garfield, 1972), y, sobre todo, desde 1975cuando se comienza a publicar el Journal of Ctation Report. Desde entonceslos criterios de evaluacin de publicaciones peridicas se han basado, enmuchos casos, en la presencia o ausencia de las revistas o trabajos en losCitation mdcx (Science Citation ndex, Social Science Cita tion ndex y Arts andHumanities Citation mdcx) y sobre todo en los indicadores factor de impacto(impact factor) e ndice de inmediatez (inmediacy factor) propuestos porEugene Garfield. El primero es el nmero medio de citas recibidas por losartculos de una revista durante un tiempo determinado. El segundo se calculadividiendo el total de citas que han recibido los artculos publicados en unarevista durante el ltimo ao, por el nmero total de artculos que han sidopublicados por esa revista durante ese mismo ao. Los editores del Institute forScientific Information, que reciben publicaciones procedentes de todo elmundo, realizan un riguroso proceso de seleccin de revistas, ya que no eseconmicamente posible, ni til, el recoger toda la bibliografa editada. Portanto, intentan seleccionar lo mejor basndose en la ley de Bradford2 esta ley,tanto en su formulacin original como en adaptaciones posteriores (Rashid,1991), tambin se ha utilizado como indicador en los procesos de evaluacinde revistas.

El proceso de seleccin del ISI lo llevan a cabo personas con un amplioconocimiento en el tema que deben evaluar y aplican criterios relacionados conla normalizacin, el contenido editorial, la puntualidad, el factor de impacto... ElISI tambin ha desarrollado un sistema de evaluacin de revistas electrnicas

2 Las observaciones de Bradford determinaron que, cuando se analiza un determinado campodel conocimiento, hay un pequeo ncleo de publicaciones peridicas que recogen un grannmero de trabajos tiles, mientras que el resto se dispersa en un elevado nmero de revistas.

8

debido al auge que estn viviendo en estos ltimos aos. En estos casostambin se valora la puntualidad y la inclusin de elementos bsicos deidentificacin, como el ttulo de la revista, el del artculo, los autores, losidentificadores DOl (Digital Object Identifier) y P11 (Publisher Item ldentifer),entre otros (Testa, 2002). El modelo completo se incluye como apndice 1.

Las publicaciones que el ISI genera con los datos de todas las revistasseleccionadas como son los Citation Index y el Journal of Citation Repon hangeneralizado el uso de las evaluaciones de revistas basadas en los anlisis decitas y en los indicadores derivados de ellos, hasta el punto de ser tambin lareferencia bsica en las evaluaciones del personal investigador, en las que seconsidera una tcnica ms objetiva y complementaria de la evaluacin basadaen la reputacin entre colegas (Robey, 1982). Y esta generalizacin se hallevado a cabo no slo en los Estados Unidos, sino tambin en todos los pasesde nuestro entorno y en todas las disciplinas, lo que ha generado numerosascrticas, sobre todo entre los especialistas del mbito de las ciencias sociales yde las humanidades, debido a las limitaciones de estos ndices, ya que elmtodo que utilizan para seleccionar revistas origina unos sesgos importantes,pues priman la investigacin bsica frente a la aplicada, los temas deinvestigacin de evolucin rpida frente a los ms estables y, entre otros, lalengua inglesa frente a todas las dems; por lo tanto pueden ser utilizados, conciertas reservas, en ciencias bsicas experimentales, pero no en cienciassociales y humanidades.

Como se ver a continuacin, en la bibliografa existe un gran nmero detrabajos de evaluacin de revistas basados en los criterios derivados delanlisis de citas, pero tambin hay numerosos trabajos que destacan losproblemas que surgen en su aplicacin. Entre los primeros hay algunosrealizados por los bibliotecarios para evaluar sus colecciones o tomardecisiones sobre nuevas suscripciones o cancelaciones, tomando estoscriterios como nico elemento de juicio (Vymetal, 1981; Chandran, 1982;Bargagna, 1993) o en combinacin con otros como la frecuencia de uso de lacoleccin (Rice, 1983; Cressent, 1987; Chou, Tai y Lee, 1998; Bauer, 1998).Otros estudios los realizan los especialistas en una materia determinada,

9

interesados en conocer el impacto de determinadas publicaciones (Lazarev,1984; Marshakova, 1996).

Entre los crticos con el sistema hay algunos que ponen de manifiestolos problemas que surgen cuando la evaluacin tanto de revistas, como deartculos e investigadores se basa principalmente en la utilizacin de losindicadores derivados del uso de las publicaciones del ISI (Mndez, Gmez yBordons, 1993; Amin y Mabe, 2000). Otros destacan la escasa presencia derevistas de pases no anglfonos (Arunachalam y Manurama, 1989; Moed,Leeuwen y Reedijk, 1996; Komatsu, 1998; Bordons, Fernndez y Gmez,2002). Especialmente grave es el caso de revistas de ciencias sociales yhumanas, cuyo campo de actuacin es, en general, de enfoque ms localistaque las de ciencias puras (Nederhof y Zwaan, 1991), e, incluso en este caso,hay disciplinas mal representadas porque utilizan canales de difusin que noson revistas cientficas propiamente dichas, como destaca Klimley (1994) en elcaso de la geologa, que no est bien representada porque utilizan con muchafrecuencia boletines de asociaciones y otro tipo de publicaciones dedistribucin alternativa.

En Estados Unidos tambin se han llevado a cabo estudios deevaluacin de revistas realizados con otros mtodos, como la evaluacin porpares. Es el caso del trabajo de Giles y Wright (1975) que evaluaron sesenta ytres revistas de ciencia poltica procedentes de varios pases, pero editadastodas en ingls, basndose exclusivamente en los resultados, de unasencuestas enviadas a 515 expertos en la materia. Este trabajo se revis en1989 (Giles, Mizeil y Patterson, 1989). Estudios posteriores han puesto demanifiesto los problemas de la aplicacin en exclusiva de la evaluacin porpares (Lester, 1990) y se proponen mtodos combinados en los que se valorenadems otro tipo de indicadores, Garand (1990) en su trabajo propone lossiguientes: porcentaje de aceptacin de originales, composicin de los comitseditoriales, puntualidad, tirada y productividad.

lo

Posteriormente, Crespi (1997) realiza, un estudio basado en la opinin deexpertos, esta vez para analizar revistas de derecho editadas en los EstadosUnidos. La peculiaridad de estos estudios es que realiza una comparacin delos resultados con los obtenidos en otros trabajos previos.

En esta revisin de los sistemas de evaluacin de revistas, no se puedeabandonar el continente americano, sin mencionar los trabajos que harealizado el National Research Council de Canad (1981), cuyo modelo,desarrollado para evaluar las revistas editadas en Canad, es uno de los quese aplican en este trabajo. Contempla, sobre todo, aspectos relacionados conel contenido cientfico de la revista, con la aceptacin y el uso de la misma porla comunidad cientfica, y la calidad de la edicin. Tambin contempla laopinin de los especialistas y el anlisis de citas, pero no tiene en cuenta elgrado de cumplimiento de las normas internacionales de edicin depublicaciones peridicas.

1.3. La evaluacin de revistas cientficas en Europa

En el mbito europeo, si exceptuamos Espaa cuyos trabajosanalizaremos en detalle en un apartado propio, no se han llevado a cabograndes proyectos de evaluacin de publicaciones peridicas, o al menos, sustrabajos tienen escasa visibilidad. El Reino Unido quiz sea uno de los pasesms productivos. Ya en los aos sesenta, Martyn y Gilchrist (1968) realizaronun estudio basado en el Science Citation ndex para determinar las revistascientficas britnicas ms citadas. Con base en este estudio, Jacqueline Hills(1971) del Research Department of ASLIB (Association of Special Librarianshipand lnformation Bureaux) analiz en 1971 el grado de adecuacin de dichasrevistas a las normas de presentacin de publicaciones peridicas.

Posteriormente, Crewe y Norris (1991) realizaron una evaluacin derevistas europeas y americanas de ciencia poltica, basndose en la opinin deexpertos procedentes de Estados Unidos y Gran Bretaa y analizaron lasdiferencias entre unos y otros. Estos mismos autores realizaron un nuevoestudio dos aos despus (Norris y Crewe, 1993). En esta ocasin pidieron a

11

los encuestados que clasificaran las revistas por cuatro aspectos diferentes: sunivel de originalidad, su utilidad para la enseanza, el tipo de lector al que sedirige y la calidad de contenidos.

Por esos mismos aos, McDonald y Feather (1995) analizaron elproceso de seleccin de artculos en revistas britnicas del rea de las cienciasde la informacin. Y un ao despus, Jones, Brinn y Pendlebury (1996), de laescuela de negocios de Cardiff proponen un sistema de evaluacin de revistasbritnicas de contabilidad, basado en el anlisis de citas y la valoracin de lospares tanto nacionales como extranjeros para evitar, en lo posible, opinionessesgadas.

En Checoslovaquia, Ludmila Benetinova (1978) elabor un mtodocompleto de evaluacin de revistas en el que se proponan los siguientescriterios: actualizacin de la informacin, curriculum cientfico de los autores,presentacin de los artculos, nmero de citas, nmero de artculos pertinentesal campo cientfico que se trate, regularidad de la publicacin, nmero deartculos por entrega, y sumarios en lenguas extranjeras; mtodo queejemplifca evaluando la revista checa Po!nohospodarstvo (Agricultura).

En Yugoslavia tambin se han realizado algunos estudios, como el deMaricic (1983) que analiza las revistas mdicas yugoslavas para proponer unmtodo vlido de evaluacin de publicaciones de comunidades cientficas pocodesarrolladas. En 1989 tuvo lugar en Pula el decimotercer simposio sobrepublicaciones cientficas titulado The development of scientific journais inYugoslavia by 2000, organizado por el lnstitute for Information Science deZagreb, en el que, entre otros, se present el trabajo de Alenka Sauperl Zorko(1990) que ofrece una panormica de la calidad de las revistas cientficasyugoslavas.

En la Universidad de Tampere, Finlandia, se analiz la calidad de lacoleccin de revistas de sociologa de su biblioteca (Tyrvainen, 1992),basndose en un estudio de uso de las revistas, presencia en fuentessecundarias y un anlisis de citas mediante el Journal of Citation Report y el

12

Social Science Citation ndex. En 1998 se llev a cabo un estudio parecido enla Bibliteca Central de Medicina de Viena, Austria, en este caso el objetivo erala cancelacin de algunas suscripciones por falta de presupuesto. El estudio(Bauer, 1998) se bas en un informe de uso de las revistas y en el factor deimpacto.

En Suecia, Hanson (1998) envi una encuesta a 193 personas para queevaluaran 118 revistas sanitarias de pases nrdicos para establecer un rankingy compararlo con los internacionales, adems, las revistas mejor situadaspodran pasar a formar parte del ncleo bsico de revistas sanitarias nrdicas.Ms recientemente, en Rumania, se ha llevado a cabo un anlisis de lasituacin de las revistas biomdicas rumanas, ningunas de las cuales estrecogida en el Science Citation Index, ni en el Journal of Citation Report. Robuy colaboradores (2001) las han analizado utilizando distintos criterios:evaluacin por pares, inclusin en bases de datos interncionales, puntualidad,idioma de los artculos y de los resmenes, y el factor de impacto nacional.

1.4. La evaluacin de revistas cientficas en frica y Asia

Fuera del mbito europeo y americano tambin se han llevado a caboestudios interesantes. En frica, Alemna, Chifwepa y Rosenberg (2000)recogen los resultados de una serie de informes elaborados en 1996, 1997 y1998 con el fin de evaluar el uso y el impacto de las investigaciones publicadasen revistas africanas, basndose en las colecciones de la biblioteca de launiversidad de Ghana en Legon y de la universidad de Zambia en Lusaka.

En Asia, tambin encontramos estudios realizados desde distintospuntos de vista en pases como Japn, China, Taiwan, Malasia o la India. EnJapn, Shuichi Ueda (1976) realiz la evaluacin de 270 revistas cientficasjaponesas de medicina, agricultura y ciencias naturales, aplicando cuatroindicadores: factor de impacto, ndice de inmediatez, nmero de artculos y supresencia en las principales bibliotecas.

13

En Taiwan se han realizado varios estudios relacionados, sobre todo,con la evaluacin de colecciones de bibliotecas. El estudio de Mei Hwa Yang(1988) aplica cuatro indicadores para evaluar la coleccin de la Biblioteca de laUniversidad Feng Chia. Esos cuatro indicadores son: precio de la suscripcin,anlisis de uso, juicio de expertos y prstamos interbibliotecarios. Similar es elestudio de Chou, Tay y Lee (1998) sobre la coleccin de la Biblioteca delHospital General de Veteranos de Taipei. Tasi (1999) realiza tambin unestudio de una coleccin, teniendo en cuenta la frecuencia de uso, el nmerode citas recibidas en tesis doctorales, la inclusin en servicios de indizacin yresumen y contando con la opinin de expertos. Lo destacable de este trabajoes que se realiza sobre la coleccin de revistas extranjeras de la Biblioteca dela Universidad Nacional Chengchi relacionadas con el derecho, disciplina muypoco estudiada.

Tambin en Taiwan se ha desarrollado un modelo de evaluacin depublicaciones peridicas de aplicacin general y, especialmente, a las revistasde humanidades y ciencias sociales. Es el modelo desarrollado por el NationalScience Council y que describe Hsueh (1995) evaluando las 31 revistastaiwanesas de ciencias de la informacin. Se analiza sobre todo el formato delas revistas, el de los artculos y el trabajo editorial.

En Malasia (Nasir, et al., 1994) se han analizado las revistas malayas delrea de la agricultura, estudiando, entre otras cosas, la naturaleza de lostrabajos publicados y prcticas editoriales. Y en la India, Thomas (1996) analizala cobertura por los servicios de indizacin y resumen de 360 revistas indias delcampo de la agrobiologa.

1.5. La evaluacin de revistas cientficas en Latinoamrica

En 1964 se forma en la UNESCO un grupo de trabajo para la seleccinde revistas tcnicas latinoamericanas que dise un modelo de evaluacin quetena en cuenta numerosos factores como la presentacin fsica de la revista, lapuntualidad, pervivencia, presencia de colaboradores de varias instituciones,difusin, etc. Este modelo, cuya formulacin original se incluye como apndice

14

II, fue adaptado en 1968 para evaluar las revistas mdicas venezolanas(Arends, 1968).

Este mismo modelo fue retomado y adaptado en 1982 para evaluarrevistas cientficas y tcnicas brasileas, tal como se describe en el trabajo deGilda M. Braga y Cecilia A. Oberhofer (1982), que analizan las revistasteniendo en cuenta su funcin memoria, como archivos del conocimiento, y sufuncin diseminacin, como vehculos transmisores de ideas.

Brasil, desde entonces, se ha convertido en uno de los pases con mspreocupacin por la calidad de sus publicaciones y es, por tanto, uno de losms productivos en cuanto a trabajos relacionados con la evaluacin depublicaciones cientficas se refiere. En 1983 pusieron en marcha el Programasectorial de Publicaciones en Ciencia y Tecnologa, fruto de la colaboracinentre el Centro Nacional de Investigacin Cientfica y Tecnolgica (CNPq) y laFinanciadora de Estudios y Proyectos (FINEP), con el objetivo de valorar lasrevistas subvencionadas por esta ltima institucin. Producto de este programaes una obra de P. Moriconi (1994) en la que se recogen un buen nmero deindicadores de calidad aptos para la evaluacin de revistas, que se puedenclasificar en:

- indicadores de calidad extrnsecos: basados en el cumplimiento de lasnormas internacionales de edicin de publicaciones peridicas, o en lacalidad de la edicin, e

- indicadores de calidad intrnsecos: que analizan fundamentalmente el gradode difusin internacional de las revistas, y la eficacia de los mecanismos deseleccin de artculos empleados por los consejos editoriales de lasrevistas.

En 1988 y 1991 (Krzyzanowski, 1991), tambin en Brasil, se realizaronunas encuestas entre expertos para que seleccionaran el ncleo bsico derevistas cientficas, aqullas dignas de recibir apoyo financiero de la Fundacinde Amparo a la Investigacin del Estado de So Paulo (FAPESP). En laencuesta se peda que clasificaran cada revista segn su grado de relevancia

15

en: revistas prioritarias, importantes, de importancia relativa o no relevantes.Una vez concluida esta evaluacin de mrito, la coordinacin de publicacionesde FAPESP pudo organizar el Ncleo Bsico de las Revistas CientficasCorrientes Nacionales 1996.

Sobre este ncleo de revistas se llev a cabo con posterioridad unasegunda fase del proceso evaluador aplicando el modelo descrito por Braga yOberhofer en 1982, adaptado al momento, lo que ha dado lugar al modelo de laUniversidad de So Paulo, que es uno de los que se aplican en este trabajo.Este modelo (Krzyzanowski y Ferreira, 1999) fue presentado en el II Tallersobre publicaciones cientficas en Amrica Latina, celebrado en Guadalajara,Mxico, en 1997.

Como un ejemplo ms de la productividad de Brasil en este campo, sepuede mencionar tambin el trabajo llevado a cabo por el CentroLatinoamericano de Informacin sobre Ciencias de la Salud (BIREME) apeticin de la Organizacin Panamericana de la Salud (OPS) que estudi lasrevistas latinoamericanas incluidas en los ndices Medline y Lilacs, con elobjeto de establecer un sistema de evaluacin para aplicarlo a todas aqullasrevistas que solicitaran su inclusin en Lilacs. El desarrollo de este proceso loanalizan Castro y Ferreira (1996) entre otros.

Mxico lleva aplicando un sistema de evaluacin de revistas desde 1993(Lugo y Orozco, 1993). All, el Consejo Nacional de Ciencia y Tecnologa(CONACYT) subvenciona la edicin de publicaciones peridicas que cumplendeterminados requisitos. Una vez que las revistas son aceptadas, pasan aformar parte del ndice de Revistas Mexicanas de Investigacin en Ciencia yTecnologa (Bonilla, 1996; Bazdresch, 1999). Los requisitos se fijan en cadaconvocatoria de ayudas.

Colombia es otro de los pases que, preocupado por la calidad de suspublicaciones, ha desarrollado un modelo de evaluacin de revistas comoforma de seleccin para apoyar el esfuerzo editorial y con el objetivo de crearun indice electrnico de publicaciones seriadas colombianas. Este modelo fue

16

elaborado por el grupo de cienciometra del Instituto Colombiano para eldesarrollo de la Ciencia y la Tecnologa Francisco Jos de Caldas(Colciencias) y tambin se ha utilizado en este trabajo. Agrupa los indicadoresen cuatro apartados que estudian la calidad editorial, la normalizacin lavisibilidad nacional y la visibilidad internacional. Lo describe detalladamenteYuri Jack Gmez Morales (1999) en un trabajo presentado en el II Taller sobrepublicaciones cientficas en Amrica Latina, celebrado en Guadalajara, Mxico,en 1997.

Dentro del mbito latinoamericano es absolutamente necesariomencionar el proyecto LATINDEX3: ndice Latinoamericano de PublicacionesCientficas que nace en 1995 con la misin de facilitar el acceso a estaspublicaciones y elevar su calidad. Fruto de la colaboracin entre los pasesimplicados4 han surgido ya tres productos: un directorio en el que se recogendatos de ms de oce mil revistas cientficas, un catlogo, accesible desdemarzo de 2002, que incluye datos de revistas previamente evaluadas y que hansuperado unos determinados niveles de calidad, y un ndice que proporcionaacceso directo a unas 1500 revistas que tienen pgina web. El modelo, queatiende a criterios de presentacin, gestin editorial y caractersticas de loscontenidos, se describe detalladamente ms adelante ya que es otro de losmodelos aplicados en este trabajo. Adems es el que ms est influyendo enEspaa, al haberlo adaptado el CINDOC en sus trabajos, como se ver en elsiguiente apartado.

1.6. La evaluacin de revistas cientficas en Espaa

En Espaa se empieza a trabajar en este campo a finales de los aossetenta por parte del personal ligado al Consejo Superior de InvestigacionesCientficas. En general, los trabajos que se han venido desarrollando han

Accesible en: http://www.Iatindex.unarn.mx

Los pases implicados son: Argentina, Brasil, Chile, Colombia, Costa Rica, Cuba, Ecuador,Espaa, Mxico, Puerto Rico, Portugal, Uruguay, Venezuela y, desde mayo de 2003,Nicaragua

17

utilizado fundamentalmente tres tipos de criterios, como seala Delgado LpezCzar (1997) en su revisin bibliogrfica. stos son:

1) Criterios formales: adecuacin a las normas internacionales de presentacinde revistas.

2) Criterios de contenido cientfico: los que valoran la existencia de un comitcientfico yio consejo de redaccin, regularidad de la publicacin,pervivencia, productividad, impacto y caractersticas de los trabajospublicados.

3) Criterios de difusin: referidos a la difusin directa a travs de su tirada ypresencia en bibliotecas tanto nacionales como internacionales, y a difusinindirecta valorada en funcin de la presencia de las publicaciones en basesde datos internacionales.

En los primeros estudios sobre evaluacin de revistas publicadas enEspaa se intenta adaptar la metodologa predominante que era la utilizacindel anlisis de citas, pero los problemas de adaptacin a nuestro pas se hacenevidentes por la escasa presencia de revistas espaolas en los Citation lndexdel Institute for Scientific lnvestigation, por lo que se desarrollan mtodosalternativos.

El primer trabajo localizado en el que se pretende establecer unametodologa de evaluacin es el de Prez lvarez-Ossorio (1977) que sepropone evaluar las revistas espaolas de qumica. Con anterioridad serealizaron estudios ms concretos, relacionados exclusivamente con la difusin(Prez lvarez-Ossorio, 1976; Viesca, Galvn y Sancho, 1976). Prez lvarezOssorio expone primero los mtodos ms utilizados: anlisis de citas, grado deutilizacin y productividad. Vistos los inconvenientes, propone una evaluacinbasada fundamentalmente en la difusin internacional y considerando lapresencia en el Science Citation ndex como un valor aadido. Completa elestudio con un anlisis de la productividad de las revistas, datos que cruza conlos de difusin para establecer un ranking.

18

El siguiente trabajo localizado es el de Mndez y colaboradores (1978)en el que valoran las revistas espaolas de alimentacin. Es un estudio basadotambin fundamentalmente en la difusin analizando la presencia en revistasde resmenes y la tirada, completando el estudio con un anlisis de las citasrecibidas.

Pero el primer trabajo en el que se aborda una evaluacin ms completaes el de lvaro Bermejo y San Milln (1979) que, adems, tiene la peculiaridadde analizar revistas jurdicas que, desde entonces, no se han vuelto a tratarhasta fechas muy recientes en las que el CINDOC ha abordado la evaluacinde todas las revistas espaolas como ms adelante se ver. En el trabajo delvaro y San Milln se analizan aspectos formales tales como presentacin,periodicidad, regularidad, antigedad y cumplimiento de las normasinternacionales de edicin de revistas. Despus estudian su difusinconsiderando el nmero de publicaciones secundarias que las recogen y elnmero de bibliotecas en que se encuentran. En tercer lugar se ha clasificadola produccin cientfica segn el tipo de trabajos publicados (estudios,dictmenes, jurisprudencia, legislacin...). Y, por ltimo han analizado las citasrecogidas en las propias revistas obteniendo informacin sobre las revistasespaolas citadas y aos en que se citan, y autores espaoles citados y suparticipacin en los consejos de redaccin de las revistas en que publican.

A principios de los aos ochenta se llevan a cabo los primeros estudiosque pretenden evaluar toda la produccin nacional desde distintos puntos devista. Son los estudios realizados a instancias de la Subdireccin General deDocumentacin e Informacin Cientfica, dependiente de la Secretara deEstado de Universidades, por el Instituto de Informacin y Documentacin enCiencia y Tecnologa, por el Instituto de Informacin y Documentacin enCiencias Sociales y Humanidades y por el de Informacin Mdica, para cubrirtodas las reas del conocimiento. En los primeros informes, emitidos en 1984,se presentan los resultados del anlisis. Con posterioridad, en el seno del IIICongreso Nacional de la Asociacin espaola de Archiveros, Bibliotecarios,Arquelogos y Documentalistas, se dio a conocer el trabajo (Ortega y Vzquez,

19

1986) en el que se presenta el anlisis de las 306 revistas que en 1984 seeditaban en Espaa en el terreno de la ciencia y la tecnologa.

El mtodo desarrollado aplica criterios formales, cientficos y de difusin,y a cada criterio se le asigna una determinada puntuacin. De esta forma sepuede establecer un ranking entre todas las revistas. Los aspectos estudiadosson los siguientes:

1) Aspectos formales (1 punto por criterio):- ttulo adecuado- igual formato en todos los fascculos- datos bsicos en cubierta y sumario (ttulo de la revista, nmero del

fascculo, fecha de publicacin, periodicidad, ISSN)- datos en cada pgina (ttulo de la revista, nmero, ao, ttulo del artculo,

autor/es)- nombre y direccin de la editorial- nombre y direccin de la distribuidora- precio de la suscripcin- sumario

2) Aspectos cientficos- Nacionalidad de los miembros del comit y/o consejo de redaccin- periodicidad regularidad- pervivencia- productividad (nmero de artculos por ao)- caractersticas de los trabajos (originales, traducciones, de revisin, etc.)- distribucin geogrfica de las revistas

3) Criterios de difusin- tirada- presencia en bibliotecas espaolas- presencia en bibliotecas extranjeras- presencia en bases de datos internacionales- artculos de autores extranjeros

20

La difusin internacional era, en general, muy escasa y se constat enestos estudios, en los que se detectaron las posibles causas, que eran:

- incumplimiento de las normas internacionales de publicacin de revistas- irregularidad en las fechas de publicacin- predominio de editores institucionales, poco preocupados por la explotacin

comercial frente a editores privados.

Esta situacin preocupaba al personal responsable y desde el grupo detrabajo de Informacin y Documentacin de la Comisin Nacional de laUNESCO (1987) se puso en marcha un proyecto para mejorar la difusin de lasrevistas espaolas, tarea que se haba iniciado en 1983 desde el ISOC. Eltrabajo consisti, una vez seleccionadas las revistas que iban a formar partedel programa, en una seleccin de bases de datos internacionales de intersen las distintas materias. Previa comunicacin a los editores del proyecto, sesolicit la inclusin de las revistas a los productores de las bases de datos. Elresultado final fue ms satisfactorio para las revistas de ciencia y tecnologaque para las de ciencias sociales y humanidades, ya que de las 88 revistaspropuestas, 33 fueron aceptadas en 11 bases de datos diferentes, mientrasque de las 160 de ciencias sociales y humanidades fueron aceptadas slo 19en cinco bases de datos.

Por estos mismos aos se realizaron tambin estudios sectoriales,estudiando revistas de determinadas materias como la geologa (Ortega yVzquez, 1987) o la qumica (Ortega y Vzquez, 1987a) estudios que siguenla metodologa antes expuesta.

La dcada de los noventa ha sido especialmente productiva en lo que aestudios sobre evaluacin de revistas espaolas se refiere. Se le ha prestadouna especial atencin a los aspectos relacionados con la normalizacin, una delas asignaturas pendientes de nuestras publicaciones, especialmente en lasciencias sociales y humanas. Ruiz y Pinto (1990) recogen en una monografalas principales normas de edicin de publicaciones peridicas y elaboran unasdirectrices para ayudar a los autores a preparar sus trabajos y otras para

21

editores y directores. El estudio se completa con un anlisis (Ruiz Prez, 1989)de 14 revistas editadas por la Universidad de Granada en el que se compruebael cumplimiento de 11 aspectos normativos bsicos. Se observa que lasrevistas mejor normalizadas son las de medicina y ciencias y las menosnormalizadas las de filologa y derecho.

Tomando como base este estudio, se elabor un modelo (Delgado yRuiz Prez, 1995) de anlisis de la normalizacin ms completo, en el que seanalizan 136 aspectos normativos incluidos en normas ISO y enrecomendaciones de organizaciones internacionales. Este mismo modelo hasido utilizado por un grupo de trabajo de la Facultad de Biblioteconoma yDocumentacin de la Universidad de Granada para evaluar revistas de lasuniversidades de Granada (Ruiz Prez, et al., 1994), Salamanca (Ruiz Prez,et al., 1995b), Cdiz (Ruiz Prez, et al., 1995), Len (Ruiz Prez, et al., 1995a)y las de ciencias de la salud (Delgado, 1996).

A la vez que se realizan estos estudios, Blanco Prez y colaboradores(1994) analizaron el grado de normalizacin de las revistas espaolas deenfermera, estudiando por un lado los aspectos relacionados con lapresentacin formal de las mismas y, por otro, las relacionadas con elcontenido y estructura de los artculos.

Pero en estos aos tambin se siguen realizando estudios (Ortega , etal., 1992) en los que se utilizan distintos criterios de anlisis (adecuacin a lasnormas internacionales, produccin cientfica, visibilidad, accesibilidad), ms omenos en la lnea de los trabajos del CSIC en 1984. Con posterioridad, Ortegay Plaza (1993) presentan un panorama de las revistas espaolas de ciencia ytecnologa analizando otros aspectos complementarios del anterior trabajo,como: cobertura temtica, periodicidad y vigencia, tipologa de editores,difusin en bases de datos internacionales, cumplimiento de la norma UNE 50-101-90, y hbitos de publicacin de los autores.

Las revistas espaolas de ciencia y tecnologa, y ms concretamente lasde tecnologa e ingeniera mecnica, han sido objeto de otro anlisis detallado,

22

que se presenta en el trabajo de Garca del Toro y Faura (1998) en el que seestudian 16 revistas como una primera aproximacin al estado de losprincipales rganos de difusin del sector. Se analizan datos relativos a lasentidades editoras, temtica, secciones, productividad, lugar de trabajo de losautores, presentacin formal de la revista y los artculos e inclusin debibliografa.

Las revistas de ciencias sociales y humanidades tambin han sido objetode anlisis. En 1995, con el apoyo econmico de la Direccin General dePromocin de la lnvestigacin, personal del CINDOC inici un trabajo orientadoa proponer una metodologa vlida para el anlisis de este tipo depublicaciones, aplicndolo de forma experimental a la Sociologa, por un lado, ya la Historia Antigua, Prehistoria y Arqueologa por otro. Tras analizar lossistemas de evaluacin empleados propusieron el anlisis de los siguientescriterios:

- Calidad material de la revista- Cumplimiento de las normas lSD para la edicin de revistas cientficas- Difusin directa e indirecta- Composicin de los consejos editoriales o de redaccin- Procedimiento de seleccin de originales- Valoracin de los pares- Impacto de las revistas, medido por el anlisis de las citas.

En diversos artculos (Garca Marn, Sales y Romn, 1996; Sales, GarcaMarn y Romn, 1997; Garca Marn y Romn, 1998) se han presentado losresultados obtenidos en el anlisis de la difusin internacional y de laevaluacin de los pares, y tambin se han descrito los problemas que conllevael anlisis de citas. Romn (1999) explica claramente todas las fases de esteestudio y expone la situacin en la que, en esa fecha, se encontraba elproyecto.

Una metodologa similar se ha aplicado a un conjunto de revistasespaolas de economa, de las que se han analizado criterios relacionados con

23

la calidad formal (periodicidad, pervivencia y normalizacin), criteriosrelacionados con la gestin cientfica (composicin de los consejos deredaccin, procedimientos de evaluacin de originales, apertura exterior),difusin internacional y valoracin de los pares (Gimnez, Romn y SnchezNistal, 1999; Romn y Gimnez, 2000), de cuyas respuestas se han obtenidodatos para establecer hbitos de trabajo de los profesores de economa de lasuniversidades espaolas (Romn y Gimnez, [1997]). Y tambin,recientemente, se ha aplicado un sistema similar de evaluacin a las revistasespaolas de las ciencias de la actividad fsica y el deporte (Devs, et al.,2003), aunque en este caso los autores, se han dedicado, sobre todo, alanlisis de la calidad del contenido y de la difusin en bases de datos eInternet.

Durante estos ltimos aos, el CINDOC ha venido trabajando para elproyecto L TINDEX como representante espaol, y, actualmente, sus equiposde trabajo estn aplicando el modelo de evaluacin de revistas elaborado paraeste proyecto, a todas las revistas espaolas. El ao 2002 se han publicado losresultados obtenidos (Romn, Vzquez y Urdn, 2002) por las revistasespaolas de ciencias sociales y humanidades y en 2003 (Urdn, Vzquez yRomn, 2003) se han publicado tambin los resultados de las revistas deciencia y tecnologa y de las de ciencias de la salud. El trabajo total deevaluacin se completa con un estudio sobre la difusin internacional de lasrevistas y su presencia en Internet. Adems, se estn llevando a cabo otrasacciones encaminadas a valorar la calidad de los contenidos. Una es unaencuesta dirigida a todos los profesores universitarios, cuyos datos estn enfase de tratamiento, y tambin se quiere realizar un estudio para conocer lasrevistas ms citadas.

Junto a estos estudios reseados que siguen lneas parecidas deanlisis, surgen propuestas alternativas o, mejor dicho, complementarias,encaminadas a la formulacin de indicadores bibliomtricos vlidos paraanalizar las publicaciones peridicas espaolas. Es el caso de las propuestasde Jimnez Contreras, de Diego y Ferreiro (1987) que, una vez constatada laimposibilidad de analizar revistas espaolas utilizando los informes del Journal

24

of Citation Report, proponen cuatro indicadores bibliomtricos comoinstrumento adicional en las evaluaciones objetivas. stos son:

1. Capacidad potencial de transferencia de la informacin documental,indicador basado en el anlisis de las referencias bibliogrficas de losartculos publicados por una determinada revista.

2. Dependencia temporal de la documentacin referenciada, oantigedad de los documentos reseados.

3. Actualidad de esta misma documentacin4. Aislamiento-dependencia documental, que analiza la relacin que

existe entre bibliografa nacional citada y bibliografa internacional.

En el ao 2000, Morales Garca publica un trabajo en el que propone unmtodo para evaluar revistas cientficas, diseado especialmente para ayudar alos bibliotecarios a seleccionar las revistas ms idneas para su coleccin. Setrata del anlisis Rango Selectivo Multidimensional, mtodo que permitecombinar los resultados obtenidos tras la aplicacin de distintas variablesestudiadas de forma individual. Esta variables deben ser elegidas y ponderadaspor el analista en funcin de su importancia. Una vez analizados los datos, sedefine el valor de la revista patrn y la clasificacin de las revistas vendr dadapor la cercana de la puntuacin obtenida en relacin con el valor de la revistapatrn.

Recientemente se ha publicado otro trabajo en el que Buela-Casal(2003) propone indicadores alternativos al factor de impacto (o factor deprestigio). stos son el factor de impacto medio de las revistas donde seproducen las citas y el factor de impacto ponderado. Adems, sugiere que laevaluacin de revistas no se debe guiar exclusivamente por la aplicacin deeste tipo de indicadores que, segn dice, no son ms que ndices del nivel dedifusin, sino construyendo ndices de calidad ms complejos, aplicados porprofesionales expertos.

Ahora bien, la validez de los estudios bibliomtricos basados en elanlisis de citas y el clculo del factor de impacto de las revistas, tienen, sin

25

duda, un gran inters, sobre todo, para realizar anlisis sobre la actividadinvestigadora, bien por reas de conocimiento, bien por autores o pases.Como las publicaciones del ISI, como ya se dijo, no recogen apenas fuentesespaolas, un equipo multidisciplinar de la Universidad Carlos III de Madridest llevando a cabo un proyecto piloto, que es interesante resear (Sanz, etal., 2002). Se intenta crear un ndice de citas de revistas espaolas dl rea dehistoria. En un principio han analizado las referencias bibliogrficas de lostrabajos publicados en diecisiete revistas, durante los aos 1997 y 1998. Larealizacin de ms trabajos de este tipo podra conducir a la elaboracin dendices de citas de publicaciones espaolas que nos permitieran hallar el factorde impacto de las mismas, lo que podra contribuir a su relanzamiento entre lacomunidad cientfica de nuestro pas.

1.7. Clasificacin de los estudios de evaluacin de revistas cientficas

La revisin bibliogrfica de los estudios sobre evaluacin de revistascientficas pone de manifiesto la variedad de mtodos y multitud de indicadorespropuestos, as como el distinto enfoque y los distintos intereses que mueven alos autores de los mismos. Tal cantidad de estudios puede ser clasificadadesde distintos puntos de vista. Se proponen los siguientes5:

1. Segn la cobertura temtica:- estudios realizados sobre una nica revista (Lpez Lpez, et al., 2001;

Gmez del Pulgar, 2001)- estudios que abarcan revistas de una sola disciplina (Arends, 1968;

Mndez, Viesca y Blanco, 1978; Ortega y Vzquez, 1987 y 1987a)- estudios sobre las distintas disciplinas que componen un rea del saber

(Nederhof y Zwaan, 1991)- estudios que engloban todas las reas del saber (Krzyzanowski y

Ferreira, 1998)

Entre parntesis se dan algunos ejemplos de trabajos reseados en la bibliografa.

26

2. Segn la cobrtura geogrfica:- estudios sobre revistas de una institucin (Galcern y Morer, 1997;

Gmez del Pulgar, 2000)- estudios sobre revistas locales (Moriconi, 1994)- estudios sobre revistas nacionales (Bazdresch, 1999)- estudios de mbito supranacional (proyecto LATINDEX)

3. Segn el objetivo:- mejorar la calidad global de las revistas como producto editorial (Ulshen

y Garfunkel, 1990)- elaborar productos bibliogrficos, bien con fines comerciales o no

(Bonilla, 1996; Testa, 2002)- otorgar subvenciones (Krzyzanowski, 1991)- gestin de una coleccin de publicaciones peridicas (Besson y Sheriff,

1986)

4. Segn el mtodo utilizado:- evaluacin por expertos y su alternativa, la evaluacin por los lectores

(Gonzlez Rodrguez, 1992; Crespi, 1997)- uso de las revistas, analizado con mtodos directos (suministro de

documentos) o indirectos (anlisis de citas) (Valls, 1993; Marshakova,1996; Alemna, Chifwepa y Rosenberg, 2000)

- determinacin del ncleo de Bradford (Boyce y Pollens, 1982)- difusin y cobertura en bases de datos, repertorios y/o catlogos de

bibliotecas (Viesca, Galvn y Sancho, 1976: Thomas, 1996)- productividad cientfica (Lpez y Escalada, 1999)- normalizacin (Delgado, 1996 y 1999; Martins, 1986)- combinacin de dos o ms criterios (Gimnez, Rodrguez Yunta y

Romn, 2000)

27

Estos mtodos han sido objeto, a su vez, de distintas clasificaciones.Viesca y Mndez (1979) intentan una primera clasificacin de los mtodospropuestos hasta ese momento. Es la siguiente:

- Mtodos de enfoque biblioteconmico, utilizados fundamentalmente porbibliotecarios para evaluar su coleccin o decidir suscripciones ocancelaciones:

- Grado de utilizacin de la revista- Juicio crtico de tos lectores- Determinacin del ncleo de Bradford

- Mtodos de enfoque cientfico:

- Anlisis de citas, o valoracin de una revista segn la frecuencia conque son citados sus artculos por las dems revistas

- Difusin y cobertura por bases de datos

Con posterioridad, Ferreiro y Jimnez-Contreras (1986) clasifican losmtodos de evaluacin en tres: subsidiarios, convencionales y objetivos. Losmtodos subsidiarios se aplican a conjuntos de revistas previamenteseleccionados y analizan su difusin en funcin del nmero de bases de datosque recogen una determinada revista, o nmero de artculos recogidos en unabase determinada o realizando un estudio de difusin nacional e internacionalde las revistas analizadas.

Los mtodos convencionales analizan el perfil editorial de las revistasdesde el punto de vista, generalmente, formal, aunque estos estudios se suelencompletar con un anlisis de difusin.

Por ltimo, los autores proponen los mtodos objetivos que se basan enel anlisis de las bibliografas que recogen las revistas. Se basan en laconsideracin de revista como medio de expresin de una determinadacomunidad cientfica y no como los otros mtodos, que analizan la revista como

28

producto acabado de la industria editorial. Las evaluaciones subjetivas secentran en el estudio de la difusin internacional real, medida a travs del factorde impacto y el indice de inmediatez, de la difusin potencial, mayor cuantomayor es la colaboracin entre autores, y la capacidad de transmisin de lainformacin documental, medida en funcin del nmero de referencias porartculo, siempre que este nmero sea proporcional al nmero de fuentesdisponibles por sectores, ya que tanto el defecto como el exceso en el nmerode citas son conductas inapropiadas.

29

2. OBJETIVOS

2. OBJETIVOS DEL ESTUDIO

El tema central de esta tesis es la realizacin de un estudio, lo mscompleto posible, sobre las caractersticas y el nivel de calidad de las revistasjurdicas editadas en Espaa que son, hasta la fecha, las que menos atencinhan recibido por parte de los investigadores en fuentes de informacin. Paraello, se han fijado los siguientes objetivos:

1. Realizar el estudio de las publicaciones jurdicas espaolas a travs de laevaluacin de una muestra seleccionada de revistas.

2. Examen directo de toda la coleccin de revistas, que permita analizar lossiguientes aspectos:

> Caractersticas editoriales:

Tipo de editorial Lugar de edicin Antigedad, periodicidad y puntualidad de la revista Composicin de los comits editoriales Sistemas de seleccin de originales Adecuacin de las revistas a las normas internacionales de

edicin

> Caractersticas de los autores:

u Distribucin geogrfica Distribucin institucional Colaboraciones

Caractersticas de los trabajos publicados:

Tipologa Originalidad

33

> Difusin:

Difusin nacional Difusin internacional Difusin a travs de Internet

3. Aplicacin de cinco modelos diferentes de evaluacin de publicacionesperidicas para analizar el comportamiento de las revistas ante losdiferentes indicadores que propone cada modelo.

4. Normalizar la formulacin de los modelos para poder comparar tosresultados obtenidos.

5. Aplicacin de los modelos una vez normalizados y anlisis de losresultados

6. Proponer un ranking final de las revistas analizadas.

7. Proporcionar los elementos de juicio necesarios para elaborar un sistemade evaluacin adecuado a los objetivos que, en cada caso, se fijen.

El inters de este estudio est, adems de dar a conocer lascaractersticas y nivel de calidad de las revistas jurdicas espaolas, en analizaren detalle cmo funcionan los sistemas de evaluacin y qu sesgos presentan,para ayudar a quienes deban abordar trabajos de este tipo.

34

3. SELECCIN DE LA MUESTRA

3. SELECCIN DE LA MUESTRA

La investigacin se ha realizado sobre sesenta y nueve ttulos derevistas espaolas del rea de la ciencia jurdica. Se ha seleccionado esta reade conocimiento porque, como se ha visto en la introduccin, las revistasmenos analizadas son las de Ciencias Sociales y Humanidades y, sobre todo,las jurdicas, que slo han sido analizadas de forma anecdtica, aunqueactualmente estn siendo objeto de estudio por parte del CINDOC, junto contoda la produccin de revistas espaolas (Romn, Vzquez y Urdn, 2002;Urdn, Vzquez y Romn, 2003) de todas las reas del conocimiento, aplicandoel mtodo desarrollado por el proyecto Latindex.

En este trabajo se podrn individualizar las caractersticas de esteconjunto de publicaciones al ser objeto nico de un estudio realizado desdevarios puntos de vista. Las revistas se seleccionaron utilizando el Directorio derevistas espaolas de ciencias sociales y humanas, editado en 1998, junto conuna adenda de actualizacin a junio de 2001, facilitada amablemente por elpersonal del CINDOCI donde se recogen 145 ttulos de revistas del rea deciencias jurdicas. Ante la imposibilidad material de abordar el estudio de todasellas, se dejaron fuera las revistas que pertenecen al rea del derecho privadoy se seleccionaron las que tratan de generalidades del derecho y derechopblico, concretamente, se seleccionaron los siguientes subgrupos deldirectorio:

56000 Derecho560200 Teora y mtodos generales560203 Filosofa del derecho560300 Derecho internacional560402 Magistratura560500 Legislaciones nacionales560501 Derecho administrativo560504 Derecho constitucional560506 Derecho fiscal560507 Derecho pblico

37

569901 Derecho comunitario569904 Derecho financiero569905 Derecho poltico

La distincin entre derecho pblico y derecho privado ha sido y es objetode discusiones doctrinales pero, si entendemos que el derecho es el conjuntode normas que regulan las relaciones y los conflictos entre dos sujetos, se tratade derecho pblico cuando, al menos uno de esos sujetos, es un ente decarcter pblico. Entre otras definiciones podemos citar las siguientes:

Derecho Pblico y Derecho Privado. Diversas teoras han tratado deexplicar la diferencia fundamental que origina esta clasificacin delDerecho en Pblico y Privado: as, algunos autores ven en el primeronormas de organizacin de la sociedad, y en el segundo, normas deconducta de los individuos que la integran; otros hacen mencin de lossujetos a quienes se dirigen uno y otro; sera el Estado el sujeto delDerecho Pblico, y lo sera del Derecho Privado el individuo... (Ossorio,2001; p. 328)

Por Derecho pblico se entiende, prima facie, las asignaturas deDerecho poltico, constitucional, administrativo, fiscal, que se distinguenclaramente del conjunto de asignaturas de Derecho privado que es,fundamentalmente, el Derecho civil y el mercantil (Gallego, 2002; p. 17)

Teniendo en cuenta estos conceptos, en una primera seleccin semarcaron 97 ttulos de los que haba que escoger slo aquellos que cumplieranlos siguientes requisitos:

- ser revistas vivas a finales del ao 2000,- haber nacido antes de 1998,- incluir doctrina firmada, es decir, destinar parte de su espacio a la

edicin de artculos cientficos. Se eliminaron, por tanto, aquellasrevistas que son slo repertorios jurdicos,

- poder disponer de colecciones completas de los aos 1998, 1999 y2000.

38

Para llevar el control de todos los ttulos se elabor una base de datosen ACCESS en la que se incluyeron los datos bibliogrficos bsicos ms uncampo de localizacin, para reflejar el nombre de la biblioteca o bibliotecasdonde se podan localizar, y un campo notas para incluir las observacionespertinentes, como se puede ver en la figura 1:

Qhservat rdedodfta(2O% en pg

1neta

:

- 1:- - --------------

Todos estos datos, necesarios para la seleccin definitiva, se fueronobteniend tras dar los siguientes pasos. En primer lugar se realiz unaconsulta a los principales catlogos colectivos espaoles para eliminar aquellasrevistas que, por uno u otro motivo, no cubran el periodo que se habadeterminado estudiar. De esta forma se eliminaron catorce ttulos que estabancerrados o haban suspendido en ese momento su publicacin y dos quehaban nacido con posterioridad a 1998.

Despus se intent lcalizar los fondos de los ochenta y un ttulosrestantes con el objetivo de revisar al menos un nmero de cada una de ellas ypoder eliminar las que no dedican espacio a la publicacin de artculos otrabajos de investigacin y las que por tema tambin podan quedar fuera del

Figura 1. Ejemplo de registro de la base de datos de control de las revistas

39

mbito de este estudio Dos revistas slo aparecan en bibliotecas de Catalua,que por sus ttulos y la informacin obtenida en los catlogos editoriales, seentendi que podan quedar fuera, ya que son, fundamentalmente., repertoriosjurdicos. Sn: La 1/ej de Catalunya Balears: Revista jurdica de legislaci jurisprudencia y Catalunya Municipal. Otra de las revistas: Iustiforum PapersdEstudis Formaci no se localiz en ninguna biblioteca. Y del Boletn de losColegios de Abogados de Aragn no se pudieron localizar coleccionescompletas.

Del resto, una, la Revista de la Facultad de Derecho de la UniversidadComplutense. Monogrficos, se elimin por ser, en realidad, una coleccin denmeros monogrficos, complementaria de la Revista de la Facultad deDerecho de la Universidad Complutense de Madrid que s se ha analizado.

Seis se eliminaron por la materia que tratan. Una de ellas, la Revista delMinisterio Fiscal est mal clasificada en el Directorio del CINDOC, que laincluye en derecho fiscal. Otras dos eliminadas son el Boletn de Informacinde la Academia Granadina del Notariado y Anales de la Academia Matritensedel Notariado, entendiendo que son revistas ms interesadas en el derechoprivado, y se dej una ms representativa del sector, que es a Revista Jurdicadel Notariado.

Las otras tres que se eliminaron por su tema son: Cuadernos deDerecho Judicial, Revista Espaola de Derecho Militar y Revista Espaola deMedicina Legal.

De los sesenta y nueve ttulos resultantes se calcul el espacio quedestinaban, en el nmero revisado, a artculos y el porcentaje se anot en elcampo Observaciones de la base de datos de control de revistas, y se decidieliminar tres ttulos ms: La Administracin Prctica, que no incluye nada dedoctrina firmada, y Gaceta Fiscal y Actualidad Financiera porque son, sobretodo, repertorios jurdicos, muy similar sta ltima a Actualidad Administrativaque s se analiz.

40

A los sesenta y siete ttulos resultantes de esta seleccin se aadierondos ms, el Anuario de Historia del Derecho Espaol, recogido en el Directoriodel CINDOC en el apartado de historia, pero que se consider interesante, yaque se haba incluido el Anuario de Filosofa del Derecho, y, por ltimo, al tenernoticia de la existencia del Anuario Jurdico de la Rioja, se decidi incluirlo,aunque no aparece en el Directorio, como se haban incluido otras revistasjurdicas de varias comunidades autnomas. En total son sesenta y nuevettulos, cuya relacin se incluye como apndice III, y en el apndice IV se indicael nombre de las bibliotecas en las que se han localizado.

El conjunto del material analizado ha sido, por tanto, de sesenta y nuevettulos de revistas jurdicas espaolas, de las que se han revisado los aos1998, 1999 y 2000, que en conjunto suman 628 fascculos ms treinta y seistomos que recopilan entregas semanales o quincenales de tres repertoriosjurdicos.

41

4. METODOLOGA

4. METODOLOGA

Para cumplir con los objetivos propuestos y, una vez seleccionada lamuestra, se han aplicado distintos mtodos de trabajo, en tres fases diferentes,que han sido, en primer lugar, el anlisis directo de las revistas para obtenerdatos sobre sus caractersticas generales; en segundo lugar, la aplicacin decinco mtodos distintos de evaluacin de revistas, formulados por organismosnacionales de investigacin, y, por ltimo, la aplicacin de estos modelos trashaber sido normalizados para poder comparar despus los resultados.

Los modelos han sido seleccionados tras revisar los trabajos que se hanllevado a cabo en el mundo sobre evaluacin de revistas cientficas, los cincomtodos cumplen los requisitos necesarios para poder ser aplicados en estetrabajo, que son:- haber sido diseados para analizar grandes conjuntos de revistas, y- utilizar un amplio nmero de indicadores vlidos para analizar las revistas

desde varios puntos de vista.

Se rechazaron, por tanto, los trabajos pensados slo para evaluaraspectos concretos como la normalizacin, o la difusin, etc., y aqullos otros,como el elaborado por el Institute for Scientific Information, descrito en laintroduccin, cuyo objetivo es seleccionar revistas que engrosen sus productoseditoriales aplicando criterios subjetivos, por ejemplo, intentar cubrir reas deconocimiento, rechazando buenas revistas por pertenecer a reassuficientemente representadas en sus bases de datos.

Los mtodos finalmente seleccionados son los siguientes:- Universidad de So Paulo (Brasil)- Colciencias: Instituto Colombiano para el desarrollo de la Ciencia y la

Tecnologa Francisco Jos de Caldas- CONACYT: Consejo Nacional de Ciencia y Tecnologa de Mxico- National Research Council of Canada- LATINDEX

45

Como se vio en la introduccin, los pases ms productivos en cuanto atrabajos sobre evaluacin de revistas se refiere son los latinoamericanos, poreso tres de los modelos pertenecen a esa rea geogrfica, y un cuarto, elmodelo Latindex, abarca pases de Amrica Latina, el Caribe y tambinparticipa Espaa. Para completar el panorama, se ha incluido el modelocanadiense, elaborado por el National Research Council, perteneciente, portanto, a otro mbito geogrfico.

El desarrollo de las distintas fases del trabajo no ha estado exento deproblemas, bien por falta de datos, bien por falta de precisin en la informacinfacilitada, o, en el caso de la aplicacin de los modelos escogidos, porque suformulacin no es lo suficientemente precisa, o porque haba que adaptarlos alos datos obtenidos y a los medios disponibles. Como estos problemas soncomunes, en algunos casos, a las distintas fases del trabajo, se han buscadosoluciones de aplicacin general que se detallan en el siguiente apartado paraevitar repetir la explicacin.

4.1. Soluciones metodolgicas de aplicacin general.

Los aspectos a los que afectan son los siguientes:

- obtencin de datos- normalizacin- antigedad- periodicidad y puntualidad- concepto de coautora- sistemas de seleccin de trabajos- concepto de originalidad- concepto de endogamia- difusin

46

4.1.1. Obtencin de datos

Los datos necesarios para realizar la evaluacin se han obtenido, en sumayora, del anlisis directo de los ejemplares, ya que se han revisado lassesenta y nueve colecciones completas, pero los fascculos no contenan todala informacin necesaria por lo que hubo que solicitar los datos directamente alas editoriales. Estos datos se refieren, sobre todo, a la distribucin de lasrevistas y al sistema de seleccin de originales empleado. Para ello se diseun cuestionario, incluido como apndice y, que se envi por correo. A esteprimer envo contestaron veintiocho revistas: doce de ellas lo hicieron porcorreo, once por fax y cinco por correo electrnico. Con posterioridad se realizun segundo envo del cuestionario a aquellas revistas que no habancontestado, utilizando esta vez el correo electrnico. A este segundo envorespondieron diecisis: trece de ellas por correo electrnico, dos por fax y unapor correo postal. Por ltimo, se hicieron llamadas telefnicas, y de esta formacontestaron dos revistas. En conjunto se obtuvieron cuarenta y seis respuestas,un sesenta y seis por ciento del total.

4.1.2. Normalizacin de la edicin de publicaciones peridicas

La mayora de los modelos de evaluacin que se han aplicado tiene encuenta el grado de normalizacin de una publicacin, es decir, intenta medir elnivel de adecuacin a las principales normas para la homologacin de laedicin de las publicaciones peridicas, cuya aplicacin generalizadacontribuye a simplificar la gestin de una coleccin y a facilitar el proceso decatalogacin necesario para el enriquecimiento de las bases de datos.

En los procesos de evaluacin de mbito nacional se tiende a aplicarnormas nacionales, normalmente adaptaciones de normas internacionales, porejemplo el modelo aplicado por la Universidad de So Paulo utiliza las normasABNT (Associao Brasileira de Normas Tcnicas) y el modelo Colcienciasutiliza las normas NTC (Normas Tcnicas Colombianas). En este estudio sehan utilizado las normas UNE equivalentes a las normas lSO ms importantesen el campo de la edicin de las publicaciones peridicas y, con posterioridad,

47

se ha adaptado la informacin obtenida a los requerimientos de cada modelode evaluacin, explicando en cada caso los criterios que se han aplicado.

Las normas que se han utilizado han sido:

- UNE 50-101-90 (lSO 8-1977): presentacin de las publicacionesperidicas

- UNE 50-110-90 (ISO 18-1981): sumario de las publicacionesperidicas

- UNE 50-133-94 (ISO 215-1986): presentacin de artculos enpublicaciones

4.1.3. Antigedad de las revistas

El mercado de la edicin de revistas cientficas est en constanteevolucin y cambio. Cada ao aparecen nuevos ttulos, pero tambindesaparecen otros. Es un mundo competitivo y difcil, por eso la pervivencia deuna publicacin a lo largo de varios aos se considera como un factor positivoen cualquier proceso de evaluacin.

Pero, a veces, no es fcil conocer cul ha sido el primer ao de edicin,ya que hay revistas que han cambiado de ttulo e incluso de entidad editora, alo largo de su historia.

Para este estudio se pens, en un principio, empezar a contar laantigedad desde la fecha de salida de la publicacin con el ltimo ttuloconocido, pero se vio que, aplicando este criterio, se privaba a algunas revistasde una gran parte de su historia, que es, a veces, reflejo de la propia historiadel pas. Un ejemplo lo tenemos en los ttulos que no se publicaron durante laguerra civil, como la Revista Jurdica de Catalunya, interrumpida de 1936 a1945, ao en el que sali con el ttulo en castellano, hasta 1982, en el quevuelve a salir en cataln; o algunas que hicieron el esfuerzo de salir al mercadoreduciendo su periodicidad, como el Anuario de Historia del Derecho Espaol,que public slo dos nmeros en el periodo comprendido entre 1936 y 1943, el

48

volumen 13 en el periodo comprendido entre 1936 y 1941 y el volumen 14 queincluye de 1942 a 1943. Tambin son, en algunos casos, reflejos de losavatares de la institucin encargada de su publicacin, como en el caso delBoletn de Informacin del Ministerio de Justicia, que naci en 1852 comoBoletn oficial del Ministerio de Gracia y Justicia, y ha ido adaptando su ttulo alas distintas denominaciones que ha recibido el Ministerio que lo edita.

La reconstruccin de la vida de cada revista se ha realizado utilizandopor un lado, la informacin que algunas proporcionan en sus catlogos ofolletos de propaganda, y, por otro, analizando las anotaciones de losprincipales catlogos colectivos espaoles: el Catlogo Colectivo Espaol dePublicaciones Peridicas mantenido por la Biblioteca Nacional(http://www.bne.es/esp/cat-fra.htm) y el catlogo REBIUN de la Red deBibliotecas Universitarias Espaolas (http://rebiuncrue.org/cqi-bin/rebiun).

Hay algunos casos de revistas que han nacido desgajndose de otraspor la necesidad de crear publicaciones ms especializadas. Es el caso, porejemplo, de la Revista de Administracin Pblica, editada actualmente por elCentro de Estudios Polticos y Constitucionales, que naci en 1950 con elpropsito de tratar de forma especializada los temas de administracin pblicaque cada vez ocupaban ms espacio en la Revista de Estudios Polticos,nacida en 1941. 0 el caso de la revista Anales de Derecho: revista de laFacultad de Derecho, Universidad de Murcia, nacida en 19556, comoespecializacin de la revista Anales de la Universidad de Murcia (1930-1954).En estos casos, hemos tomado como primera fecha aqulla en la que yapodemos reconocer una revista de temtica similar a la actual.

4.1.4. Periodicidad y puntualidad

Adems de la antigedad, tambin se considera muy positivo el que unarevista cumpla escrupulosamente con la periodicidad establecida, lo quesupone, por un lado, editar el nmero de ejemplares a que se ha comprometido

6 En 1955 su ttulo era: Anales de la Universidad de Murcia. Derecho

49

la editora y, por otro, llegar puntualmente al lector. Para comprobar estos datos,se han consultado los ficheros de entrada de las distintas bibliotecas en las quese han localizado las revistas y para afirmar si una revista es puntual o no, sehan aplicado los siguientes criterios:

- a las revistas mensuales y bimestrales se les da un mes de plazo apartir de la fecha en que deben salir,- a las revistas trimestrales y cuatrimestrales se les da dos meses deplazo, y- a las revistas semestrales y anuales se les da tres meses de plazo7.

4.1.5. Concepto de coautora

El trabajo realizado en colaboracin entre dos o ms autores es unhbito que ha ido en aumento a lo largo de los aos. Segn datos del profesorSanz Casado (1994, p. 223 y Ss.) en el ao 1900 el 80 por ciento de lostrabajos estaban firmados por un solo autor, mientras que en 1988 estasituacin se invierte, siendo el 20 por ciento los trabajos firmados por un soloautor. Pero esta evolucin no ha sido la misma en todos los campos cientficos:el mayor nmero de firmas por trabajo se registra en las cienciasexperimentales y el menor, con diferencia, en las ciencias humanas, en las quepredomina el trabajo individual. El Derecho, en este caso, sigue uncomportamiento similar al de las humanidades, Lpez Terrada (1997) obtieneun ndice de 115 en su anlisis de trabajos sobre negociacin colectiva, ydatos parecidos se obtienen en ciencias afines como la ciencia poltica (Gmezdel Pulgar, 2001, trabajo en el que se obtiene un 106 al analizar la Revista deEstudios Polticos) o la sociologa (Lpez Lpez y Escalada, 1999, obtienen un118 en su anlisis de la Revista Espaola de Investigaciones Sociolgicas).

El ndice de coautora nos informa del nmero medio de autores portrabajo, se obtiene dividiendo el nmero de autores que han colaborado en una

Estos criterios estn establecidos por Adelaida Romn y Elea Gimnez en su trabajo Lasrevistas espaolas de economa: una propuesta de evaluacin cientfica, en InformacinComercial Espaola, n 753, enero-febrero, 2000; p. 136

50

revista, entre el nmero de artculos publicados. Este concepto, por tanto, estmuy ligado al de colaboracin, cuyo estudio permite conocer las relaciones detrabajo entre distintas instituciones o grupos de investigadores.

4.1.6. Sistemas de seleccin de originales

La edicin de una publicacin es un trabajo en el que est implicado unconjunto de personas de cuyo esfuerzo e inters va a depender una parteimportante del xito de la misma. Segn Gmez Caridad (2001) el personalimplicado, en lneas generales, es el siguiente:

- Director, el ltimo responsable de la revista- Consejo de redaccin, formado por expertos en el tema, cuya vala

personal influye en el prestigio de la publicacin- Consejo asesor- Expertos para revisin de originales- Secretario de redaccin- Imprenta- Distribucin y promocin

Toda entidad editora debera cuidar al mximo la composicin de losrganos decisorios, seleccionando a los responsables por su vala personal ysu entusiasmo, ya que de ello va a depender en muchos casos el que buenosinvestigadores confen en ella para enviar sus trabajos. Adems, se deberatener en cuenta la pluralidad y dar cabida a gente procedente de diversasinstituciones nacionales y/o extranjeras, evitando as la tendencia endogmicaque, desgraciadamente, se da en un buen nmero de revistas dedicadas apublicar trabajos producidos en un entorno muy prximo bien institucional, biengeogrfico.

Un buen equipo directivo, adems de dar prestigio a una revista por losmritos de sus componentes, debe prestar especial atencin al proceso deseleccin de originales para publicar. La confianza que tanto autores cornolectores depositan en las revistas cientficas se basa en la seriedad con que se

51

realiza este proceso, en el que deben colaborar varios expertos (peer review),de forma annima (Maltrs, 2003; p. 47) y, preferiblemente, utilizando elsistema doble ciego, aqul en el que tampoco el revisor conoce el nombredel autor del trabajo que debe evaluar. A pesar de los problemas (Campanario,2002), hoy por hoy sigue siendo el mejor sistema. De hecho, las revistas msexigentes son las que ms trabajos y de mejor calidad atraen, por eso tambinse suele considerar, como indicador de calidad, el porcentaje de artculospublicados en relacin con los recibidos.

Los datos relacionados con la composicin de los comits editoriales seha obtenido de los fascculos de las revistas, de las respuestas a loscuestionarios y, en los casos en los que no se facilita la afiliacin, se haintentado su localizacin utilizando buscadores de Internet, as se hancompletado los datos de aproximadamente un 93 por ciento de los miembrosde los comits. Conociendo estos datos, se ha podido calcular el ndice deendogamia en la composicin de los comits.

La informacin relacionada con el sistema de seleccin de originales noaparece en la mayora de los fascculos, por eso fue uno de los datos que sesolicitaron en los cuestionarios. Las respuestas obtenidas revelan, en algunoscasos, desconocimiento de la terminologa, por lo que los datos obtenidos noson del todo fiables.

4.1.7. Concepto de originalidad

Las revistas cientficas tienen como principal objetivo difundir losresultados de las investigaciones que se llevan a cabo en un rea determinada,por tanto deben destinar gran parte de su espacio a la publicacin de trabajosoriginales, pero no siempre stos ven la luz por primera vez, ya que en algunasocasiones las revistas recogen textos concebidos como ponencias,conferencias, seminarios, etc. En el caso de las ciencias sociales y humanas,en las que se concede gran importancia a la publicacin de monografas, esmuy frecuente la publicacin por adelantado, en forma de artculo, de trabajoscuyo destino final ha sido o ser formar parte de una monografa. En este

52

trabajo se ha considerado como original toda aquella investigacin que no seha dado a conocer antes de salir en la revista, aunque se anuncie su futuraaparicin como monografa.

4.1.8. Concepto de endogamia

Si las revistas quieren ser verdadero reflejo del estado de lainvestigacin cientfica de su especialidad, deben estar abiertas a laparticipacin de todos aquellos investigadores que tengan algo que decir, y nolimitarse a publicar los trabajos realizados en su mbito institucional ogeogrfico, y, del mismo modo, deben dar cabida en sus comits editoriales aexpertos de distintas instituciones y pases.

A efectos del clculo del ndice de endogamia, mediant