Rev Méd Chile 2007; 135: 1474-1478

ARTÍCULOS ESPECIALES

Fortalezas y debilidades del factor de impacto de revistas científicas

Strengths and weaknesses of the impact factor of scientific journals

Víctor Zarate B¹, Jaime Cerda L¹.

¹Departamento de Salud Pública, Facultad de Medicina, P. Universidad Católica de Chile, Santiago de Chile.

Dirección para correspondencia

The impact factor is a bibliometric tool used to estimate the importance of scientific journals. It is calculated and published annually for journals indexed by the Institute for Scientific Information (ISI) and is a reflex of the average number of citations that each journal receives during a certain period of time. Since its creation it has been used as criteria in several decision-making processes such as buying journals subscriptions and submitting articles for publication. Operating under the hypothesis "the greater the impact factor, the greater the quality of a journal", it has been subject of numerous controversies, especially due to certain biases around its calculation. The present article describes the Impact Factor and analyses the most important aspects in relation to its calculation, strengths, ¡imitations and common errors on its application.

(Key words: Bibliometrics; Periodicals; Research support)

Con el objetivo inicial de crear una herramienta bibliométrica útil para la investigación así como disponer de un indicador que cuantificara la relevancia de revistas científicas, en 1955 Eugene Garfield sentó las bases que culminaron con la creación del Journal Impact Factor (JIF) o Factor de Impacto^1,2. En términos simples, el JIF refleja la frecuencia con la que artículos publicados por una determinada revista son citados en un período de tiempo preestablecido. Operando bajo el supuesto de que "a mayor factor de impacto, mejor es la revista", éste se ha utilizado como un criterio para la toma de una amplia gama de decisiones tales como la compra de suscripciones y el envío de artículos para publicación. La influencia del JIF en la forma que la investigación es percibida y evaluada por la comunidad científica es vasta. Sin embargo, su existencia ha sido motivo de controversia debido a ciertos sesgos en torno a su construcción. ¿Se puede juzgar una revista según la magnitud de su JIF? ¿Refleja éste fielmente su calidad? Con el propósito de introducir el concepto de JIF en la comunidad médica, el presente artículo describirá cómo se construye y analizará algunas de sus principales fortalezas, debilidades y errores en su aplicación.

Cálculo del factor de impacto. Desde 1961, el Institute for Scientific Information (ISI) publica el Science Citation Index (SCI), una extensa base de datos que registra y ordena la totalidad de citaciones de artículos publicados por revistas científicas alrededor del mundo. Utilizando esta base de datos, ISI calcula anualmente el JIF para cada revista y lo reporta a través de Journal Citation Reports (JCR)³.

El JIF de una revista "X" se construye anualmente en base a un cuociente. El numerador corresponde al total de citaciones de los artículos publicados por "X" durante los dos años inmediatamente anteriores. Por su parte, el denominador corresponde al total de artículos de la producción citable que "X" publicó durante igual período de tiempo. Este cálculo se comprende mejor mediante un ejemplo. Durante 2003 y 2004, Lancet publicó un total de 913 artículos, registrándose un total de 21.371 citaciones de los mismos durante 2005. Por consiguiente, el JIF de Lancet para el año 2005 se calculó dividiendo 21.371 por 913, cuyo resultado es 23,407³. El JIF puede interpretarse también de la siguiente manera: en promedio, cada artículo que Lancet publicó durante 2003 y 2004 fue citado en 23 oportunidades durante 2005. La Tabla 1 detalla las revistas indizadas en ISI con los 10 mayores JIF en el mundo.

Fortalezas del factor de impacto. Las principales fortalezas del JIF radican, en primer lugar, en la simpleza de su cálculo: un cuociente entre dos números. Su significado es fácilmente comprensible y por lo mismo, el concepto de JIF ha sido incorporado en el lenguaje cotidiano de la comunidad científica. El hecho de que su cálculo sea realizado por ISI y que sus resultados sean difundidos anualmente a través del JCR le otorga objetividad y transparencia, una de las razones que explican su amplia aplicación³.

En segundo lugar, el JIF constituye una herramienta de comparación objetiva del impacto provocado por diferentes revistas, de gran ayuda en la toma de decisiones referentes a investigación y difusión de información, considerando la amplia oferta de revistas existentes. Por ejemplo, una institución de educación que desea adquirir suscripciones de revistas seguramente querrá elegir aquellas de mayor impacto en la comunidad científica, para lo cual necesariamente deberá establecer una comparación entre los JIF de las candidatas; asimismo, un investigador cuyo objetivo es producir con su trabajo el mayor impacto posible seguramente enviará su artículo para publicación a la revista de mayor JIF dentro de su especialidad.

En tercer lugar, su cálculo anual permite conocer el patrón evolutivo de cada revista, reflejando la magnitud del impacto que ésta ejerce a medida que transcurre el tiempo. Muchas revistas reportan los resultados de esta "monitorización" como una forma de mostrar a sus lectores la manera en que, con el correr del tiempo, sus artículos han ido generando un mayor impacto sobre la comunidad científica, reflejando de alguna forma el "crecimiento" de la revista⁴.

Finalmente, un aspecto técnico destacable del JIF radica en que su cálculo se realiza en base a una proporción entre citaciones y artículos publicados, siendo su valor independiente de la cantidad absoluta que tomen estas dos variables. Es así como una revista que publica 20 artículos y es citada en 400 oportunidades tendrá el mismo JIF que una revista que publica 200 artículos y es citada en 4.000 oportunidades. De esta forma, se evita confundir el concepto de "cantidad" con el de "impacto".

Debilidades del factor de impacto. Aspectos técnicos. Numerosa literatura internacional ha resaltado las debilidades del JIF, centrándose en la pregunta ¿es el JIF reflejo de la calidad de una revista y particularmente de sus artículos? Las debilidades del JIF tienen que ver con la existencia de sesgos en su construcción, siendo el primero de ellos el de selección. La proporción de revistas revisadas por pares cubiertas por el SCI es menor a un cuarto del total de revistas existentes; dentro de los tres cuartos restantes naturalmente existen trabajos que también ejercen un impacto sobre sus lectores, no siendo éste cuantificado⁵. De igual forma, las diversas áreas científicas abordadas por revistas cubiertas por el SCI no están representadas en iguales porcentajes. En consecuencia, aquellas revistas dedicadas a temáticas subrepresentadas tienen JIF menores; situación similar ocurre con áreas científicas que cuentan con un importante porcentaje de información publicada en libros, los cuales no están incluidos en el cálculo del factor de impacto⁶.

Diversas investigaciones han demostrado que existen algunas estrategias para aumentar el JIF de una revista. Por ejemplo, la inclusión deliberada de un alto número de artículos de revisión y de artículos de gran extensión, los cuales son reconocidamente citados más veces que otros tipos de artículos, constituye una de ellas^6,7. Situación similar ocurre con revistas que ofrecen en forma gratuita el texto completo de sus artículos a través de Internet; en la medida que aumentan su difusión sus artículos tienen más probabilidad de ser citados, aumentando su JIF no necesariamente a costa de una mayor calidad, sino simplemente por una mayor accesibilidad⁸.

Otro importante sesgo de selección lo constituye la preferencia del SCI por el idioma inglés". Esta situación genera un conflicto en revistas de otros idiomas, enfrentándose por un lado el progreso (a través de la publicación de artículos en inglés, privilegiando la globalización del conocimiento) y por otro lado el propósito de facilitar el acceso a información científica al universo nacional (mediante la publicación de artículos en su idioma original, privilegiando la difusión del conocimiento en su propia lengua y el buen uso de la misma). Diversas estrategias han sido adoptadas para compatibilizar estas posiciones. Por ejemplo, la Revista Médica de Chile mantuvo su política de publicar en español los artículos originarios de Chile y de otros países de habla hispana, agregando a partir del año 2000 invitaciones selectivas a ciertos investigadores angloparlantes con el fin de publicar algunos de sus artículos en inglés y así difundir sus líneas de investigación. De igual forma, publica en inglés artículos de autores no hispano-parlantes que envían por elección propia sus trabajos a la revista^9-11.

Un tercer sesgo es inherente al cálculo mismo del JIF. En el cuociente, el denominador incluye solamente artículos "citables" (ej. trabajos de investigación y artículos de revisión), mientras que el numerador incluye todo tipo de documentos (ej. editoriales, cartas y resúmenes de congresos). La inclusión premeditada de este tipo de documentos, en especial cuando generan controversias, permite elevar artificialmente su JIF, ya que son citados frecuentemente. Una situación similar ocurre en revistas cuyos artículos incluyen numerosas autoneferencias, a veces en forma desproporcionada. El uso malicioso de estas prácticas está reñido con la ética y ha sido fuente de importantes conflictos, como el ocurrido en 1997 entre Leukemia Research y su competidor, Leukemia¹².

Un último sesgo tiene relación con un factor temporal. La edad de un artículo se define como el número de años transcurridos a partir de su publicación en una revista. Considerando las edades de los artículos de una revista, es posible calcular la Vida Media de Citaciones Recibidas (Journal Cited Half-Life), definida a su vez como la mediana de la edad del total de citaciones recibidas por una revista durante un determinado año. Aquellas disciplinas científicas o áreas médicas de mayor dinámica en cuanto a generación y renovación de conocimientos (ej. inmunología) publican sus artículos en revistas de su especialidad, las cuales poseen menor vida media de citaciones recibidas. En consecuencia, estas revistas presentan una mayor proporción de citaciones recibidas dentro de los primeros dos años desde su publicación, período de tiempo crítico en el cálculo del JIF. Por el contrario, existen áreas donde el conocimiento no se genera ni se renueva con tanta velocidad (ej. políticas de salud), siendo sus artículos publicados en revistas con vida media de citaciones mayor, subestimándose la magnitud de su JIF⁵. Para eliminar este sesgo se ha sugerido ampliar el período considerado para el cálculo del JIF, compensando a aquellas disciplinas de crecimiento más lento.

Debilidades del factor de impacto. Aspectos conceptuales. Desde un punto de vista conceptual, ¿por qué se considera el número de citaciones que aluden a una revista una medida de "impacto"? Para Garfield, cuando un investigador cita un artículo está reflejando en cierto modo la influencia que éste le produjo. Por consiguiente, si se realiza una extrapolación hacia la totalidad de los artículos de una revista, la sumatoria de sus citaciones estaría reflejando la influencia que éstas produjeron sobre toda la comunidad científica¹³. Esta afirmación es discutible por varias razones y la primera de ellas tiene que ver con la idea de representatividad. Para que el JIF sea representativo de la totalidad de los artículos publicados por una revista, la tasa de citación individual de los artículos debería seguir una distribución preferentemente normal, centrada en la media y con desviación estándar pequeña. Analizando la tasa de citación individual de artículos de tres revistas del área de la bioquímica, Seglen observó que 15% de los artículos daban cuenta del 50% de las citaciones de la revista, así como que el 50% de los artículos daba cuenta del 90% de las citaciones¹⁶. Esta observación ilustra la asimetría de la contribución a la magnitud del JIF por parte de los artículos que componen una revista, ya que una baja proporción de esos artículos proporciona la mitad o más de la mitad de sus citaciones.

Surge inmediatamente una pregunta de fondo. ¿Es el JIF una medida de la calidad de una revista? Saha abordó esta interrogante seleccionando al azar a 264 médicos, a quienes solicitó jerarquizar nueve revistas de medicina general de acuerdo a su calidad basándose en un criterio netamente subjetivo. Posteriormente, correlacionó las preferencias de los participantes con los respectivos JIF, obteniendo una correlación fuerte y significativa (r² =0,82; p =0,001), planteando de este modo la existencia de una proporcionalidad entre la calidad de una revista y la magnitud de su JIF¹⁴. Sin embargo, es sabido que la calidad de un artículo requiere de mediciones objetivas (ej. puntaje de Hadad), diferente al criterio subjetivo utilizado en la investigación realizada por Saha.

Publicaciones chilenas. Para el año 2005, JCR publicó el JIF de ocho revistas chilenas, de temáticas tan diversas como biología, geología, química, medicina y veterinaria. En términos absolutos, el mayor número de citaciones y artículos publicados correspondió a la Revista Médica de Chile'. Cuatro revistas incluyen sus textos completos en inglés. Las ocho revistas están disponibles en línea gratuitamente en el portal SciELO Chile (Tabla 2).

CONCLUSIÓN

La amplia oferta de publicaciones científicas requiere de un parámetro que permita objetivar sus diferencias, siendo el JIF una herramienta de gran utilidad. Es un hecho reconocido que las revistas con mayor JIF reciben los mejores trabajos de sus disciplinas, los cuales compiten para ser aceptados. En general, estas revistas tienen una alta tasa de rechazo, garantizando en forma objetiva que los trabajos publicados son de buena calidad. Sin embargo, el desconocimiento de los sesgos en torno al cálculo del JIF y su consiguiente aplicación errada en el proceso de toma de decisiones puede tener consecuencias deletéreas tanto para instituciones como para personas. La eliminación de algunos sesgos mediante la introducción de factores correctores en su cálculo (ej. porcentaje de autorreferencias, disponibilidad gratuita) le otorgarían una cuota de mayor representatividad del impacto que realmente generan sobre la comunidad científica. En esta línea se ha propuesto la implementación de nuevos indicadores, por ejemplo, el Factor de Impacto Ponderado, el cual introduce una corrección según el prestigio de una revista donde se ha citado un artículo, reconociendo que el impacto de una citación en una revista reconocida mundialmente no equivale al impacto de una citación en una revista de escaso reconocimiento¹⁵.

Por otra parte, es importante considerar que la amplia variedad de disciplinas científicas y modalidades de publicación hacen necesario limitar las comparaciones entre revistas de características comunes. Por ejemplo, afirmar que el impacto de una revista como New England Journal of Medicine (JIF = 44,016) es 10 veces mayor que el de Pediatrics (JIF = 4,272) no es del todo correcto, por cuanto estas dos revistas abordan temáticas diferentes, poseen volúmenes de lectores diferentes y tratan de disciplinas de investigación con diferentes ritmos de investigación. De hecho, cada una de ella es la revista de mayor JIF en su área específica. La real dimensión del JIF es la de una aproximación a la influencia que ejercen la totalidad de los artículos de una revista sobre la comunidad científica, entendiendo que "impacto" no es exactamente sinónimo de "calidad". La medición más fidedigna de la calidad de una revista está dada por el análisis crítico de cada uno de sus artículos. Finalmente, al momento de enviar un artículo para su publicación, siempre se debe pensar a qué audiencia se quiere impactar. En el caso del presente artículo, su objetivo ha sido discutir algunos aspectos relevantes en torno a este tema en la comunidad médica de habla hispana, en especial chilena, independientemente de la especialidad del lector. Por consiguiente, la revista en que ha sido publicado constituye la mejor opción para cumplir este objetivo, independiente del valor de su JIF. Sólo un conocimiento acabado de sus fortalezas y debilidades permitirá transformarlo en una herramienta útil para la toma de decisiones, propiciando de este modo la generación y difusión del conocimiento.

REFERENCIAS

1. Opthof T. Sense and nonsense about the impact factor. Cardiovasc Res 1997; 33: 1-7.

2. Garfield E. The history and meaning of the journal impact factor. JAMA 2006; 295: 90-3.

3. Thomson Scientific. Journal Citation Reports. Disponible en: www.isinet.com [Consultado el 15 de junio de 2006].

4. Rau J. Biological Research Impact Factors: 1998-2004. Biol Res 2005; 38: 147-9.

5. Dong P, Loh M, Mondry A. The "impact factor" revisited. Biomed Digit Libr 2005; 2:7.

6. Seglen P. Why the impact factor of journals should not be used for evaluating research. BMJ 1997; 314: 498-502.

7. Seglen P. Evaluation of scientists by journal impact. En: Representations of science and technology. Leiden: Editorial DSWO, 1992; 240-52.

8. Murali NS, Murali HR, Auethavekiat P, Erwin PJ, Mandrekar JN, Manek NJ, et al. Impact of FUTON and NAA bias on visibility of research. Mayo Clinic Proceedings 2004; 79: 1001-6.

9. Reyes H, Kauffmann R, Andresen M. Tradition and progress: now also a bilingual journal? Rev Méd Chil 2000; 128: 1187-9.

10. Reyes H, Kauffmann R, Andresen M. Is the methodology of our original articles essentially inferior to similar papers published in English-speaking journals? Rev Méd Chil 1998; 126: 361-2.

11. Reyes H. The «impact factor» and the impact of medical journals. Rev Méd Chil 1998; 126: 135-8.

12. Smith R. Journal accused of manipulating impact factor. BMJ 1997; 314: 461.

13. Garfield E. Which medical journals have the greatest impact? Ann Intern Med 1986; 105:313-20.

14. Saha S, Saint S, Christakis DA. Impact factor: a valid measurement of impact quality? J Med Libr Assoc 2003; 91: 42-6.

15. Buela-Casal G. Evaluación de las calidad de los artículos y de las revistas científicas: propuesta de un Factor de Impacto Ponderado y de un índice de Calidad. Psicothema 2003; 15: 23-35.

Recibido el 26 de julio, 2006. Aceptado el 27 de febrero, 2007.

Correspondencia a: Dr. Jaime Cerda L. Departamento de Salud Pública. Facultad de Medicina, Pontificia Universidad Católica de Chile. Marcoleta 434, Santiago-Chile, CP 833-0073. Tel: (56-2) 3546450. Fax: (56-2) 6331840. E mail: jcerda@med.puc.cl