Investigadores de la Universidad Carlos III de Madrid (UC3M), de la Universidad de León (ULE) y de la Universidad Estadual Paulista (UNESP) de Brasil han desarrollado un indicador más robusto, claro y justo que el factor de impacto, que es la herramienta que se ha utilizado ampliamente desde hace décadas para la evaluación de las revistas académicas y científicas.
Este nuevo indicador, que han denominado Real Influence, tiene numerosas aplicaciones prácticas, que podrían abarcar desde la evaluación de proyectos de investigación y acreditaciones hasta las solicitudes de sexenios, pasando por la identificación de patrones inusuales de citación en revistas científicas. Este nuevo indicador “busca una evaluación racional y contextualizada de las revistas científicas, no una receta mágica para la toma de decisiones exclusivamente basada en números”, señala uno de sus autores, Antonio Perianes, profesor del Dpto. de Biblioteconomía y Documentación de la UC3M. “En este sentido, no pretende ser una medida única (ya que no puede capturar toda la complejidad de la ciencia) y debe complementarse siempre con evaluaciones cualitativas de las publicaciones científicas”, añade.
Real Influence busca ofrecer una alternativa mejorada al factor de impacto, que calcula el número promedio de citas por publicación científica. El problema, según los investigadores, es que el factor de impacto ofrece información sobre la visibilidad individual de cada publicación y no es inmune a distorsiones producidas por artículos muy citados, además de otros inconvenientes. Por ejemplo, tiende a ser más alto en campos donde las publicaciones y citas son más frecuentes (como ciencias biomédicas o tecnología) o no refleja el impacto que una publicación pueda tener a largo plazo (porque generalmente realiza mediciones en los dos años posteriores a la publicación).
“Nuestro propósito inicial para crear Real Influence era desarrollar una herramienta que permitiera mostrar la visibilidad de todas las publicaciones de una revista y realizar comparaciones entre las mismas”, explica Perianes. “Este enfoque permite comparar distribuciones de revistas de diferente tamaño sin que haya distorsiones, y esto es especialmente importante, ya que evita la desventaja de revistas con menor producción frente a aquellas con un volumen de publicaciones considerablemente mayor”.
Para llevar a cabo el estudio, publicado recientemente en la revista Quantitative Science Studies, el equipo ha comparado el rendimiento del nuevo indicador en casi cuatrocientas revistas de las áreas de Biblioteconomía y Ciencias de la Información, Bioquímica y Biología Molecular. Los resultados del análisis muestran que Real Influence es menos vulnerable a manipulaciones, representa mejor la distribución completa de las publicaciones y, sobre todo, proporciona una visión más detallada y justa basada en la visibilidad de cada artículo.
La metodología de Real Influence está inspirada en el uso de percentiles en áreas como la economía o el crecimiento pediátrico, que permite evitar sesgos provocados por artículos excepcionalmente citados, ya que no solo se evalúan las citas obtenidas, sino que también se toma en cuenta la posición relativa de cada artículo dentro del universo de citas en su categoría. Esto hace que sea fácilmente adaptable y que pueda implementarse en cualquier sistema de datos compatible con estudios de citas, como WoS o Scopus.
Video:
https://www.youtube.com/watch?v=p2qWH4VRyHk