Des chercheurs de l’Universidad Carlos III de Madrid (UC3M), de l’Universidad de León (ULE) et de l’Universidad Estadual Paulista (UNESP) au Brésil ont développé un indicateur plus robuste, clair et équitable que le facteur d’impact, outil largement utilisé depuis des décennies pour évaluer les revues académiques et scientifiques.
Ce nouvel indicateur, nommé Real Influence, possède de nombreuses applications pratiques, pouvant aller de l’évaluation de projets de recherche et des accréditations aux demandes de titularisation, en passant par l’identification de modèles de citation inhabituels dans les revues scientifiques. Selon Antonio Perianes, l’un des auteurs de l’étude et professeur au Département de Bibliothéconomie et Documentation de l’UC3M, ce nouvel indicateur « vise une évaluation rationnelle et contextualisée des revues scientifiques, et non une formule magique pour la prise de décision uniquement basée sur des chiffres. » Il ajoute : « En ce sens, ce n’est pas censé être une mesure unique (car il ne peut pas capturer toute la complexité de la science) et doit toujours être complété par des évaluations qualitatives des publications scientifiques. »
Real Influence cherche à offrir une alternative améliorée au facteur d’impact, qui calcule le nombre moyen de citations par publication scientifique. Selon les chercheurs, le problème est que le facteur d’impact fournit des informations sur la visibilité individuelle de chaque publication mais n’est pas à l’abri des distorsions causées par des articles très cités, en plus d’autres inconvénients. Par exemple, il a tendance à être plus élevé dans des domaines où les publications et les citations sont plus fréquentes (comme les sciences biomédicales ou la technologie) ou ne reflète pas l’impact à long terme d’une publication (car il mesure généralement les citations dans les deux ans suivant la publication).
« Notre objectif initial en créant Real Influence était de développer un outil qui permette de montrer la visibilité de toutes les publications d’une revue et de réaliser des comparaisons entre elles », explique Perianes. « Cette approche permet de comparer les distributions des revues de tailles différentes sans distorsions, ce qui est particulièrement important, puisque cela évite les désavantages des revues à faible production par rapport à celles ayant un volume de publications nettement supérieur. »
Pour mener l’étude, récemment publiée dans la revue Quantitative Science Studies, l’équipe a comparé les performances du nouvel indicateur sur près de quatre cents revues dans les domaines de la Bibliothéconomie et des Sciences de l’Information, de la Biochimie et de la Biologie Moléculaire. Les résultats de l’analyse montrent que Real Influence est moins vulnérable aux manipulations, représente mieux la distribution complète des publications et, surtout, offre une perspective plus détaillée et équitable basée sur la visibilité de chaque article.
La méthodologie de Real Influence s’inspire de l’utilisation des percentiles dans des domaines tels que l’économie ou la croissance pédiatrique, permettant d’éviter les biais causés par des articles exceptionnellement cités, puisque sont non seulement évaluées les citations reçues, mais est aussi prise en compte la position relative de chaque article au sein de l’univers des citations dans sa catégorie. Cela le rend facilement adaptable et applicable à tout système de données compatible avec les études de citations, comme WoS ou Scopus.
Vidéo:
https://www.youtube.com/watch?v=p2qWH4VRyHk