Mesurer la performance de la recherche académique ? Le cas d’école italien.

io[Temps de lecture : 90 secondes]

L’Italie a voté en 2010 une nouvelle loi afin d’évaluer le système de recherche académique et l’efficacité des chercheurs. Les critères d’évaluation sont basés sur le nombre d’articles publiés, le nombre de fois que l’article est cité dans d’autres articles, et le facteur d’impact du journal.

Nouveaux critères d’évaluations : nouvelles pratiques

Conséquence, les chercheurs italiens ont changé leur méthode de publication pour qu’elle puisse mettre en valeur leur travail. Quoi de plus normal au fond de s’adapter à de nouveaux critères mis en place ? L’effet pervers de cela : les chercheurs italiens ont augmenté le nombre d’articles publiés en diminuant la quantité de résultats par article. Ils ont également collectivement cité leurs propres collègues et se sont “autocités” dans leur propres articles. C’est ce que révèle plusieurs articles dont celui paru dans Nature le 13 septembre.

Un nouvel indicateur pour contrer cette pratique

D’autres chercheurs italiens, justement, proposent un nouvel indicateur, “l’inwardness”, qui correspond au ratio entre les citations en provenance du pays et nombre total de citations (en provenance de tous les pays). Cet indicateur permettrait de mettre en lumière ce jeu de dupe. Car il s’agit bien de cela au final : un détournement de la règle afin d’obtenir de meilleurs indicateurs de performance pour la recherche académique. Cela nous rappelle, dans un tout autre domaine, les vieilles techniques de référencement de l’époque sur les moteurs de recherche pour tenter de gagner quelques positions sur les pages de résultats…

Des résultats troublants

Pour un effort d’investissement en R&D deux fois moins important que la France, l’Italie est pourtant au coude à coude avec la France en terme de nombre d’articles, avec un nombre d’autocitations de 39000 pour l’Italie et de 28000 pour la France.

Qu’en est-il d’ailleurs pour la France au niveau des critères d’évaluation de la recherche ? Il semblerait que l’Hcéres, organisme d’évaluation de la recherche, ne se base pas uniquement sur ces chiffres, mais sur des critères plus qualitatifs. Ce qui semble être plus rassurant.

Difficile alors de comparer la performance réelle de la recherche académique dans différents pays si les critères choisis au sein de ses pays ne sont pas identiques…