Faut-il classer les revues scientifiques ?

 Pour commencer une petite ... citation

Il y a quelques mois maintenant l’AERES a rendu public un classement des revues scientifiques en SHS. Face aux réactions suscitées, elle a dernièrement publié une sorte de communiqué accessible sur son site.

« Classement des revues scientifiques ou « Y a-t-il un Nature ou un Science en SHS »

Les publications dans les revues internationales sont l’un des critères utilisés pour évaluer la production académique des unités de recherche. Si, compte tenu en particulier de la fréquence de leur citation, une classification des revues existe pour les sciences exactes et les sciences de la vie, ce n’est pas le cas pour les SHS. En effet, cette classification qui s’appuie essentiellement sur les publications en langue anglaise est peu adaptée à la production académique française en SHS, en grande partie francophone.

Face à cette difficulté, l’Agence a décidé d’établir, pour son usage interne, son propre classement. Elle a ainsi mis en place au printemps dernier des groupes de travail par grandes disciplines. Ce premier résultat acquis, l’agence met en place des commissions d’actualisation chargées de la deuxième phase du travail : un examen par revue qui reposera sur différents critères suivant un cahier des charges à définir lors de la première réunion des présidents de commissions ; ces derniers seront également chargés de fixer les règles garantissant une équivalence de traitement entre les différentes disciplines.

Ces commissions d’actualisation réunissent deux membres seniors de l’IUF, deux membres juniors de l’IUF, le président de la (ou des) sections du CNU concernées, le président de la (ou des) sections du Comité national du CNRS concernées, ou leur représentant, ainsi que les délégués scientifiques et les membres du conseil de l’AERES du domaine considéré. En tant que de besoin, il pourra être fait appel aux compétences de personnalités étrangères qualifiées qui pourront être interrogées à distance. Dans tous les cas, chaque commission d’actualisation ne comptera pas plus de dix membres.

Les résultats de cette deuxième phase sont attendus pour l’été 2009. »

[URL : http://www.aeres-evaluation.fr/Presentation-de-la-rubrique ; consulté le 29 novembre 2008]

Reprenons le problème : l’AERES a besoin de d’évaluer la part de la "production académique des unités de recherche" dans les revues internationales. Bizarrement, pourtant, le communiqué procède à un glissement : de l’identification de revues internationales – le problème initial – on passe à l’utilisation d’une classification fondé sur la "fréquence de leur citation". Or la fréquence de la citation n’est pas, en soi, un indice d’internationalisation. En outre, comme le signalent les auteurs du communiqué, les seules données actuellement disponibles subissent un biais important du fait de la prépondérance des publications anglophones.

Retour à la case départ. Ne pouvant utiliser une classification qui ne correspondait pas forcément à son but affiché, l’AERES « a décidé d’établir, pour son usage interne, son propre classement ». Résumons : comme le classement définitif n’est pas prêt, l’Agence en met au point un qu’elle rend public. En une phrase, un classement propre à usage interne devient un "résultat acquis" connu de toute la communauté. J’ai tout à fait conscience que si l’Agence n’avait pas rendu public ce classement, elle aurait fait l’objet de toutes sortes de procès. Toutefois, en publiant son "résultat acquis", elle a semé le trouble, sous-estimant largement les effets performatifs des classements. Il y a là un véritable problème. Que dirait-on d’un médecin qui, sur la base d’examens incertains, viendrait dire à son patient qu’il est atteint (ou non) de telle ou telle maladie ? Quand on ne sait pas, ne vaut-il pas mieux suspendre son jugement ? Bref, n’aurait-il pas été préférable de ne pas mettre au point ce classement éphémère si décrié par ailleurs ?

  Analyser

Les critiques à l’encontre du classement ont, en effet, commencé à fuser. D’autres que moi rapporteront ce qui se raconte ici ou là. Je me contenterai de quelques remarques au vu de ce que l’on peut lire sur le site de l’AERES.

Et tout d’abord, commençons par ce que l’on ne peut pas y lire. Un résultat découle d’un certain nombre d’opérations (désolé pour ce truisme). Or aucune d’entre elles n’est décrite précisément. L’Agence fait seulement référence au classement de la Fondation européenne de la science (ESF) et de certaines données émanant du CNRS. Que les listes de l’ESF aient pu faire apparaître deux revues distinctes là où il n’en existait qu’une seule, qu’il ait été même critiqué en interne, cela n’a visiblement pas pris en compte. Hormis ces deux références, on ne sait pas comment ont procédé les groupes de travail de l’AERES.

Un tel angle mort constitue une première limite – et elle est de taille – à l’encontre de cette classification. Dans le monde scientifique, quand on procède à une évaluation, on publie ses critères et on fait connaître pour quelles raisons on a pu être amené à porter tel ou tel jugement. Ainsi, quand on évalue un article pour une revue, les experts sont tenus de produire un rapport qui peut être communiqué à l’auteur. Dans une certaine mesure, les évaluateurs s’engagent. Dans notre cas, ni critère, ni rapport : seule la note est affichée. N’est-il pas paradoxal que, dans un milieu où l’idée de construire son objet est si importante, on impose un "résultat" sans révéler le détail de l’opération qui y a conduit ? N’est-il pas gênant de publier un classement sans en faire connaître la méthodologie ?

La connaissance de cette dernière aurait permis de comprendre ce qui, d’un premier coup d’œil, peut apparaître comme de véritables aberrations. Sur ces dernières, je renvoie notamment ici.

Pour rappel, le classement de l’AERES en histoire comporte près de 1900 revues ; celui de l’ESF, toujours pour l’histoire, un peu plus de 900. Cette différence s’explique sans doute par le fait que l’AERES et l’ESF n’ont pas la même définition de ce que doit être une revue d’histoire, ce qui peut tout à fait se comprendre. Si l’on compare le classement ERIH (European Reference Index for the Humanities) et celui de l’AERES, voici ce que l’on obtient [1] :

• Bien entendu, la première question que l’on se pose est celle de la valeur des valeurs "A", "B", "C". Citons les directives d’élaboration de l’ERIH :

  Categories :
  1) Journals category A : i.e. high-ranking international publications with a very strong
  reputation among researchers of the field in different countries, regularly cited all over
  the world.
  2) Journals category B : i.e. standard international publications with a good reputation
  among researchers of the field in different countries.
  3) Journals category C : research journals with an important local / regional significance
  in Europe, occasionally cited outside the publishing country though their main target
  group is the domestic academic community

• Du côté de l’AERES, la définition est plus laconique :
  Dans l’ensemble, la classification A, B, C correspond à l’étendue du rayonnement des revues. La source ici.

Personnellement, j’ai du mal à comprendre cette phrase. Admettons que l’AERES reprend à son compte l’idée de l’ESF d’émettre un classement qui ne soit pas celui de la qualité de la revue mais celui de son rayonnement. Le A correspondrait à un fort rayonnement international, le B à un simple rayonnement international, le C à un rayonnement essentiellement national.

Quoi qu’il en soit, il apparaît clairement que l’AERES a procédé à certains glissements dont le résultat est d’étoffer les catégories A et B (ou plutôt devrait-on dire A’ et B’ puisque rien ne nous dit qu’un A AERES égale un A ERIH). Les revues restées ou tombées en C ne peuvent qu’en être que plus déçues.
Intéressons-nous donc aux 139 revues qui ont vu leur classement modifié entre celui de l’ESF et celui de l’AERES et plus particulièrement aux 35 revues francophones, voici le résultat :

Quelques remarques s’imposent :

• Sur les quatre revues passées de C en A, trois sont des revues d’histoire ancienne ;
• Cinq revues à ancrage régional sont passées de B en A ou de C en B, gagnant ainsi un échelon ;
• Trois revues ont été dégradées : la Revue de synthèse, Médiévales et le Mouvement social.

D’emblée apparaît le caractère relatif du "rayonnement" d’une revue selon la communauté scientifique considérée. Il paraît évident que la portée d’une revue dépend étroitement de la taille de la communauté scientifique qui la juge. Dès lors est-il légitime d’afficher toutes ces revues ensemble ? Une autre question qui se pose est le pourquoi des modifications apportées. Pour ma part, j’aimerais comprendre comment l’AERES a procédé pour produire son propre classement à partir de celui de l’ESF et des données du CNRS. Mais là encore, le silence méthodologique ne nous permet pas de saisir les modalités de ce classement.

  Ce que classer peut faire

Non seulement des spécialistes de sciences humaines et sociales devraient savoir – et savent bien – qu’une classification est construite et qu’il faut, dans le milieu scientifique, en expliquer les fondements, mais encore devraient-ils avoir conscience de ses effets performatifs. Le classement de l’AERES, en effet, a fait des vagues. Si certains responsables de revues miraculeusement notée A ont été pris d’une fierté de bon élève à qui l’on attribue un bon point, les cancres de rang C, eux, ont pu être en proie à une sorte de désespoir. En un seul clic, leur investissement – souvent lourd – dans des tâches de rédaction, d’édition ou d’animation s’est démonétisé. Et encore, le sourire de collègues à la revue mieux classée est bien souvent plus insupportable que cette lettre "C", qui fait ressurgir la honte du premier de classe qui échoue, comme cela arrive parfois, à un contrôle.

En fait, ce qui devait arriver arriva. Alors que l’ESF avait bien précisé que son classement n’était pas un indice de la qualité d’une revue mais de son rayonnement, les silences de l’AERES ont contribué à faire de sa classification un classement, distinguant les premiers des derniers. Magie de ces trois lettres qui sonnent comme des notes d’école primaire. Pourtant, l’idée qui consiste à établir une relation d’ordre entre des revues aussi hétérogènes aurait dû poser problème. Sur quel critère peut-on affirmer que "l’étendue du rayonnement" de telle revue est plus grande que celle de telle autre ? On cherche en vain à connaître l’instrument de mesure. Classer la qualité des revues est encore plus difficile. Peut-être pourrait-on avoir recours à des indices bibliométriques, mais c’est précisément parce que ces derniers manquent que l’on a procédé de la sorte.

Tout ceci n’est peut-être qu’un mauvais songe. Mais on ne peut oublier le contexte dans lequel ce classement a été publié. Non seulement ce dernier doit servir à l’évaluation en cours de certaines unités de recherche, mais il est à craindre qu’il serve demain à celle des chercheurs et des enseignants-chercheurs dont le statut est en train d’être modifié. Pour être considéré comme l’auteur d’une "recherche soutenue", le chercheur d’aujourd’hui n’aura-t-il pas intérêt à envoyer ses articles à des revues de rang A ou de rang B (car, dans l’arithmétique de l’AERES, A+B=A) ? Alors qu’elles peuvent être des revues de qualité, les revues de rang C risquent d’être sacrifiées sur l’autel du rayonnement. Dans un pays où les revues scientifiques ont besoin du soutien financier de la puissance publique, cette notation ne risque-t-elle pas d’avoir un effet fortement discriminant ? Quel intérêt les animateurs de ces revues auront-ils à s’investir dans des entreprises si peu reconnues ?

En fait, les gens des revues restent perplexes. Hier, l’évaluation d’un article se faisait idéalement sur la base de la qualité. Demain, les referee auront une responsabilité – indirecte, certes, mais réelle – sur la carrière de leurs collègues. Sont-ils prêts à l’assumer ? Les revues de rang A et B sont-elles d’ailleurs suffisamment nombreuses pour offrir aux collègues la possibilité de répondre à l’exigence de publications ? Le calcul mériterait d’être fait en prenant en compte la sollicitation plus forte que ne manquera de provoquer l’irruption d’une telle classification.

Bref, ce classement provisoire à usage interne risque bien de décourager les uns, de faire porter sur les épaules des autres un poids bien trop lourd, d’avoir des incidences directes sur les carrières de tous, mais surtout sur notre manière de faire de la science. Car c’est bien d’elle dont on parle, en dernier ressort. Si tant est que l’éthique du savant veuille bien encore dire quelque chose, comment peut-on admettre la vérité d’une construction dont on ignore presque tout ? Comment peut-on accepter ensuite de la laisser régler notre vie scientifique ? En l’état, le retrait d’un tel classement, qui doit être remplacé à l’été 2009, me semble être la solution la plus rationnelle.

  Quelques propositions conclusives

Si toutefois l’évaluation des revues s’avèrait être un impératif catégorique, il serait préférable de commencer par établir la liste des revues que l’on considère comme scientifiques. Là, les critères sont relativement simples : existence d’un comité de lecture, évaluation des propositions d’articles par plusieurs experts, existence d’une ligne éditoriale, etc.

Si l’on veut véritablement distinguer les "notoires" des "inconnus", il est préférable d’avoir recours à des indices bibliométriques. Plutôt que de bricoler des classements discutables, il est indispensable de mettre sur pied de véritables bases de données où la place des SHS et des publications francophones ne soit pas réduite à la portion congrue [2]. Et encore faut-il bien avoir conscience des limites des usages de la bibliométrie.

Enfin, il serait bon de savoir pour quelle raison nous nous lançons dans cette fuite vers l’évaluation. Je n’ai rien contre cette dernière ; elle est même légitime à partir du moment où notre activité est financée par le contribuable. Encore faut-il faire comprendre à ce dernier que la science ne se réduira jamais à la production de papier(s). Cela suppose d’en être soi-même convaincu.