Skip to navigation – Site map

HomeNuméros3DébatsPeut-on construire des indicateur...

Débats

Peut-on construire des indicateurs de notoriété des centres de sociologie ?

Daniel Bertaux

Full text

Sur l'évaluation des Unités Mixtes de Recherche

1Les centres de recherches sociologiques - nos labos - constituent, avec les départements de sociologie, nos mondes de la vie professionnelle. C'est en leur sein que les doctorants font désormais l'apprentissage du professionnalisme. Dans ces lieux de travail et de vie collective on ne se contente pas de produire des œuvres sociologiques; ce sont aussi des lieux où l'on communique, échange et discute des idées sociologiques: ce sont aussi des lieux de sociabilité, de reconnaissance et de soutien mutuel, des lieux d'appartenance et d'identification. C'est à tous ces titres - et pas seulement aux publications - qu'il faudrait sans doute les évaluer.

2Mais la puissance publique qui les finance ne s'intéresse guère qu'à leur efficacité productive: combien de publications, c'est-à-dire combien d'ouvrages, et chez quels éditeurs; combien de chapitres d'ouvrages; combien d'articles de revues, et dans quelles revues; combien de conférences invitées et de communications...

3Ce sont là en effet des indicateurs objectifs qui mesurent la quantité des productions (publications) d'un chercheur ou d'un ensemble de chercheurs (équipe, labo). Mais que disent-ils de la qualité de ces publications ? La réputation des éditeurs et de leurs collections, le facteur d'impact des revues donnent certes quelques indications, qui toutefois ne sont fiables qu'en règle générale; il y a beaucoup d'exceptions...

4Depuis une quarantaine d'années sont apparus aux Etats-Unis de nouveaux outils informatiques qui permettent de connaître le nombre de références bibliographiques (ou « citations ») qui ont été faites à une publication donnée. Parmi eux le Social Sciences Citation Index (SSCI; et plus récemment GoogleScholar. Ils procèdent de façon différente. Le SSCI ne prend en compte que les citations faites dans l'une des 1950 revues de sciences sociales qu'il dépouille intégralement et qui constituent sa « base citante ». GoogleScholar ratisse manifestement plus large; sa démarche paraît cependant plus difficile à reconstituer.

5Le CNRS s'intéresse à ces outils. Certains de nos centres de sociologie, en plus d'être rattachés à un établissement d'enseignement supérieur, lui sont en effet affiliés. Le CNRS les fait évaluer tous les quatre ans; cette évaluation est confiée à la Commission de la section 36 du Comité National de le Recherche Scientifique, un organisme en principe indépendant du CNRS mais qui dans la pratique lui est étroitement associé (ou à celle de la section 40 pour les laboratoires de sociologie des organisations et du travail). Les commissions d'évaluation se composent d'une vingtaine de membres, universitaires et chercheurs CNRS, dont la moitié environ sont élus et l'autre moitié nommés par le Ministère de la Recherche1.

6J'ai fait partie de la commission 36 du CNRS, d'abord de 1998 à 2000 en remplacement de Pierre Achard, élu SGEN brutalement décédé; puis à nouveau de 2000 à 2004 en tant que membre élu. Les tâches d'évaluation comparée (des candidats à l'entrée au CNRS, des chercheurs, des laboratoires) qu'avait à effectuer cette Commission étaient certes très intéressantes par la variété des travaux sociologiques concernés. Mais il arrive toujours un moment où il faut classer ; et ce moment ne m'a pas laissé que de bons souvenirs.

7S'agissant de l'évaluation des centres de sociologie je me souviens en particulier de ce qui était arrivé en 2004 au LaboratoireCultures et Sociétés en Europe (LCSE), ce grand centre de recherches rattaché au département de sociologie de l'Université Marc Bloch de Strasbourg. On m'avait confié la tâche de rapporter sur lui; je n'y connaissais personne, mais son rapport d'activité était fort copieux. A sa lecture je découvris un centre pluridisciplinaire - sociologie surtout mais aussi ethnologie et géographie humaine - composé de nombreux enseignants-chercheurs et chercheurs CNRS dont la plupart publiaient beaucoup. J'en avais jusque là peu entendu parler, ce que j'attribuai au fait que leurs sujets étaient éloignés des miens: Simmel, les conflits, la polémologie, l'argumentation, le corps, la prise de risques à l'adolescence, les pratiques alimentaires, l'environnement, la Turquie et l'Asie centrale...

8Je pensais avoir fait un bon rapport sur le LCSE: publications nombreuses, thèmes de recherche diversifiés et novateurs, proximité et connaissance approfondie de la sociologie allemande... Je fus donc d'autant plus surpris et déçu par le vote final de mes collègues qui, tout en notant A ou B la plupart des autres labos de sociologie examinés (tous parisiens...) attribuèrent au LCSE la note C.

9Comme rien dans les discussions ne m'avait laissé prévoir ce classement je profitai de l'interruption de séance suivante pour demander des explications. Je n'obtins que les échos récurrents d'une impression générale critique, mais qui ne semblait s'appuyer sur rien de concret. Mes collègues m'avaient écouté, mais je ne les avais pas convaincus. "Peut-être qu'ils publient beaucoup, me disait-on en substance; mais qu'est-ce que ça vaut?". Je leur demandais alors s'ils avaient lu ces travaux; « non, à vrai dire; non mais tu vois, justement... - justement quoi ? - ben, ce qu'on en dit ne me donne pas envie de les lire »2.

10Cette expérience m'avait laissé d'autant plus mal à l'aise que je m'en rendais partiellement responsable; et le temps n'avait pas réussi à en effacer la désagréable impression. Or voici qu'étant passé à la retraite, ce qui me donne beaucoup plus de temps pour lire enfin les travaux des collègues, j'ai eu plusieurs fois l'occasion au printemps 2007 de me rendre à Strasbourg pour participer à diverses réunions scientifiques du LCSE.

11J'ai été aussitôt impressionné par le dynamisme de ses membres et l'intensité des activités qui s'y déroulaient. Le Laboratoire compte une quarantaine d'enseignants-chercheurs et six chercheurs CNRS répartis en trois « axes » et dix équipes. Il est adossé à un des plus grands départements de sociologie de France. Plusieurs séminaires de recherche sont organisés en parallèle par les équipes du labo ; ils se tiennent régulièrement, on y invite des collègues français mais aussi allemands ; leurs séances sont assidûment suivies par les chercheurs et les nombreux doctorants, très motivés, que compte le labo (une centaine). L'ouverture pluri-disciplinaire est de mise. Au cours des derniers mois sont passés à Strasbourg Philippe Descola, Gérard Noiriel, Dominique Schnapper, Danièle Kergoat, Franco Ferrarotti, Aloïs Hahn et d'autres éminents collègues, chaque fois devant des salles pleines.

12Pendant ces séjours à Strasbourg je fis la connaissance de Patrick Watier, l'un des meilleurs spécialistes des classiques de la sociologie allemande, qui a longtemps dirigé le LCSE après Freddy Raphael ; de Pascal Hintermeyer, qui le dirige aujourd'hui ; de Roland Pfefferkorn, dont je connaissais déjà les travaux ; et de nombre d'autres collègues dont les thèmes de recherche m'ont à chaque fois vivement intéressé. Je revins à Paris persuadé que si ce même centre de recherches - avec ses chercheurs, leurs publications, et ses doctorants - y était localisé, sur la rive gauche de la Seine, il y serait très certainement considéré comme l'un des meilleurs de France.

13Je demandai avant l'été à être associé à ce labo, ce qui se fit très vite et sans réticences. Du coup j'en vins à m'interroger : mon enthousiasme n'était-il dû aussi à cet accueil chaleureux? Pouvais-je l'asseoir sur un fondement moins subjectif ? En le notant C la commission 36 avait-elle fait en 2004 une erreur d'évaluation mineure ou majeure ? Etait-ce vérifiable ? Et si c'était le cas, que pouvais-je faire ?

14L'intensité du flux de publications du LCSE, qui était déjà forte en 2004, s'était encore renforcée depuis; je le vérifiai dans le rapport quadriennal qui était en préparation. Mais comment ces publications étaient-elles appréciées à l'extérieur ? Avec quelle fréquence étaient-elles citées ? Je ne connais guère d'autre moyen, pour me faire une idée de la qualité d'un texte sociologique donné, que de le lire ; mais la fréquence des citations d'un texte est un indicateur fiable de sa réception, et mesure dans le moyen terme à tout le moins sa notoriété.

15D'où la question: quelle était donc la notoriété des publications des membres du LCSE en 2004 ? Leur notoriété absolue ; et surtout leur notoriété relative par rapport à celle des publications des autres centres de sociologie qui avaient été évalués simultanément.

16Je connaissais depuis vingt ans le Social Sciences Citation Index, le SSCI : dans ses gros volumes cartonnés de rouge rangés tout au fond de la bibliothèque de la MSH-Paris je pouvais découvrir, mentionnés en petits caractères, les - rares - articles de revues "scientifiques" qui avaient cité telle ou telle de mes publications. Mais nous sommes passés désormais à l'âge du numérique : on peut accéder au SSCI via Internet; on peut également rentrer son nom sur Google, ou sur son jumeau plus académique GoogleScholar. Ces deux outils permettent en théorie de mesurer les degrés relatifs de notoriété des chercheurs. Peut-on les utiliser pour mesurer aussi, et comparer, les degrés de notoriété des labos ? 3.

17Bien évidemment l'exercice n'a de sens que dans une perspective comparative ; c'est vrai des chercheurs, mais plus encore des labos. Je parlerai ici surtout de l'Index du SSCI. Il faut savoir que compte tenu de la façon dont sa base de revues scientifiques « citantes » est construite, le nombre de références (« citations ») qu'un sociologue français peut espérer trouver à ses propres publications est très bas : de l'ordre de une ou deux par an, avec des années blanches. L'Index SSCI s'avère donc beaucoup plus sélectif que Google. Il s'agit en réalité d'un Index de notoriété internationale: car sa base contient proportionnellement beaucoup plus de revues américaines et anglaises que françaises4.

18Une ou deux citations par an ? On pensera d'abord que compte tenu de tout le mal que l'on se donne pour publier, n'être cité que deux fois par an dans « les principales revues scientifiques » est extraordinairement décevant. Mais en comparant ces scores avec ceux de collègues on comprendra que nous sommes tous logés à la même enseigne. En fait, seuls font mieux quelques-uns dont les noms, précisément, nous sont déjà familiers.

19Avec trois autres personnes du LCSE nous avons donc élaboré une méthode pour calculer le score moyen de notoriété d'un labo. Le principe en est très simple. On choisit d'abord une période de quatre ans ; par exemple 2001-2004 ou 2005-2008, et plus généralement la période de quatre ans qui correspond au cycle des évaluations par vagues faites au CNRS par le Comité National de la Recherche Scientifique. On calcule d'abord les scores, cumulés sur cette période de quatre ans, de chacun des chercheurs et enseignants-chercheurs du laboratoire. On additionne ensuite tous ces scores cumulés; et on divise le total ainsi obtenu par le nombre de chercheurs et enseignants-chercheurs du labo. On obtient ainsi une moyenne des scores des chercheurs de ce labo; moyenne que l'on qualifiera de score de notoriété du labo lui-même pour la période considérée. Par exemple un score de 9 signifie que les publications des chercheurs d'un labo donné ont été citées en moyenne neuf fois en quatre ans par les « revues citantes » du SSCI.

20Mais un score de 9, est-ce peu, est-ce beaucoup ? La signification de ce chiffre n'apparaît que dans une perspective comparative. Nous avons donc travaillé sur l'ensemble des neuf labos de sociologie qui font partie de ce que le CNRS et le Ministère appellent "la vague C": ceux qui ont été examinés en 2004, et qui le seront à nouveau en 2008. Il s'agit des labos affiliés au CNRS et rattachés aux Universités de ParisVII, ParisVIII, ParisIX-Dauphine, ParisX-Nanterre, au CNAM, à Sciences-Po et à l'Université Marc Bloch de Strasbourg.

Quelques résultats

21Les scores SSCI que nous avons calculés pour évaluer la notoriété comparée de ces neuf labos vont de 19 à 2. Ils sont donnés pour les deux périodes quadriennales 2001-2004 et 2005-2008.

22C’est l’Observatoire Sociologique du Changement (OSC), un labo de Sciences Po, qui a les plus hauts scores SSCI : 15,5 pour la période 2001-2004, 19 pour 2005-2008.  Le Laboratoire Cultures et Sociétés en Europe (LCSE) de Strasbourg vient en deuxième position avec des scores de 13 pour 2001-2004 et de 14 pour 2005-2008. Les scores suivants s’échelonnent entre 9 et 2.

23Le calcul de scores de notoriété à partir d’une autre base de données, GoogleScholar, donne des résultats numériquement plus élevés, mais dont l‘ordre confirme pour l’essentiel le classement SSCI. L'OSC arrive en tête avec un score de 63 ; le LCSE est troisième avec un score de 28. La convergence ordinale de scores calculés à partir de deux bases différentes est un signe de la robustesse des indicateurs.

24Les résultats détaillés des calculs sont donnés ci-après sous forme d'un tableau et d'histogrammes. Ils ont été anonymisés; les labos sont seulement désignés par leur rang dans le classement SSCI pour 2001-2004 (donc de 1 à 9), à l’exception de l’OSC et du LCSE5.

25Instructive est la comparaison avec le classement établi  en 2004 par la section 36 du Comité national. Elle avait classé trois labos de sociologie en A (l’OSC - le 1  - et les labos 3 et 8), quatre labos en B (le 4, le 6, le 7 et le 9) et deux en C : le LCSE - le 2 - et le 5. Ses évaluations  ne convergent donc que partiellement avec les scores de notoriété mesurés par l’indicateur SSCI. Il y a entre les deux classements des écarts très significatifs, dans un sens comme dans l'autre.

26L’injustice faite notamment au LCSE en 2004 est patente: sur le quadriennal 2001-2004 son score de notoriété SSCI le plaçait 2ème sur 9. En 2008 il est toujours 2ème sur 9, derrière l‘OSC.

27Les scores de notoriété donnés ici peuvent être vérifiés en refaisant nos calculs; on trouvera ci-après une note technique indiquant la façon de procéder6.

Histogramme des scores de notoriété de neuf UMR de sociologie
(Version agrandie de ce graphique disponible en document annexe)

28Ainsi, quelles que soient les limites des sources actuellement disponibles, des calculs de fréquence des citations apportent des informations objectives sur la notoriété internationale effective des centres de recherche. Ces informations peuvent aider les commissions, qui s'appuient habituellement sur d'autres sources - y compris sur le degré de familiarité relative de leurs membres avec les centres évalués - à voir juste, sachant que la décision finale sera toujours prise en fin de compte au terme d'un processus de dynamiques intersubjectives.

29Dans le cas examiné ici le calcul a permis de mettre en évidence, avec quatre années de retard, ce qui me paraît constituer une erreur majeure de classement. La première explication qui vient à l'esprit est la position "excentrée" du LCSE; vu de Paris ce grand laboratoire apparaît comme caché derrière les Vosges, qui arrêteraient son rayonnement...

30Mais le problème vient-il de l'objet regardé, ou du regard lui-même? Comment se fait-il que l'acuité de ce regard baisse en fonction de la distance de l'objet ? Le privilège de figurer au centre panoptique d'où l'on regarde et évalue toutes les parties de l'ensemble ne devrait-il pas s'accompagner au contraire d'un effort d'attention redoublé en fonction de la distance ?

Note technique

31La première étape est de connaître la composition des labos. Nous avons utilisé Labintel. Nous n'avons compté comme membres "publiants" d'un labo que les chercheurs CNRS et les enseignants-chercheurs directement rattachés à ce labo tels qu'ils apparaissent sur Labintel; pour des raisons de simplicité nous n'avons pas inclus dans nos calculs les ITA, tout en sachant que certains ont une activité de recherche, publient et sont cités. Nous avons également exclu du décompte les doctorants, qui sont de plus en plus nombreux à publier.

32La seconde étape consiste, pour un labo donné, à calculer les scores de notoriété de chacun de ses chercheurs. Nous avons eu accès au Social Science Citation Index en ligne via le portail BiblioSHS, auquel tout labo rattaché au CNRS a accès au moyen d'un code spécifique. Sur ce portail on trouve un lien vers la plate-forme virtuelle ISI Web of Knowledge qui intègre le Social Science Citation Index (SSCI). Arrivé sur le Web of Knowledge on clique sur l'onglet "Cited Reference Search".

33On ajuste alors (dans Change Limits and Settings en bas de la page) la période voulue, 2001-2004 par exemple, et on exclut du calcul les deux bases de données des sciences de la nature Science Citation et Index Chemicus. Nous avons maintenu la base Arts and Humanities Citation Index en plus de celle du SSCI, car elle contient des revues susceptibles de se référer à des travaux de sociologie.

34On rentre alors, toujours sur la page de l'onglet Cited Reference Search, le nom et l'initiale du prénom d'un chercheur comme indiqué sur la page ( par ex. Durkheim E*) dans le champ« Cited Author: ». On clique sur « Search »; une série de publications de cet auteur - et de tous ses homonymes ! - apparaît, qui ont toutes été citées au moins une fois au cours de la période dans la base citante des 1950 revues du SSCI.

35On sélectionne ensuite les publications de l'auteur recherché, à l'exclusion de celles de ses homonymes. Quand ceci a été fait on clique sur « Finish Search ». La somme des articles citant explicitement les travaux du chercheur sélectionné s’affiche. Cette somme constitue le « score de notoriété SSCI » du chercheur en question pour la période considérée.

36On répète l'opération pour chacun des chercheurs et enseignants-chercheurs d'un labo. Il ne reste plus ensuite qu'à faire la somme de tous ces scores individuels, et à diviser ce total par le nombre de chercheurs : on obtient ainsi le score de notoriété SSCI du labo lui-même pour la période considérée.

37Pour GoogleScholar, le principe est le même. Comme pour SSCI on ne pourra éviter des tâtonnements initiaux au cours desquels on se familiarisera avec le fonctionnement concret de ces sites. GoogleScholar analyse des articles d’éditions scientifiques et de sociétés savantes, des prépublications et des documents mis à disposition sur les serveurs d’archives ouvertes. Cependant aucune liste des éditions commerciales et des serveurs d’archives indexés n’est fournie. Nous pouvons simplement affirmer que GoogleScholar analyse les contenus dont dispose GoogleBooks. Après activation de la balise « author : » la somme des citations des références, qui apparaissent avec l’indicateur « Cited by », est effectuée. Tout comme pour SSCI, le total des scores individuels divisé par le nombre de chercheurs donne le « score de notoriété GoogleScholar » du labo.

Top of page

Notes

1 L'Enseignement Supérieur fait évaluer de son côté les centres rattachés seulement aux universités. Pierre Demeulenaere, qui a participé au cours des dernières années à l'équipe d'évaluation des centres de sciences sociales, succédant ainsi à Olivier Galland, a bien voulu évoquer son expérience dans une Journée sur la Recherche organisée à l'IRESCO par l'Association Française de Sociologie le 12 octobre 2007. De profonds changements sont toutefois en cours, puisque les tâches d'évaluation des centres de recherche sont en train d'être confiées à une nouvelle Agence spécialisée, l'AERES (cf. son site web).
2Ainsi se ferment sur elles-mêmes les boucles de rumeur: chaque membre d'une commission de décision et/ou classement, tenu par son rôle de se faire une opinion, se branche sur son voisin qui est dans le même cas, mais qui a entendu dire que...La rumeur circule ainsi; et chacun contribue sans s'en rendre compte à la faire circuler plus loin. Toutes les opinions « personnelles » qui se construisent ainsi, parce qu'elles puisent à la même source, sont évidemment jumelles... ce qui en renforce la vraisemblance. C'est ainsi que l'on passe de l'ignorance à l'opinion, puis de l'opinion à la conviction; et qu'au moment de passer au vote les convictions "personnelles" se transforment en actes, et la rumeur en action collective. La majorité des votes vient alors confirmer, pire: légitimer la rumeur qui l'a artificiellement engendrée.
3 Je n'ignore rien des nombreuses réticences que soulève une telle démarche au sein de notre "communauté scientifique". Il y a longtemps que j'ai constaté la co-variation exactement linéaire entre le score d'un collègue dans le SSCI et son opinion sur l'utilité de cet Index. Bien des arguments sont avancés pour s'opposer à son utilisation. Il est d'ailleurs évident qu'il a certaines limites par construction ; non seulement ce n'est pas un indicateur parfait, mais il correspond à l'esprit techno-bureaucratique des gestionnaires de la recherche qui, selon mes informations, cherchent en ce moment même à mettre au point le plus vite possible des indicateurs similaires mais "adaptés à la situation française". Cependant j'ai pratiqué suffisamment le SSCI pour m'assurer que les mesures de notoriété qu'il donne ne sont pas aberrantes; moins aberrantes en tous cas que les classements effectués par telle ou telle commission composée pourtant d'éminents collègues sincèrement désireux d'accomplir honnêtement leur travail. Il est certes totalement absurde, bien que ce soit une tentation technocratique permanente, de croire que l'automatisation de l'évaluation des chercheurs et des labos constituerait la solution au problème d'une évaluation objective; ne serait-ce qu'en raison des stratégies actives et « perverses » qu'une telle mise en place engendrerait aussitôt. Mais ces instruments informatiques constituent néanmoins des aides à l'évaluation qui peuvent s'avérer fort utiles si l'on connaît avec précision leurs qualités et leurs défauts.
4 Sept revues de sociologie françaises y figurent: la Revue Française de Sociologie, Actes de la Recherche en Sciences Sociales, Sociologie du Travail, les Archives Européennes de Sociologie, la Revue Comparative Est-Ouest,Déviance et Société, Informations sur les Sciences Sociales/Social Sciences Information. Concrètement cela signifie que chaque fois que l'un de vos travaux est cité dans un article publié dans l'une de ces sept revues de sociologie publiées en français (ou dans toute autre des 1950 revues de la base citante) cela compte pour une citation. Par contre s'il est cité dans une revue qui ne fait pas partie de la base citante - par exemple L'Année sociologique ou les Cahiers Internationaux de Sociologie, pour ne citer que deux des absences les plus criantes - , ou s'il est cité dans un ouvrage, ces citations ne seront pas comptées. C'est la raison pour laquelle les « scores » individuels sont en général très peu élevés, variant entre zéro et quelques unités chaque année. Cependant, depuis le temps que je consulte le SSCI - une fois par an en moyenne - j'ai remarqué que les variations comparatives de ces scores , d'une année sur l'autre pour un même chercheur ou d'un chercheur à l'autre pour une même année, sont pleinement significatives.
5 Pour les calculs nous ne disposions que de la composition de chacun des labos en 2008 telle qu'elle est donnée par Labintel. Plusieurs chercheurs ayant rejoint le LCSE après 2004, nous n’avons évidemment pas inclus leurs "citations" dans le calcul du score LCSE 2001-2004. Cependant faute d’informations nous n'avons pu en faire autant pour les autres centres
6 La procédure de calcul est simple mais fastidieuse.  Les calculs ont été faits pour l’essentiel par Cathy Reibel et  par trois doctorants du LCSE qui y ont consacré plusieurs jours de travail bénévole. Qu’ils en soient ici remerciés.
Top of page

List of illustrations

Caption Histogramme des scores de notoriété de neuf UMR de sociologie(Version agrandie de ce graphique disponible en document annexe)
URL http://journals.openedition.org/socio-logos/docannexe/image/1703/img-1.jpg
File image/jpeg, 29k
Top of page

References

Electronic reference

Daniel Bertaux, “Peut-on construire des indicateurs de notoriété des centres de sociologie ?”Socio-logos [Online], 3 | 2008, Online since 04 April 2008, connection on 28 March 2024. URL: http://journals.openedition.org/socio-logos/1703; DOI: https://doi.org/10.4000/socio-logos.1703

Top of page

Copyright

CC-BY-NC-ND-4.0

The text only may be used under licence CC BY-NC-ND 4.0. All other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search