Navigation – Plan du site
Débats

Le sociologue, l’évaluation et les pièges peut-être évitables

Lise Demailly

Texte intégral

1Je voudrais intervenir dans les débats concernant la place des sociologues dans l’évaluation des politiques publiques. De plus en plus de contrats de gré à gré, dans lesquels de jeunes sociologues peuvent se professionnaliser ou des apprentis chercheurs négocier l’accès à des terrains, ont pour motif des demandes d’évaluation. Dans le même sens, des emplois de sociologues en entreprise ou dans une association ont souvent pour contenu la réalisation d’études évaluatives. Le développement de l’évaluation de l’action publique offre ainsi du travail et des terrains aux sociologues, mais pose à ceux qui acceptent ces contrats ou ces emplois de multiples problèmes de positionnement et de mise en œuvre. Je me concentrerai ici sur le cas des contrats d’évaluation pris en charge par des sociologues académiques.

2S’il est certain que les commanditaires n’attendent pas comme rapport d’étude, de la part d’universitaires, un texte théorique et/ou critique, il n’est pas sûr qu’ils se satisfassent d’une approche techniciste, dans laquelle le sociologue emploierait les méthodes d’enquête sociologiques seulement pour fournir des résultats chiffrés dans le cadre d’une rationalité instrumentale à angle de vue étroit. Il se peut qu’ils aient réellement envie d’apprendre des choses sur le monde social et sur leur propre action, d’acquérir des outils de réflexivité et, s’ils sont allés chercher des sociologues académiques, ce n’est pas pour simplement s’entendre dire ce qu’ils seraient eux-mêmes capables d’écrire ou de compter. N’oublions pas que la vulgarisation des sciences sociales, de certains de leurs concepts et de certaines de leurs méthodes ont modifié la culture des commanditaires, parallèlement à leurs savoirs faire communicationnels, affiné leurs capacités à formuler des demandes de recherches et augmenté leur niveau d’exigence quant aux réflexions fournies. S’il leur arrive pourtant souvent de chercher seulement dans le sociologue un scribe ou un publicitaire, il ne faut pas négliger les contradictions qui les affectent en tant qu’acteurs sociaux, et qui, à certain moment et pour certains d’entre les membres du groupe commanditaire, peut rendre désirable la production de « vérités ».

3Mais, même dans ce cas favorable où le commanditaire (ou des fractions du groupe commanditaire) est sincèrement à la recherche de « vérités » sur son action, et, même dans le cas encore plus rare et plus favorable, où il accepte a priori que l’évaluation puisse impliquer des modifications de son action, y compris bousculer ses objectifs, voire ses choix fondamentaux, où donc il ne limite pas sa demande à une simple légitimation et à une simple amélioration de performance et/ou de rhétorique, je voudrais développer l’idée qu’il reste deux moments où le travail sociologique est mis en danger de façon insidieuse : celui de la rédaction du contrat et celui des séances de « restitution » où le commanditaire est amené à essayer de peser sur les écritures finales.

Le formatage initial du travail

4Le potentiel formatage du travail sociologique se joue dès la négociation du travail à mener. Ce formatage emprunte des voies et des outils divers, à commencer par les formes des appels d’offres en passant par le listage des résultats attendus.

5Je voudrais attirer l'attention sur un mode de formatage qui concerne aujourd’hui les études évaluatives dans le domaine de la santé. De plus en plus d’études sont soumises lors de la passation du contrat à un passage par un comité de pilotage. Voici le cas, qui me paraît tout à fait significatif.

Je suis en charge d’une recherche évaluative qualitative sur une recherche-action, devenue « programme expérimental », soutenue par la Direction générale de la santé (DGS, ministère de la Santé) et pilotée par le Centre Collaborateur de l’Organisation mondiale de la santé en santé mentale (CCOMS). Brièvement dit, il s’agit d’une innovation visant à professionnaliser dans les services de psychiatrie publique des ex-patients de la psychiatrie comme « médiateurs de santé pairs ». (MSP dans la suite du texte)

Le projet, dit « protocole » (sic), de l’évaluation qualitative a dû, sur demande de la DGS, passer par un CPP (comité de protection des personnes), chargé d’en valider l’éthique.

Une première équipe de recherche universitaire a travaillé avec le CCOMS de juillet 2011 à juillet 2012. Elle était dirigée par un collègue anthropologue de l’ENS de Lyon. Elle a participé à plusieurs comités de pilotage du programme expérimental, observé des séances de formation des futurs médiateurs de santé pairs et abouti à un « protocole » co-rédigé avec le commanditaire. Ce projet, bien que co-signé par le commanditaire, n'a pas obtenu l'agrément du CCP, qui lui a renvoyé sa copie avec une série de remarques, non pas éthiques, mais méthodologiques.

Le collègue de Lyon (avec lequel j'ai eu l’occasion de m’entretenir depuis), se retira alors du projet pour plusieurs raisons, dont le caractère non conforme à ses yeux des demandes méthodologiques du CPP par rapport aux normes de la recherche socio-anthropologique.

Cette raison me parut parfaitement logique. Cependant, à cause du très grand intérêt scientifique de l’objet empirique, j'acceptai de prendre la relève, au pied levé, au mois de septembre 2012 et d'écrire, avec l'aide des chargés de mission du CCOMS, une nouvelle méthodologie en réponse aux critiques du CPP.

Le passage de la méthodologie anthropologique à une méthodologie sociologique permet alors l'ajout d'hypothèses répondant formellement à une des critiques méthodologiques du CPP. D’autre part, j'accepte certains compromis dans l'écriture du « protocole ». Finalement, avec l'aide d’une chargée d’études du CCOMS, experte en projets en santé publique, on assure dans ce dossier le mime d'un sérieux biomédical, qui par ailleurs n'a que peu à voir avec l'épistémologie sociologique.

Il nous est en effet par exemple demandé de rédiger des grilles d’interviews détaillées alors que nous n'avons pas encore mis les pieds sur le terrain, et de fixer des critères de réussite au programme expérimental, alors que les expérimentateurs eux-mêmes ne savent pas exactement dire quelle réussite ils peuvent oser espérer. Mais, qu'à cela ne tienne, notre métier et notre habitude de la recherche contractuelle sont suffisants pour remplir les cases.

D'où une méthodologie un peu de bric et de broc, mais bien lissée, où l'on trouve une « pyramide d'évaluation des formations » bien techniciste qu'a dénichée la chargée d’études, des focus groups chers aux anthropologues qui nous ont précédés, l'observation in situ de la formation et de la pratique qui font partie de mes habitudes scientifiques personnelles, des entretiens classiques avec les MSP, leurs collègues et leurs patients, une série de recueils de données objectives plus proprement sociologiques, et, en réponse aux demandes du CPP, des compléments d'outils, rédigés au bon sens ou à l'aveuglette, comme on préfère. Cela est jugé très bon par le CPP, c'est l’essentiel, le contrat peut être signé et la recherche commencer...

Je ferai deux séries de remarques à partir de ce cas, sur l’intervention éthique et sur l’intervention méthodologique des experts biomédicaux comme moments de formatage du travail intellectuel. .

L’éthique

  • 1  Par exemple une pétition affichée dans la salle des infirmiers et demandant le départ du MSP.

1) Le CPP dans l’affaire ne s'occupe pas de protection des personnes pour l’ensemble du dispositif expérimental. Par exemple, alors que pour chaque interview de médiateur, nous devons recueillir un formulaire de consentement, il n’est exigé aucun consentement des membres des équipes infirmières à l’arrivée des MSP dans leur service. Si le CPP s'inquiète des contacts entre les MSP et les sociologues et veut les formaliser, en revanche il ne s'inquiète pas de l'arrivée des MSP sur des terrains parfois peu compréhensifs, voire violents 1(ce qui sera l'occasion de plusieurs arrêts de travail ou rechutes).

2) Il n’a aucune idée des problèmes déontologiques réels que nous avons dû résoudre sur le terrain.

- Par exemple nous sommes confrontés à une pression amicale de certains MSP pour que l’évaluation soit positive. Mais, si avons été convaincus dès le départ de l'intérêt politique du projet, et, par la suite, de la très grande qualité humaine des personnes, nous devons maintenir sur le plan scientifique la possibilité de repérer des dysfonctionnements dans le programme.

- Que nous garantissions la confidentialité, quand elle nous est demandée, est conforme à la tradition sociologique. Un problème se pose du fait que nous rencontrons une forte demande de confidentialité de la part de nos interlocuteurs, MSP ou membres des équipes soignantes, autour de nombreux micro conflits. Nous avons donc à gérer attentivement l'équilibre entre le respect de la confidentialité et la mise en évidence scientifique des phénomènes que nous observons.

- La gestion de l’anonymat pose un peu moins de problèmes, même si pour le petit monde que met en jeu le programme expérimental, il n’est parfois pas difficile de reconnaître l’auteur de paroles citées. Tout en fournissant quelques preuves ou illustrations de nos résultats de recherches, ce qui est indispensable, nous devons brouiller les pistes au maximum pour que les anonymats, des MSP notamment, puissent être respectés pour des lecteurs non acteurs du programme.

- Nous devons maintenir la bonne distance affective, dans la bienveillance, avec des MSP qui, à l'occasion des épreuves universitaires de leur formation ou des tensions sur les sites, sont parfois à la recherche de confidents, de superviseurs ou de soutiens stratégiques.

Finalement l’intervention éthique du CPP est assez rudimentaire par rapport aux questions éthiques et déontologiques que peut et doit se poser un sociologue sur un tel terrain.

  • 2  Cet épisode me fait regretter que nous n’ayons pas réussi lors du dernier congrès de l’AFS à nous (...)

3) En revanche, les exigences paperassières quant au « consentement » nous compliquent nettement la tâche en ce qui concerne les entretiens avec les patients des MSP, qui sont donc des usagers de services psychiatriques. Comme le CCP assimile la parole à un médicament ou à une intervention chirurgicale, nous devons faire remplir à nos interviewés des « feuilles de consentement» (éclairé) dument renseignées nominativement et signées. Cela n’est pas sans susciter chez eux, même quand ils sont très contents de parler avec un sociologue, le sentiment d’une contradiction, alors même que l’enquêteur vient de leur garantir l’anonymat de leur parole, et quelque inquiétude, vu la stigmatisation sociale de la maladie mentale. L’éthique protocolisée du consentement (on est sujet et citoyen, si on consent) dénie l’ambiguïté même de celui-ci, censure la violence sociale et les rapports de domination qui contextualisent la situation d’enquête, gomme les subtilités de la parole, éventuellement confidentielle…2.

La méthodologie

  • 3  Il faut que je signale que nos partenaires ont, eux, apprécié les critiques du CPP et le re-travai (...)

Deuxième série de remarques : l’intervention du CPP par rapport à la première version du document est, je le constate, avec étonnement, essentiellement méthodologique, d’’une méthodologie fort positiviste et techniciste (grilles d’entretiens détaillés, liste finie de résultats à atteindre avec leurs critères de validation…3), comportant cependant une absence de demande d’explication pour le moins étrange sur le point suivant.

S’il a tiqué sur ce qui n’était finalement qu’une coquille dans la première version du projet - la confusion du CCOMS investigateur avec le "promoteur" (qui était bien un établissement public de santé mentale, support de la gestion du contrat)- le CPP ne s'inquiète nullement de ce que le CCOMS soit "co-investigateur" de l'évaluation, alors que le CCOMS est par ailleurs le porteur du projet pratique. Dans aucune démarche d'évaluation en politiques publiques pourtant, on n'admet que le porteur de l’action soit aussi l'évaluateur, sauf, exceptionnellement, et dans ce cas en précisant bien les conditions de collaboration d’une démarche participative qui englobe alors en principe tous les acteurs concernés. Si cette question ne pose finalement pas de problèmes, jusqu'ici, ce n'est pas grâce au CPP qui n'a demandé sur ce point aucune clarification.

Mais surtout, le CPP se mêle de ce pour quoi il n'est pas compétent, à savoir la méthodologie d'une recherche en sciences sociales, dont l'épistémologie n'est pas la même que celle des sciences dures. D'abord parce que la sociologie se réfère à un corpus conceptuel spécifique, ensuite parce qu'elle laisse une large part à l'induction (peu à la déduction et aucun à l'expérimentation) : une grille d'entretien est ainsi autant un produit du travail qu'un outil pour travailler, il est normal qu'une grille d'entretien de démarrage pour l’évaluation d’une innovation soit "vague”, avec des "objectifs flous", dans la mesure où est-elle alors est semi-directive, inductive et exploratoire.

Il fallut résister après coup à ce rabotage insidieux de la pensée. La méthodologie déposée dans le dossier CPP a donc ensuite été intégralement revue par l’équipe de recherche, rendue plus réaliste par rapport aux crédits disponibles et aux contraintes de terrain, améliorée sur le plan scientifique. Nous avons supprimé la « pyramide de la formation », rajouté de nombreuses dimensions à observer au-delà de la seule liste initiale de points d’évaluation à remplir, modifié le choix de ne faire qu’une étude de cas par région, réécrit hypothèses et outils d’enquête en fonction des premières explorations, etc….

6Une discussion avec un collègue philosophe membre d’un autre comité éthique m’a montré que les interventions méthodologiques sont pensées comme légitimes par les CPP. Le cas était celui d’une recherche qui portait sur le rapport entre la croyance religieuse et le sentiment de bien-être moral. Le CPP a critiqué le fait que l’étude ne portait que sur deux religions, il aurait fallu que le projet porte sur l’ensemble des religions !

7Les interventions des comités d’éthique biomédicale me paraissent, pour les sociologues, une forte atteinte à la liberté de la recherche et à la liberté de la méthodologie sociologique. S’il est logique, au sein d’un dispositif contractuel, que ces libertés soient limitées par le commanditaire, que celui-ci ait son mot à dire sur le programme de travail, voire s’entoure d’un comité de suivi de personnes intéressées à l’évaluation ou d’un comité de pilotage scientifique, il me semble que le comité de pilotage scientifique mobilisé devrait connaître la recherche en sciences sociales et en respecter l’épistémologie.

8Finalement, je lis, dans cette intervention grandissante des CPP dans toute recherche portant sur des questions de santé, constatée par d'autres collègues de SHS, une tentative de censure de la recherche en sciences sociales en santé pour assurer l'hégémonie du mode de pensée biomédical. Alors que pourtant la santé et la recherche en santé sont chose suffisamment sérieuse pour qu’on ne l'abandonne pas aux seuls médecins ou seuls biologistes.

  • 4  Ce problème du formatage dans la négociation de contrats se pose bien sur aussi dans le cadre des (...)

9Je retiens que le positionnement de sociologues pour faire leur métier demande dans les faits un mélange subtil de sens du compromis et d’une fermeté finale sur ce qui est à la fois possible et pertinent, et surtout la reprise d’une liberté intellectuelle pour ne pas se laisser enfermer dans des prêts-à-penser4.

Restitutions et marchandages

10Les restitutions sont un deuxième moment dangereux, où des compromis doivent être passés, ou non, selon les cas.

11Je prendrai d’abord l’exemple de restitutions finales de contrats européens. Si ceux-ci ne sont pas des évaluations, le rapport final des contrats de recherche européens doit se terminer par quelques pages de préconisations, qui font basculer alors la recherche du côté de l’évaluation.

Deux petites histoires.

- Lors de la conclusion du contrat européen Reguleducnetwork (6emem PCRD, pilotage université de Louvain, C Maroy), nos préconisations, qui concluaient aux bienfaits d’un renforcement de la régulation publique, dans des espaces régionaux (plutôt que locaux ou nationaux) sur les systèmes éducatifs européens, se sont heurtées au « scintific officer », lequel souhaitait que nous concluions sur les bienfaits du développement du marché pour ces mêmes systèmes éducatifs européens. S’ensuivirent un «clash» et le refus de notre part de développer une préconisation en contradiction avec l’ensemble des résultats empiriques recueillis.

- Durant le contrat européen auquel j’ai participé ensuite "Knowledge and Policy"(7e PCRD, pilote Bernard Delvaux), lors d’une restitution intermédiaire, le "scintific officer" a critiqué l’usage que nous faisons du concept d’origine française d’ »action publique » et vivement recommandé que nous employions à la place « gouvernance ». Il a fallu que nous rédigions plusieurs pages de réponses pour soutenir nos choix conceptuels.

Dans ces deux cas, c’est le contenu même de résultats de recherche qui ne satisfait pas les commanditaires, de façon frontale, car ils attendent de la recherche – ou du moins de sa conclusion- une légitimation de choix idéologiques préexistants.

La fermeté est alors de rigueur.

12D’autres tensions, plus ambiguës, avec des commanditaires en moindre position de pouvoir et plus intéressés à des résultats « réels », peuvent s’observer. Notamment quand les interlocuteurs acceptent les préconisations finales tout en se plaignant d’être maltraités par le texte du rapport, c’est à dire les descriptions empiriques de leur activité et des représentations des différents acteurs.

13La critique du travail sociologique prend alors la forme : « Vous nous avez mal compris », « Vous n’étiez pas là assez tôt dans le processus», ou : «Vous ne tenez pas assez compte de nos objectifs initiaux ». « Vous ne tenez pas compte du fait que nous n’avons pas fait ce que nous voulions puisqu’il y a eu des empêchements, des obstacles, des ennemis, des défaillances, des imprévus, etc. ». Conception platonicienne de l’action : l’Idée est juste, la réalité la dégrade. Le sociologue ne comprend pas l’Idée.

  • 5  Exemple de compromis sur l’exemple présenté plus haut : les observations sur le rôle du CPP ne fig (...)

14Il faut alors expliquer que le sociologue est justement payé là pour identifier et décrire les effets finaux de l’action publique étudiée, et donc ce que deviennent, dans la réalité, dans l’histoire, les « bonnes intentions » de départ, compte tenu des mécanismes organisationnels, sociaux ou sociétaux plus vastes auxquels le sociologue est attentif, et que c’est justement pour cela que son point de vue est intéressant. Quelques artifices de style sont alors nécessaires (et je ne trouve pas ces compromis scandaleux5), par rapport à une écriture initiale trop objectivante, pour ménager le narcissisme du commanditaire et rendre l’évaluation plus compréhensible, acceptable et diffusable, notamment en ce qui concerne la description des effets pervers ou des échecs.

15Il reste qu’on est bien sûr sur le fil du rasoir, car un pas de plus nous conduirait à la connivence, voire à la complaisance, à l’acceptation croyante du discours du commanditaire et au rétrécissement du monde à la dimension de son regard.

Haut de page

Notes

1  Par exemple une pétition affichée dans la salle des infirmiers et demandant le départ du MSP.

2  Cet épisode me fait regretter que nous n’ayons pas réussi lors du dernier congrès de l’AFS à nous mettre d’accord sur une charte éthique et déontologique qui garantisse suffisamment la liberté du travail sociologique dans un cadre professionnel. Les proposions faites allaient plutôt au-devant des désirs des commanditaires. Le principe d’une charte éthique et déontologique sociologique, opposable aux comités d’éthique divers qui ne vont manquer de proliférer, continue à me paraître souhaitable, même si je n’ai pas voté pour le projet , à cause de son contenu.

J’ai fait insérer dans le texte du contrat CCOMS /CLERSE une référence à la déontologie proprement sociologique, à côté de la mention du passage en CPP.

3  Il faut que je signale que nos partenaires ont, eux, apprécié les critiques du CPP et le re-travail qui s’en est suivi , qui, disent-ils leur a appris des choses, clarifié les idées et a eu des vertus pédagogiques.

4  Ce problème du formatage dans la négociation de contrats se pose bien sur aussi dans le cadre des appels d’offre, y compris de appels d’offres dits « scientifiques»

5  Exemple de compromis sur l’exemple présenté plus haut : les observations sur le rôle du CPP ne figureront pas dans le rapport final qui sera remis au ministère présentant l’évaluation du programme expérimental MSP, le commanditaire proposant « Tu n’as qu’à écrire un article, mais tu ne mets pas ça dans le rapport ! »

Haut de page

Pour citer cet article

Référence électronique

Lise Demailly, « Le sociologue, l’évaluation et les pièges peut-être évitables », Socio-logos [En ligne], 8 | 2013, mis en ligne le 16 juin 2013, consulté le 23 mars 2017. URL : http://socio-logos.revues.org/2773

Haut de page

Auteur

Lise Demailly

Professeur émérite à Université de Lille I,Maison Européenne des Sciences de l’Homme et de la Société, lise.demailly@univ-lille1.fr

Articles du même auteur

Haut de page
  • Logo Association française de sociologie
  • Logo DOAJ – Directory of Open Access Journal
  • Revues.org