Cet article à été posté par Ben Goldacre sur Bad Science le 15 mars 2013.

NDT : Too Long ; Won’t Read :

– Ben Goldacre a écrit ce billet en 2013 pour la défense d’un enseignement basé sur des preuves au Royaume-Uni.

– Les principes et les situations ici énoncées se transposent assez bien au contexte actuel français de création du Conseil Scientifique de l’Éducation Nationale.

– La pratique basée sur les preuves (EBP – Evidence Based Practice) a été adoptée il y a des décennies en médecine notamment, en rencontrant les mêmes résistances infondées que dans l’éducation à l’heure actuelle. On n’imagine plus aujourd’hui une médecine qui ne soit pas EBP.

– L’EBP a montré sa faisabilité et son utilité dans de nombreux domaines en dépit des mythes, incompréhensions et rejets de principe qui la précèdent.

– Ces mythes reposent sur des allégations pseudo-éthiques et des arguments de la complexité irréductible qui mettraient l’éducation en dehors de toute possibilité de pratique scientifiquement fondée. Il apparait au contraire que l’opposition de principe à l’EBP est contraire à l’éthique, et que l’allégation d’une trop grande difficulté revient à nier la possibilité de réaliser n’importe quelle étude quantitative dans n’importe quel autre domaine.

– Il est urgemment nécessaire de former les enseignants à la culture scientifique (comment on fait la science, comment on sait ce que l’on sait, comment on sait que quelque chose fonctionne) et de créer des structures soutenant des réseaux d’enseignants et de chercheurs engagés dans la recherche scientifique sur l’éducation afin de répondre avec fiabilité aux attentes réelles des praticiens sur le terrain.

J’ajoute à la fin du billet la vidéo d’une discussion entre Roland Goigoux et Franck Ramus sur ce qu’est la recherche scientifique sur l’éducation au delà des épouvantails qui lui sont opposés et son besoin dans le contexte particulier de la France. Vous pourrez également trouver les liens vers deux groupes de discussion Facebook ayant pour thème l’Evidence Based Education et l’enseignement sous l’œil du scepticisme scientifique. 

Je pense qu’il y a là un gain énorme à saisir pour les enseignants. En collectant les meilleures preuves de ce qui fonctionne et ce qui ne fonctionne pas en terme d’éducation, en établissant une culture de l’usage routinier des preuves scientifiques, il est possible d’améliorer les résultats des enfants et d’accroître l’indépendance professionnelle des enseignants.

L’idée d’une pratique basée sur les preuves n’est pas nouvelle. La médecine a déjà franchi ce pas, car c’est uniquement en conduisant des essais randomisés, des tests rigoureux, en comparant un traitement à un autre, qu’on a été capable de trouver ce qui marchait le mieux. Pas à pas, les résultats n’en ont été que meilleurs pour les patients. Mais ces résultats positifs n’ont pas été obtenus en faisant seulement quelques tests isolés sur quelques sujets dans une poignée d’hôpitaux ici ou là. Un changement de culture était nécessaire, incluant un regain d’éducation basée sur les preuves scientifiques pour les médecins, la mise en place d’un système entièrement nouveau pour conduire des essais en routine, l’identification des questions importantes pour les praticiens, le rassemblement des preuves identifiant les meilleurs traitements, et non des moindres, la prise en compte, la compréhension et la mise en pratique de ces éléments.

Je veux vous persuader que cette révolution pourrait (et devrait) arriver également dans le domaine de l’éducation. Il y a beaucoup de différences entre la médecine et l’éducation, mais elles ont également beaucoup en commun. Chacune est une forme d’art impliquant une expertise personnelle et se maîtrise à force d’années de pratiques. Chacune peut être mieux appréhendée à travers la prise en compte de l’expérience des pairs et ce qui a le mieux marché pour eux. Chaque enfant est différent bien sûr, mais chaque patient l’est également, et nous sommes tous suffisamment semblables pour chercher ce qui fonctionnera le mieux de manière générale et quelles stratégies devraient être testées prioritairement pour permettre à chacun d’obtenir les meilleurs résultats.

Avant d’aller plus loin, une mise en garde s’impose : je suis médecin. Je sais que des outsiders essayent souvent de dire aux enseignants ce qu’ils devraient faire, et je sais que cela finit souvent mal. En conséquence, il y a deux choses que nous devrions éclaircir tout de suite.

D’abord, la pratique basée sur les preuves ne consiste pas à dire aux enseignants ce qu’ils doivent faire. En fait, c’est plutôt l’opposé. Il s’agit plutôt de renforcer le pouvoir des enseignants, de les libérer des gouvernements, des ministres et des fonctionnaires qui sont souvent très prompts à émettre des directives basées sur leurs dernières idées dont ils sont persuadés qu’elles sont excellentes. Personne au gouvernement ne devrait dire à un médecin ce qu’il devrait prescrire, mais nous nous attendons tous à ce que les médecins soient capables de prendre des décisions éclairées en utilisant les meilleures preuves actuellement disponibles sur l’efficacité des différents traitements. Je pense que les enseignants pourraient un jour être dans la même position.

Ensuite, les médecins n’ont pas inventé la médecine basée sur les preuves. En fait, c’est plutôt le contraire : il y a quelques décennies encore, les meilleures pratiques médicales étaient basées sur l’éminence du praticien, le charisme, et l’expérience personnelle. Nous avions besoin de l’aide de statisticiens, d’épidémiologistes, de documentalistes et d’experts dans la mise en place de protocoles expérimentaux pour avancer. Beaucoup de médecins (particulièrement les plus anciens) ont fortement combattu ce mouvement, voyant la médecine basée sur les preuves comme une insulte à leur autorité.

Rétrospectivement nous avons pu voir que ces médecins avaient tort. L’opportunité de prendre des décisions informées à propos de ce qui fonctionne vraiment et de la meilleure façon, en utilisant des preuves de haute qualité, permet une véritable indépendance professionnelle vis à vis de toute figure d’autorité voulant imposer son opinion personnelle. Un système cohérent de pratique basée sur les preuves s’appuie sur le témoignage des praticiens qui se trouvent en première ligne, afin de localiser les incertitudes et quelles idées mériteraient d’être testées en conséquence. Enfin et surtout, le jugement individuel n’est pas miné par le recours aux preuves, bien au contraire : le jugement éclairé est ramené au premier plan, et grandement amélioré.

Je pense que c’est une opportunité que les enseignants devraient vouloir saisir. Puisque certaines de ces idées pourraient être nouvelles pour certains enseignants, je vais décrire les bases de ce qu’est un test randomisé, mais après cela j’évoquerai les systèmes et structures existantes et qui supportent la pratique fondée sur les preuves et qui sont bien plus importantes. Il n’est guère besoin d’imaginer un monde où chacun devrait subitement être un expert de la recherche scientifique et conduire des essais dans sa propre salle de classe dès demain. Non, ce qui compte c’est qu’une majorité de personnes comprennent les idées, qu’on lève les barrières autour des tests rigoureux de ce qui fonctionne, et que les preuves puissent être utilisées pour améliorer les résultats.

Comment fonctionnent les tests randomisés ?

Lorsqu’ils sont possibles, les tests randomisés sont généralement les outils les plus fiables que nous ayons pour déterminer laquelle de deux interventions possibles marche le mieux. Nous prenons tout simplement un groupe d’enfants ou d’écoles (ou de patients ou d’autres personnes), nous les divisons en deux groupes de manière aléatoire, nous prescrivons l’une des interventions à l’un des groupes et l’autre intervention à l’autre groupe, puis nous mesurons la manière dont chaque groupe se comporte en réponse à ces interventions afin d’en contrôler les effets présupposés.

C’est ainsi que la médecine est testée, et dans la plupart des circonstances, ce serait dangereux pour quiconque aujourd’hui d’adopter un traitement qui n’aurait pas fait la preuve de son efficacité dans ce type de conditions contrôlées. Les essais contrôlés ne sont pas seulement utilisés en médecine cependant, et il est habituel de les voir également employés dans des domaines aussi variés que le web design, la vente, la gouvernance…

Par exemple, nous avons vu un débat durer sur la question du meilleur modèle de micro-finance entre deux possibles pour la sortie de la pauvreté en Inde avec l’assurance que l’argent serait bien rendue une fois l’objectif accompli, et réutilisé dans d’autres villages : une test randomisé a permis de déterminer quel modèle était le plus efficace.

Lorsque Wikipédia lance une campagne de don pour la perpétuation de son activité, vous pouvez voir en haut de page une photo du fondateur Jimmy Wales souriant. C’est en fait une personne plutôt timide qui ne souhaitait pas que son visage apparaisse sur ces bannières. Mais Wikipédia a fait un test randomisé en soumettant à certains visiteurs différentes bannières : certaines montraient un enfant d’un pays en développement avec la mention « elle pourrait accéder à toutes les connaissances humaines si vous faisiez un don », alors que d’autres voyaient un jeune interne séduisant, et que d’autres enfin voyaient Jimmy Wales. Il apparu que les bannières comportant la photo de Jimmy Wales généraient plus de clicks, et de dons, et elle fut donc adoptée pour tous les visiteurs.

Évidemment, il est possible d’imaginer tout un tas de difficultés à la réalisation de tels tests lorsqu’il s’agit d’écoles. Vous pourriez penser qu’il suffit de regarder les résultats de groupes qui sont déjà entrain d’expérimenter une méthode à un endroit ou un d’autres afin de déterminer celle qui aura les meilleurs résultats. Mais cette approche souffre de sérieux problèmes. En effet, si vous ne randomisez pas et que vous vous contentez d’observer ce qui se passe dans des classes où telle ou telle méthode est entrain d’être testée, ils se pourrait bien que les personnes testant localement ces différentes méthodes soient très différentes les unes des autres et que cette différence soit très difficile à mesurer.

Prenons un exemple. Vous pourriez regarder à travers le pays des enfants à qui l’on enseigne à lire selon une manière particulière. Certains de ces enfants pourraient avoir de meilleurs performances à des tests de lecture opérés à l’âge de 7 ans, mais ça ne signifierait pas nécessairement que cette méthode de lecture soit strictement et spécifiquement responsable de ces meilleures performances. Il se pourrait en fait que l’école où le test était réalisé comportait plus d’enfants de familles aisées ou ayant moins d’entraves sociales, rendant les élèves plus à même d’utiliser cette méthode de lecture (imaginaire) et que l’école obtiendra ainsi toujours de meilleurs scores à cette épreuve à l’âge de 7 ans.

C’est également un problème lorsque vous lancez une nouvelle politique et que vous souhaitez savoir si elle fonctionnera mieux que celle qui est déjà engagée. Il est très tentant de mesurer les résultats avant et après le lancement de cette nouvelle politique, mais cela peut dramatiquement induire les observateurs en erreur si l’on considère que d’autres facteurs pourraient avoir varié en même temps sans que cela ne soit pour autant contrôlé. Par exemple, vous pourriez implémenter une politique de retour à l’emploi à un moment où l’économie de votre pays se trouve dans une tendance positive si bien que des effets positifs sur le retour à l’emploi auraient de toute façon été observés mais que vous concluiez par erreur que ces effets étaient dus spécifiquement à votre politique (au mieux vous pourrez essayer de produire des modélisation mathématiques tentant de distinguer l’effet spécifique de votre intervention vis à vis du bruit de fond général de votre économie en hausse).

Parfois, les gens pensent qu’une étude pilote est une solution idéale à tous ces problèmes, mais c’est à nouveau une erreur. Les études pilotes sont vraiment intéressantes sur les aspects pratiques de la faisabilité de votre intervention, mais elles peuvent être extrêmement trompeuses concernant les bénéfices ou effets négatifs de cette intervention, car les centres participant à ces pilotes sont bien souvent très différents de ceux qui n’y participent pas. Par exemple, les centres de retour à l’emploi qui participeraient spécifiquement au pilote de votre nouvelle politique de retour à l’emploi pourraient tout simplement être beaucoup moins surchargés que les centres conventionnels, car focalisés sur la réalisation de l’expérience pilote, ou avoir des personnels plus motivés que les centres conventionnels pour la réalisation de cette expérience. Il pourrait en ressortir une conclusion erronée de résultats supérieurs obtenus par ces centres concernant le retour à l’emploi en comparaison des centres conventionnels. De la même manière, lancer une expérience pilote dans une école pilote qui fonctionne déjà correctement pourrait donner l’illusion d’un effet bénéfique de l’intervention spécifiquement testée dans cette nouvelle expérience, alors qu’en réalité ces résultats ne devraient rien à cette expérience de manière spécifique.

C’est pourquoi les tests randomisés sont la meilleure façon de déterminer à quel point une nouvelle intervention fonctionne réellement par elle même, en s’assurant que toute chose est égale par ailleurs, c’est à dire que les enfants et les écoles testées sous la nouvelle méthode ont les mêmes profils que ceux utilisant la méthode contre laquelle on procède au test. On sélectionne les élèves ou les écoles de manière aléatoire (randomisée) dans un même pool homogène.

Arrivé à ce stade des explications, pas mal de personnes commencent à devenir nerveuses : peut-être n’est-ce pas acceptable de déterminer aléatoirement à quelle éducation un groupe d’enfants va être exposé. Ces considérations oublient le cœur du problème : pourquoi nous faisons des essais, et pourquoi nous cherchons à réunir les meilleures preuves possibles que quelque chose fonctionne vraiment.

Les mythes à propos des tests randomisés.

Alors qu’il y a certaines situations où les tests randomisés ne sont pas appropriés et où les résultats doivent être interprétés avec précaution, il y a aussi un certain nombre de mythes concernant ces tests. Ces mythes sont parfois diffusés afin de prévenir la mise en place de tels tests, ce qui ralentit le processus et crée des dommages en nous empêchant de voir ce qui fonctionne le mieux. Certaines personnes vont jusqu’à affirmer que les tests sont indésirables et même complètement impossibles à l’école, ce qui est particulièrement vrai ici [NDT : le Royaume-Uni en 2013] alors que de très nombreux tests ont lieu dans d’autres pays comme les USA. Passons spécifiquement en revue quelques mythes.

D’abord, les gens s’inquiètent parfois de l’éthique vis à vis de l’assignation aléatoire des enfants à tel ou tel type d’éducation. La croyance implicite est bien souvent qu’une nouvelle et coûteuse méthode est nécessairement meilleure. Quand des personnes présentent une telle croyance, elles s’inquiètent aussi beaucoup du fait de priver des enfants de méthodes nouvelles. Il est important ici d’être clair avant d’aller plus loin sur le fait que procéder à un test n’implique pas nécessairement de priver des enfants de quoi que ce soit : en réalité, avant que nous procédions à ces tests, nous n’avons généralement aucune idée de la quelle des deux méthodes testées est la meilleure. Par ailleurs, des choses dont les gens pensent intuitivement qu’elles sont bonnes peuvent se révéler tout à fait néfastes une fois testées rigoureusement.

La médecine est pleine d’exemples de ce type. Pendant des années, il était par exemple tout à fait normal de soigner des personnes blessées à la tête avec des stéroïdes. C’était parfaitement sensé sur le papier : les blessures à la tête entraînent le gonflement du cerveau susceptible de causer d’importants dommages structuraux du fait de sa compression dans notre boite crânienne rigide, mais les stéroïdes peuvent réduire le gonflement (et c’est la raison pour laquelle vous pouvez vous en voir injecter en cas de gonflement des genoux), et ils devaient donc logiquement améliorer la survie lors de telle blessures. Personne n’a cherché à tester l’effet réel de cette intervention durant des années. En fait, il était même considéré que de ne pas donner des stéroïdes à des personnes inconscientes aléatoirement choisies suite à de telles blessures ne serait pas éthique, et tout test était alors activement empêché. Quand des tests ont finalement été conduits, ils ont mis en évidence que les stéroïdes augmentaient en réalité les risques de mortalité lorsque administrés pour le traitement de telles blessures. La nouvelle méthode (donner des stéroïdes), qui semblait intuitivement fondée pour tout le monde et en la quelle tout le monde croyait, était en fait à l’origine d’un nombre accru de morts. Ce nombre n’était pas assez conséquent pour être immédiatement visible, mais lorsque des tests furent finalement réalisés, on a pu constater que 2 personnes supplémentaires décédaient de leurs blessures à la tête pour chaque groupe de 100 personnes à qui des stéroïdes avaient été donnés dans de telles conditions versus des groupes auxquels on n’en donnait pas.

Il y a des cas similaires dans l’éducation. Le programme « Scared Straight ! » avait également du sens sur le papier : des adolescents délinquants étaient conduits en prison afin de constater les conséquences d’une vie de criminalité dans l’espoir que cela leur permettrait d’éviter activement ce genre d’issue en se conformant à la loi dans leur vie personnelle future. Le suivi de ces enfants à leur vie adulte semblait indiquer qu’ils étaient moins susceptibles de commettre des crimes passée l’adolescence comparés à d’autres enfants. Mais là encore les chercheurs furent rattrapés par un problème soulevé plus haut : les classes dans lesquelles étaient envoyés ces enfants n’étaient pas les mêmes que celles où étaient envoyés les autres [NDT : toute chose n’était pas égale par ailleurs]. Lorsque des tests randomisés furent réalisés où cette erreur était contrôlée, il fut montré que le programme « Scared Straight ! » lorsqu’on mettait de côté les dépenses supplémentaires, l’enthousiasme, les élans de bonnes intentions et l’optimisme démesuré, étaient en fait néfaste en lui même et rendait les enfants plus susceptibles d’aller à prison plus tard dans leur vie.

Nous devons donc toujours être très précautionneux en considérant que les idées nouvelles et coûteuses sont nécessairement meilleures. Mais il ne s’agit là que du cas particulier d’un tableau plus grand, car en fait nous devrions toujours être parfaitement clair lorsque nous ne sommes pas véritablement sûr de l’efficacité relative de deux différentes méthodes. Actuellement, un grand nombre de méthodes éducatives sont utilisées à travers le pays, différentes stratégies pour réduire l’absentéisme, pour enseigner les mathématiques, pour réduire les grossesses chez les adolescentes et tout un tas d’autres choses et pour lesquelles il n’y a pas de preuves solides pour affirmer lesquelles de ces méthodes sont véritablement bénéfiques. Il y a un certain arbitraire à travers le pays, à travers une même ville concernant le choix des méthodes employées, et personne ne s’inquiète des problèmes éthiques à ce propos.

L’implémentation de tests randomisés ne fait qu’ajouter un type de variation supplémentaire à cet ensemble : des écoles, enseignants, enfants, parents capables de dire honnêtement « ok, on ne sait pas vraiment quelle méthode est la meilleure, et on n’a donc aucune idée de laquelle utiliser. On veut donc trouver quelle est la meilleure et nous savons que cela ne va pas nous nuire ».

C’est une bonne illustration de la mutation culturelle nécessaire ici, en allant au-delà de quelques tests sporadiques. Cela nécessite que toute personne impliquée dans l’éducation reconnaisse son ignorance honnêtement. Il ne s’agit pas d’un aveu d’échec : en médecine comme en éducation, nous savons que notre pratique procure quelque effet positif, et si ce n’était pas le cas et que notre pratique ne faisait rien de mieux que si nous ne faisions rien du tout, nous aurions alors un gros problème. Non, le véritable enjeu réside dans l’identification de ce qui marche le mieux, car lorsque les gens en sont privés, on peut considérer cela comme un effet néfaste également. Mais c’est également un rappel du fait que les certitudes infondées peuvent également être une barrière importante à tout progrès, particulièrement lorsque des personnes charismatiques s’arrogent l’autorité de proclamer ce qui marche le mieux sans une once de preuve.

La médecine a grandement souffert de ce problème jusque dans les années 70 avec l’affrontement entre ceux qui pensaient que des tests rigoureux étaient nécessaires pour évaluer les différentes pratiques et les « experts » qui étaient fâchés à l’idée que leur expertise personnelle soit ainsi mise à l’épreuve et que leur pratique favorite soit testée pour son efficacité. Archie Cochrane était l’un des pionniers de la médecine basée sur les preuves et il décrit dans son autobiographie de nombreuses batailles menées contre des docteurs relativement âgés. En 1971, Cochrane pensait que les unités de soins coronariens dans les hôpitaux pouvaient ne pas être meilleures que les soins à domicile alors que c’était là le standard médical pour les attaques cardiaques à l’époque (il faut rappeler que c’était le tout début de la prise en charge des attaques cardiaques, et les résultats de cette étude ne seraient pas applicables de nos jours). Il s’inquiétait en fait de ce que les procédures hospitalières pouvaient comporter un certain nombre de risques qui pouvaient aggraver le pronostic des patients.

Face à cela, Cochrane a essayé de comparer l’issue des soins hospitaliers et des soins à domicile en dépit de la grande résistance des cardiologues. Ces résistances à l’idée même de réaliser des tests étaient tellement inouïes qu’au moment de présenter enfin leurs résultats, Cochrane a décidé de faire une petite plaisanterie : il a inversé les chiffres de sorte à ce que les bénéfices soient clairement en faveurs de unités de soins, alors que les tests montraient l’inverse. Les cardiologues furent alors confirmés dans leur croyance initiale que Cochrane avait tort ne serait-ce que de prétendre remettre en question l’efficacité de leurs unités spécialisées. L’assemblée se mit à érupter :

Ils vociféraient : ‘Archie’ disaient-ils, ‘nous avons toujours pensé que ce n’était pas éthique. Vous devez cesser ces tests une bonne fois pour toutes.’ … Je les laissai vider leur sac pour un moment, puis présentai mes excuses et leur montrai les vrais résultats en les mettant au défi d’affirmer avec la même véhémence dont ils venaient de faire preuve, que leurs unités de soins devaient être fermées immédiatement. Il y eut un silence de mort, et je me senti mal, car après tout il s’agissait de mes confrères.

Des confrontations similaires sont visibles dans nombre de domaines où des personnes proposent de soumettre différentes possibilités à des contrôles rigoureux dans des tests randomisés. Être ouvert et au clair avec l’idée que de nouvelles recherches sont nécessaires lorsqu’il n’y a pas de preuves satisfaisantes de l’efficacité d’une méthode ou d’une autre est une chose importante qui permet de trancher des questions pertinentes, de subvenir aux besoins des enseignants, des enfants et des parents. Lorsque toutes les personnes impliquées dans l’éducation ont un minimum de culture scientifique en terme de méthodologie et d’état des connaissances, il est alors possible d’avoir une meilleure appréciation des questions qui méritent encore d’être posées.

Mais revenons aux mythes, car il y a également tous les cas où des personnes surestiment les bénéfices des tests.

Par exemple, il y a parfois des gens qui pensent que les tests peuvent répondre à tout, ou bien qu’ils sont la seule forme de preuve. Ce n’est pas vrai, et différentes méthodes sont utiles pour répondre à différentes questions. Les tests randomisés sont vraiment très utiles pour montrer que quelque chose fonctionne, mais ne sont pas toujours aussi utiles pour comprendre pourquoi cette chose fonctionne (bien qu’il y aie souvent des indices lorsque des méthodes efficaces ne sont observées que sous certaines conditions bien identifiées). La recherche dite qualitative, comme poser des questions ouvertes aux praticiens sur leur propre expérience, peut donner une meilleure compréhension sur la manière dont les choses fonctionnent ou pas sur le terrain. Cela permet également de faire remonter des questions nouvelles à propos de ce qui marche le mieux et d’y répondre par des tests. Mais des recherches qualitatives sont très mauvaises pour déterminer si quelque chose marche effectivement. Parfois les chercheurs qui n’ont pas les compétences pour conduire ou même comprendre les tests peuvent se sentir menacés et entrer en campagne contre le principe même de ces tests tout comme les experts de l’histoire de Archie Cochrane. Je pense que c’est une erreur, et que le truc est simplement de s’assurer que les bonnes méthodes soient utilisées pour répondre aux bons problèmes.

Un problème connexe est de choisir les bons effets à mesurer. Parfois les gens prétendent qu’il est impossible de faire des tests car nous ne pouvons pas isoler les effets intangibles de l’éducation. Il est vrai que ces effets peuvent êtres difficiles à mesurer, mais cet argument revient en fait à nier en pratique tout tentative de réaliser tout test et toute recherche quantitative. Je pense que c’est en outre tiré par les cheveux : il y a tout un tas de choses que nous essayons d’améliorer et qui sont faciles à mesurer comme le taux de suivi des cours, les grossesses à un jeune âge, la quantité d’exercice physique, les performances à divers tests académiques, etc..

Le programme « Family Nurse Partnership » est une initiative populaire et bien financée à travers le monde. Son efficacité a d’abord été montrée lors d’un test randomisé en 1977. Les participants au test étaient des mères de familles blanches de la zone péri-urbaine de New York. Les gens s’inquiétaient à l’époque de ce que les résultats positifs auraient pu être exceptionnels et restreints à cette population en particulier. En 1988 le programme fut testé à nouveau dans des conditions différentes sur une population de mères afro-américaines du centre-ville de Memphis, et montra à nouveau son efficacité. Nouveau test en 1994 : il était cette fois réalisé sur une large population de mères afro-américaines, hispaniques et caucasiennes de Denver. Ce troisième essai montrait à nouveau l’efficacité du programme avec une réduction des blessures infantiles, une augmentation de l’emploi des mamans, une meilleure prédisposition à l’école, et bien d’autres choses.

Le programme est maintenant importé au Royaume-Uni, mais ses créateurs insistent bien sur la nécessité de conduire de nouveaux tests randomisés dans ce contexte particulier afin d’en mesurer son efficacité. Ils prévoient notamment une efficacité moins spectaculaire du fait de la bien meilleure aide dispensée de base aux jeunes familles dans ce pays en comparaison des USA. Cela veut dire concrètement que la différence observée entre les familles bénéficiant du programme et celles n’en bénéficiant pas au Royaume-Uni devrait être beaucoup moins importante qu’aux Etats-Unis.

Il est effectivement important de se demander si un programme efficace sur une population de patients, ou d’écoliers, est nécessairement transposable à une autre population. Cela illustre l’importance de réaliser des tests de manière routinière, de les répliquer dans des conditions de contrôle différentes plutôt que de supposer aveuglément qu’il est possible de simplement utiliser des résultats obtenus ailleurs qu’il s’agisse de pays étrangers ou d’écoles à la population radicalement différente. Cela ne veut pas dire cependant qu’on ne peut jamais utiliser les résultats d’autres tests. Mais ça montre combien il est nécessaire de comprendre comment ce type de démarche fonctionne, et de faire un usage raisonné des preuves à notre disposition. Si l’alternative proposée est de conduire une étude observationnelle avec tous les biais que je viens d’énoncer en terme de fiabilité, alors à nouveau, il vaut probablement mieux réaliser tout de suite un test randomisé.

Enfin, les gens s’inquiètent souvent du coût et de la difficulté des tests. Ces deux aspects ne sont pas nécessairement problématiques et il est important de voir à quoi sont opposés ces coûts. Si nous devons choisir par exemple entre la réalisation d’un test randomisé, et simplement foncer tête baissée vers l’implémentation d’une méthode dont il n’existe aucune preuve de l’efficacité et qui pourrait être inutile voire même néfaste, il devient absolument clair que le coût initial des tests en termes de temps et d’énergie déployés en valent la peine afin de mesurer cet impact réel.

L’organisation de tels tests n’a pas a être extrêmement compliquée. Leur conception peut par exemple impliquer des données extraites de manière routinière des activités en classe qui auraient de toute façon été collectées, plutôt que de conduire de tests spéciaux afin de générer ces données. Mais le plus important pour que ces tests soient efficaces, c’est qu’ils deviennent un élément à part entière de la culture enseignante.

La pratique fondée sur les preuves comme routine quotidienne.

Je suis étonné de l’enthousiasme que peut générer la pratique fondée sur les preuves dans certains cercles du milieu enseignant, mais je suis également étonné de voir à quel point cet enthousiasme semble s’évanouir avant d’aboutir au moindre succès à cause du manque de structures pour soutenir cette pratique. Il en résulte un petit nombre de tests réalisés de manière sporadique sans pour autant créer un tissu commun entre les uns et les autres. Ce n’est la faute de personne en particulier, car créer quelque chose à partir de rien est de facto une tâche compliquée qui peut prendre des décennies. Les bénéfices de telles pratiques peuvent pourtant être énormes. Certains tests randomisés au Royaume-Uni ont par exemple produit des résultats informatifs mais qui ont très peu été communiqués de sorte à ce qu’ils ne débouchent sur aucun changement de pratique.

En conséquence, j’ai essayé de faire le tour de tout ce dont l’éducation aurait besoin pour devenir une pratique fondée sur les preuves de manière sérieuse. Le but est de faire plus de recherche, d’impliquer le plus possible d’enseignants, d’obtenir des résultats solidement établis et de les diffuser au mieux possible afin de les mettre en pratique. Il s’agit clairement d’un premier pas, d’un appel aux armes [NDT : de la science]. J’espère que d’autres personnes s’approprieront cet appel et l’enrichiront. Mais j’espère surtout que des personnes mettront tout cela en pratique à travers le pays par la création de structures qui en médecine ont permis beaucoup de bien en sélectionnant les meilleures pratiques.

Nous avons en premier lieu besoin d’une meilleure diffusion des recherches en direction des enseignants sur le terrain : les articles scientifiques très techniques et publiés dans des revues académiques sont rarement lues par les enseignants, et la plupart des médecins ne se fatiguent pas à le faire non plus. Le British Medical Journal [NDT : une revue scientifique importante] dispose d’une section de brèves sur l’actualité des recherches à travers le monde, et beaucoup d’autres initiatives existent pour communiquer aux praticiens qu’ils soient médecins, infirmiers ou autres professionnels de santé « ce qui fonctionne » ou pas. Le gouvernement US a investi dans le développement d’une initiative similaire à l’attention des enseignants : les sites internet « Doing What Works » et « What Works Clearing House ». Ces sites sont importants et disposent de beaucoup de ressources de qualité en plus d’être écrits de sorte à être pertinents pour les besoins des enseignants plutôt qu’à l’échange scientifique austère. Les initiatives comparables au Royaume-Uni sont beaucoup plus modestes.

Pour que tout cela soit utile, il faut que ce soit associé à des enseignants qui savent comment on sait que quelque chose fonctionne vraiment. La formation des enseignants implique bien souvent de connaître les résultats de la recherche, mais il est beaucoup plus rare qu’ils sachent tout simplement comment la recherche fonctionne, quelles sont les forces et faiblesses de différents types d’approches pour une même question (bien que certains se soient formés évidemment sur ces questions à un niveau extrêmement avancé). La formation à la recherche est importante non pas pour que les enseignants deviennent des chercheurs, mais pour qu’ils aient les outils critiques leur permettant de déterminer la valeur des résultats des nombreuses recherches relatives à leur pratique qui jalonneront les décennies de leur carrière. Cela implique d’abattre certaines barrières dressées devant la recherche et basées sur des mythes et des incompréhensions. Dans un monde idéal, ces éléments seraient fondamentaux dans la formations des enseignants et se trouveraient mis à jour par une formation continue.

Dans certains endroits du monde, il est impossible de gravir les échelons de l’enseignement sans comprendre comment la recherche fondamentale permet d’améliorer les pratiques et sans être chercheur soi même en publiant des articles dans des journaux consacrés à l’éducation. En retour cela assure que les questions posées à la recherche soient bien fondées sur les besoins des praticiens sur le terrain. C’est le cas des enseignants de Shanghai et Singapour, qui participent à des discussions sur l’actualité de la recherche, sur ses forces et ses faiblesses, avant de déterminer s’ils devraient essayer d’appliquer ces résultats à leur pratique. Si la réponse est non, ils communiquent les limitations qu’ils ont trouvées à ces recherches de sorte à ce que leur design expérimental soit revu et fasse l’objet d’une nouvelle recherche sur la même question en prenant en compte ces corrections.

C’est un point important en effet : comprendre comment la recherche fonctionne permet aux enseignant de générer de nouvelles questions de recherches et cela en retour assure que les questions concernant vraiment la pratique quotidienne de ces enseignants soient adressées par la science. En médecine, n’importe quel docteur peut suggérer des recherches au National Institute for Health Research et des organisations tiennent à jour des listes de questions restant à aborder par la recherche et mises en lumière par les praticiens qui devaient prendre les décisions sur le terrain sans malheureusement disposer de preuves fiables pour éclairer leurs choix. Mais il y a d’autres façons pour les feedbacks d’être utiles.

Être familiarisé avec la recherche permet aux enseignants de ne pas se laisser avoir par les mythes dangereux concernant celle-ci comme étant indésirable voire « impossible » dans le domaine de l’éducation. Une différence assez importante entre les médecins et les enseignants ici est que ces derniers accordent beaucoup d’espoirs dans des essais très isolés et localisés, conduits par une personne ou dans une seule salle de classe avec un manque d’expertise nécessaire pour assurer un bon design expérimental. Peu de médecins s’essayeraient à des essais quantitatifs aussi isolément sans expertise statistique et sans l’aide de personnes formées aux protocoles expérimentaux.

En fait, la plupart des médecins ne jouent qu’un petit rôle dans la tenue de projets de recherche plus larges conduits par des réseaux scientifiques. Beaucoup de généralistes sont contents de participer à la recherche par le recrutement de volontaires parmi leur patientèle en leur délivrant aléatoirement l’un des deux traitements testés à plus large échelle puis en transmettant leurs données aux échelons supérieurs. Pour ce faire, les généralistes se signalent en premier lieu à des réseaux de recherches couvrant leur spécialité. Les chercheurs intéressés par l’acquisition de données de terrains peuvent alors intégrer les patients de ces médecins à des essais randomisés à travers ce réseau.

Ce système est comme un service de rencontres pour les praticiens et les chercheurs. La création de réseaux similaires dans le domaine de l’éducation pourrait aider à associer les bonnes volontés des enseignants et des chercheurs pour l’amélioration des pratiques alors qu’il est parfois bien difficile pour ces derniers de trouver des écoles désireuses de participer à des recherches de qualité. Ce double échange entre enseignants et chercheurs permet également aux deux groupes de bénéficier de meilleurs rudiments sur l’organisation de tels essais et d’aider les chercheurs à ne pas rester perchés dans une tour d’ivoire en se rapprochant de ce qui compte vraiment pour les enseignants.

Il y a bien à dire sur les chercheurs. Nous avons besoin d’écouter les enseignants et de fonder des recherches permettant d’établir ce qui fonctionne vraiment, ce qui donne de meilleurs résultats. Nous avons besoin de chercheurs avec des compétences en recherche quantitative venant de l’extérieur des départements consacrés à l’éducation (des économistes, des démographes et bien plus), afin de partager ces compétences dans des approches multidisciplinaires. Nous avons besoin de plus de collaboration avec des experts des unités d’essais cliniques afin de nous assurer que les travers habituels des protocoles des essais randomisés soient évités, et nous avons aussi besoin, enfin, d’unités d’essais éducatifs afin de supporter une recherche rigoureuse à travers le pays.

Aussi bien que ces objectifs dépassent de loin quelques projets de recherche isolés, ils dépassent aussi de loin ce que des acteurs isolés peuvent accomplir. Nous décrivons ici la création ex-nihilo de tout un écosystème. L’accomplissement de tels objectifs dépend d’enseignants, de chercheurs, de dirigeants, de politiciens, d’enfants, de parents et bien d’autres. Cela nécessitera d’audacieux leaders prêts à questionner les orthodoxies par la production de preuves rigoureuses par la recherche, mais cela nécessitera également la rencontre avec une communauté qui comprend ce qu’est une pratique basée sur les preuves et ne rejette pas les essais randomisés d’un revers de manche.

Si cela semble une entreprise colossale, c’est que s’en est une en effet. Celle-ci va prendre beaucoup de temps, mais les gains attendus sont énormes, non seulement dans l’obtention de données fiables, mais par de meilleurs résultats pour les écoliers. En ce moment même des courants très enthousiastes à ce propos traversent le gouvernement [NDT : l’auteur britannique s’exprime en 2013]. C’est le moment d’agir. Les enseignants ont, je crois, l’opportunité de devenir une profession scientifiquement fondée en seulement une génération en épousant la recherche dans leur pratique quotidienne, en prenant des décisions éclairées en toute indépendance, en combattant les errements des gouvernements dictant aux enseignants comment enseigner. Car les enseignants peuvent utiliser les preuves fiables à la collecte desquelles ils ont participé, pour alimenter leur propre jugement de manière éclairée.

Il y a également un sillon à tracer. Alors que la médecine basée sur les preuves [NDT : c’est à dire la médecine scientifique] paraît aujourd’hui être une évidence à tel point que nous serions horrifiés de savoir que les médecins utilisent des traitements sans aucune idée fiable de leur efficacité, il faut rappeler que ces avancées ne furent obtenue qu’il y a seulement quelques décennies. Beaucoup de médecins éminents ont férocement combattu cela aussi récemment que dans les années 70, contre l’idée même d’une médecine basée sur des preuves, voyant celle-ci comme un coup de griffe à leur expertise. Le changement allait venir de jeunes praticiens comme Archie Cochrane qui voyait le bien qu’il pouvait y avoir dans la défense d’une pratique basée sur des preuves rigoureuses.

Maintenant nous savons qu’être un bon médecin, un bon enseignant ou un bon manager, ce n’est pas suivre de manière automatique les indications chiffrées d’essais randomisés, pas plus qu’il s’agisse d’ignorer les preuves dont on dispose en suivant son flaire et son expérience personnelle à la place. Nous faisons du mieux possible en utilisant les meilleures combinaisons de compétences.

Captation vidéo des Controverses de Descartes où Roland Goigoux et Franck Ramus illustrent ce qu’est réellement la recherche scientifique sur l’éducation (en l’occurrence sur l’apprentissage de la lecture), son utilité et sa nécessité :

Groupes Facebook :

• Evidence-Based Education France – Progrès éducatif et démarche scientifique
• Scepticisme et éducation