Ressources

Publié le

2/6/2025

Modèle de Kirkpatrick

L'application rigoureuse du modèle de Kirkpatrick met en évidence comment l'évaluation de la formation peut contribuer directement au renforcement d'une culture de sécurité. L'étude VMHS visait explicitement à transformer la culture organisationnelle pour améliorer la sécurité psychologique.

Le modèle de Kirkpatrick : évaluer l'efficacité de la formation en santé pour une qualité des soins optimale

Dans le domaine de la santé, la formation continue et initiale des professionnels est un pilier essentiel pour garantir la qualité des soins et la sécurité des patients. Que ce soit pour l'acquisition de connaissances médicales à jour, le développement de compétences techniques pointues, ou l'amélioration des compétences non techniques comme la communication et le travail d'équipe, l'investissement dans la formation est considérable. Cependant, pour s'assurer que cet investissement porte ses fruits et contribue réellement à un meilleur système de santé, il est impératif d'évaluer l'efficacité de ces programmes de formation. Comment savoir si une formation a non seulement transmis des connaissances, mais a également conduit à un changement de comportement, et ultimement, à une amélioration des résultats pour les patients ? C'est là qu'intervient le Modèle de Kirkpatrick, une référence majeure dans l'évaluation des programmes de formation.

Le Modèle de Kirkpatrick offre un cadre structuré pour évaluer l'impact d'une formation à différents niveaux, allant de la simple satisfaction des participants aux résultats concrets sur l'organisation ou les bénéfices pour les patients. En se basant sur les sources fournies, nous allons explorer en profondeur ce modèle, son application dans le contexte spécifique des formations en santé, notamment celles délivrées par e-learning ou en format mixte (blended learning), et illustrer son utilité à travers un exemple concret d'une étude menée dans un système de santé. Ce guide détaillé vise à fournir aux professionnels de la santé, aux formateurs et aux décideurs les clés pour une évaluation pertinente et complète de leurs dispositifs de formation, dans l'optique d'améliorer continuellement la qualité et la sécurité des soins.

L'Importance de l'évaluation des formations en santé

L'évaluation de la formation n'est pas une simple formalité, mais une démarche stratégique fondamentale dans le secteur de la santé. Les sources soulignent la nécessité d'évaluer l'efficacité des programmes de formation, qu'il s'agisse de formations par e-learning ou d'interventions plus complexes visant à transformer la culture organisationnelle et la sécurité psychologique. Dans un environnement où les erreurs peuvent avoir des conséquences désastreuses, s'assurer que le personnel est non seulement formé, mais que cette formation conduit à des pratiques plus sûres et plus efficaces, est une priorité absolue.

Le secteur de la santé est caractérisé par une complexité croissante, des avancées rapides dans les connaissances médicales et les technologies, et une pression constante pour améliorer la qualité des soins tout en maîtrisant les coûts. Dans ce contexte, les programmes de formation doivent être non seulement pertinents, mais aussi démontrer leur valeur. Évaluer la formation permet de:

Valider si les objectifs pédagogiques ont été atteints.
Comprendre comment les apprenants ont réagi à la formation.
Déterminer si la formation a conduit à un changement dans la pratique clinique.
Quantifier l'impact de la formation sur les résultats concrets, y compris les bénéfices pour les patients et l'organisation.
Identifier les points forts et les points faibles des programmes de formation afin de les améliorer continuellement.
Justifier les investissements dans la formation.

Les sources indiquent que l'e-learning s'est inspiré de divers domaines, dont les sciences de l'éducation, les technologies de l'information, la formation ouverte à distance, la simulation et les contrôles qualité. Cette diversité d'inspirations met en évidence la nature multifacette des formations modernes en santé, qui nécessitent des méthodes d'évaluation robustes capables de saisir ces différentes dimensions. L'Organisation Mondiale de la Santé (OMS) elle-même a publié en 2015 une revue systématique sur l'intérêt de l'e-learning en formation initiale pour les professionnels de la santé, ce qui souligne l'importance croissante de ces modalités et, par conséquent, la nécessité de les évaluer rigoureusement.

Bien que de nombreuses études comparatives aient été menées, notamment dans le domaine de la santé, les sources notent un manque d'études comparatives publiées par des équipes françaises sur le sujet de l'e-learning. Cela renforce l'intérêt d'adopter des cadres d'évaluation reconnus internationalement, comme celui de Kirkpatrick, pour contribuer à un corpus de preuves solide. L'évaluation selon le modèle de Kirkpatrick, qui s'intéresse à la satisfaction, l'apport de connaissances, le changement de pratique et le résultat clinique, est une approche hiérarchique adoptée par des groupes d'évaluation tels que le BEME (Best Evidence Medical Education) et utilisée dans des revues systématiques sur l'évaluation des programmes par e-learning. Ce modèle fournit une feuille de route claire pour évaluer l'efficacité des formations, allant des réactions immédiates à l'impact à long terme.

Décryptage du modèle de Kirkpatrick : les quatre niveaux d'évaluation

Le Modèle de Kirkpatrick, développé par Donald Kirkpatrick et plus tard affiné par son fils James Kirkpatrick, est l'un des cadres d'évaluation de formation les plus largement utilisés au monde. Il propose une hiérarchie de quatre niveaux croissants, chacun mesurant un type d'impact différent de la formation. Ces niveaux permettent d'évaluer non seulement ce qui a été appris, mais aussi si l'apprentissage a été appliqué et quel en a été le résultat final.

Voici les quatre niveaux d'évaluation selon Kirkpatrick, tels que résumés dans les sources:

Niveau 1 – Réactions : Ce niveau évalue comment les participants ont réagi à la formation. L'ont-ils appréciée ? En sont-ils satisfaits ?. Il s'agit de mesurer la perception immédiate des apprenants concernant l'expérience de formation, y compris l'utilité perçue, l'intérêt et la qualité de l'environnement ou des supports pédagogiques. Dans le contexte de l'e-learning, cela peut inclure l'évaluation de l'ergonomie de l'interface, qui est importante pour éviter le découragement des participants. La satisfaction des participants est souvent une condition nécessaire, bien que non suffisante, pour les niveaux supérieurs d'évaluation. Une satisfaction élevée peut favoriser l'adhésion et la motivation à s'engager dans le contenu.
Niveau 2 – Apprentissage : Ce niveau mesure ce que les apprenants ont appris à l'issue de la session de formation. Quelles connaissances, habiletés (savoir-faire) et/ou attitudes (savoir-être) ont été acquises ?. Les objectifs pédagogiques ont-ils été atteints ?. Il s'agit de l'évaluation pédagogique. Ce niveau vise à quantifier le gain de connaissances ou l'amélioration des compétences mesurables directement après la formation. Les sources mentionnent que l'évaluation du e-learning selon les gains de connaissances est un critère couramment utilisé. Cela peut être mesuré par des tests de connaissances (pré-tests et post-tests), des exercices pratiques ou des évaluations de compétences.
Niveau 3 – Comportements (ou Transferts) : Ce niveau évalue si les apprenants utilisent ce qu’ils ont appris durant la session de formation dans leur pratique professionnelle. Quels comportements professionnels nouveaux ont été mis en place ?. Ce niveau s'intéresse à l'application de l'apprentissage sur le lieu de travail. Dans le domaine de la santé, cela signifie observer si les professionnels ont modifié leurs pratiques cliniques, leur communication avec les patients ou leurs collègues, ou leur approche du travail d'équipe. Les sources mentionnent l'évaluation des changements de pratiques ou d'attitudes des professionnels. Cela peut être mesuré par des auto-évaluations des compétences et comportements, des observations directes, ou des rapports de supérieurs ou de collègues. L'amélioration des compétences pratiques/comportements comparée à un groupe contrôle neutre a été étudiée dans des programmes par e-learning pour différentes professions de santé.
Niveau 4 – Résultats : Ce niveau évalue l'impact de la session de formation sur la prise en charge des patients ou sur l'organisation. Quels sont les bénéfices pour les patients ?. Ce niveau mesure les résultats finaux de la formation, qui vont au-delà du simple comportement de l'individu. Dans le secteur de la santé, cela peut inclure la réduction des erreurs médicales, l'amélioration des résultats cliniques pour les patients, l'augmentation de l'efficacité des processus, la satisfaction des patients, ou des indicateurs organisationnels comme la réduction des coûts liés à des incidents. L'évaluation des résultats cliniques sur les patients est un critère retenu dans le cadre de l'évaluation des programmes de formation par e-learning. L'amélioration des pratiques cliniques comparée à un groupe contrôle neutre a également été étudiée.

Le modèle de Kirkpatrick est hiérarchique car l'atteinte des niveaux supérieurs dépend généralement de la réussite aux niveaux inférieurs. Par exemple, il est peu probable qu'un participant insatisfait (Niveau 1 faible) s'engage suffisamment pour apprendre (Niveau 2) ou appliquer ce qu'il a appris (Niveau 3), ce qui limiterait l'impact sur les résultats (Niveau 4). L'adoption de cette hiérarchie par des organismes comme le BEME pour évaluer la littérature médicale témoigne de sa pertinence et de sa robustesse dans le contexte de l'évaluation des formations en santé. Certaines études utilisent explicitement cette classification pour leurs analyses comparatives.

Appliquer Kirkpatrick à l'évaluation des programmes d'e-learning

L'e-learning est devenu une modalité de formation de plus en plus répandue dans le secteur de la santé, offrant flexibilité et accessibilité. Évaluer l'efficacité de ces programmes en utilisant le modèle de Kirkpatrick nécessite d'adapter les méthodes de mesure à ce format spécifique. Les sources fournissent des indications sur la manière dont l'e-learning peut être évalué à chacun de ces niveaux.

Niveau 1 – Réactions dans l'E-learning :L'évaluation de la satisfaction dans l'e-learning se fait généralement par le biais d'enquêtes ou de questionnaires en ligne à la fin du programme ou des modules. Ces enquêtes peuvent porter sur la facilité d'utilisation de la plateforme, la clarté du contenu, l'interactivité, la pertinence des exemples, ou le support reçu. Les sources soulignent l'importance de l'ergonomie de l'interface pour la perception positive d'une formation e-learning. Une interface déficiente peut décourager les participants. À l'inverse, des modules interactifs peuvent générer une plus grande satisfaction. Les commentaires qualitatifs recueillis peuvent aider à identifier les aspects de la conception pédagogique ou technique qui nécessitent une amélioration.

Niveau 2 – Apprentissage dans l'E-learning :L'évaluation de l'apprentissage en e-learning est couramment réalisée par des tests en ligne. Les pré-tests et post-tests sont une méthode standard pour mesurer le gain de connaissances. Les sources mentionnent l'utilisation de pré-tests et post-tests pour évaluer l'amélioration des connaissances dans le cadre de programmes e-learning. Ces tests peuvent être composés de questions à choix multiple ou unique. L'e-learning peut être efficace pour améliorer les connaissances. L'amélioration des compétences (savoir-faire) peut être évaluée par des exercices pratiques intégrés aux modules, des simulations en ligne, ou des études de cas interactives. L'évaluation des attitudes (savoir-être) peut être plus complexe et nécessiter des scénarios ou des questions de jugement. Les sources montrent que l'e-learning peut entraîner une amélioration des connaissances et des compétences cliniques.

Niveau 3 – Comportements dans l'E-learning :Évaluer le transfert de l'apprentissage au poste de travail à partir d'une formation e-learning peut être difficile sans suivi structuré. Les méthodes peuvent inclure des auto-évaluations ou des rapports des participants sur la manière dont ils appliquent ce qu'ils ont appris. Des observations par des superviseurs ou des collègues peuvent également être utilisées, bien que cela soit moins courant pour l'e-learning seul. Les enquêtes d'impact menées quelques semaines ou mois après la formation peuvent demander aux participants s'ils ont modifié leurs pratiques ou adopté de nouveaux comportements. Les sources mentionnent l'évaluation des changements de pratiques ou d'attitudes. L'amélioration des compétences pratiques/comportements a été observée dans des études comparatives sur l'e-learning.

Niveau 4 – Résultats dans l'E-learning :Mesurer l'impact de l'e-learning sur les résultats cliniques ou organisationnels nécessite de collecter des données objectives après la formation. Cela peut impliquer l'analyse de dossiers patients, de données d'incidents de sécurité, d'indicateurs de qualité des soins, ou de données financières liées à l'efficacité des processus. Les sources indiquent que l'évaluation des résultats cliniques sur les patients est un critère pertinent et que l'amélioration des pratiques cliniques peut être mesurée comparativement à un groupe contrôle. Les programmes de e-learning peuvent améliorer les résultats cliniques comparativement à un groupe contrôle neutre. L'évaluation au niveau 4 est souvent la plus complexe mais aussi la plus significative pour démontrer la valeur stratégique de la formation.

Une revue systématique datant de 2002 utilisait déjà une évaluation de l'e-learning selon les gains de connaissances, les changements de pratiques ou d'attitudes des professionnels et de leur satisfaction. L'utilisation du modèle de Kirkpatrick pour évaluer les programmes par e-learning est donc une pratique établie dans la recherche sur la formation en santé. Pour ce guide, une partie des critères de Kirkpatrick a été retenue pour évaluer les résultats des programmes de formation par e-learning (évaluation des connaissances, évaluation des compétences et comportements cliniques, résultat clinique sur les patients).

Les sources notent également que le temps utilisé pour les cours en ligne est similaire à celui des cours présentiels, sauf si des interactions sont proposées, auquel cas le temps augmente mais l'apprentissage aussi. Les programmes « adaptés », permettant de dispenser de certains modules selon le niveau de l'étudiant, peuvent même raccourcir le temps d'apprentissage tout en étant plus efficients. Ces considérations temporelles sont importantes lors de la conception et de l'évaluation de programmes d'e-learning.

Efficacité de l'e-learning évaluée par Kirkpatrick selon les sources

Les sources présentent une compilation de résultats d'études comparatives évaluant l'efficacité des formations par e-learning selon différents critères, souvent alignés sur les niveaux de Kirkpatrick. De manière générale, l'e-learning a un effet important comparé à l'absence d'intervention. Comparé à des interventions non connectées à Internet, l'effet est plus hétérogène ou petit.

E-learning vs Mode Magistral (Présentiel) :La comparaison la plus fréquente est entre l'e-learning et le cours magistral traditionnel. Une revue systématique évaluant 9 études auprès d'étudiantes infirmières ou diplômées a montré une amélioration des connaissances et des compétences cliniques avec l'e-learning par rapport à un cours traditionnel. Cependant, la plupart des études comparant e-learning et cours magistral ne retrouvent pas de différence significative concernant l'apport de connaissances. Certains auteurs trouvent même les programmes e-learning plus efficaces comparés à un cours présentiel similaire. En matière d'amélioration des connaissances et des compétences cliniques, le mode d’enseignement présentiel comparé au mode d’enseignement en ligne est considéré comme équivalent.

E-learning vs Autres Modes de Délivrance :Comparé à d'autres formats comme le format papier, certaines études n'ont pas trouvé de différence entre le format Web et le format papier concernant la délivrance de formation. Cependant, un cours en ligne sur le traitement de la douleur a montré une amélioration des connaissances et des compétences de prise en charge comparé à la distribution de recommandations papier. Un cours en ligne sur l'EBM a été plus performant pour améliorer les connaissances et l'examen clinique comparé à un groupe travaillant seul de manière autonome.

Effet selon la Durée du Programme :La durée ou l'étalement du programme dans le temps (mode court vs étalé) n'influence pas l'amélioration des connaissances, des compétences cliniques et des résultats cliniques. Des études comparant différents modes temporels de délivrance de modules n'ont pas montré de différence entre les groupes. Cependant, un programme multi-composantes au long cours n'a pas montré de différence par rapport à l'accès à des recommandations cliniques.

Effet selon le Type de Modules :

Interactivité technique : L'interactivité, les exercices pratiques, la répétition et le feedback améliorent les résultats d'apprentissage. Des modules interactifs peuvent être plus efficaces qu'un enseignement traditionnel. Néanmoins, certains auteurs trouvent de meilleurs résultats avec les modules non interactifs, et d'autres ne trouvent pas d'amélioration spécifique entre module interactif et module style livresque. Le mode de délivrance court ou étalé dans le temps n'influence pas l'amélioration des paramètres d'apprentissage. Les modules interactifs avec le participant améliorent les paramètres d’apprentissage, mais des résultats divergents existent selon la thématique enseignée.
Interactions sociales : Les modules interactifs entre les participants et/ou enseignants améliorent les objectifs d’apprentissage. Un programme avec discussion et échange sur des cas cliniques en plus de l'e-learning simple a été plus performant sur l'apport de connaissances.
Webcast, vidéoconférence : Le mode d’enseignement présentiel comparé au mode d’enseignement de type webcast ou webconférence est équivalent en matière d’amélioration des connaissances. Une étude n'a pas trouvé de différence significative entre interagir au cours de vidéoconférences ou lors de webcast sans interactions.
Design : Des modules au design amélioré (authenticité des cas cliniques, interactivité, feedback, intégration) sont plus efficaces qu'un programme standard. Cependant, un format linéaire n'a pas montré de différence par rapport à un format en branches en termes d'apprentissage. Un design complexe n'est pas gage de meilleurs résultats. Un design efficace dans un pays semble pouvoir être transposé dans un autre.
Relance par e-mail/SMS : L’utilisation de système de relance par e-mail/SMS contribue à une meilleure implication dans les programmes de e-learning. Des SMS ou des relances par e-mails peuvent améliorer l'apport de connaissances, la participation et l'adoption des recommandations. Les apprentissages espacés combinant formation en ligne et tests espacés réguliers par e-mail sont appréciés des participants.
Agent pédagogique : L'utilisation d'un agent pédagogique (personnage animé) a montré un petit intérêt dans une étude de faible qualité.

Effet selon la Dominante Pédagogique :

Résolution de problème : Les cas cliniques réels enseignés en ligne permettent une meilleure acquisition des connaissances et une amélioration du comportement clinique que des cours simples. L'utilisation d'éléments interactifs spécifiques comme le wiki peut être performante. Une formation en ligne par résolution de problème a montré un changement des connaissances et des pratiques cliniques. Le mode d’enseignement par résolution de problème comparé au mode d’enseignement traditionnel est au moins équivalent pour l'amélioration des connaissances, des compétences cliniques et des résultats cliniques, et certains formats semblent plus performants selon les sujets.
Patient virtuel, cas cliniques : Les simulations de cas cliniques informatisées ou patient virtuel apportent des résultats par rapport à l'absence d'informations, mais avec un effet faible comparé à des formations non informatisées. Un cours avec 11 cas cliniques en plus a donné des résultats supérieurs à court terme. Cependant, d'autres études ne trouvent pas de différence significative avec ou sans cas cliniques.
E-learning de situation : Ce type d'enseignement interactif où l'apprenant est placé en situation/contexte spécifique est efficace pour améliorer la performance par rapport à l'absence d'intervention, mais l'effet est limité comparé aux interventions traditionnelles.
"Serious games" : Les "serious games" n'ont pas encore montré leur efficacité.
MOOC : Aucune étude comparative n'a été trouvée concernant les MOOC.

Effet dans le Temps :L'amélioration des connaissances avec les programmes par e-learning ne se maintient pas toujours dans le temps, et des études au long cours sont recommandées. Certaines études montrent un gain qui se maintient, tandis que d'autres montrent une diminution des connaissances acquises dans le temps et pas d'effet spécifique dans le temps pour le maintien des compétences dans certains domaines. Le mode d’enseignement en ligne comparé à un groupe contrôle n’est pas suffisant pour maintenir dans le temps l’apport des connaissances ou des compétences cliniques, et peu d'études ont été trouvées sur ce sujet.

E-learning Mixte (Blended Learning) :Le blended learning, qui incorpore des sessions présentielles à la formation en ligne, a montré une amélioration des compétences cliniques, bien que de faible importance, en formation initiale clinique. Ces sessions présentielles et en ligne sont bien acceptées par les participants. La formation mixte peut être supérieure à l'e-learning seul pour l'apport de connaissances et de compétences cliniques. L'application de l'e-learning après le stage présentiel peut apporter les meilleurs résultats. Le mode d’enseignement présentiel associé à une formation en ligne est supérieur au mode d’enseignement traditionnel seul ou à une formation en ligne seule pour l'amélioration des connaissances, des compétences cliniques et des résultats cliniques.

En résumé, l'efficacité de l'e-learning est variable et dépend de nombreux facteurs, y compris le design pédagogique, l'interactivité, les interactions sociales, et le fait qu'il soit utilisé seul ou en complément d'une formation présentielle. L'évaluation à différents niveaux de Kirkpatrick est essentielle pour comprendre ces nuances et déterminer si un programme atteint ses objectifs.

Étude de cas concret : application du modèle de Kirkpatrick dans un programme mixte en anesthésiologie (VMHS)

La deuxième source présente une étude de cas très pertinente pour illustrer l'application du modèle de Kirkpatrick dans le secteur de la santé : un programme de formation mixte (e-learning et simulation en présentiel) visant à améliorer la sécurité psychologique et les compétences non techniques au sein des équipes d'anesthésiologie du VinMec Healthcare System (VMHS) au Vietnam. Cette étude est particulièrement intéressante car elle s'attaque à des défis majeurs tels que l'enracinement culturel, la dispersion géographique et une structure hiérarchique forte où la déférence prédominait. L'objectif était de transformer le département en l'un des plus sûrs d'Asie du Sud-Est.

L'initiative a été menée sur 18 mois et a impliqué 112 médecins et infirmiers anesthésistes. Le programme était structuré et combiné des modules d'apprentissage en ligne et des sessions de simulation sur site. L'évaluation de l'impact de cette intervention a été explicitement réalisée selon le modèle de Kirkpatrick. Cela démontre que le modèle n'est pas seulement théorique mais peut être appliqué pour évaluer des programmes de formation complexes et à grande échelle dans un contexte clinique réel.

L'équipe de mise en œuvre était multifacette, comprenant la direction du système de santé, des experts en formation et des spécialistes de la simulation. Cette collaboration était essentielle pour surmonter les défis et assurer l'alignement avec les objectifs organisationnels. Le projet a nécessité une planification rigoureuse, une analyse des besoins, le développement de cours et scénarios adaptés, et la conduite de sessions de formation pratiques avec débriefings interactifs.

Les défis rencontrés lors de la mise en œuvre étaient importants, incluant l'obtention du financement (qui a pris près d'un an), le scepticisme de certains intervenants seniors, les barrières linguistiques (l'anglais étant la langue commune mais non native pour la plupart), la navigation dans les normes culturelles et les structures hiérarchiques, et les complexités logistiques liées à la formation de grands groupes sur plusieurs sites. Le programme a été rendu obligatoire pour tout le personnel d'anesthésie du VMHS dans le cadre de la formation continue.

L'approche pédagogique a leveraged l'e-learning pour enseigner, démontrer les compétences non techniques idéales pour la gestion de crise, et sensibiliser aux écarts de performance. Les sessions de simulation en personne de 2 jours, appelées DOMA (Development of Mastery in Anesthesiology), combinaient des cours théoriques innovants illustrés immédiatement par des scénarios de simulation immersifs. L'objectif était de fournir une expérience pratique et de mettre en évidence l'écart entre la performance idéale et la performance réelle. Les débriefings interactifs après les simulations ont permis une exploration approfondie de la compréhension des participants et de leur maîtrise des compétences, offrant des opportunités de réflexion et de feedback.

En utilisant le modèle de Kirkpatrick, l'étude VMHS a pu évaluer l'impact de cette intervention complexe à travers quatre dimensions distinctes, fournissant ainsi une image complète de son efficacité.

Mesurer l'impact à chaque niveau : les résultats de l'étude VMHS

L'étude VMHS a rigoureusement mesuré l'impact de son programme de formation mixte en utilisant des indicateurs spécifiques pour chaque niveau de Kirkpatrick.

Niveau 1 – Satisfaction :La satisfaction des participants a été évaluée par des enquêtes numériques anonymes à la fin de chaque session de simulation en personne. Les résultats globaux sont très positifs. Tous les participants (100%) ont recommandé la formation et ont pensé qu'elle changerait leur pratique. Cela indique une forte acceptation du programme par le personnel d'anesthésie du VMHS, ce qui est un point de départ favorable pour l'atteinte des niveaux supérieurs d'évaluation. La satisfaction est l'effet principal attendu au Niveau 1 et vise à encourager l'adhésion au concept et à l'approche.

Niveau 2 – Apprentissage :L'amélioration des connaissances a été mesurée par les résultats de pré-tests et post-tests anonymes réalisés sur la plateforme d'e-learning. Sur les 18 mois de l'étude, les 112 participants ont complété 4870 heures d'e-learning, ce qui témoigne d'une forte implication (moyenne de 43h29 par participant). Un pourcentage significatif de modules (91% des 3213 modules démarrés) ont été complétés à 100%. Les résultats ont montré une amélioration très significative entre les pré-tests et les post-tests (taux de réussite de 41% vs 89%, p<0.001). Cela démontre l'efficacité de l'outil e-learning pour l'acquisition de connaissances et sa valeur pour préparer les participants aux sessions de simulation, maximisant ainsi les bénéfices de l'apprentissage en personne. Des pré-tests et post-tests similaires ont également été utilisés pour les sessions de simulation de 2 jours via un système d'enquête en ligne.

Niveau 3 – Comportements :Les changements de comportement (rapportés et observés) ont été évalués par des enquêtes d'impact numériques anonymes menées auprès des équipes d'anesthésie avant chaque session de simulation de 2 jours. Ces enquêtes, réalisées à 6, 12 et 18 mois, visaient à évaluer l'impact perçu de la formation sur les comportements appliqués et observés dans les situations cliniques quotidiennes. La figure 1 (non visible ici mais décrite par le texte source) illustre l'incidence des changements observés ou rapportés, qui sont significatifs et stables sur la période de 18 mois. Plus de 93% des participants ont perçu les changements comme durables. Parmi les changements les plus fréquemment cités dans les enquêtes, la communication (y compris la capacité de "speaking up" ou de prendre la parole) est apparue comme le changement le plus important (citée par 46% à 63% des répondants), suivie par le travail d'équipe (incluant l'attribution des tâches et la coordination, citée par 35% à 57%) et l'utilisation des aides cognitives (citée par 20% à 57%). Le fait que l'intervention ait été appliquée à toutes les équipes d'anesthésie du VMHS dans un délai court est considéré comme ayant facilité la mise en œuvre réussie de ces changements.

Niveau 4 – Résultats :L'impact sur l'organisation, la qualité et la sécurité (Niveau 4) a été estimé par les résultats des audits annuels de qualité et de sécurité du VMHS et par l'évolution des événements rapportés pour le département d'anesthésie du VMHS. Les audits annuels de sécurité du VMHS, basés sur 124 indicateurs notés de 1 à 10, ont montré une amélioration du score global de sécurité et une réduction de la dispersion des scores entre 2021 (année de référence avant l'intervention) et 2022 et 2023. La réduction de la dispersion est interprétée comme une homogénéisation des pratiques vers une plus grande sécurité. L'impact sur la culture de sécurité et la capacité à rapporter les événements indésirables ("adverse events") a été évalué en collectant le nombre d'événements indésirables rapportés avant et après le début de l'intervention. Le nombre d'événements rapportés a augmenté (figure 3A, non visible ici) et le nombre de personnes ne rapportant aucun événement a été divisé par deux par rapport à l'année précédente. L'augmentation du rapport d'événements indésirables, bien qu'intuitivement négative, est en fait un indicateur positif d'une culture de sécurité renforcée et d'une plus grande sécurité psychologique, car le personnel se sent plus à l'aise pour signaler les erreurs et les quasi-accidents sans craindre de répercussions. Le nombre d'événements rapportés au VMHS après 18 mois était même neuf fois inférieur aux données de la base de données nord-américaine comparable (figure 3B, non visible ici). L'étude conclut que l'intervention éducative, étant la seule mise en œuvre dans le département d'anesthésie du VMHS pendant la période observée, est susceptible d'être la cause de ces améliorations objectives.

Les résultats de l'étude VMHS montrent des effets positifs nets et durables de l'intervention sur les quatre niveaux de Kirkpatrick. Ils démontrent que la sécurité psychologique et les compétences associées ne sont pas seulement un sous-produit passif d'un bon leadership, mais une compétence qui peut être systématiquement développée par le biais d'interventions de formation structurées. L'intégration de l'e-learning et de la simulation à grande échelle a permis d'atteindre un changement de comportement, même dans des systèmes hiérarchiques et géographiquement dispersés.

Avantages et défis de l'utilisation de Kirkpatrick dans le contexte de la santé

L'utilisation du modèle de Kirkpatrick pour évaluer les formations en santé, qu'elles soient en ligne, présentielles ou mixtes, présente plusieurs avantages et défis, comme l'illustrent les sources.

Avantages :

Cadre structuré : Le modèle offre une structure claire et hiérarchique pour planifier et réaliser l'évaluation. Il permet de s'assurer qu'on ne se limite pas à évaluer la satisfaction ou l'apprentissage immédiat, mais qu'on cherche aussi à mesurer l'application et les résultats à long terme.
Complétude : En couvrant quatre niveaux, le modèle permet une évaluation plus complète de l'impact d'un programme de formation, allant des perceptions des apprenants aux résultats concrets.
Pertinence pour la santé : Les niveaux de Kirkpatrick (satisfaction, connaissance, changement de pratique, résultat clinique) sont directement pertinents pour évaluer l'impact de la formation sur la qualité des soins et la sécurité des patients. Des organismes comme le BEME ont adopté cette hiérarchie.
Applicabilité à diverses modalités : Le modèle peut être adapté pour évaluer différentes modalités de formation, y compris l'e-learning et le blended learning. L'étude VMHS en est un exemple concret.
Démonstration de la valeur : L'évaluation aux niveaux supérieurs (3 et 4) est essentielle pour démontrer la valeur stratégique de la formation et justifier les investissements. Les résultats de l'étude VMHS au Niveau 4, montrant une amélioration des scores de sécurité et une augmentation des rapports d'incidents, en sont une preuve tangible.
Support à l'amélioration continue : L'évaluation fournit des données précieuses pour identifier ce qui fonctionne bien et ce qui doit être amélioré dans les programmes de formation.

Défis :

Difficulté de mesurer les niveaux supérieurs : Les niveaux 3 (comportement) et 4 (résultats) sont souvent les plus difficiles et coûteux à évaluer de manière fiable, car ils nécessitent un suivi sur le lieu de travail et la collecte de données objectives sur les pratiques et les résultats cliniques. L'étude VMHS a utilisé des enquêtes d'impact rapportant les changements perçus (qui peuvent être subjectifs) et des audits objectifs et rapports d'incidents (plus fiables mais influencés par d'autres facteurs).
Attribution de causalité : Il peut être difficile d'établir un lien de causalité direct entre la formation et les changements observés aux niveaux 3 et 4, car de nombreux autres facteurs (environnement de travail, soutien managérial, autres initiatives, etc.) peuvent influencer le comportement et les résultats. L'étude VMHS note que son intervention était la seule significative mise en place pendant la période observée, ce qui renforce l'hypothèse d'un lien causal, mais reconnaît l'influence possible de facteurs externes non identifiés.
Coût et ressources : Mener une évaluation complète à tous les niveaux, en particulier le suivi et la collecte de données objectives, peut être coûteux et nécessiter des ressources importantes en temps et en personnel.
Complexité de l'environnement de santé : Le secteur de la santé est un environnement complexe, caractérisé par des structures hiérarchiques, des normes culturelles fortes, et une dispersion géographique. Ces facteurs peuvent rendre le transfert de l'apprentissage et la mesure de l'impact plus difficiles. L'étude VMHS a dû surmonter ces défis pour évaluer l'efficacité de son programme.
Manque d'outils standardisés : Bien qu'il existe des grilles et outils d'évaluation pour les programmes e-learning, leur sélection et adaptation doivent se faire en fonction des objectifs spécifiques de l'évaluation. Il n'y a pas toujours d'outils standardisés pour mesurer précisément les changements de pratique ou les résultats cliniques liés à une formation donnée dans tous les contextes. L'étude VMHS a développé ses propres méthodes de mesure (enquêtes d'impact, utilisation des audits internes, suivi des rapports d'incidents).

Malgré ces défis, l'utilisation du modèle de Kirkpatrick reste un moyen puissant de structurer l'évaluation de la formation en santé et de fournir des preuves de son efficacité au-delà de la simple acquisition de connaissances. Les "Points à retenir" des sources soulignent l'importance de mesurer l'impact sur les connaissances, les compétences cliniques et les résultats cliniques, des éléments directement mesurables aux niveaux 2, 3 et 4 de Kirkpatrick.

Vers une culture de sécurité renforcée grâce à l'évaluation de la formation

L'application rigoureuse du modèle de Kirkpatrick, en particulier dans des contextes comme celui de l'étude VMHS, met en évidence comment l'évaluation de la formation peut contribuer directement au renforcement d'une culture de sécurité. L'étude VMHS visait explicitement à transformer la culture organisationnelle pour améliorer la sécurité psychologique.

La sécurité psychologique, définie comme la capacité des membres d'une équipe à parler, à prendre des risques d'innovation et à admettre leurs erreurs sans craindre de conséquences négatives, est un élément très important pour les équipes de santé performantes. Les leaders jouent un rôle clé dans la promotion d'un environnement psychologiquement sûr qui stimule la communication efficace, améliore le travail d'équipe et la prise de décision, et encourage le rapport d'incidents. Développer ces compétences non techniques ("soft skills") est essentiel pour des soins plus sûrs.

L'étude VMHS a démontré que la sécurité psychologique n'est pas qu'un idéal abstrait, mais une compétence concrète et entraînable qui a un impact mesurable sur la sécurité des patients. Le programme de formation mixte (e-learning et simulation) a conduit à une augmentation significative des comportements de "speaking up" (prendre la parole), une amélioration du travail d'équipe et de l'utilisation des aides cognitives (Niveau 3). Surtout, il a entraîné une augmentation des rapports d'incidents de sécurité et une amélioration des scores d'audit annuel de sécurité (Niveau 4). L'augmentation des rapports d'incidents est une indication clé d'une culture de sécurité plus ouverte et moins punitive.

L'évaluation à l'aide du modèle de Kirkpatrick a permis de objectiver ces changements. Le Niveau 1 (satisfaction) a montré une forte adhésion. Le Niveau 2 (apprentissage) a confirmé l'acquisition des connaissances via l'e-learning. Le Niveau 3 (comportements) a mis en évidence les changements perçus et rapportés dans la communication et le travail d'équipe. Et le Niveau 4 (résultats) a démontré l'impact sur les indicateurs objectifs de sécurité organisationnelle.

Ces résultats renforcent l'idée que l'investissement dans la formation aux compétences non techniques et à la sécurité psychologique, évalué de manière structurée, est un levier puissant pour améliorer la qualité et la sécurité des soins. Les sources insistent sur le fait que le leadership est un facteur déterminant pour surmonter les obstacles et assurer la réussite de telles initiatives. L'engagement de la direction du système de santé VMHS a été essentiel pour intégrer la sécurité psychologique dans une large structure hiérarchique et géographiquement dispersée.

En conclusion, le Modèle de Kirkpatrick fournit un cadre indispensable pour évaluer l'efficacité des programmes de formation en santé, qu'il s'agisse d'e-learning, de simulation ou de formation mixte. Il permet de dépasser la simple mesure de la satisfaction ou de l'acquisition de connaissances pour évaluer si la formation conduit réellement à des changements de comportement et, plus important encore, à des améliorations concrètes pour les patients et l'organisation. Dans un secteur où la sécurité est primordiale, une évaluation rigoureuse de la formation est non seulement une bonne pratique, mais une nécessité stratégique pour construire et maintenir une culture de sécurité forte et améliorer continuellement la qualité des soins délivrés. Des initiatives comme celle du VMHS, évaluée par Kirkpatrick, offrent un modèle réplicable pour d'autres systèmes de santé souhaitant placer la sécurité psychologique et l'évaluation de la formation au cœur de leur stratégie. Le succès de ces programmes repose sur une conception pédagogique adaptée, une mise en œuvre soignée, un suivi des apprenants, et surtout, un engagement fort du leadership pour soutenir le changement culturel. L'évaluation selon Kirkpatrick guide ce processus et permet de mesurer le chemin parcouru vers un système de santé plus sûr et plus efficace.