Prouver la valeur de la formation - 2 : la chaîne de preuves Je reprends ici l’expression de Jonathan Pottiez, « Construire la chaîne de preuves », au chapitre 7 de son livre « L’évaluation de la formation ». Puisque la valeur de la formation procède de sa bonne intégration dans un système aux acteurs multiples, les différentes évaluations – résultats, acquis, transfert … » ne sauraient constituer à elles seules la « chaîne de preuves ». Il s’agit d’abord de définir et de faire respecter les conditions de la création de valeur. Puis d’établir la preuve, au moyen des évaluations, du fait que les conditions de l’efficacité ont bien été présentes, et que les résultats sont au rendez-vous. Faire respecter les conditions de la création de valeur Pour faire respecter les conditions de la création de valeur, je propose d’utiliser une check list, depuis les préalables à la décision d’engager une formation jusqu’au suivi de celle-ci. Les évaluations de satisfaction et de transfert, pour autant qu’elles posent les bonnes questions, viendront attester :
Evaluer les acquis : adapter l'évaluation aux niveaux de formation Evaluer les acquis de formation, oui mais comment ? Comment assurer l’adéquation entre les objectifs visés par la formation et l’évaluation censée mesurer leur atteinte ? Voici une proposition. Ma proposition est construite au croisement de deux taxonomies : « SOLO », pour « Structure of Observed Learning Outcomes » (Structure des résultats observés des apprentissages) de Biggs et Collis (1982) et Bloom (1956). « SOLO » a justement le mérite d’attirer notre attention sur les livrables résultant des apprentissages. Ainsi, écrit Carmel McNaught (2011), « l’évaluation doit être liée au résultat souhaité des apprentissages » (..). J’ai déjà abordé la taxonomie de Bloom dans le billet « De l’intérêt des objectifs pédagogiques ». « Maîtriser » regroupe le deux niveaux supérieurs (« Evaluer » et « Créer » pour le domaine cognitif). Evaluer les fondamentaux Evaluer au niveau « Maîtrise » Enfin, le troisième niveau requiert à son tour des « résultats observables des apprentissages » plus complexes.
Mini dossier - L'évaluation par les pairs | Le blog de C-CampusLe blog de C-Campus Devenue incontournable avec le développement des MOOCs certifiants, l’évaluation entre pairs ou par les pairs présente des avantages évidents d’un point de vue logistique et économique. Elle a également un intérêt pédagogique important en permettant aux apprenants d’apprendre par l’évaluation de leurs collègues. C’est pourquoi, des pratiques d’évaluation par les pairs sont menées aussi bien en éducation qu’en formation depuis de nombreuses années. Nous avons l’intuition que l’évaluation par les pairs va devenir un sujet incontournable à la fois parce que le « tout certifiant » remet au coeur des débats la question du coût de l’évaluation et que les réseaux sociaux et la nouvelle économie portent en eux une aspiration aux modalités d’apprentissages collaboratifs. L’évaluation entre pairs est évidemment une de ces modalités. Voici en quelques articles ce que l’on peut retenir sur cette question. Edutech wiki : Evaluation par les pairs – cliquez ici.
Évaluation de la formation : une question à l'ordre du jour… Les raisons de cette tendance sont connues. D'abord la crise qui contraint les entreprises à toujours plus de rigueur dans l'utilisation de leurs ressources : les milliards d'euros annuellement dépensés dans la formation sont dans le collimateur, et l'on ne peut plus s'abriter derrière l'argument paresseux selon lequel il faudrait comparer ce coût à celui de l'ignorance. Ensuite, la formation doit suivre le rythme du business… L'accélération des marchés impose aux entreprises d'aligner toujours plus vite leurs compétences. On ne se plaindra pas de cette nouvelle légitimité : nombre d'études montrent que la formation reste le principal levier de développement utilisé par les entreprises pour développer leur capital humain. Encore faut-il que cette contribution soit effective, qu'elle puisse être attestée. Aux services de formation d'anticiper la réponse à une question que les directions d'entreprise commencent à se poser sérieusement ! Michel Diaz
L’évaluation par les pairs, pour mieux comprendre les objectifs d'apprentissage et mieux apprendre L’évaluation par les pairs ne concerne pas que les MOOC, dans ces-derniers les étudiant.es sont trop nombreux.ses pour être notés par la seule équipe pédagogique. Nombreuses sont les expérimentations au cours desquelles les enseignant.es mettent en place une évaluation par les pairs, même avec un nombre plus réduit d’étudiant.es (nous avons eu l’occasion d’en parler ici). Au terme de plusieurs expérimentations concernant les évaluations, l’évaluation par les pairs semble présenter de nombreux avantages. En effet, loin de l’idée reçue selon laquelle ce type d’évaluation permet à l’enseignant.e de se décharger d’une part considérable de son travail, elle permet le développement chez les étudiant.es, d’une double compétence : celle de la maîtrise du sujet enseigné et celle de la maîtrise de modalités d’évaluations elles-mêmes. L’expérimentation pédagogique en question a été menée en formation d’ingénieur à Télécom Bretagne. 1 - Etudiants concernés 3 - Nombre d’enseignants concernés
Une formulation positive pour une critique réussie "La critique est facile, mais l'art est difficile". Loin d'être une artiste, ma grand mère n'en était pas moins attachée à la reconnaissance de l'effort et de la prise de risque, valeurs fondamentales pour des enseignants aujourd'hui. L'apprentissage par essai-erreur Qu'on soit étudiant ou enseignant, si l'on s'attache au mécanisme de l'apprentissage efficace et à l'adaptabilité, il peut être fort intéressant de creuser la méthode de l'apprentissage par essai-erreur. Cette proposition fut créée par Thorndike, un psychologue américain, qui l'appela "loi de l'effet". Dans cette approche, c'est autant la critique que la motivation qui sont les clefs de la réussite. Des enseignants utilisent fréquemment cette méthode ainsi que d'autres, post-bac bien sûr mais également avant, lors de classes inversées ou au quotidien dans les petites classes. L'esprit critique en 2017 C'est à la fois une remise en question de soi et de ce que l'on croit savoir, qu'une critique de ce que l'on nous dit. Sources
Des outils pour évaluer la formation Geoffroy de Lestrange (Cornerstone, EMEA Product Marketing Manager) : Avant de parler d’outil, il convient de définir ce que l’on veut mesurer, et ceci dépend essentiellement des objectifs à atteindre. Lorsqu’on définit sa stratégie de développement RH, on doit la faire émerger à partir de la stratégie de l’entreprise. Ainsi, chaque action de formation doit être l’occasion d’un dialogue entre le collaborateur, le manager et la RH pour définir les objectifs, les résultats concrets et les moyens d’évaluer l’impact de l’action. Les résultats mesurés doivent être court terme (pour mesurer un impact justifiable vis-à-vis d’une direction financière par exemple) mais aussi long terme, par exemple en vue de développer un vivier de talents pour favoriser la mobilité. Ceci est valable pour les formations structurées mais il convient aussi de réfléchir aux objectifs attendus de la mise en place de moyens pour promouvoir l’auto-formation et le partage de connaissances.
Comment prouver la valeur de la formation à votre hiérarchie Avez-vous déjà dû prouver la valeur de votre travail de concepteur pédagogique ? Ce n’est pas une situation simple à gérer et, si vous êtes comme la plupart des gens qui travaillent dans le domaine de la formation professionnelle, vous connaissez sans doute cela. En tant que développeurs e-learning, nous savons pertinemment que notre travail a un impact sur le résultat financier de notre entreprise ; mais pour les autres, l’intérêt de la formation peut être moins évident, et dans ce cas, il vous faudra défendre votre cause. Voici quelques points clés à présenter pour bien expliquer les avantages de la formation. Des économies de temps et d’argent Lorsque vous formez des personnes sur la façon d’accomplir une tâche, vous leur montrez le moyen le plus efficace et le plus rapide d’y arriver. Une cohérence dans les process Des employés plus sûrs d’eux En plus de réduire les coûts et d’apporter de la cohérence, la formation permet aussi de redonner confiance aux employés.
Utilisez les KPI pour faire l’analyse de rentabilité du e-learning Je vous ai déjà proposé un article sur comment prouver la valeur de la formation à votre hiérarchie. Le point clé consiste à être capable de mesurer et de prouver le retour sur investissement (ROI) en faisant une analyse coût-bénéfice de votre projet e-learning. Je pense qu’une des raisons majeures pour laquelle les services de formation sont sous-estimés est que les concepteurs pédagogiques réalisent rarement d’analyse coût-bénéfice de leurs projets. Ces calculs sont certes ennuyeux et difficiles, mais la capacité de les mener à bien sont une compétence que vous pouvez développer. Il me paraît donc important que les concepteurs pédagogiques aient une bonne compréhension des Indicateurs Clés de Performance (ICP), souvent appelés KPI ce qui signifie Key Performance Indicators en anglais. Toutes les entreprises ont un ensemble d’indicateurs clés, et chaque équipe de l’entreprise devrait aussi avoir son propre ensemble d’indicateurs. Mais comment identifier ces variables ?
Taux de retour : comment faire l'augmenter ? - Formaeva S’il y a bien une question qui revient très régulièrement dans la bouche de nos interlocuteurs, c’est bien celle autour de l’amélioration des taux de retour (sachant que des taux de retour sur des évaluations « à chaud » sont considérés comme bons à partir de 80% et sur des évaluations « à froid » à partir de 60%). L’utilisation d’une plateforme de dématérialisation des évaluations de formations (et de connaissances) telle que Formaeva implique automatiquement l’envoi de courriels. S’arrêter pour prendre le temps d’étudier le cycle de vie du répondant, sollicité par courriel pour répondre aux questionnaires, peut ainsi avoir tout son intérêt. En effet, une analyse de chaque étape peut permettre de repérer des zones de « blocage », d’amélioration et de mise en œuvre possible d’actions, ce afin d’améliorer des taux de retour enregistrant parfois des scores inférieurs à ceux attendus… Est-ce que l’expéditeur du courriel est facilement identifiable ?
Résultats Google Recherche d'images correspondant à images Site Web pour cette image books.google.com Cette image est peut-être protégée par des droits d'auteur. Les Bonnes Pratiques Qui Vont Vous Aider à Concevoir Votre évaluation Des Connaissances | Formaeva Cela fait déjà trois mois que nous avons commencé à partager avec vous nos bonnes pratiques en matières d’évaluation des connaissances. Ce nouvel article s’ajoute à la liste des sujets abordés dans notre tour d’horizon des pratiques d’évaluation des connaissances. Je vous propose ici, de faire une synthèse des quelques 11 bonnes pratiques proposées par Jonathan Pottiez dans son ouvrage L’évaluation de la formation (Dunod, 2013, p. 112-118). Commençons par travailler la base, les questions. Je suis certaine que vous êtes nombreux a avoir déjà répondu à des questionnaires d’évaluation des connaissances et à vous être dit que la formulation des questions prêtait à confusion ou que les réponses proposées vous aiguillaient sensiblement vers la bonne réponse. Décelez les participants qui ont appris de ceux qui n’ont pas appris et, pour cela, vérifiez que parmi les choix de réponse aucun n’est plus attrayant qu’un autre. Évitez de donner une image trop scolaire de l’évaluation.
Blended, pour évaluer la formation aussi ! L’évaluation s’est longtemps déclinée en présentiel, sous la forme d’une feuille d’évaluation individuellement renseignée par les apprenants sous l’œil attentif du formateur à l’issue du stage. C’est la qualité perçue par les apprenants (pertinence des contenus, qualité des moyens mis en œuvre, durée de la formation) qui était et continue d’être évaluée. L'évaluation en ligne, portée par le e-learning Le e-learning a permis un fort développement de l’évaluation en ligne, via le quiz proposé de façon "asynchrone" à l’apprenant à la fin du module. Il semble qu’une répartition se soit ainsi faite : la qualité du stage évaluée en présentiel et les connaissances à chaud évaluées en ligne. Il est rare en effet que les connaissances (l’apprentissage au sens Kirkpatrick) soient évaluées dans le cadre du stage ; de même que la qualité du e-learning est encore très peu évaluée par des responsables formation, inquiets d’avance par la faiblesse des taux de connexion ou de complétude. Michel Diaz
Contre l’évaluation de la formation (2/2) Ce qu’il y a de bien lorsqu’on est consultant indépendant, c’est qu’on peut écrire des choses qu’un salarié pense très fort mais hésite à dire tout haut. Un exemple ? « Oubliez l’évaluation du ROI de la formation ! » La première partie de cet article mettait en doute la pertinence de l’évaluation de la formation, notamment au vu des motifs pour lesquels on évalue traditionnellement. Imaginez un instant que vous alliez voir votre directeur général et que vous lui annonciez la chose suivante : « Voilà, j’ai identifié des actions qui sont réalisées par une grande majorité de collaborateurs de notre entreprise et je compte mesurer le retour sur investissement de 10 % d’entre elles. » Vous connaissez certainement assez votre DG pour l’entendre vous répondre : « Et pour quelle raison, dites-moi, allez-vous en ignorer les 90 % restants ? Ces 10 %, ce so Au fond, l’enjeu est donc moins d’évaluer la formation que d’évaluer l’apprenance.