La méthode CAPTER
Concevoir des évaluations qui permettent de juger ce que la personne maîtrise, même lorsque l'IA contribue au résultat
Une évaluation n'existe pas pour produire une note. Elle existe pour permettre une décision : cette personne a-t-elle atteint le niveau attendu, peut-on valider cet acquis, est-elle prête pour la suite ?
Un livrable est une preuve possible. Il n'est pas toujours une preuve suffisante.
Lorsque l'IA peut produire une partie du travail rendu, cette décision devient plus difficile à justifier. Non parce que les personnes évaluées tricheraient nécessairement, mais parce que le livrable ne dit plus la même chose qu'autrefois sur celui qui l'a remis.
CAPTER remet donc la preuve au centre de la conception. Une évaluation aboutie tient dans une phrase, qu'il suffit de relire à voix haute :
Nous pourrons prendre [décision] concernant [acquis visé] au niveau [exigence], alors que l'IA y tient la place de [place de l'IA], parce que [ce que la personne fait, remet ou explique], recueilli dans [conditions], permettra d'appliquer [critères et règle de décision].
Si une case reste vide ou vague, la décision reposera sur autre chose que ce que vous vouliez juger. C'est le plus souvent le livrable qui prend cette place, et c'est précisément ce que l'IA a changé.
Quatre étapes, dans cet ordre
CAPTER se pose sur une évaluation à la fois, avec ceux qui la conçoivent ou la reprennent. Chaque étape conditionne la suivante.
-
La cible
Que veut-on décider, sur quel acquis, à quel niveau, et quelle place l'IA y occupe-t-elle ?
-
La situation
Que devra faire, produire, expliquer ou adapter la personne, et dans quelles conditions ?
-
Le jugement
Selon quels critères, quels niveaux et quelle règle la décision sera-t-elle prise ?
-
L'épreuve
Ce dispositif permettra-t-il de déterminer le niveau de maîtrise, suffisant ou insuffisant ?
CAPTER ne fournit pas une épreuve standard. Elle donne un cadre pour prendre les bonnes décisions dans le bon ordre.
La question n'est pas « IA autorisée ou interdite ? »
Selon ce que vous cherchez à établir, l'IA n'occupe pas la même place, et cette place se décide acquis par acquis.
La personne doit savoir faire sans dépendre de l'IA
L'évaluation doit alors établir ce qu'elle sait mobiliser sans que la machine réalise les opérations que vous cherchez précisément à évaluer. Écrire que l'IA est interdite n'y suffit pas : il faut prévoir les conditions qui permettent de l'observer.
L'IA est un outil autorisé
L'évaluation établit ce que la personne sait accomplir avec cette aide, en restant capable d'assumer ses choix et ses vérifications. Utiliser un outil autorisé ne réduit pas son autonomie ; déléguer une opération qu'elle devait maîtriser, si.
Savoir utiliser l'IA fait partie de l'acquis
L'évaluation établit sa capacité à choisir, piloter, vérifier, corriger ou refuser l'IA à bon escient. Cette maîtrise reçoit alors ses propres critères, comme n'importe quel autre acquis.
Ce choix ne se fait pas pour l'évaluation entière.
Une même épreuve mobilise souvent plusieurs acquis, et leur place de l'IA peut différer d'un acquis à l'autre, voire d'un moment à l'autre de l'épreuve.
L'exigence se dose selon la décision
Toutes les évaluations ne demandent pas le même niveau de sécurisation, et la méthode s'arrête où la décision le permet.
Pour un diagnostic ou une évaluation formative, une observation directement pertinente peut suffire, et les trois premières étapes donnent déjà une évaluation cohérente. Pour une évaluation sommative, il faut une observation attribuable à la personne, complétée d'un second éclairage lorsque la performance peut être fortement assistée. Pour une certification, ou pour toute décision portant sur l'autonomie et le transfert, plusieurs observations complémentaires deviennent nécessaires, ainsi qu'une variation et l'épreuve du dispositif.
Plus la décision engage la personne, plus ce que vous avancez doit pouvoir être défendu.
Hors du champ de la méthode
CAPTER ne détecte pas l'usage de l'IA et ne place personne sous suspicion. Elle ne consiste pas à multiplier les traces et les contraintes sans lien avec l'acquis visé, et elle ne transforme pas votre jugement professionnel en note automatique. Elle ne décide pas non plus à votre place quelles compétences doivent figurer dans votre référentiel.
L'équité, l'accessibilité, la cohérence entre correcteurs et la protection des données restent à examiner par ailleurs. La méthode les signale, elle ne les traite pas.
Elle vous aide à vérifier qu'une évaluation produit réellement les preuves nécessaires pour juger ce que vous avez choisi d'évaluer.
Vous pouvez commencer par une seule évaluation
Tester l'exposition d'une épreuve
Quatre questions pour savoir si votre évaluation montre encore ce qu'a fait la personne évaluée, ou seulement ce qu'elle a rendu. Deux minutes, sans compte à créer. Gratuit.
Former vos équipes
Un atelier de 90 minutes, sur les propres évaluations de vos enseignants et de vos formateurs. Les participants repartent avec la méthode sous forme de fiches, et l'appliquent à leurs prochains sujets sans dépendre de moi.
Travailler sur un portefeuille
J'analyse, je priorise et je réécris avec vous les évaluations d'un module, d'un diplôme ou d'une certification.
Votre évaluation n'a pas à résister à l'IA, elle doit vous permettre de défendre votre décision
Un échange de 30 minutes pour regarder une de vos épreuves et voir ce qu'elle permet encore d'établir.