Read in English

On déploie des agents. On compte les tokens. On suit le taux de précision du modèle. On célèbre le temps de génération.

Et on appelle ça mesurer le succès de l’IA.

Ces indicateurs disent ce que fait l’agent. Ils ne disent presque rien de ce que l’organisation gagne ni de ce qu’elle perd.

Ce qu’on sait mesurer aujourd’hui : le temps de cycle réel des processus critiques, avant et après. Et l’écart entre le taux de déploiement et le taux d’usage réel. Un agent peut être en production sans être utilisé, et l’écart est souvent considérable.

Le premier indicateur qui manque, c’est ce que la supervision coûte en attention : combien de temps un expert senior passe réellement à valider, corriger et arbitrer ce qu’un agent produit — et cette charge diminue-t-elle avec le temps, ou augmente-t-elle ?

Sans ce chiffre, un gain de production affiché n’est qu’un demi-résultat.
Le second, c’est le taux d’erreur résiduel du système, et non de l’agent. Ce qui compte n’est pas la précision du modèle isolé, mais le taux d’erreur du livrable final après revue humaine.

Et cette distinction a une conséquence rarement mesurée : un agent plus performant n’améliore pas nécessairement le système. Plus une sortie est plausible, moins elle est scrutée.

Avec une nuance qui compte, et qui joue en notre faveur. Un dossier d’AMM ne se produit pas d’un bloc : il s’assemble par sections, puis par modules, chacun vérifié à son niveau, avant une revue de cohérence à l’échelle du dossier. Là où cette architecture en couches subsiste, une baisse de vigilance sur un maillon reste rattrapable. Là où l’IA produit un livrable complet revu une seule fois, elle ne l’est plus.

Autrement dit, ce qui ressemble à une lourdeur de processus est peut-être notre meilleure protection contre nos propres biais. Ce serait le pire endroit où aller chercher de l’efficacité.

Les deux indicateurs qui manquent — charge de supervision et taux d’erreur du système — sont bien plus difficiles à obtenir que la précision d’un modèle. C’est probablement pour cela qu’on préfère cette dernière.

Et ce que l’on mesure finit toujours par définir ce que l’on optimise.

Dans notre métier, il existe pourtant des indicateurs que personne n’a besoin d’inventer : le nombre de questions des autorités, le rework après soumission, les déviations liées à des documents incohérents. Ils sont déjà suivis, ils sont audités, et ils diront la vérité sur nos déploiements avant n’importe quel tableau de bord.

Quels indicateurs utilisez-vous — ou aimeriez-vous pouvoir utiliser ?