Incitations et systèmesOussama Ammar
Rendre les décisions importantes vérifiables
La confiance se renforce quand on peut contester, examiner et corriger un résultat.
Les jugements humains comme ceux des machines peuvent contenir erreurs et biais. Une trace facilite la découverte de certaines erreurs. Comparez prévisions ou décisions aux résultats quand la tâche le permet.
Examinez les performances selon les situations et les groupes pertinents. Une bonne moyenne peut cacher un schéma d’échec grave. Le test porte sur l’effet du système, au-delà de l’intention annoncée.
Un audit doit identifier le système qui a produit le résultat. Inspecter une version n’explique pas forcément la réponse d’une autre. Préservez le lien entre décision et mécanisme pour pouvoir l’examiner.
L’ouverture a plusieurs niveaux. L’accès à un composant ne révèle pas toutes les entrées, les données d’entraînement ou les décisions. Dites ce qui est réellement inspectable. Le mot « ouvert » ne suffit pas.
Reconnaître les limites de la transparence
Un système clair peut apprendre d’informations imparfaites. Rendre le processus visible ne répare pas la réalité représentée dans ses entrées. Cela peut révéler le problème et les choix qui suivent.
Des objectifs peuvent s’opposer. Produire un chiffre ne règle pas tous les désaccords sur l’équité. Quelqu’un doit choisir ce que le système optimise et en assumer la responsabilité.
Plusieurs systèmes indépendants et inspectables peuvent réduire la dépendance à une autorité incontestable. Leurs désaccords révèlent parfois des hypothèses qu’une réponse unique cache. Le but est de pouvoir tester une affirmation, sans débattre sans fin.
Pouvoir corriger est une promesse plus solide qu’avoir toujours raison. Préservez l’examen des preuves, la contestation des résultats et la révision du mécanisme. Un système incapable d’admettre l’erreur rend l’apprentissage plus difficile.