SistemasOussama Ammar
Haz que las decisiones importantes se puedan examinar
La confianza se fortalece cuando un resultado puede cuestionarse, examinarse y corregirse.
Tanto el juicio humano como el de una máquina pueden contener errores y sesgos. Un registro facilita descubrir algunos errores. Compara predicciones o decisiones con los resultados cuando la tarea lo permita.
Examina el rendimiento en las situaciones y grupos que importan. Una buena media puede ocultar un patrón grave de fallos. La prueba relevante se refiere al efecto del sistema, no solo a su intención declarada.
Una auditoría debería establecer qué sistema produjo el resultado. Examinar una versión no explica necesariamente una respuesta de otra. Mantén disponible para el examen la conexión entre la decisión y el mecanismo que la produjo.
La apertura tiene niveles. Acceder a un componente no revela todas las entradas, fuentes de entrenamiento o decisiones. Describe qué puede examinar la gente de verdad, en vez de tratar la palabra abierto como una explicación completa.
Reconoce los límites de la transparencia
Un sistema claro también puede aprender de información defectuosa. Hacer visible el proceso no repara la realidad representada en sus entradas. Puede ayudar a revelar el problema y las decisiones que vienen después.
Los objetivos pueden entrar en conflicto. Un sistema no resuelve cualquier desacuerdo sobre la equidad simplemente produciendo una cifra. Alguien debe elegir qué optimizar y asumir la responsabilidad de esa elección.
Varios sistemas independientes y examinables pueden reducir la dependencia de una autoridad incuestionable. Sus desacuerdos pueden revelar supuestos que una respuesta única oculta. El objetivo no es discrepar sin fin, sino poder poner a prueba una afirmación.
Poder corregirse es una promesa más sólida que tener siempre razón. Conserva la capacidad de examinar pruebas, cuestionar resultados y revisar el mecanismo. Un sistema que no admite un error dificulta aprender.