SistemasOussama Ammar
Permita examinar decisões importantes
A confiança cresce quando um resultado pode ser questionado, examinado e corrigido.
Julgamentos humanos e de máquinas podem conter erros e vieses. Um registro facilita descobrir alguns erros. Compare previsões ou decisões com os resultados quando a tarefa permitir.
Examine o desempenho nas situações e nos grupos relevantes. Uma boa média pode esconder um padrão grave de falhas. O teste relevante é o efeito do sistema, além da intenção declarada.
Uma auditoria deve identificar qual sistema produziu o resultado. Examinar uma versão não explica necessariamente a resposta de outra. Preserve, para análise, a ligação entre a decisão e o mecanismo que a produziu.
A abertura tem níveis. Acesso a um componente não revela todas as entradas, fontes de treinamento ou decisões. Descreva o que as pessoas podem examinar de fato, sem usar a palavra aberto como explicação completa.
Reconheça os limites da transparência
Um sistema claro ainda pode aprender com informações falhas. Tornar o processo visível não corrige a realidade representada nas entradas. Pode ajudar a revelar o problema e as escolhas seguintes.
Objetivos diferentes podem entrar em conflito. Um sistema não resolve toda discordância sobre justiça só porque produz um número. Alguém precisa escolher o que ele deve otimizar e assumir a responsabilidade.
Vários sistemas independentes e examináveis podem reduzir a dependência de uma autoridade incontestável. A discordância entre eles pode revelar premissas escondidas por uma resposta única. O objetivo é poder testar uma afirmação, sem transformar tudo em discussão interminável.
Poder corrigir é uma promessa mais forte que estar certo para sempre. Preserve a capacidade de examinar evidências, contestar resultados e rever o mecanismo. Um sistema que não admite erro dificulta o aprendizado.