重要な判断を検証できるようにする

結果に疑問を投げかけ、調べ、直せるとき、信頼は強くなります。

人の判断にも機械の判断にも、誤りや偏りはあります。記録によって、発見しやすくなる誤りもあります。その仕事で可能なら、予測や判断を結果と比べてください。

重要な状況や集団ごとに、成果を確かめてください。よい平均値が、深刻な失敗のパターンを隠すこともあります。確かめるべきなのは、掲げた意図だけでなく、仕組みの影響です。

監査では、どのシステムがその結果を出したかを特定するべきです。ある版を調べても、別の版が出した答えを説明できるとは限りません。判断と、それを生んだ仕組みのつながりを、検証できるように残してください。

オープンさには段階があります。一つの部品にアクセスできても、すべての入力、学習元、判断が見えるわけではありません。オープンという言葉だけですべてを説明したつもりにならず、何を実際に検証できるかを示してください。

透明性の限界を認める

明確な仕組みでも、欠陥のある情報から学ぶことはあります。過程を見えるようにしても、入力が表す現実は直りません。問題と、その後の選択を明らかにする助けにはなります。

異なる目的は衝突することがあります。数字を出すだけで、公正さをめぐるすべての意見の違いを解決することはできません。何を最適化するかは誰かが選び、その選択に責任を持つ必要があります。

互いに独立した、検証可能な複数のシステムは、異議を唱えられない一つの権威への依存を減らすことがあります。意見の違いが、一つの答えでは隠れる前提を露わにするかもしれません。目的は終わりのない対立ではなく、主張を検証できることです。

常に正しいという約束より、修正できるという約束のほうが確かです。証拠を調べ、結果に異議を唱え、仕組みを改める余地を残してください。誤りを認められない仕組みは、学びを難しくします。