СистемыOussama Ammar
Делайте важные решения проверяемыми
Доверие сильнее, когда результат можно оспорить, изучить и исправить.
И человеческие, и машинные суждения могут содержать ошибки и предвзятость. Запись облегчает обнаружение некоторых ошибок. Сравнивайте прогнозы или решения с исходами там, где задача позволяет.
Изучайте работу в важных ситуациях и группах. Хорошее среднее может скрывать серьёзную закономерность сбоев. Нужная проверка касается влияния системы, а не только заявленного намерения.
Аудит должен установить, какая система дала результат. Проверка одной версии не обязательно объясняет ответ другой. Сохраняйте доступной для изучения связь решения с породившим его механизмом.
У открытости есть уровни. Доступ к одному компоненту не раскрывает все входные данные, источники обучения или решения. Описывайте, что люди действительно могут проверить, а не используйте слово «открытый» как полное объяснение.
Признавайте пределы прозрачности
Понятная система всё равно может учиться на ошибочной информации. Видимость процесса не исправляет реальность, представленную на входе. Она может помочь выявить проблему и последующий выбор.
Разные цели могут конфликтовать. Система не разрешит каждое разногласие о справедливости одним числом. Кто-то должен выбрать, что она оптимизирует, и ответить за этот выбор.
Несколько независимых проверяемых систем могут уменьшить зависимость от одного неоспоримого авторитета. Их расхождения могут обнаруживать допущения, скрытые одним ответом. Цель — не бесконечный спор, а возможность проверить утверждение.
Исправимость — более сильное обещание, чем вечная правота. Сохраняйте возможность изучать доказательства, оспаривать результаты и менять механизм. Система, не способная признать ошибку, затрудняет обучение.