Машина на суде

В 2014 году двое людей были помещены в одну и ту же окружную тюрьму во Флориде, и программное обеспечение присвоило каждому из них номер. Бриша Борден, восемнадцать лет, чернокожая, с несколькими правонарушениями в юности, была оценена как высокорисковая для совершения преступления в будущем. Вернон Пратер, белый, с вооруженным ограблением уже в своем досье, был оценен как низкорисковый. Два года спустя программное обеспечение оказалось совершенно неправым. Борден оставалась чистой. Пратер вернулся в тюрьму.

Урок, который все извлекли из этого, заключался в том, что машина была предвзята. Более интересный урок заключается в том, что почти никто его не усвоил: мы знаем, что машина была неправой, потому что ее можно было проверить.

ProPublica собрала оценки рисков для десяти тысяч человек в округе Бровард, сопоставила их с тем, что эти люди на самом деле сделали в течение следующих двух лет, и опубликовала все это. Разразилась небольшая война. Статистики, компьютерные ученые из Корнелла, Стэнфорда и Карнеги-Меллона, а также инженеры самой компании годами спорили о тех же самых цифрах на публике. Никто никогда не делал этого с судьей. Мы никогда не узнаем, сколько раз судья смотрел на Борден и Пратера и ошибался в своих выводах, потому что голова не ведет записей. Скандал с этим программным обеспечением заключался не в том, что оно было предвзятым. Дело в том, что, впервые, предвзятость оставила бумажный след.

Предвзятость — это обычное состояние каждого суждения, которое когда-либо делал человек. Это не цинизм, это просто установка. То, что редко, то, что всегда было редким, — это возможность проверить суждение впоследствии. Каждое общество функционирует на людях, которые говорят остальным, что является правдой, и у нас нет практического способа это проверить. Долгое время это был священник. Затем это был ученый. Затем судья, врач, репортер. Мы делегируем истину, потому что должны. Никто не может проверить все сам, поэтому мы назначаем людей делать это за нас, а затем надеемся.

Наука должна была быть тем местом, где надежда не была необходима. Рецензирование, воспроизводимость, весь аппарат существует именно для того, чтобы утверждение не зависело от доброго имени заявителя. В основном это не работает так. В 2005 году Джон Иоаннидис опубликовал статью с радостным названием «Почему большинство опубликованных результатов исследований ложны», и годы, прошедшие с тех пор, были неблагосклонны к тем, кто надеялся, что он преувеличивает. Психолог по имени Дарил Бем получил статью, утверждающую наличие доказательств экстрасенсорного восприятия, через рецензирование в ведущем журнале в 2011 году. Когда другие исследователи повторили эксперимент и ничего не нашли, четыре журнала отказались публиковать неудачи, на том основании, что воспроизводимость не является новизной. Примерно в то же время Дидерик Степел был пойман на том, что просто выдумал данные в десятках исследований; у него пятьдесят восемь отзывов на его имя. Машина, созданная для того, чтобы ловить такие вещи, продолжала не ловить их, по простой причине. Люди, которые занимаются исправлением, имеют карьеры, а карьера — это интерес, и вы не можете повторно протестировать человека, чтобы увидеть, как его интерес повлиял на его суждение.

Люди любят говорить, что кризис воспроизводимости доказывает, что наука самокорректируется. Она действительно самокорректируется, в конечном итоге. Но для этого также потребовались посторонние, десятилетие и значительное количество публичного унижения, чтобы исправление произошло, что является странным способом назвать самокоррекцию.

Закон не лучше, и он более честен в этом только случайно. Дэвид Мастард, изучая федеральные приговоры, обнаружил, что чернокожие обвиняемые получают приговоры примерно на двенадцать процентов длиннее, чем сопоставимые белые. Опросите судей, и девяносто семь процентов из них скажут вам, что они выше среднего в избегании того самого, что измерял Мастард. Моя любимая часть литературы — это знаменитое исследование «голодного судьи», в котором, как предполагается, комиссии по условно-досрочному освобождению становятся безжалостными прямо перед обедом. Всем это нравится. Оказалось, что это, вероятно, не правда; большую часть эффекта можно объяснить скучным способом, которым дела распределяются в течение дня. Мы все равно цепляемся за это, потому что это подтверждает то, во что мы уже верим. Что и является всей проблемой, разыгрываемой на наших глазах: предвзятость, действующая на нас, пока мы читаем о предвзятости.

Здесь кто-то обычно говорит, что более глубокая проблема — это капитализм, что рынки вознаграждают победителей и не имеют особой любви к правде. Это наполовину верно, и неверная половина — это интересная часть. Рынок вознаграждает то, на чем вы его оцениваете. Оцените его по вниманию, и вы получите ерунду. Оцените его по правильности, и вы получите лучший инструмент для поиска правды, который когда-либо был создан. Рынки предсказаний, где люди ставят реальные деньги на то, что произойдет, регулярно обыгрывают панели экспертов, которые получают деньги за то, чтобы знать. Хайек указал восемьдесят лет назад, что ценовая система сама по себе является огромной машиной для открытия вещей, которые ни один центральный офис никогда не смог бы собрать. Так что врагом никогда не был интерес и никогда не был рынок. Враг — это интерес, который вы не можете проверить.

Что приводит нас к новейшему члену священства. ИИ — это самый мощный прокси для правды, когда-либо созданный, и, по некоторому расстоянию, самый концентрированный. Он отвечает ровным голосом терпеливого эксперта, и люди верят ему так же, как когда-то верили энциклопедии, только энциклопедия не могла ответить. Я строю компании ИИ на жизнь и трачу как минимум столько же времени, беспокоясь о том, кто в конечном итоге будет владеть ими. Опасность не является научной фантастикой. Текучая машина, которую никто, кроме нескольких компаний, не может проверить, сидящая между миллиардами людей и всем, что они хотят знать, сама по себе достаточно опасна. Это проблема? Только если вы думаете, что имеет значение, кто стоит между человеком и каждым вопросом, который он когда-либо задаст. Один закрытый оракул — это старое священство снова, с лучшим временем безотказной работы.

Но предлагается нечто действительно новое, и это то, за что стоит бороться. Вы можете поставить модель на скамью подсудимых. Вы можете запустить ее миллион раз и наблюдать, что она делает. Установите ее так, чтобы она отвечала одинаково дважды, и она это сделает, что больше, чем можно сказать о любом человеческом авторитете, который когда-либо жил. Вы можете протестировать ее по каждой группе, которая вам важна, и измерить, как она терпит неудачу. Если ее веса открыты, вы можете их прочитать, и молодая наука интерпретируемости медленно учится читать рассуждения внутри, хотя мы далеки от конца этого пути. Исследование из Тулейна изучило пятьдесят тысяч решений о приговорах в Вирджинии, где судьи имели алгоритм для консультации, и алгоритм делал две вещи одновременно. Он делал приговоры более последовательными. И он делал расовую предвзятость видимой, которую обычная дискреция скрывала на протяжении века. Это и есть сделка. Вы отказываетесь от комфортной непрозрачности человеческой интуиции и получаете нечто, что можно исследовать. Вы не можете вызвать на допрос чувство. Вы можете вызвать на допрос модель.

Вот почему вещи, которые звучат как три отдельных хобби, на самом деле являются одной машиной. Вы можете проверить механизм, что и есть для чего открытый код. Вы можете доказать, какая модель произвела какой ответ, что и есть для чего криптографическая работа, которая сейчас ведется под такими названиями, как zkML. И вы можете построить всю систему так, чтобы никто не мог тихо заменить модель или выключить ее, что и есть для чего часть, устойчивая к цензуре. У этих механизмов есть ограничения, которые нужно честно изучать. Если открыты только веса модели, а данные обучения скрыты, полный аудит невозможен. Криптографическую проверку также нужно оценивать с учётом стоимости и масштаба проверяемой модели. Это инженерные и управленческие задачи, которые надо решать, а не прятать в рекламной брошюре.

Аргумент должен пережить свое собственное лучшее возражение, так что вот оно. Аудит машины не очищает мир, из которого машина училась. Два исследователя, Дрессл и Фарид, показали, что обычные люди, используя семь фактов, предсказывали повторные правонарушения примерно так же хорошо, как это делало то флоридское программное обеспечение с ста тридцатью семью, и производили тот же расовый разрыв. Предвзятость была в мире, в записях арестов, в истории, которая кормила это. Идеально прозрачная модель, обученная на кривой реальности, будет верно воспроизводить эту кривизну, теперь уже в лабораторном халате. Есть и плохие новости, и они исходят от самой математики справедливости. Когда две группы совершают правонарушения с разными наблюдаемыми ставками, вы не можете построить предсказатель, который будет одновременно одинаково откалиброван и одинаково сбалансирован в своих ошибках. Вам нужно выбрать одно. Таким образом, аудит не дает вам правильный ответ. Он дает вам компромисс, на свету, и кто-то все равно должен выбрать, какой вид справедливости желать. ИИ не отменяет политику. Он перемещает политику в выбор того, что машине говорят оптимизировать. Новая версия «кто охраняет охранников» — это «кто выбирает цель».

Обратите внимание, что это делает с первоначальной интуицией, той, которая говорит, что ИИ станет нашим единственным источником правды и что именно поэтому открытый код должен победить. Инстинкт верен, а формулировка — наоборот. Единственный источник правды — это самая опасная вещь, которую вы могли бы построить, потому что это единственная система, в которой все могут быть неправы в точно одном и том же направлении в один и тот же момент. Открытый код не делает ИИ единственным источником. Это единственное, что не позволяет ИИ стать единственным захваченным. То, что стоит желать, никогда не было одним открытым оракулом. Это множество подлежащих аудиту, которые спорят, как цены спорят на рынке и гипотезы спорят в работающей науке. Поппер увидел форму этого задолго до того, как технология существовала. Открытое общество — это то, где любое утверждение, включая утверждения правителей, может быть вытащено на свет и опровергнуто. Правильность никогда не была обещанием. Исправимость была.

Вернитесь к Борден и Пратеру в последний раз. Машина ошиблась в них совершенно, и это, странным образом, был прогресс, потому что это можно было поймать. Мы не решаем, доверять ли машинам правде. Это решение уже позади нас; мы уже доверяем, каждый раз, когда спрашиваем, а не смотрим. Единственный актуальный вопрос — строим ли мы их так, чтобы их можно было привести в зал суда, прочитать строчка за строчкой и опровергнуть. Этот выбор постоянно формируется через лицензии, документацию моделей и управление системами, которыми мы пользуемся. Рассуждая от первых принципов, это не близкий вопрос. Если одно что-то будет говорить всем нам, что является правдой, оно не может принадлежать никому из нас.