机器审判

在2014年，两个被关押在佛罗里达州同一个县监狱的人，软件给他们每个人分配了一个号码。布里莎·博登（Brisha Borden），18岁，黑人，曾有几次青少年轻罪记录，被评为未来犯罪的高风险。弗农·普拉特（Vernon Prater），白人，已有持枪抢劫的前科，被评为低风险。两年后，软件的评估被证明完全错误。博登保持了清白，而普拉特则再次入狱。

大家从中得到的教训是，这台机器存在偏见。更有趣的教训是几乎没有人意识到的：我们之所以知道机器是错误的，是因为机器可以被检查。

ProPublica提取了布劳沃德县一万人的风险评分，将其与这些人在接下来的两年内的实际行为进行对比，并发布了整个结果。一场小规模的战争爆发了。统计学家、康奈尔大学、斯坦福大学和卡内基梅隆大学的计算机科学家，以及该公司的工程师们，花了数年时间在公开场合争论同样的数据。没有人曾对法官这样做过。我们永远无法知道有多少次法官在心中看到了博登和普拉特，却搞错了，因为头脑不会留下记录。该软件的丑闻并不是因为它存在偏见，而是因为这是第一次，偏见留下了纸质记录。

偏见是每一个人类判断的普通状态。这不是愤世嫉俗，而只是事实。罕见的是，事后能够检查判断的能力。每个社会都依赖于那些告诉我们什么是真实的人，而我们没有实际的方式去审计他们。很长一段时间以来，这个人是神父。然后是科学家。接着是法官、医生、记者。我们委托他人去寻找真相，因为我们必须这样做。没有人能为自己验证一切，因此我们任命他人来为我们做这件事，然后我们寄希望于此。

科学本应是一个不需要希望的地方。同行评审、重复实验，整个机制的存在正是为了确保一个主张不依赖于主张者的良好声誉。但大多数情况下并不是这样。2005年，约翰·伊奥安尼迪斯（John Ioannidis）发表了一篇标题为《为什么大多数已发表的研究结果都是错误的》的论文，之后的几年对任何希望他夸大其词的人都不友好。一位名叫达里尔·贝姆（Daryl Bem）的心理学家在2011年通过同行评审在顶级期刊上发表了一篇声称有超感知证据的论文。当其他研究人员再次进行实验并未发现任何结果时，四个期刊拒绝发表这些失败的结果，理由是重复实验并不新颖。与此同时，迪德里克·斯塔佩尔（Diederik Stapel）被发现简单地伪造了数十项研究的数据；他有58项撤稿记录。旨在捕捉此类事件的机器却始终未能捕捉到，原因很简单。负责纠正的人有职业生涯，而职业生涯是一种利益，你无法重新审查一个人以了解他们的利益对其判断的影响。

人们喜欢说复制危机证明科学能够自我纠正。最终确实如此。但这也需要外部人士、十年的时间和相当程度的公众羞辱才能使纠正发生，这是一种奇怪的自我纠正的说法。

法律也没有更好，只有偶然地更诚实。大卫·穆斯塔德（David Mustard）在研究联邦判刑时发现，黑人被告的判刑比可比的白人被告长约12%。调查法官时，97%的人会告诉你，他们在避免穆斯塔德所测量的那种偏见方面表现优于平均水平。我最喜欢的文献部分是著名的“饥饿法官”研究，声称假释委员会在午餐前会变得无情。每个人都喜欢这个。结果发现这可能并不真实；大部分效果可以用案件在一天中的无聊排序来解释。我们依然坚持这个观点，因为它证实了我们已经相信的东西。这就是现场表演的整个问题：一种偏见在我们阅读关于偏见的内容时影响着我们。

在这里，有人通常会说更深层次的问题是资本主义，市场奖励胜利而对真相没有特别的热爱。这是部分正确，而错误的部分才是有趣的。市场奖励你在其上得分的任何东西。如果以关注度来评分，你就会得到糟糕的结果。如果以正确性来评分，你就会得到人类所建造的最佳真相发现工具。预测市场，人们用真钱下注预测将会发生的事情，通常会超越那些被支付以了解的专家小组。哈耶克在八十年前指出，价格系统本身就是一个巨大的发现机制，任何中央办公室都无法组装。因此，敌人从来不是利益，也从来不是市场。敌人是你无法审计的利益。

这将我们带到了新一代的神职人员。人工智能是有史以来最强大的真相代理，且在某种程度上是最集中的。它以耐心专家的平静声音回答，人们相信它，就像曾经相信百科全书一样，除了百科全书无法反驳。我以建立人工智能公司为生，至少有一半的时间担心最终会是谁拥有它们。危险并不是科幻小说。一个流利的机器，外面只有少数几家公司可以检查，坐在数十亿人和他们想知道的一切之间，本身就足够危险。这是个问题吗？只有在你认为谁站在一个人和他将要问的每一个问题之间是重要的情况下，这才是个问题。一个封闭的神谕又回到了旧的神职，且有更好的正常运行时间。

但确实有一些全新的东西值得为之奋斗。你可以对一个模型进行审判。你可以运行它一百万次，观察它的表现。让它以相同的方式回答两次，它就会这样做，这比任何曾经存在的人类权威都要可靠。你可以在你关心的每个群体中测试它，并衡量它的失败。如果它的权重是公开的，你可以阅读它们，而年轻的可解释性科学正在慢慢学习如何解读内部推理，尽管我们离这条路的尽头还有很长的路要走。来自杜兰大学的一项研究查看了弗吉尼亚州五万项判刑决定，其中法官有一个算法可供参考，而该算法同时做了两件事。它使判刑更加一致。并且它使一种种族偏见显现出来，这种偏见在普通的自由裁量权下隐藏了一个世纪。这就是交易。你放弃了人类直觉的舒适不透明性，而得到了可以审查的东西。你无法传唤一种感觉。你可以传唤一个模型。

这就是为什么听起来像三个独立爱好的事情实际上是一个机器。你可以检查机制，这就是开源的目的。你可以证明哪个模型产生了哪个答案，这就是现在在zkML等名称下进行的密码学工作的目的。你可以构建整个安排，使任何人都无法悄悄地更换模型或关闭它，这就是抗审查部分的目的。这些机制有其局限，必须坦诚面对。如果只公开模型权重，而训练数据仍然隐藏，就无法进行完整审计。密码学验证也必须结合被验证模型的成本和规模来评估。这些是需要解决的工程和治理问题，而不是应该藏在宣传册里的细节。

这个论点必须经受住自己最好的反对意见，所以这里就是。审计机器并不能清理机器所学习的世界。两位研究人员，德雷塞尔（Dressel）和法里德（Farid），展示了普通人使用七个事实预测再犯罪的效果与佛罗里达州软件使用137个事实的效果大致相同，并产生了相同的种族差距。偏见存在于世界中，存在于逮捕记录中，存在于喂养该机器的历史中。一个在扭曲现实上训练的完全透明模型将忠实地再现这种扭曲，现在穿上了实验室外套。还有更糟糕的消息，来自公平本身的数学。当两个群体的犯罪率观察到不同的时，你无法构建一个既均衡校准又均衡错误的预测器。你必须选择其一。因此，审计并不会给你正确的答案。它在阳光下给你提供了权衡，而仍然需要有人选择想要哪种公平。人工智能并没有废除政治。它将政治重新定位到机器被告知优化的选择上。“谁来守护守护者”的新版本是“谁选择目标”。

注意这对原始直觉的影响，那种认为人工智能将成为我们唯一的真相来源，因此开源必须胜利的直觉。这个本能是正确的，而措辞是错误的。单一的真相来源是你能构建的最危险的东西，因为这是唯一一种安排，在这种安排中，每个人都可以在同一时刻朝着完全相同的方向出错。开源并不使人工智能成为单一来源。它是唯一阻止人工智能成为单一被捕获来源的东西。想要的东西从来不是一个开放的神谕，而是许多可审计的神谕，像市场中的价格和工作科学中的猜想那样进行争论。波普在技术存在之前就看到了这一形状。开放社会是一个任何主张，包括统治者的主张，都可以被拖入公开并推翻的社会。正确性从来不是承诺。可纠正性才是。

最后再回到博登和普拉特。机器完全搞错了他们，而这奇怪地成为了进步，因为它可以被捕捉。我们并不是在决定是否信任机器的真相。这个决定已经在我们身后；每次我们询问而不是查看时，我们都已经信任了机器。唯一悬而未决的问题是我们是否构建它们，以便它们可以被带入法庭，逐行阅读并被反驳。这一选择不断通过许可证、模型文档以及我们所用系统的治理方式得到塑造。从第一原则推理，这不是一个接近的选择。如果有一件事要告诉我们所有人什么是真实的，它就不能被允许属于我们中的任何一个。