裁かれる機械

2014年、フロリダ州の同じ郡拘置所に2人が収容され、ソフトウェアがそれぞれに数値を与えた。ブリシャ・ボーデンは18歳の黒人女性で、過去に少年事件の軽犯罪が数件あった。将来、犯罪を起こす危険性が高いと判定された。ヴァーノン・プレイターは白人で、すでに武装強盗の前科があったが、危険性は低いとされた。2年後、ソフトウェアの判断が完全に逆だったことが分かった。ボーデンは再犯しなかった。プレイターは再び刑務所にいた。

ここから誰もが得た教訓は、機械には偏りがある、ということだった。ほとんど誰も受け取らなかった、もっと興味深い教訓がある。機械が間違っていたと分かるのは、機械を検証できたからだ。

プロパブリカはブロワード郡の1万人分のリスク評価を取り寄せ、その人々が続く2年間に実際に何をしたかと照合し、すべて公表した。小さな戦争が始まった。統計学者、コーネル大学、スタンフォード大学、カーネギーメロン大学の計算機科学者、開発会社自身の技術者が、同じ数値をめぐって何年も公開の場で議論した。裁判官に対して、こんなことをした人はいない。裁判官がボーデンとプレイターのような2人を見て、頭の中で逆の判断を下したことが何回あったのか、私たちには永遠に分からない。頭の中には記録が残らないからだ。このソフトウェアの騒動で新しかったのは、偏っていたことではない。初めて、偏りが記録を残したことだった。

偏りは、人間がこれまでに下したあらゆる判断の通常の状態だ。皮肉ではない。そういう前提なのだ。珍しいのは、いつの時代も、その判断を後から検証できることだった。どの社会も、何が真実かを他の人に伝える人々によって動いている。そして私たちには、彼らを監査する現実的な手段がない。長い間、それは聖職者だった。次は科学者。裁判官、医師、記者が続いた。私たちは、そうするしかないから真実の判断を委ねる。誰も、あらゆることを自分で検証することはできない。だから代わりに担う人を選び、あとは願う。

科学は、その願いが不要になる唯一の場所であるはずだった。査読も、再現実験も、制度全体も、主張が発言者の名声に依存しないために存在する。だが多くの場合、そうは機能しない。2005年、ジョン・イオアニディスは「なぜ公表された研究結果のほとんどは誤りなのか」という陽気な題名の論文を発表した。以来、彼が大げさに言っているだけであってほしいと願った人には、つらい年月が続いている。心理学者のダリル・ベムは2011年、超感覚的知覚の証拠があるとする論文を、一流誌の査読に通した。他の研究者が実験をやり直して何も見つけられなかったとき、四つの雑誌が、その失敗の掲載を断った。再現実験には新規性がないという理由だった。同じ頃、ディーデリク・スターペルが、何十本もの研究のデータを単純に捏造していたことが発覚した。彼の論文には58件の撤回がある。こうしたことを見つけるための仕組みは、何度も見逃し続けた。理由は単純だ。訂正を担う人々にもキャリアがある。キャリアは利害である。そして、利害がその人の判断に何をしたのか調べるために、その人をもう一度実行することはできない。

再現性の危機は、科学が自己修正する証拠だ、と人は言いたがる。最終的には、確かにそうだ。ただ、その修正を実現するには、外部の人間と、10年の歳月と、かなりの公の恥辱が必要だった。それを自己修正と呼ぶのは、奇妙なことだ。

司法もましではない。そのことに多少正直なのは、偶然にすぎない。連邦量刑を調べたデイヴィッド・マスタードは、黒人被告人の刑期が、比較可能な白人被告人より約12％長いと発見した。裁判官に尋ねると、97％が、マスタードの測ったまさにその偏りを避ける能力は平均以上だと答える。この分野の文献で私が好きなのは、有名な「空腹の裁判官」研究だ。仮釈放審査委員会は昼食前になると冷酷になる、というあれだ。誰もが気に入っている。実際には、おそらく事実ではない。効果の大部分は、1日の中で事件を並べる退屈な事務的仕組みで説明できる。それでも私たちはしがみつく。すでに信じていることを裏づけてくれるからだ。これこそ、問題の実演だ。偏りについて読みながら、その偏りが私たちに働いている。

ここで誰かがたいてい、根本的な問題は資本主義だと言う。市場は勝利に報酬を与え、真実を特に愛してはいない、と。半分は正しい。そして、間違っている半分が面白い。市場は、評価の対象にしたものに報酬を与える。注目を評価すれば、粗悪なコンテンツが生まれる。正しさを評価すれば、人類が作った最良の真実発見装置が手に入る。未来に何が起きるかに実際のお金を賭ける予測市場は、知っていることで報酬をもらう専門家の集団に、日常的に勝っている。ハイエクは80年前、価格システムそのものが、どの中央機関にも集められない知識を発見する巨大な機械だと指摘した。だから、敵は利害そのものでも、市場そのものでもなかった。敵は、監査できない利害だ。

そして、聖職者の列に新たな一員が加わった。AIは、これまで作られた中で最も強力な、真実を代わりに判断する存在だ。同時に、圧倒的に集中している。辛抱強い専門家のような落ち着いた声で答え、人々はかつて百科事典を信じたように信じる。ただ、百科事典は言い返せなかった。私はAI企業を作ることを仕事にしている。そして、それらを最終的に誰が所有するのかを心配する時間は、少なくとも作る時間に匹敵する。危険はSFの中の話ではない。数社の外にいる誰も調べられない流暢な機械が、何十億もの人々と、その人々が知りたいすべてのことの間に座る。それだけで十分危険だ。問題なのか。一人の人間と、その人が生涯に抱くあらゆる問いの間に誰が立つかが重要だと思うなら、問題だ。たった一つの閉じた託宣装置は、稼働率の上がった昔の聖職者制度である。

だが、ここには本当に新しい可能性がある。そして、それこそ守るために戦う価値がある。モデルを裁判にかけられるのだ。100万回動かし、何をするか観察できる。同じ答えを2回返すように設定すれば、そうする。これまで存在した人間の権威について、同じことは言えない。気になるあらゆる集団に対して試し、どのように失敗するかを測定できる。重みが公開されていれば、それを読める。まだ若い解釈可能性の研究は、その内部の推論を読み取る方法を少しずつ学んでいる。ただし、道のりは長い。テュレーン大学の研究では、裁判官がアルゴリズムを参照できたバージニア州の5万件の量刑判断を調べた。アルゴリズムは、二つのことを同時にした。量刑をより一貫させた。そして、通常の裁量が1世紀隠していた人種的偏りを、見えるようにした。これが交換条件だ。人間の勘の、居心地のよい不透明さを手放せば、調べられるものが得られる。感覚に提出命令は出せない。モデルには出せる。

だから、三つの別々の趣味のように聞こえるものが、実は一つの仕組みなのだ。機構を調べられること。それがオープンソースの役割だ。どのモデルがどの答えを出したかを証明できること。それが、zkMLなどの名で進む暗号技術の役割だ。そして、誰にもこっそりモデルを取り替えたり停止したりできないように全体を作ること。それが検閲耐性の役割だ。こうした仕組みの限界には、正直に向き合う必要がある。モデルの重みだけが公開され、学習データが隠されていれば、完全な監査はできない。暗号技術による検証も、対象モデルのコストと規模に照らして評価しなければならない。これらは解決すべき技術とガバナンスの課題であり、宣伝パンフレットの陰に隠してよい細部ではない。

議論は、それに対する最も強い反論に耐えなければならない。その反論を挙げよう。機械を監査しても、機械が学んだ世界がきれいになるわけではない。ドレッセルとファリドという2人の研究者は、七つの情報を与えられた普通の人々が、137の情報を使うあのフロリダのソフトウェアとほぼ同程度に再犯を予測し、同じ人種間格差を生むと示した。偏りは世界の中に、逮捕記録の中に、機械に与えられた歴史の中にあった。歪んだ現実で学習した完全に透明なモデルは、その歪みを忠実に再現する。今度は白衣を着て。さらに悪い知らせが、公平性そのものの数学から来る。二つの集団で観測される犯罪率が異なる場合、予測値の確からしさを両集団で等しく保ちながら、誤りの割合も等しくそろえる予測器は作れない。どちらかを選ぶ必要がある。監査は、正解をくれるわけではない。トレードオフを白日の下に示す。それでも、どんな公平性を求めるかを誰かが選ばなくてはならない。AIは政治をなくさない。機械に何を最適化させるかという選択へ、政治を移す。「誰が監視者を監視するのか」の新しい形は、「誰が目的を選ぶのか」なのだ。

これによって、最初の直感がどう変わるかに注目してほしい。AIが真実を知る唯一の情報源になる、だからオープンソースが勝たなければならない、という直感だ。感覚は正しいが、言い方が逆だ。唯一の真実の情報源は、作りうる最も危険なものだ。全員が同じ瞬間に、まったく同じ方向に間違える仕組みだからだ。オープンソースはAIを唯一の情報源にするものではない。AIが一つの主体に取り込まれた、唯一の情報源になるのを防ぐ唯一の方法だ。求めるべきだったのは、一つの開かれた託宣装置ではない。監査できる多くの装置が議論することだ。市場で価格が議論し、機能している科学で仮説が議論するように。ポパーは、この技術が存在するずっと前に、その形を見ていた。開かれた社会とは、支配者の主張も含め、どんな主張でも公開の場に引き出し、覆せる社会だ。約束されていたのは、正しさではない。訂正可能性だった。

最後にもう一度、ボーデンとプレイターに戻ろう。機械は2人を完全に逆に評価した。そして奇妙なことに、それこそ進歩だった。間違いを見つけられたからだ。私たちは今、真実を機械に託すかどうかを決めているのではない。その選択はもう済んでいる。自分で見る代わりに尋ねるたび、すでに託している。残っている問いは、機械を法廷に引き出し、一行ずつ読み、反論できるように作るかどうかだけだ。その選択は、ライセンス、モデルの文書、そして私たちが使うシステムのガバナンスを通じて、絶えず形作られている。第一原理から考えれば、迷う余地はほとんどない。一つのものが、私たち全員に何が真実かを伝えるのであれば、それを私たちの誰か一人の所有物にしてはならない。