ゴーレムを目覚めさせる

十代の頃、私はノーバート・ウィーナーを読んだ。

偶然手に取っただけで、彼が誰なのかも知らず、すべてを理解できたわけでもない。だが、理由がわかるより先に心に刻まれる出会いがある。それから二十年、テクノロジーに関わってきた今、あの偶然の読書が、どんな講座よりも、最近のどんな本よりも、専門家のどんな連続投稿よりも、私を人工知能に備えさせてくれたのだと気づく。

ウィーナーは神童だった。十一歳で高校を卒業し、十七歳でハーバードの博士号を取得した。ケンブリッジでバートランド・ラッセルに論理学を、ゲッティンゲンでヒルベルトに数学を学び、その後はMITで生涯を過ごした。本物の数学者だ。今も使われる対象に名前が残るような人である。たとえばウィーナー過程は、流体中の粒子が不規則に震えるブラウン運動を記述する。だが、彼が記憶されているのはそのためではない。

第二次世界大戦中、彼はきわめて具体的な課題を与えられた。敵機をどう撃ち落とすか。砲は飛行機の現在位置ではなく、砲弾が上昇する数秒の間に飛行機が到達する場所を狙わなければならない。つまり、予測されまいと努める操縦士の軌道を予測する必要がある。そこでウィーナーは、以前には誰もこれほど明確に言葉にしていなかったものを見る。

砲、操縦士、砲弾が一つのシステムを構成する。それぞれが、ほかから受け取る情報に応じて行動を調整する。そこにはループがある。そしてこのループは至る所にある、とウィーナーは気づく。コップをつかむ手では、目が動作を絶えず修正している。体温を保つ身体にも、サーモスタットにも、経済にも、動物の神経系にもある。物質の性質は関係ない。肉体でも金属でも構わない。重要なのは、循環し、修正される情報だ。

1948年、彼はそれをサイバネティクスと名づけた。ギリシャ語の kubernêtês、操舵手、舵を握る者に由来する。統治するという言葉と同じ語源だ。考え方は一語に収まる。フィードバック。帰還である。知的なシステムは、生き物でも人工物でも、望む状態と現実の差を測り、修正し、また測り、また修正する。終わりなく。

それが何を意味するのか、考えてほしい。1948年、最初の一般向けコンピューターが現れるずっと前に、一人の男が、動物と機械は同じ法則に従うと主張する。生き物と人工物の境界は、物質の境界ではなく、組織化の仕方の境界だ、と。五十年後、AIが育つのはまさにこの土壌だった。ウィーナーは舞台を整えたが、芝居を見ることはなかった。

彼について私がいつも惹かれるのは、その思想が彼の後にたどった道だ。サイバネティクスは一つの学問としては生き残らなかった。今日、大学にサイバネティクス学部は見つからない。もっと珍しいことが起きた。あらゆるものに溶け込んだのだ。コンピューター科学は自己修正のループを受け継いだ。現在のモデルを動かす強化学習は、ほとんど姿を変えていないウィーナーのフィードバックである。認知科学は、脳を情報処理機械として捉える発想を受け継いだ。ロボット工学と自動制御は、その最も直系の子である制御理論を受け継いだ。生態学は動的平衡で考える思考を、経済学は調整モデルを受け継いだ。サイバネティクスはあまりに実り豊かで、自らの豊穣さゆえに死んだ。もう教えないのは、私たちがその中に暮らしているからだ。

だが、本当に皆さんの手に渡したいのは、彼の最後の著作だ。『God and Golem, Inc.』という。ウィーナーは亡くなった年、1964年に出版した。死後、ピュリツァー賞を受賞している。サイバネティクスが宗教と衝突する点についての論評、という副題のついた小さな本だ。ChatGPTより六十年も前に、今日世界中のAI研究所が取り組む問題を、そのまま提示している。

ウィーナーはゴーレムの伝説から始める。プラハのラビが自分に仕えさせるために命を吹き込んだ粘土の怪物が、やがて主人の手に負えなくなるという話だ。さらに、古いイギリスの短編『猿の手』を重ねる。お守りが三つの願いをかなえるが、そのかなえ方は、考えうる限り最も字義どおりで残酷だ。夫婦は金を願う。息子が工場の事故で死に、金は補償金として届く。願いはかなった。文字どおりに。

ウィーナーが理解していたのは、これだ。強力な機械の危険は、悪意から私たちに反逆することではない。危険なのは、完璧に従うことだ。私たちが望んだことではなく、頼んだことを正確に実行する。学習する機械は、作り手が予想も望みもしなかった行動を身につける。彼は、やがてプログラマー本人に勝つようになるチェッカーのプログラムを例に挙げる。機械は人間の意図を超えるが、常識も、暗黙の価値観も、願いを言葉にするとき口に出さずに前提としているものも持たない。いったん動き出せば、その動作をもう追えない機械に仕事を託すなら、頼んだことが本当に望んでいることなのか、絶対に確かめておいたほうがよい、と彼は書く。

これはアラインメント問題だ。一語一句、そのものだ。1964年、一つのニューラルネットワークも見たことがない男が提示していた。

では、私はここから何を受け取り、なぜ十代の読書が今起きていることへの準備になったと思うのか。

まず、直線ではなくループで考えることを学んだ。AIは一度動かして片づける道具ではない。関係を結ぶシステムであり、こちらが渡すものを受け取り、自らを修正し、こちらも修正する。関係は循環している。自分もそのループの中にいると気づかず、道具を支配していると思う人は、扱っているものの性質を誤解している。

次に、意図の言語化が何より重要だと早くから理解した。ゴーレムの教訓こそ、今本当に大切な唯一の教訓だ。強力な機械は、頼まれたことを文字どおり実行する。すべては願いの精度で決まる。今日、プロンプトを書く力と呼ばれるものは、応用サイバネティクスにほかならない。残りを決して察してはくれないものに、望みを正確に伝えることだ。

そして責任がある。ウィーナーは晩年、簡単なことを繰り返し語った。能力を機械に委ねても、判断まで委ねたことにはならない。機械は「どうするか」を決められる。「なぜか」は決して決められない。「すべきか」も決して決められない。この一線は動かず、そこに立っているのは私たちだ。

最後の点が、いちばん重要かもしれない。私が彼を好きなのもそのためだ。ウィーナーは熱狂的な予言者ではなかった。不安を抱いた人文主義者だった。軍の契約を断った。自動化と失業について、それが流行の話題になるずっと前から警告した。自ら実現に手を貸した機械に対しても、人間の尊厳を守ろうとした。AIの最前線にいるとは、目を閉じて受け入れることではない。恐れることでもない。誰が誰に仕えているのか、冷静さを失わずにいることだ。目的を考えない技術的熟達こそ、ウィーナーが恐れたものだった。

ダリオ・アモデイが不吉な予言者を演じる今、私はまたウィーナーを思う。Anthropicのトップは時間の一部を警告に費やす。自社のモデルが危険になる可能性について。これから来る失業について。警告しながら、自分に作れる最強の機械を作っている。私が引っかかるのはそこだ。警告ではない。偽善である。表向きの懸念の下には、私には耐えられない思い上がりがある。**民間企業が、人類にとって何がよいかを裁く立場に自らを置き、勝つためにゲームをしながら、そのルールも書こうとすることだ。**企業がそのルールを決めつけるべきではない。それは役割でもなければ、正統性もない。何が危険かを一人で決める経営者の自称の賢明さと、市場や使い方や、試して判断する何百万もの人々による開かれたせめぎ合い。その二つなら、私は後者を信頼する。ウィーナーは何も命じなかった。疑念を声に出し、決断は他人に委ねた。警告することと、守護者を気取ることの違いは、そこに尽きる。

ラビは最後にゴーレムを止めなければならなかった。問うべきは、怪物を作れるようになるかどうかではない。それはもうできる。自分たちが本当に何を望んでいるのかを、これからも言葉にできるかどうかだ。