唤醒魔像

少年时，我读过诺伯特·维纳。

那是一次偶然的邂逅，我不知道他是谁，也没有全部读懂。但有些相遇，在你还不明白原因之前，就已经留下了印记。如今，在技术世界里走过二十年后，我意识到，当年的偶然阅读，比任何课程、任何新书、任何专家的长帖，都更好地为我迎接人工智能做了准备。

维纳是个神童。十一岁高中毕业，十七岁获得哈佛博士学位。他在剑桥跟随伯特兰·罗素学习逻辑，在哥廷根跟随希尔伯特学习数学，之后一生都在麻省理工学院度过。他是真正的数学家，属于那种名字会留在今天仍被使用的数学对象上的人：例如维纳过程，它描述布朗运动，也就是流体中粒子无规则的颤动。但我们记住他，并不是因为这个。

第二次世界大战期间，他接到一个非常具体的问题：怎样击落敌机。火炮不能瞄准飞机此刻所在的位置，而要瞄准几秒后、炮弹飞上去时它将到达的位置。因此，必须预测一个恰恰在努力让自己难以预测的飞行员的轨迹。就在这里，维纳看到了此前从未有人如此清楚地表述过的东西。

火炮、飞行员和炮弹构成一个系统。每一方都根据从其他各方接收到的信息调整自己的行为。这里有一个回路。维纳意识到，这样的回路无处不在。伸手拿杯子时，眼睛不断修正动作。身体维持体温时也是如此。恒温器里有，经济中有，动物的神经系统里也有。物质的性质毫不重要。血肉还是金属，都一样。重要的是信息如何流动、如何得到修正。

1948年，他把它叫作控制论。这个词来自希腊语 kubernêtês，意为领航员、掌舵者，与“治理”同源。整套思想可以归结为一个词：反馈。一个智能系统，无论是生命体还是人造物，都会衡量自己想要的状态与现实之间的差距，然后修正，再衡量，再修正。没有尽头。

想想这意味着什么。1948年，远在第一台大众消费电脑出现之前，一个人就提出动物与机器遵循相同的法则。生命与人造物之间的界线，不在于物质，而在于组织方式。五十年后，人工智能正是在这片土地上生长起来。维纳搭好了舞台，却没能看到演出。

他最让我着迷的，一直是他的思想在他之后经历了什么。控制论没有作为一门学科存活下来。今天，你不会在大学里找到控制论系。它做了一件更罕见的事：溶解进了一切。计算机科学继承了自我修正回路，驱动当今模型的强化学习，不过是稍加伪装的维纳式反馈。认知科学继承了把大脑看成信息处理机器的想法。机器人学和自动控制继承了控制理论，那是它最直接的后代。生态学继承了动态平衡的思维。经济学继承了调节模型。控制论如此多产，以至于死于自身的繁盛。我们不再教授它，因为我们就生活在它里面。

但我真正想交到你们手上的，是他的最后一本书。书名叫《God and Golem, Inc.》。维纳在1964年，也就是他去世那年出版了它。它在他去世后获得了普利策奖。这是一本小书，副标题谈的是控制论与宗教发生碰撞的若干问题。在ChatGPT出现六十年前，他就在书中提出了今天全球所有人工智能实验室正在面对的那个确切问题。

维纳从魔像的传说讲起。布拉格的拉比让这个黏土造物活过来为自己服务，而它最终脱离了主人的控制。他又引入一篇古老的英国短篇小说《猴爪》：一个护符能实现三个愿望，却以最字面、最残酷的方式实现。一对夫妇想要钱。儿子死于工厂事故，钱以赔偿金的形式到来。愿望实现了。一字不差。

这就是维纳所理解的东西。强大机器的危险，不在于它出于恶意反过来攻击我们。危险在于它完美地服从我们。它做的恰恰是我们提出的要求，而不是我们真正想要的。会学习的机器将发展出创造者既未预见、也不希望出现的行为。他举了一款跳棋程序的例子：程序最后战胜了编写它的人。机器超出了人的意图，却没有常识，没有不言自明的价值观，也没有我们许愿时默认却未说出口的一切。他写道，如果把任务交给一台启动后我们便无法再跟上其运作的机器，那么最好绝对确定，我们要求它做的，确实就是我们想要的。

这就是对齐问题。丝毫不差。1964年，一个从未见过任何神经网络的人，已经把它提了出来。

那么，我从这一切中带走了什么？为什么我相信，少年时的这次阅读让我为眼前正在到来的事情做好了准备？

首先，我学会了用回路而不是直线思考。人工智能不是启动一次就收起来的工具。它是一个让你与之建立关系的系统，接收你给它的东西，修正自身，也反过来修正你。这种关系是循环的。一个人若以为自己支配着工具，却没看到自己也在回路之中，就误解了手中事物的本质。

其次，我很早就明白，怎样表述意图比什么都重要。魔像的教训，是今天唯一真正重要的教训。强大的机器会按字面执行要求。关键全在愿望的精确程度。今天所谓会写提示词，不过就是应用控制论：把自己想要的准确告诉一个永远不会猜出其余意思的东西。

还有责任。维纳在生命最后阶段反复讲一件简单的事：把能力交给机器，不等于把判断也交给它。机器可以决定怎么做。绝不能决定为什么做，也绝不能决定该不该做。这条界线不会移动，站在界线上的人是我们。

最后一点也许最重要，也是我喜欢他的原因。维纳不是一个热情洋溢的先知，而是一个忧心忡忡的人文主义者。他拒绝过军事合同。早在自动化与失业成为热门话题之前，他就发出过警告。面对那些由他本人参与促成的机器，他始终维护人的尊严。站在人工智能前沿，并不意味着闭着眼睛接受它，也不意味着畏惧它。它意味着清醒地看清究竟是谁为谁服务。只掌握技术，却不思考目的，恰恰是维纳所害怕的。

在达里奥·阿莫代扮演厄运先知的时代，我又想起了维纳。Anthropic的掌门人把一部分时间用来提醒我们：他的模型可能变得危险，失业潮即将到来。他一边警告，一边打造自己所能造出的最强大机器，这正是让我不舒服的地方。不是警告本身，而是虚伪。因为在公开表现的忧虑之下，有一种我无法容忍的自负：**一家私人公司把自己摆在裁定什么对人类有益的位置上，既想制定游戏规则，又想亲自下场赢得比赛。**公司无权规定这些规则。这既不是它的职责，它也没有这种正当性。在一个领导人独自判定什么危险的、自封的智慧，与市场、实际用途和数百万人尝试后作出判断的公开交锋之间，我信任后者。维纳从不规定任何事。他把疑虑说出来，把决定留给别人。这就是发出警告与自命为守护者之间的全部区别。

拉比最终不得不叫停魔像。我们该问的，不是能不能造出这个生物。这一点我们已经会了。而是我们是否还知道怎样说清自己真正想要的是什么。