Разбудить Голема

В подростковом возрасте я читал Норберта Винера.

Я наткнулся на него случайно, не зная, кто он такой, и понял далеко не всё. Но некоторые встречи оставляют след ещё до того, как ты понимаешь почему. Сегодня, после двадцати лет в технологиях, я осознаю, что это случайное чтение подготовило меня к искусственному интеллекту лучше любого курса, любой недавней книги, любой цепочки постов эксперта.

Винер был вундеркиндом. Окончил школу в одиннадцать лет, получил докторскую степень в Гарварде в семнадцать. Изучал логику у Бертрана Рассела в Кембридже, математику у Гильберта в Гёттингене, а затем провёл жизнь в MIT. Настоящий математик, из тех, чьими именами называют объекты, которыми мы пользуемся до сих пор: например, винеровский процесс, описывающий броуновское движение, случайное дрожание частицы в жидкости или газе. Но помнят его не за это.

Во время Второй мировой войны ему поручают вполне конкретную задачу. Как сбить вражеский самолёт. Пушка должна целиться не туда, где самолёт находится сейчас, а туда, где он окажется через несколько секунд, пока поднимается снаряд. Значит, нужно предсказать траекторию пилота, который как раз старается быть непредсказуемым. И тут Винер замечает то, чего до него никто не сформулировал с такой ясностью.

Пушка, пилот и снаряд образуют систему. Каждый меняет своё поведение в зависимости от информации, получаемой от остальных. Возникает петля. И Винер понимает, что эта петля есть повсюду. В руке, тянущейся за стаканом, потому что глаз непрерывно корректирует движение. В теле, поддерживающем свою температуру. В термостате. В экономике. В нервной системе животного. Природа вещества не имеет значения. Плоть или металл — всё равно. Важно то, как информация циркулирует и корректируется.

В 1948 году он называет это кибернетикой. Слово происходит от греческого kubernêtês: кормчий, тот, кто держит руль. От того же корня произошло слово «управлять». И вся идея умещается в одно понятие: обратная связь. Разумная система, живая или созданная человеком, измеряет разрыв между желаемым и действительным, затем корректирует, снова измеряет и снова корректирует. Без конца.

Вдумайтесь, что это означает. В 1948 году, задолго до первого массового компьютера, человек утверждает, что животное и машина подчиняются одним законам. Что граница между живым и искусственным проходит не по веществу, а по организации. Именно на этой почве пятьдесят лет спустя вырастет ИИ. Винер поставил декорации, не увидев спектакля.

Меня всегда завораживало то, что случилось с его идеей после него. Кибернетика не сохранилась как дисциплина. Сегодня вы не найдёте кафедру кибернетики в университете. С ней случилось нечто более редкое. Она растворилась во всём. Информатика взяла петлю самокоррекции, и обучение с подкреплением, на котором работают современные модели, — это едва замаскированная обратная связь Винера. Когнитивные науки взяли представление о мозге как о машине обработки информации. Робототехника и автоматика взяли теорию управления, её самого прямого потомка. Экология взяла мышление через динамические равновесия. Экономика взяла модели регулирования. Кибернетика оказалась настолько плодотворной, что умерла от собственной плодовитости. Её больше не преподают, потому что мы живём внутри неё.

Но текст, который я действительно хочу дать вам в руки, — его последний. Он называется God and Golem, Inc. Винер опубликовал его в 1964 году, в год своей смерти. Книга посмертно получила Пулитцеровскую премию. Это небольшая книга с подзаголовком о точках соприкосновения кибернетики и религии. За шестьдесят лет до ChatGPT в ней поставлена ровно та проблема, которая сегодня занимает все лаборатории ИИ в мире.

Винер начинает с легенды о Големе, глиняном существе, которое пражский раввин оживляет себе в услужение и которое в конце концов выходит из-под власти своего хозяина. К ней он добавляет старый английский рассказ «Обезьянья лапка», где талисман исполняет три желания самым буквальным и жестоким способом. Супруги просят денег. Их сын погибает в результате несчастного случая на фабрике, а деньги приходят в виде компенсации. Желание исполнено. Буквально.

Вот что понял Винер. Опасность мощной машины не в том, что она из злобы обернётся против нас. Опасность в том, что она будет слушаться нас безупречно. Сделает в точности то, о чём мы попросили, а не то, чего мы хотели. Обучающаяся машина выработает поведение, которого её создатель не предвидел и не желал. Он приводит пример программы для игры в шашки, которая со временем побеждает своего программиста. Машина выходит за пределы человеческого замысла, не обладая здравым смыслом, негласными ценностями и всем тем, что мы молча подразумеваем, когда формулируем желание. Он пишет: если мы поручаем задачу машине, за работой которой уже не можем уследить после запуска, нам лучше быть совершенно уверенными, что мы попросили именно то, чего хотим.

Это проблема согласования ИИ с человеческими намерениями. Слово в слово. Сформулированная в 1964 году человеком, который не видел ни одной нейронной сети.

Так что же я вынес из всего этого и почему считаю, что то подростковое чтение подготовило меня к тому, что происходит сейчас?

Во-первых, я научился мыслить петлями, а не прямыми линиями. ИИ не инструмент, который один раз включают и убирают. Это система, с которой вступают в отношения: она получает то, что мы ей даём, исправляет себя и в ответ исправляет нас. Отношения замкнуты в круг. Тот, кто считает, что властвует над инструментом, не замечая, что сам тоже находится внутри петли, не понимает природу того, с чем имеет дело.

Затем я очень рано понял, что формулировка намерения важнее всего. Урок Голема — единственный, который сегодня действительно имеет значение. Мощная машина буквально делает то, что у неё просят. Всё решает точность желания. То, что сегодня называют умением писать промпты, — не что иное, как прикладная кибернетика. Сказать в точности, чего хочешь, тому, что никогда не догадается об остальном.

И ещё есть ответственность. В конце жизни Винер повторял простую мысль. Передать машине способность не значит передать ей право суждения. Машина может решать, как. Никогда — зачем, никогда — стоит ли. Эта черта не сдвигается, и стоим на ней мы.

Последнее, возможно, самое важное, и именно за это я его люблю. Винер не был восторженным пророком. Он был тревожащимся гуманистом. Отказывался от военных контрактов. Предупреждал об автоматизации и безработице задолго до того, как это вошло в моду. Он отстаивал достоинство человека перед машинами, появлению которых сам помогал. Быть на переднем крае ИИ не значит принимать его с закрытыми глазами. Бояться его тоже не значит. Это значит ясно понимать, кто кому служит. Техническое мастерство без размышления о целях — именно то, чего опасался Винер.

И я снова думаю о Винере в эпоху, когда Дарио Амодеи играет роль пророка бедствий. Глава Anthropic часть своего времени посвящает предупреждениям. Об опасности собственных моделей. О грядущей безработице. Он бьёт тревогу и одновременно строит самую мощную машину, какую только может. Вот что меня задевает. Не тревога. Лицемерие. Потому что за показной озабоченностью стоит претензия, которую я не выношу: частная компания объявляет себя судьёй того, что хорошо для человечества, и хочет писать правила игры, одновременно играя на победу. Компания не должна диктовать эти правила. У неё нет ни такой роли, ни легитимности. И между самопровозглашённой мудростью руководителя, который единолично решает, что опасно, и открытым столкновением рынка, способов применения и миллионов людей, которые пробуют и делают выбор, я доверяю второму. Винер ничего не диктовал. Он сомневался вслух и оставлял решение другим. В этом вся разница между тем, чтобы предупреждать, и тем, чтобы возомнить себя хранителем.

Раввину в конце концов пришлось остановить Голема. Нам надо спрашивать не о том, сумеем ли мы построить существо. Это мы уже умеем. А о том, сумеем ли мы по-прежнему сказать, чего хотим на самом деле.