Despertar al Golem

Cuando era adolescente, leí a Norbert Wiener.

Me lo encontré por casualidad, sin saber quién era, y no lo entendí todo. Pero hay encuentros que te marcan antes incluso de que sepas por qué. Hoy, veinte años de tecnología después, me doy cuenta de que aquella lectura fortuita me preparó para la inteligencia artificial mejor que cualquier curso, cualquier libro reciente, cualquier hilo de un experto.

Wiener fue un niño prodigio. Terminó el instituto a los once años y se doctoró en Harvard a los diecisiete. Estudió lógica con Bertrand Russell en Cambridge, matemáticas con Hilbert en Gotinga, y después pasó su vida en el MIT. Un matemático de verdad, de esos que dejan su nombre en objetos que seguimos utilizando: por ejemplo, el proceso de Wiener, que describe el movimiento browniano, ese temblor aleatorio de una partícula en un fluido. Pero no es por eso por lo que lo recordamos.

Durante la Segunda Guerra Mundial le encargan un problema muy concreto. Cómo derribar un avión enemigo. El cañón no debe apuntar adonde está el avión, sino adonde estará unos segundos después, mientras sube el proyectil. Hay que predecir la trayectoria de un piloto que precisamente intenta ser imprevisible. Y ahí Wiener ve algo que nadie había formulado con tanta claridad antes que él.

El cañón, el piloto y el proyectil forman un sistema. Cada uno ajusta su comportamiento según la información que recibe de los demás. Hay un bucle. Y Wiener se da cuenta de que ese bucle aparece en todas partes. En la mano que alcanza un vaso, porque el ojo corrige continuamente el gesto. En el cuerpo que mantiene su temperatura. En un termostato. En una economía. En el sistema nervioso de un animal. La naturaleza de la materia no importa. Carne o metal, da igual. Lo que importa es la información que circula y se corrige.

En 1948 lo llama cibernética. La palabra viene del griego kubernêtês, el piloto, quien lleva el timón. La misma raíz que gobernar. Y la idea cabe en una palabra: feedback. Retroalimentación. Un sistema inteligente, vivo o fabricado, mide la distancia entre lo que quiere y lo que hay, corrige, vuelve a medir y vuelve a corregir. Sin fin.

Piensen en lo que eso significa. En 1948, mucho antes del primer ordenador de consumo, un hombre afirma que el animal y la máquina obedecen las mismas leyes. Que la frontera entre lo vivo y lo artificial no es una frontera de sustancia, sino de organización. Ese es exactamente el terreno sobre el que crecería la IA cincuenta años después. Wiener montó el escenario sin ver la obra.

Lo que siempre me ha fascinado de él es lo que ocurrió con su idea después de él. La cibernética no sobrevivió como disciplina. Hoy no encontrarán un departamento de cibernética en una universidad. Hizo algo más raro. Se disolvió en todo. La informática tomó el bucle de autocorrección, y el aprendizaje por refuerzo que mueve los modelos actuales es el feedback de Wiener apenas disfrazado. Las ciencias cognitivas tomaron el cerebro como máquina de procesar información. La robótica y la automática tomaron la teoría del control, su descendiente más directo. La ecología tomó el pensamiento en equilibrios dinámicos. La economía tomó los modelos de regulación. La cibernética fue tan fecunda que murió de su propia fertilidad. Ya no se enseña porque vivimos dentro de ella.

Pero el texto que de verdad quiero ponerles en las manos es el último. Se llama God and Golem, Inc. Wiener lo publicó en 1964, el año de su muerte. Recibió el premio Pulitzer a título póstumo. Es un libro breve, subtitulado un comentario sobre los puntos en que la cibernética choca con la religión. Y sesenta años antes de ChatGPT plantea el problema exacto que hoy ocupa a todos los laboratorios de IA del mundo.

Wiener parte de la leyenda del Golem, esa criatura de arcilla que el rabino de Praga anima para que le sirva y que acaba escapando al control de su amo. Añade un viejo cuento inglés, La pata de mono, donde un talismán concede tres deseos, pero de la forma más literal y cruel imaginable. La pareja pide dinero. El hijo muere en un accidente en la fábrica y el dinero llega como indemnización. El deseo se ha cumplido. Al pie de la letra.

Eso es lo que Wiener había comprendido. El peligro de una máquina poderosa no es que se vuelva contra nosotros por maldad. El peligro es que nos obedezca perfectamente. Que haga exactamente lo que le hemos pedido y no lo que queríamos. Una máquina que aprende desarrollará comportamientos que su creador ni previó ni deseó. Pone el ejemplo de un programa de damas que acaba ganando a quien lo programó. La máquina rebasa la intención humana, sin sentido común, sin valores tácitos, sin todo aquello que damos por supuesto sin decirlo cuando formulamos un deseo. Escribe que, si confiamos una tarea a una máquina cuyo funcionamiento ya no podemos seguir una vez puesta en marcha, más nos vale estar absolutamente seguros de que lo que le hemos pedido es lo que deseamos.

Es el problema del alineamiento. Palabra por palabra. Planteado en 1964 por un hombre que no había visto una sola red neuronal.

Entonces, qué me llevo de todo esto y por qué creo que aquella lectura adolescente me preparó para lo que viene.

Primero, aprendí a pensar en bucles y no en líneas rectas. La IA no es una herramienta que accionas una vez y guardas. Es un sistema con el que entras en relación, que recibe lo que le das, se corrige y te corrige a su vez. La relación es circular. Quien cree dominar la herramienta sin ver que él también está dentro del bucle se equivoca sobre la naturaleza de lo que maneja.

Después comprendí muy pronto que formular la intención importa más que cualquier otra cosa. La lección del Golem es la única que de verdad cuenta hoy. Una máquina poderosa hace literalmente lo que se le pide. Todo se juega en la precisión del deseo. Lo que hoy llamamos saber escribir prompts no es más que cibernética aplicada. Decir exactamente lo que quieres a algo que jamás adivinará el resto.

Y luego está la responsabilidad. Wiener pasó el final de su vida repitiendo algo sencillo. Delegar una capacidad en una máquina no delega el juicio. La máquina puede decidir el cómo. Nunca el porqué, nunca si hay que hacerlo. Esa línea no se mueve, y somos nosotros quienes estamos sobre ella.

Lo último quizá sea lo más importante, y es lo que me hace quererlo. Wiener no era un profeta entusiasta. Era un humanista preocupado. Rechazó contratos militares. Advirtió sobre la automatización y el desempleo mucho antes de que estuviera de moda. Defendía la dignidad humana frente a las máquinas que él mismo contribuía a hacer posibles. Estar a la vanguardia de la IA no significa adoptarla con los ojos cerrados. Tampoco significa temerla. Significa mantener la lucidez sobre quién sirve a quién. El dominio técnico sin reflexión sobre los fines es precisamente lo que Wiener temía.

Y vuelvo a pensar en Wiener en esta época en que Dario Amodei hace de profeta de mal agüero. El jefe de Anthropic pasa parte de su tiempo advirtiéndonos. Del riesgo de que sus propios modelos se vuelvan peligrosos. Del desempleo que viene. Alerta mientras construye la máquina más poderosa que puede, y ahí es donde tengo un problema. No con la advertencia. Con la hipocresía. Porque debajo de esa preocupación declarada hay una pretensión que no soporto: la de una empresa privada que se erige en árbitro de lo que es bueno para la humanidad, que quiere escribir las reglas del juego mientras juega para ganar. Una empresa no tiene por qué dictar esas reglas. No es su función ni tiene legitimidad para hacerlo. Y entre la sabiduría autoproclamada de un dirigente que decide solo qué es peligroso y la confrontación abierta del mercado, de los usos, de millones de personas que prueban y deciden, confío en lo segundo. Wiener no dictaba nada. Dudaba en voz alta y dejaba decidir a los demás. Esa es toda la diferencia entre alertar y creerse el guardián.

El rabino acabó teniendo que detener al Golem. La pregunta que debemos hacernos no es si sabremos construir la criatura. Eso ya lo sabemos. Es si todavía sabremos decir qué queremos de verdad.