Despertar o Golem

Quando eu era adolescente, li Norbert Wiener.

Encontrei sua obra por acaso, sem saber quem ele era, e não entendi tudo. Mas há encontros que marcam você antes mesmo de saber por quê. Hoje, vinte anos de tecnologia depois, percebo que aquela leitura ao acaso me preparou para a inteligência artificial melhor do que qualquer curso, qualquer livro recente, qualquer sequência de posts de um especialista.

Wiener foi uma criança prodígio. Concluiu o ensino médio aos onze anos e se doutorou em Harvard aos dezessete. Estudou lógica com Bertrand Russell em Cambridge, matemática com Hilbert em Göttingen, e depois passou a vida no MIT. Um matemático de verdade, daqueles que deixam o nome em objetos que ainda usamos: por exemplo, o processo de Wiener, que descreve o movimento browniano, aquela agitação aleatória de uma partícula num fluido. Mas não é por isso que nos lembramos dele.

Durante a Segunda Guerra Mundial, deram a ele um problema muito concreto. Como derrubar um avião inimigo. O canhão não deve mirar onde o avião está, mas onde estará alguns segundos depois, no tempo que o projétil leva para subir. Portanto, é preciso prever a trajetória de um piloto que justamente tenta ser imprevisível. E é aí que Wiener percebe algo que ninguém havia formulado com tanta clareza antes dele.

O canhão, o piloto e o projétil formam um sistema. Cada um ajusta seu comportamento de acordo com a informação que recebe dos outros. Há um ciclo. E Wiener percebe que esse ciclo está em toda parte. Na mão que pega um copo, porque o olho corrige o gesto continuamente. No corpo que mantém a temperatura. Num termostato. Numa economia. No sistema nervoso de um animal. A natureza da matéria não importa. Carne ou metal, tanto faz. O que conta é a informação que circula e se corrige.

Em 1948, ele chama isso de cibernética. A palavra vem do grego kubernêtês, o piloto, aquele que segura o leme. A mesma raiz de governar. E a ideia cabe numa palavra: feedback. Retroalimentação. Um sistema inteligente, vivo ou fabricado, mede a distância entre o que quer e o que existe, corrige, mede de novo e corrige outra vez. Sem fim.

Pense no que isso significa. Em 1948, muito antes do primeiro computador de consumo, um homem afirma que o animal e a máquina obedecem às mesmas leis. Que a fronteira entre o vivo e o artificial não é uma fronteira de substância, mas de organização. É exatamente o terreno em que a IA cresceria cinquenta anos depois. Wiener montou o cenário sem assistir à peça.

O que sempre me fascinou nele foi o que aconteceu com sua ideia depois dele. A cibernética não sobreviveu como disciplina. Hoje você não encontrará um departamento de cibernética numa universidade. Ela fez algo mais raro. Dissolveu-se em tudo. A computação ficou com o ciclo de autocorreção, e o aprendizado por reforço que move os modelos atuais é o feedback de Wiener mal disfarçado. As ciências cognitivas ficaram com o cérebro como máquina de processar informação. A robótica e a automação ficaram com a teoria do controle, seu descendente mais direto. A ecologia ficou com o pensamento em equilíbrios dinâmicos. A economia ficou com os modelos de regulação. A cibernética foi tão fecunda que morreu da própria fertilidade. Já não a ensinamos porque vivemos dentro dela.

Mas o texto que eu realmente quero colocar nas suas mãos é o último. Chama-se God and Golem, Inc. Wiener o publicou em 1964, o ano de sua morte. Recebeu o prêmio Pulitzer postumamente. É um livrinho, com o subtítulo de um comentário sobre os pontos em que a cibernética entra em choque com a religião. E sessenta anos antes do ChatGPT, ele apresenta o problema exato que hoje ocupa todos os laboratórios de IA do mundo.

Wiener parte da lenda do Golem, a criatura de argila que o rabino de Praga anima para servi-lo e que acaba escapando ao controle de seu mestre. Ele acrescenta um antigo conto inglês, A pata do macaco, em que um talismã concede três desejos, mas da maneira mais literal e cruel possível. O casal pede dinheiro. O filho morre num acidente na fábrica, e o dinheiro chega como indenização. O desejo foi atendido. Ao pé da letra.

Foi isso que Wiener entendeu. O perigo de uma máquina poderosa não é que ela se volte contra nós por maldade. O perigo é que nos obedeça perfeitamente. Que faça exatamente o que pedimos, e não o que queríamos. Uma máquina que aprende desenvolverá comportamentos que seu criador não previu nem desejou. Ele dá o exemplo de um programa de damas que acaba vencendo quem o programou. A máquina ultrapassa a intenção humana, sem o bom senso, sem os valores tácitos, sem tudo o que pressupomos sem dizer quando formulamos um desejo. Ele escreve que, se confiamos uma tarefa a uma máquina cujo funcionamento já não conseguimos acompanhar depois de iniciada, é bom termos certeza absoluta de que aquilo que pedimos é mesmo o que desejamos.

É o problema do alinhamento. Palavra por palavra. Formulado em 1964 por um homem que nunca tinha visto uma única rede neural.

Então, o que eu tiro disso tudo, e por que acho que aquela leitura de adolescente me preparou para o que está vindo?

Primeiro, aprendi a pensar em ciclos, e não em linhas retas. A IA não é uma ferramenta que você aciona uma vez e guarda. É um sistema com o qual você entra em relação, que recebe o que você dá, se corrige e corrige você de volta. A relação é circular. Quem acredita dominar a ferramenta sem perceber que também está dentro do ciclo se engana sobre a natureza do que está manipulando.

Depois, entendi muito cedo que a formulação da intenção conta mais do que tudo. A lição do Golem é a única que realmente importa hoje. Uma máquina poderosa faz literalmente o que lhe pedem. Tudo depende da precisão do desejo. O que hoje chamamos de saber escrever prompts não passa de cibernética aplicada. Dizer exatamente o que você quer a algo que jamais adivinhará o resto.

E há a responsabilidade. Wiener passou o fim da vida repetindo uma coisa simples. Delegar uma capacidade a uma máquina não delega o julgamento. A máquina pode decidir o como. Nunca o porquê, nunca se aquilo deve ser feito. Essa linha não se move, e somos nós que estamos sobre ela.

A última coisa talvez seja a mais importante, e é a que me faz gostar dele. Wiener não era um profeta entusiasmado. Era um humanista preocupado. Recusou contratos militares. Alertou sobre a automação e o desemprego muito antes de isso virar moda. Defendia a dignidade humana diante das máquinas que ele próprio ajudava a tornar possíveis. Estar na ponta da IA não significa adotá-la de olhos fechados. Também não significa temê-la. Significa manter a lucidez sobre quem serve a quem. O domínio técnico sem reflexão sobre os fins era precisamente o que Wiener temia.

E volto a pensar em Wiener nesta época em que Dario Amodei faz o papel de profeta da desgraça. O chefe da Anthropic passa parte do tempo nos alertando. Sobre o risco de seus próprios modelos se tornarem perigosos. Sobre o desemprego que vem. Ele alerta enquanto constrói a máquina mais poderosa que consegue, e é aí que a coisa me incomoda. Não o alerta. A hipocrisia. Porque por baixo da preocupação declarada há uma pretensão que não suporto: a de uma empresa privada que se coloca como árbitra do que é bom para a humanidade, que gostaria de escrever as regras do jogo enquanto joga para ganhar. Uma empresa não tem que ditar essas regras. Não é seu papel, nem tem legitimidade para isso. E entre a sabedoria autoproclamada de um dirigente que decide sozinho o que é perigoso e o confronto aberto do mercado, dos usos, de milhões de pessoas que experimentam e decidem, confio no segundo. Wiener não ditava nada. Duvidava em voz alta e deixava os outros decidir. Essa é toda a diferença entre alertar e se achar o guardião.

O rabino acabou tendo que parar o Golem. A pergunta que precisamos fazer não é se saberemos construir a criatura. Isso já sabemos. É se ainda saberemos dizer o que realmente queremos.