A Máquina em Julgamento

Em 2014, duas pessoas foram presas na mesma cadeia do condado na Flórida, e um software deu a cada uma delas um número. Brisha Borden, de dezoito anos, negra, com algumas infrações juvenis no passado, foi classificada como de alto risco para cometer um crime futuro. Vernon Prater, branco, com um roubo à mão armada já em seu registro, foi classificado como de baixo risco. Dois anos depois, o software havia se provado exatamente errado. Borden se manteve limpa. Prater estava de volta à prisão.

A lição que todos tiraram disso foi que a máquina era tendenciosa. A lição mais interessante é aquela que quase ninguém tirou: só sabemos que a máquina estava errada porque a máquina pôde ser verificada.

A ProPublica coletou as pontuações de risco de dez mil pessoas no Condado de Broward, as comparou com o que essas pessoas realmente fizeram nos dois anos seguintes e publicou tudo. Uma pequena guerra eclodiu. Estatísticos, cientistas da computação de Cornell, Stanford e Carnegie Mellon, e os próprios engenheiros da empresa passaram anos discutindo os mesmos números em público. Ninguém nunca fez isso com um juiz. Nunca saberemos quantas vezes um juiz olhou para uma Borden e um Prater e se confundiu, porque uma cabeça não mantém registros. O escândalo daquele software não foi que ele era tendencioso. Foi que, pela primeira vez, a tendência deixou um rastro em papel.

A tendência é a condição ordinária de cada julgamento que um ser humano já fez. Isso não é cinismo, é apenas a configuração. O que é raro, o que sempre foi raro, é a capacidade de verificar o julgamento depois. Cada sociedade funciona com pessoas que dizem ao resto de nós o que é verdade e que não temos uma maneira prática de auditar. Por muito tempo, foi o sacerdote. Depois, foi o cientista. Em seguida, o juiz, o médico, o repórter. Delegamos a verdade porque precisamos. Ninguém pode verificar tudo por si mesmo, então nomeamos pessoas para fazer isso por nós, e então esperamos.

A ciência deveria ser o único lugar onde a esperança não era necessária. A revisão por pares, a replicação, todo o aparato existe precisamente para que uma afirmação não dependa do bom nome do reclamante. Na maior parte, não funciona assim. Em 2005, John Ioannidis publicou um artigo com o título alegre "Por que a Maioria das Descobertas de Pesquisa Publicadas são Falsas", e os anos desde então foram cruéis com quem esperava que ele estivesse exagerando. Um psicólogo chamado Daryl Bem teve um artigo que alegava evidências de percepção extrassensorial através da revisão por pares em um dos principais periódicos em 2011. Quando outros pesquisadores repetiram o experimento e não encontraram nada, quatro periódicos se recusaram a publicar os fracassos, com o argumento de que uma replicação não é novidade. Mais ou menos na mesma época, Diederik Stapel foi pego simplesmente inventando os dados em dezenas de estudos; ele tem cinquenta e oito retratações em seu nome. A máquina construída para pegar esse tipo de coisa continuou não pegando, por uma razão simples. As pessoas que realizam a correção têm carreiras, e uma carreira é um interesse, e você não pode repetir uma pessoa para ver o que seu interesse fez com seu julgamento.

As pessoas gostam de dizer que a crise da replicação prova que a ciência se autocorrige. Ela se autocorrige, eventualmente. Também levou a participação de externos, uma década e uma boa quantidade de humilhação pública para que a correção acontecesse, o que é uma coisa estranha de se chamar de autocorreção.

A lei não é melhor, e é mais honesta sobre isso apenas por acidente. David Mustard, estudando sentenças federais, descobriu que réus negros recebiam penas cerca de doze por cento mais longas do que réus brancos comparáveis. Se você perguntar aos juízes, noventa e sete por cento deles dirão que estão acima da média em evitar exatamente aquilo que Mustard mediu. Minha parte favorita da literatura é o famoso estudo do "juiz faminto", aquele em que as comissões de liberdade condicional supostamente se tornam implacáveis bem antes do almoço. Todo mundo adora. Acontece que provavelmente não é real; a maior parte do efeito pode ser explicada pela maneira monótona como os casos são ordenados ao longo do dia. Nós nos agarramos a isso de qualquer maneira, porque confirma algo que já acreditamos. Que é o problema todo apresentado ao vivo: uma tendência, atuando sobre nós, enquanto lemos sobre tendência.

Aqui alguém geralmente diz que o problema mais profundo é o capitalismo, que os mercados recompensam a vitória e não têm amor particular pela verdade. Isso está meio certo, e a parte errada é a interessante. Um mercado recompensa qualquer coisa que você pontue nele. Se você pontuar pela atenção, você obtém lixo. Se você pontuar pela correção, você obtém o melhor instrumento de busca pela verdade que alguém já construiu. Mercados de previsão, onde as pessoas apostam dinheiro real sobre o que vai acontecer, rotineiramente superam os painéis de especialistas que são pagos para saber. Hayek apontou há oitenta anos que o sistema de preços é, ele mesmo, uma vasta máquina para descobrir coisas que nenhum escritório central poderia jamais reunir. Portanto, o inimigo nunca foi o interesse, e nunca foi o mercado. O inimigo é o interesse que você não pode auditar.

O que nos traz ao mais novo membro do sacerdócio. A IA é o proxy de verdade mais poderoso já feito, e por uma boa margem, o mais concentrado. Ela responde na voz nivelada de um especialista paciente, e as pessoas acreditam nela da mesma forma que acreditavam na enciclopédia, exceto que a enciclopédia não podia responder de volta. Eu construo empresas de IA para viver, e passo pelo menos tanto tempo preocupado com quem vai acabar possuindo-as. O perigo não é ficção científica. Uma máquina fluente que ninguém fora de algumas empresas pode inspecionar, sentada entre bilhões de pessoas e tudo o que elas querem saber, é bastante perigosa por si só. Isso é um problema? Somente se você achar que importa quem está entre uma pessoa e cada pergunta que ela fará. Um único oráculo fechado é o antigo sacerdócio novamente, com melhor tempo de atividade.

Mas algo genuinamente novo está sendo oferecido, e é a coisa pela qual vale a pena lutar. Você pode colocar um modelo em julgamento. Você pode executá-lo um milhão de vezes e observar o que ele faz. Defina-o para responder da mesma maneira duas vezes e ele o fará, o que é mais do que você pode dizer sobre qualquer autoridade humana que já existiu. Você pode testá-lo em todos os grupos que lhe interessam e medir como ele falha. Se seus pesos forem abertos, você pode lê-los, e a jovem ciência da interpretabilidade está lentamente aprendendo a ler o raciocínio interno, embora ainda estejamos longe do fim desse caminho. Um estudo da Tulane analisou cinquenta mil decisões de sentença na Virgínia, onde os juízes tinham um algoritmo para consultar, e o algoritmo fez duas coisas ao mesmo tempo. Ele tornou as sentenças mais consistentes. E tornou uma tendência racial visível que a discrição ordinária manteve oculta por um século. Essa é a troca. Você abre mão da opacidade confortável do instinto humano e obtém algo que pode ser examinado. Você não pode convocar um sentimento. Você pode convocar um modelo.

É por isso que as coisas que soam como três hobbies separados são realmente uma máquina. Você pode inspecionar o mecanismo, que é para isso que serve o código aberto. Você pode provar qual modelo produziu qual resposta, que é para isso que o trabalho criptográfico que agora está acontecendo sob nomes como zkML serve. E você pode construir todo o arranjo de modo que ninguém possa silenciosamente trocar o modelo ou desligá-lo, que é para isso que a parte resistente à censura serve. Esses mecanismos têm limites que precisam ser examinados com honestidade. Se apenas os pesos de um modelo são abertos, enquanto os dados de treinamento permanecem ocultos, uma auditoria completa é impossível. A verificação criptográfica também precisa ser avaliada em função do custo e da escala do modelo examinado. São problemas de engenharia e governança a resolver, não detalhes para esconder em um folheto.

O argumento tem que sobreviver à sua própria melhor objeção, então aqui está. Auditar a máquina não limpa o mundo do qual a máquina aprendeu. Dois pesquisadores, Dressel e Farid, mostraram que pessoas comuns usando sete fatos previram reincidência quase tão bem quanto aquele software da Flórida fez com cento e trinta e sete, e produziram a mesma lacuna racial. A tendência estava no mundo, nos registros de prisão, na história que alimentou a coisa. Um modelo perfeitamente transparente treinado em uma realidade distorcida reproduzirá a distorção fielmente, agora vestindo um jaleco. Há notícias piores, e elas vêm da matemática da justiça em si. Quando dois grupos cometem crimes em taxas observadas diferentes, você não pode construir um preditor que seja igualmente calibrado e igualmente equilibrado em seus erros. Você tem que escolher um. Portanto, auditar não lhe entrega a resposta certa. Ele lhe entrega a troca, à luz do dia, e alguém ainda precisa escolher que tipo de justiça deseja. A IA não aboliu a política. Ela realoca a política na escolha do que a máquina deve otimizar. A nova versão de "quem guarda os guardas" é "quem escolhe o objetivo".

Note o que isso faz com a intuição original, aquela que diz que a IA se tornará nossa única fonte de verdade e que é por isso que o código aberto deve vencer. O instinto está certo e a formulação está invertida. Uma única fonte de verdade é a coisa mais perigosa que você poderia construir, porque é o único arranjo em que todos podem estar errados na mesma direção e no mesmo instante. O código aberto não faz da IA a única fonte. É a única coisa que impede a IA de se tornar uma única fonte capturada. A coisa a se desejar nunca foi um único oráculo aberto. São muitos oráculos auditáveis, discutindo, da mesma forma que os preços discutem em um mercado e as conjecturas discutem em uma ciência em funcionamento. Popper viu a forma disso muito antes da tecnologia existir. Uma sociedade aberta é aquela onde qualquer afirmação, incluindo a dos governantes, pode ser arrastada para a luz e derrubada. A correção nunca foi a promessa. A corrigibilidade foi.

Volte a Borden e Prater uma última vez. A máquina os confundiu exatamente, e isso, estranhamente, foi o progresso, porque pôde ser capturado. Não estamos decidindo se devemos confiar nas máquinas com a verdade. Essa decisão já está atrás de nós; já confiamos, toda vez que perguntamos em vez de olharmos. A única questão em aberto é se as construímos de modo que possam ser levadas a um tribunal, lidas linha por linha e contraditas. Essa escolha é continuamente moldada pelas licenças, pela documentação dos modelos e pela governança dos sistemas que usamos. Raciocinado a partir de primeiros princípios, não é uma decisão difícil. Se uma coisa vai nos dizer o que é verdade, não pode ser permitida a pertencer a nenhum de nós.