La máquina en juicio

En 2014, dos personas fueron ingresadas en la misma cárcel del condado en Florida, y un software les asignó a cada una un número. Brisha Borden, de dieciocho años, negra, con un par de delitos menores juveniles a sus espaldas, fue calificada como de alto riesgo de cometer un crimen en el futuro. Vernon Prater, blanco, con un robo a mano armada ya en su historial, fue calificado como de bajo riesgo. Dos años después, se demostró que el software estaba completamente equivocado. Borden se había mantenido limpia. Prater había vuelto a prisión.

La lección que todos sacaron de esto fue que la máquina estaba sesgada. La lección más interesante es la que casi nadie tomó: solo sabemos que la máquina estaba equivocada porque se pudo verificar.

ProPublica recopiló las puntuaciones de riesgo de diez mil personas en el condado de Broward, las alineó con lo que esas personas realmente hicieron durante los dos años siguientes y publicó todo. Estalló una pequeña guerra. Estadísticos, científicos informáticos de Cornell, Stanford y Carnegie Mellon, y los propios ingenieros de la empresa pasaron años discutiendo sobre los mismos números en público. Nadie ha hecho eso con un juez. Nunca sabremos cuántas veces un juez miró a un Borden y a un Prater y se confundió en su mente, porque una mente no guarda registros. El escándalo de ese software no fue que estuviera sesgado. Fue que, por primera vez, el sesgo había dejado un rastro en papel.

El sesgo es la condición ordinaria de cada juicio que un ser humano ha hecho alguna vez. Eso no es cinismo, es solo la configuración. Lo que es raro, lo que siempre ha sido raro, es la capacidad de verificar el juicio después. Cada sociedad funciona con personas que le dicen al resto de nosotros qué es verdad y a quienes no tenemos forma práctica de auditar. Durante mucho tiempo fue el sacerdote. Luego fue el científico. Después el juez, el médico, el reportero. Delegamos la verdad porque tenemos que hacerlo. Nadie puede verificar todo por sí mismo, así que nombramos a personas para que lo hagan por nosotros, y luego esperamos.

Se suponía que la ciencia era el único lugar donde no era necesario esperar. La revisión por pares, la replicación, todo el aparato existe precisamente para que una afirmación no dependa del buen nombre del reclamante. En su mayoría, no funciona así. En 2005, John Ioannidis publicó un artículo con el alegre título "Por qué la mayoría de los hallazgos de investigación publicados son falsos", y los años desde entonces han sido crueles para cualquiera que esperara que estuviera exagerando. Un psicólogo llamado Daryl Bem logró que un artículo que afirmaba tener evidencia de percepción extrasensorial pasara la revisión por pares en una revista de primer nivel en 2011. Cuando otros investigadores repitieron el experimento y no encontraron nada, cuatro revistas se negaron a publicar los fracasos, con el argumento de que una replicación no es novedosa. Alrededor de la misma época, Diederik Stapel fue atrapado habiendo inventado simplemente los datos en docenas de estudios; tiene cincuenta y ocho retractaciones a su nombre. La máquina construida para atrapar este tipo de cosas seguía sin atraparlas, por una razón sencilla. Las personas que llevan a cabo la corrección tienen carreras, y una carrera es un interés, y no puedes volver a ejecutar a una persona para ver qué hizo su interés con su juicio.

A la gente le gusta decir que la crisis de replicación prueba que la ciencia se autocorrige. Lo hace, eventualmente. También tomó a forasteros, una década y una buena cantidad de humillación pública para que la corrección ocurriera, lo cual es una cosa extraña de llamar autocorrección.

La ley no es mejor, y es más honesta al respecto solo por accidente. David Mustard, estudiando las sentencias federales, encontró que los acusados negros recibían sentencias aproximadamente un doce por ciento más largas que las de los blancos comparables. Si encuestas a los jueces, el noventa y siete por ciento de ellos te dirá que están por encima del promedio en evitar precisamente lo que Mustard midió. Mi parte favorita de la literatura es el famoso estudio del "juez hambriento", aquel en el que supuestamente las juntas de libertad condicional se vuelven implacables justo antes del almuerzo. A todos les encanta. Resulta que probablemente no es real; la mayor parte del efecto puede explicarse por la forma monótona en que los casos se ordenan a lo largo del día. Nos aferramos a ello de todos modos, porque confirma algo que ya creemos. Lo cual es todo el problema representado en vivo: un sesgo, actuando sobre nosotros, mientras leemos sobre el sesgo.

Aquí alguien suele decir que el problema más profundo es el capitalismo, que los mercados recompensan ganar y no tienen un amor particular por la verdad. Eso es medio cierto, y la mitad equivocada es la interesante. Un mercado recompensa lo que sea que lo puntúes. Si lo puntúas por atención, obtienes basura. Si lo puntúas por ser correcto, obtienes el mejor instrumento de búsqueda de la verdad que alguien haya construido. Los mercados de predicción, donde las personas apuestan dinero real sobre lo que sucederá, superan rutinariamente a los paneles de expertos que son pagados para saber. Hayek señaló hace ochenta años que el sistema de precios es en sí mismo una vasta máquina para descubrir cosas que ninguna oficina central podría reunir jamás. Así que el enemigo nunca fue el interés, y nunca el mercado. El enemigo es el interés que no puedes auditar.

Lo que nos lleva al miembro más nuevo del sacerdocio. La IA es el proxy de verdad más poderoso jamás creado, y por un amplio margen el más concentrado. Responde con la voz nivelada de un experto paciente, y la gente le cree de la misma manera que una vez creyó en la enciclopedia, excepto que la enciclopedia no podía responder. Yo construyo empresas de IA para ganarme la vida, y paso al menos tanto tiempo preocupado por quién terminará poseyéndolas. El peligro no es ciencia ficción. Una máquina fluida que nadie fuera de unas pocas empresas puede inspeccionar, sentada entre miles de millones de personas y todo lo que quieren saber, es bastante peligrosa por sí sola. ¿Es eso un problema? Solo si crees que importa quién está entre una persona y cada pregunta que alguna vez hará. Un solo oráculo cerrado es el viejo sacerdocio de nuevo, con mejor tiempo de actividad.

Pero hay algo genuinamente nuevo en oferta, y es lo que vale la pena luchar. Puedes poner un modelo en juicio. Puedes ejecutarlo un millón de veces y observar lo que hace. Configúralo para que responda de la misma manera dos veces y lo hará, lo cual es más de lo que puedes decir de cualquier autoridad humana que haya existido. Puedes probarlo en cada grupo que te importe y medir cómo falla. Si sus pesos son abiertos, puedes leerlos, y la joven ciencia de la interpretabilidad está aprendiendo lentamente a leer el razonamiento interno, aunque estamos lejos del final de ese camino. Un estudio de Tulane examinó cincuenta mil decisiones de sentencia en Virginia donde los jueces tenían un algoritmo para consultar, y el algoritmo hizo dos cosas a la vez. Hizo que las sentencias fueran más consistentes. Y hizo visible un sesgo racial que la discreción ordinaria había mantenido oculto durante un siglo. Ese es el intercambio. Renuncias a la opacidad cómoda del instinto humano, y obtienes algo que puedes examinar. No puedes citar un sentimiento. Puedes citar un modelo.

Por eso las cosas que suenan como tres pasatiempos separados son realmente una sola máquina. Puedes inspeccionar el mecanismo, que es para lo que sirve el código abierto. Puedes probar qué modelo produjo qué respuesta, que es para lo que sirve el trabajo criptográfico que ahora se realiza bajo nombres como zkML. Y puedes construir todo el arreglo de tal manera que nadie pueda cambiar el modelo en silencio o apagarlo, que es para lo que sirve la parte resistente a la censura. Estos mecanismos tienen límites que deben examinarse con honestidad. Si solo se abren los pesos de un modelo mientras sus datos de entrenamiento permanecen ocultos, una auditoría completa es imposible. La verificación criptográfica también debe evaluarse según el costo y la escala del modelo que se comprueba. Son problemas de ingeniería y gobernanza que resolver, no detalles que esconder en un folleto.

El argumento tiene que sobrevivir a su mejor objeción, así que aquí está. Auditar la máquina no limpia el mundo del que la máquina aprendió. Dos investigadores, Dressel y Farid, mostraron que personas comunes usando siete hechos predecían la reincidencia casi tan bien como ese software de Florida lo hacía con ciento treinta y siete, y produjeron la misma brecha racial. El sesgo estaba en el mundo, en los registros de arresto, en la historia que alimentó la cosa. Un modelo perfectamente transparente entrenado en una realidad torcida reproducirá la torcedura fielmente, ahora con una bata de laboratorio. Hay peores noticias, y vienen de las matemáticas de la equidad misma. Cuando dos grupos delinquen a diferentes tasas observadas, no puedes construir un predictor que sea igualmente calibrado y equilibrado en sus errores. Tienes que elegir uno. Así que auditar no te entrega la respuesta correcta. Te entrega el intercambio, a la luz del día, y alguien aún tiene que elegir qué tipo de equidad quiere. La IA no abolirá la política. Reubica la política en la elección de lo que se le dice a la máquina que optimice. La nueva versión de "quién vigila a los vigilantes" es "quién elige el objetivo".

Nota lo que esto hace a la intuición original, la que dice que la IA se convertirá en nuestra única fuente de verdad y que por eso el código abierto debe ganar. El instinto es correcto y la formulación está al revés. Una única fuente de verdad es la cosa más peligrosa que podrías construir, porque es el único arreglo en el que todos pueden estar equivocados en la misma dirección y al mismo instante. El código abierto no convierte a la IA en la única fuente. Es lo único que evita que la IA se convierta en una única fuente capturada. Lo que se debe querer nunca fue un solo oráculo abierto. Son muchos oráculos auditables, discutiendo, de la manera en que los precios discuten en un mercado y las conjeturas discuten en una ciencia en funcionamiento. Popper vio la forma de esto mucho antes de que existiera la tecnología. Una sociedad abierta es aquella donde cualquier afirmación, incluida la de los gobernantes, puede ser llevada a la luz y derrocada. La rectitud nunca fue la promesa. La corregibilidad fue.

Regresa a Borden y Prater una última vez. La máquina los confundió exactamente, y eso, extrañamente, fue el progreso, porque se pudo atrapar. No estamos decidiendo si confiar en las máquinas con la verdad. Esa decisión está detrás de nosotros; ya lo hacemos, cada vez que preguntamos en lugar de mirar. La única pregunta viva es si las construimos de tal manera que puedan ser llevadas a un tribunal, leídas línea por línea y contradichas. Esa elección se configura continuamente mediante las licencias, la documentación de los modelos y la gobernanza de los sistemas que usamos. Razonado desde los primeros principios, no es una decisión difícil. Si una cosa va a decirnos a todos qué es verdad, no puede permitirse pertenecer a ninguno de nosotros.