La Machine en procès

En 2014, deux personnes ont été placées dans la même prison de comté en Floride, et un logiciel a attribué à chacune d'elles un numéro. Brisha Borden, dix-huit ans, noire, avec quelques délits juvéniles à son actif, a été classée à haut risque de commettre un crime futur. Vernon Prater, blanc, avec un vol à main armée déjà à son actif, a été classé à faible risque. Deux ans plus tard, le logiciel s'est avéré complètement faux. Borden était restée clean. Prater était de retour en prison.

La leçon que tout le monde a tirée de cela était que la machine était biaisée. La leçon plus intéressante est celle que presque personne n'a retenue : nous savons seulement que la machine avait tort parce que la machine pouvait être vérifiée.

ProPublica a extrait les scores de risque de dix mille personnes dans le comté de Broward, les a confrontés à ce que ces personnes avaient réellement fait au cours des deux années suivantes, et a publié l'ensemble. Une petite guerre a éclaté. Des statisticiens, des informaticiens de Cornell, de Stanford et de Carnegie Mellon, ainsi que les propres ingénieurs de l'entreprise, ont passé des années à se battre sur les mêmes chiffres en public. Personne n'a jamais fait cela à un juge. Nous ne saurons jamais combien de fois un juge a regardé une Borden et un Prater et s'est trompé dans son esprit, car un esprit ne garde aucun enregistrement. Le scandale de ce logiciel n'était pas qu'il était biaisé. C'était que, pour la première fois, le biais avait laissé une trace écrite.

Le biais est la condition ordinaire de chaque jugement qu'un être humain a jamais fait. Ce n'est pas du cynisme, c'est juste la configuration. Ce qui est rare, ce qui a toujours été rare, c'est la capacité de vérifier le jugement par la suite. Chaque société fonctionne grâce à des personnes qui disent aux autres ce qui est vrai et que nous n'avons aucun moyen pratique d'auditer. Pendant longtemps, c'était le prêtre. Puis c'était le scientifique. Ensuite, le juge, le médecin, le journaliste. Nous déléguons la vérité parce que nous devons le faire. Personne ne peut tout vérifier par lui-même, alors nous nommons des personnes pour le faire pour nous, et ensuite nous espérons.

La science était censée être le seul endroit où l'espoir n'était pas nécessaire. La révision par les pairs, la réplication, tout l'appareil existe précisément pour qu'une affirmation ne repose pas sur le bon nom du demandeur. Cela ne fonctionne généralement pas de cette manière. En 2005, John Ioannidis a publié un article au titre joyeux "Pourquoi la plupart des résultats de recherche publiés sont faux", et les années qui ont suivi ont été cruelles pour quiconque espérait qu'il exagérait. Un psychologue nommé Daryl Bem a obtenu un article affirmant des preuves de perception extrasensorielle par le biais de la révision par les pairs dans une revue de premier plan en 2011. Lorsque d'autres chercheurs ont répété l'expérience et n'ont rien trouvé, quatre revues ont refusé de publier les échecs, au motif qu'une réplication n'est pas nouvelle. À peu près au même moment, Diederik Stapel a été pris en flagrant délit d'avoir simplement inventé les données dans des dizaines d'études ; il a cinquante-huit rétractations à son actif. La machine conçue pour attraper ce genre de choses n'a cessé de ne pas les attraper, pour une raison simple. Les personnes qui gèrent la correction ont des carrières, et une carrière est un intérêt, et vous ne pouvez pas refaire passer une personne pour voir ce que son intérêt a fait à son jugement.

Les gens aiment dire que la crise de la réplication prouve que la science s'auto-corrige. Elle le fait, finalement. Il a également fallu des personnes extérieures, une décennie, et une bonne dose d'humiliation publique pour que la correction se produise, ce qui est une chose étrange à appeler auto-correction.

La loi n'est pas meilleure, et elle n'est plus honnête à ce sujet que par accident. David Mustard, étudiant la peine fédérale, a découvert que les accusés noirs recevaient des peines environ douze pour cent plus longues que celles des accusés blancs comparables. Si vous interrogez les juges, quatre-vingt-dix-sept pour cent d'entre eux vous diront qu'ils sont au-dessus de la moyenne pour éviter exactement ce que Mustard a mesuré. Ma partie préférée de la littérature est la célèbre étude sur le "juge affamé", celle où les commissions des libérations conditionnelles deviennent soi-disant impitoyables juste avant le déjeuner. Tout le monde l'adore. Il s'avère que ce n'est probablement pas réel ; la plupart de l'effet peut être expliqué par la manière monotone dont les affaires sont ordonnées au cours de la journée. Nous nous y accrochons quand même, car cela confirme quelque chose que nous croyons déjà. Ce qui est tout le problème joué en direct : un biais, agissant sur nous, pendant que nous lisons sur le biais.

Ici, quelqu'un dit généralement que le problème plus profond est le capitalisme, que les marchés récompensent la victoire et n'ont pas d'amour particulier pour la vérité. C'est à moitié vrai, et la mauvaise moitié est la plus intéressante. Un marché récompense tout ce sur quoi vous le notez. Notez-le sur l'attention et vous obtenez des déchets. Notez-le sur la véracité et vous obtenez le meilleur instrument de recherche de vérité que quiconque ait construit. Les marchés de prévision, où les gens parient de l'argent réel sur ce qui va se passer, battent régulièrement les panels d'experts qui sont payés pour savoir. Hayek a souligné il y a quatre-vingts ans que le système de prix est lui-même une vaste machine pour découvrir des choses qu'aucun bureau central ne pourrait jamais assembler. Donc, l'ennemi n'a jamais été l'intérêt, et jamais le marché. L'ennemi est l'intérêt que vous ne pouvez pas auditer.

Ce qui nous amène au plus récent membre du clergé. L'IA est le plus puissant proxy de vérité jamais créé, et de loin le plus concentré. Elle répond d'une voix calme d'expert patient, et les gens y croient comme ils croyaient autrefois à l'encyclopédie, sauf que l'encyclopédie ne pouvait pas répondre. Je construis des entreprises d'IA pour gagner ma vie, et je passe au moins autant de temps à m'inquiéter de qui va finir par les posséder. Le danger n'est pas de la science-fiction. Une machine fluide que personne en dehors de quelques entreprises ne peut inspecter, se trouvant entre des milliards de personnes et tout ce qu'elles veulent savoir, est déjà suffisamment dangereuse. Est-ce un problème ? Seulement si vous pensez qu'il est important de savoir qui se trouve entre une personne et chaque question qu'elle posera jamais. Un oracle fermé unique est le vieux clergé à nouveau, avec un meilleur temps de disponibilité.

Mais quelque chose de véritablement nouveau est proposé, et c'est ce pour quoi il vaut la peine de se battre. Vous pouvez mettre un modèle en procès. Vous pouvez l'exécuter un million de fois et observer ce qu'il fait. Si vous le réglez pour répondre de la même manière deux fois, il le fera, ce qui est plus que ce que vous pouvez dire pour toute autorité humaine ayant jamais existé. Vous pouvez le tester à travers chaque groupe qui vous intéresse et mesurer comment il échoue. Si ses poids sont ouverts, vous pouvez les lire, et la jeune science de l'interprétabilité apprend lentement à lire le raisonnement à l'intérieur, bien que nous soyons encore loin de la fin de ce chemin. Une étude de Tulane a examiné cinquante mille décisions de peine en Virginie où les juges avaient un algorithme à consulter, et l'algorithme a fait deux choses à la fois. Il a rendu les peines plus cohérentes. Et il a rendu un biais racial visible que la discrétion ordinaire avait gardé caché pendant un siècle. C'est l'échange. Vous abandonnez l'opacité confortable de l'intuition humaine, et vous obtenez quelque chose que vous pouvez examiner. Vous ne pouvez pas assigner à comparaître un sentiment. Vous pouvez assigner à comparaître un modèle.

C'est pourquoi les choses qui ressemblent à trois passe-temps distincts sont en réalité une seule machine. Vous pouvez inspecter le mécanisme, ce pour quoi l'open source est fait. Vous pouvez prouver quel modèle a produit quelle réponse, ce que le travail cryptographique actuellement en cours sous des noms comme zkML est destiné à faire. Et vous pouvez construire l'ensemble de l'arrangement de sorte que personne ne puisse discrètement échanger le modèle ou l'éteindre, ce qui est l'objectif de la partie résistante à la censure. Ces mécanismes ont des limites qu’il faut examiner honnêtement. Si seuls les poids d’un modèle sont ouverts et que ses données d’entraînement restent cachées, un audit complet est impossible. Il faut également évaluer la vérification cryptographique en fonction du coût et de l’échelle du modèle concerné. Ce sont des problèmes techniques et de gouvernance à résoudre, pas des détails à cacher dans une brochure.

L'argument doit survivre à sa propre meilleure objection, alors la voici. Auditer la machine ne nettoie pas le monde dont la machine a appris. Deux chercheurs, Dressel et Farid, ont montré que des personnes ordinaires utilisant sept faits prédisaient la récidive à peu près aussi bien que ce logiciel de Floride le faisait avec cent trente-sept, et produisaient le même écart racial. Le biais était dans le monde, dans les dossiers d'arrestation, dans l'histoire qui a alimenté la chose. Un modèle parfaitement transparent formé sur une réalité tordue reproduira la torsion fidèlement, maintenant vêtu d'une blouse de laboratoire. Il y a de pires nouvelles, et elles viennent des mathématiques de l'équité elle-même. Lorsque deux groupes commettent des infractions à des taux observés différents, vous ne pouvez pas construire un prédicteur qui soit à la fois également calibré et également équilibré dans ses erreurs. Vous devez en choisir un. Donc, auditer ne vous donne pas la bonne réponse. Cela vous donne le compromis, à la lumière du jour, et quelqu'un doit encore choisir quel type d'équité vouloir. L'IA n'abolit pas la politique. Elle relocalise la politique dans le choix de ce que la machine est censée optimiser. La nouvelle version de "qui garde les gardiens" est "qui choisit l'objectif".

Remarquez ce que cela fait à l'intuition originale, celle qui dit que l'IA deviendra notre unique source de vérité et que c'est pourquoi l'open source doit gagner. L'instinct est juste et la formulation est à l'envers. Une seule source de vérité est la chose la plus dangereuse que vous puissiez construire, car c'est le seul arrangement dans lequel tout le monde peut avoir tort dans la même direction au même instant. L'open source ne fait pas de l'IA la source unique. C'est la seule chose qui empêche l'IA de devenir une source unique capturée. Ce que nous devrions vouloir n'a jamais été un oracle ouvert unique. Ce sont de nombreux oracles audités, en train de débattre, comme les prix débattent sur un marché et les conjectures débattent dans une science en activité. Popper a vu la forme de cela bien avant que la technologie n'existe. Une société ouverte est celle où toute affirmation, y compris celles des dirigeants, peut être tirée à la lumière et renversée. La justesse n'a jamais été la promesse. La corrigibilité l'a été.

Retournez à Borden et Prater une dernière fois. La machine les a complètement inversés, et cela, étrangement, était le progrès, car cela pouvait être attrapé. Nous ne décidons pas si nous faisons confiance aux machines pour la vérité. Cette décision est derrière nous ; nous le faisons déjà, chaque fois que nous demandons au lieu de regarder. La seule question en cours est de savoir si nous les construisons de manière à ce qu'elles puissent être traînées dans un tribunal, lues ligne par ligne, et contredites. Ce choix se construit en permanence à travers les licences, la documentation des modèles et la gouvernance des systèmes que nous utilisons. Raisonné à partir de premiers principes, ce n'est pas un appel serré. Si une chose doit dire à tous ce qui est vrai, elle ne peut pas être autorisée à appartenir à l'un d'entre nous.