الآلة في المحاكمة

في عام 2014، تم حجز شخصين في نفس سجن المقاطعة في فلوريدا، وأعطت قطعة من البرمجيات لكل منهما رقمًا. كانت بريشا بوردن، البالغة من العمر ثمانية عشر عامًا، سوداء، ولديها بعض المخالفات الجنائية في صغرها، مصنفة على أنها عالية المخاطر لارتكاب جريمة مستقبلية. بينما كان فيرنون براتر، الأبيض، الذي لديه سابقة سرقة مسلحة، مصنفًا على أنه منخفض المخاطر. بعد عامين، ثبت أن البرمجيات كانت خاطئة تمامًا. فقد ظلت بوردن نظيفة. بينما عاد براتر إلى السجن.

الدرس الذي استخلصه الجميع من ذلك هو أن الآلة كانت متحيزة. الدرس الأكثر إثارة للاهتمام هو الذي لم يأخذه أحد تقريبًا: نحن نعرف فقط أن الآلة كانت خاطئة لأن الآلة يمكن التحقق منها.

سحبت ProPublica درجات المخاطر لعشرة آلاف شخص في مقاطعة بروارد، وقارنتها بما فعله هؤلاء الأشخاص فعليًا على مدار العامين التاليين، ونشرت كل ذلك. اندلعت حرب صغيرة. قضائيون، وعلماء حاسوب في كورنيل وستانفورد وكارنيجي ميلون، ومهندسو الشركة أنفسهم قضوا سنوات في القتال حول نفس الأرقام علنًا. لم يحدث أن فعل أحد ذلك مع قاضٍ من قبل. لن نعرف أبدًا كم مرة نظر قاضٍ إلى بوردن وبراتر وارتبك في ذهنه، لأن العقل لا يحتفظ بسجلات. كانت فضيحة تلك البرمجيات ليست أنها كانت متحيزة. بل كانت، للمرة الأولى، أن التحيز ترك أثرًا ورقيًا.

التحيز هو الحالة العادية لكل حكم قام به إنسان على مر العصور. هذا ليس تشاؤمًا، إنه مجرد إعداد. ما هو نادر، وما كان دائمًا نادرًا، هو القدرة على التحقق من الحكم بعد ذلك. كل مجتمع يعتمد على الأشخاص الذين يخبرون بقية الناس بما هو صحيح وليس لدينا وسيلة عملية لمراجعتهم. لفترة طويلة كان الكاهن. ثم كان العالم. ثم القاضي، والطبيب، والصحفي. نحن نفوض الحقيقة لأننا مضطرون لذلك. لا يمكن لأحد التحقق من كل شيء بنفسه، لذا نعين أشخاصًا للقيام بذلك نيابة عنا، ثم نأمل.

كان من المفترض أن تكون العلوم هي المكان الوحيد الذي لا يكون فيه الأمل ضروريًا. المراجعة من الأقران، والتكرار، وكل الآلية موجودة بالضبط حتى لا يستند الادعاء إلى سمعة المدعي الجيدة. لكنها في الغالب لا تعمل بهذه الطريقة. في عام 2005، نشر جون إيوانيديس ورقة بعنوان "لماذا معظم نتائج الأبحاث المنشورة خاطئة"، وكانت السنوات التي تلت ذلك قاسية على أي شخص كان يأمل أنه كان يبالغ. حصلت عالمة النفس داريل بيم على ورقة تدعي وجود دليل على الإدراك الحسي الفائق من خلال مراجعة الأقران في مجلة مرموقة في عام 2011. عندما أعاد باحثون آخرون إجراء التجربة ووجدوا لا شيء، رفضت أربع مجلات نشر الفشل، على أساس أن التكرار ليس جديدًا. في نفس الوقت تقريبًا، تم القبض على ديدريك ستابيل وهو يختلق البيانات في العشرات من الدراسات؛ لديه ثمانية وخمسون سحبًا لنتائجه. الآلة المصممة لالتقاط هذا النوع من الأشياء استمرت في عدم التقاطه، لسبب بسيط. الأشخاص الذين يديرون التصحيح لديهم وظائف، والوظيفة هي مصلحة، ولا يمكنك إعادة تشغيل شخص ما لترى ما الذي فعلته مصلحته بحكمه.

يحب الناس أن يقولوا إن أزمة التكرار تثبت أن العلوم تصحح نفسها. إنها تفعل، في النهاية. كما استغرق الأمر أيضًا غرباء، وعقدًا من الزمن، وكمية عادلة من الإذلال العام لجعل التصحيح يحدث، وهو شيء غريب أن نسميه تصحيحًا ذاتيًا.

القانون ليس أفضل، وهو أكثر صدقًا بشأن ذلك فقط عن طريق الصدفة. وجد ديفيد موستارد، الذي يدرس الأحكام الفيدرالية، أن المدعى عليهم السود يتلقون أحكامًا أطول بنسبة حوالي اثني عشر في المئة من المدعى عليهم البيض المقابلين. إذا استطلعت آراء القضاة، سيخبرك سبعة وتسعون في المئة منهم أنهم فوق المتوسط في تجنب الشيء الذي قيّسه موستارد. الجزء المفضل لدي من الأدبيات هو دراسة "القاضي الجائع" الشهيرة، تلك التي يُفترض أن لجان الإفراج المشروط تصبح بلا رحمة قبل الغداء مباشرة. الجميع يحبها. اتضح أنها ربما ليست حقيقية؛ يمكن تفسير معظم التأثير بالطريقة المملة التي يتم بها ترتيب القضايا خلال اليوم. نحن نتمسك بها على أي حال، لأنها تؤكد شيئًا نؤمن به بالفعل. وهو المشكلة الكاملة التي تُعرض مباشرة: تحيز، يعمل علينا، بينما نقرأ عن التحيز.

هنا يقول شخص ما عادةً إن المشكلة الأعمق هي الرأسمالية، وأن الأسواق تكافئ الفائزين وليس لديها حب خاص للحقيقة. هذا صحيح إلى حد ما، والنصف الخاطئ هو النصف المثير للاهتمام. السوق يكافئ أي شيء تقيمه عليه. إذا قمت بتقييمه على الانتباه، ستحصل على فوضى. إذا قمت بتقييمه على كونه صحيحًا، ستحصل على أفضل أداة للعثور على الحقيقة تم بناؤها على الإطلاق. أسواق التنبؤ، حيث يراهن الناس بأموال حقيقية على ما سيحدث، تتفوق بانتظام على لجان الخبراء الذين يتم دفعهم للمعرفة. أشار هايك قبل ثمانين عامًا إلى أن نظام الأسعار هو نفسه آلة ضخمة لاكتشاف أشياء لا يمكن لأي مكتب مركزي تجميعها. لذا، لم يكن العدو أبدًا هو المصلحة، ولم يكن السوق أبدًا. العدو هو المصلحة التي لا يمكنك مراجعتها.

وهذا يقودنا إلى أحدث عضو في الكهنوت. الذكاء الاصطناعي هو أقوى وكيل للحقيقة تم صنعه على الإطلاق، وبفارق كبير الأكثر تركيزًا. إنه يجيب بصوت هادئ كخبير صبور، ويصدق الناس ذلك كما كانوا يصدقون الموسوعة، باستثناء أن الموسوعة لم تكن تستطيع الرد. أنا أبني شركات الذكاء الاصطناعي كمهنة، وأقضي على الأقل نفس القدر من الوقت قلقًا بشأن من سينتهي به الأمر بامتلاكها. الخطر ليس خيالًا علميًا. آلة طليقة لا يمكن لأحد خارج عدد قليل من الشركات فحصها، تجلس بين مليارات الأشخاص وكل ما يريدون معرفته، هي خطيرة بما فيه الكفاية بمفردها. هل هذه مشكلة؟ فقط إذا كنت تعتقد أنه يهم من يقف بين الشخص وكل سؤال سيسأله على الإطلاق. أوراكل مغلقة واحدة هي الكهنوت القديم مرة أخرى، مع وقت تشغيل أفضل.

لكن هناك شيء جديد حقًا معروض، وهو الشيء الذي يستحق القتال من أجله. يمكنك محاكمة نموذج. يمكنك تشغيله مليون مرة ومشاهدة ما يفعله. إذا قمت بضبطه للإجابة بنفس الطريقة مرتين، فسيفعل، وهو أكثر مما يمكنك قوله عن أي سلطة بشرية عاشت على الإطلاق. يمكنك اختباره عبر كل مجموعة تهمك وقياس كيفية فشله. إذا كانت أوزانه مفتوحة، يمكنك قراءتها، والعلم الشاب في القابلية للتفسير يتعلم ببطء قراءة المنطق الداخلي، على الرغم من أننا بعيدون عن نهاية تلك الطريق. نظرت دراسة من جامعة تولين في خمسين ألف قرار حكم في فيرجينيا حيث كان لدى القضاة خوارزمية للتشاور، وكانت الخوارزمية تقوم بشيئين في وقت واحد. جعلت الأحكام أكثر اتساقًا. وجعلت التحيز العنصري مرئيًا كان قد تم إخفاؤه بواسطة السلطة التقديرية العادية لعقد من الزمن. هذه هي الصفقة. تتخلى عن غموض الراحة في الحدس البشري، وتحصل على شيء يمكنك فحصه. لا يمكنك استدعاء شعور. يمكنك استدعاء نموذج.

لهذا السبب، فإن الأشياء التي تبدو كأنها ثلاثة هوايات منفصلة هي في الواقع آلة واحدة. يمكنك فحص الآلية، وهو ما تم تصميم المصدر المفتوح من أجله. يمكنك إثبات أي نموذج أنتج أي إجابة، وهو ما يتم العمل عليه حاليًا تحت أسماء مثل zkML. ويمكنك بناء الترتيب بالكامل بحيث لا يستطيع أحد بهدوء تبديل النموذج أو إيقافه، وهو ما تم تصميم الجزء المقاوم للرقابة من أجله. لهذه الآليات حدود يجب فحصها بصدق. إذا كانت أوزان النموذج وحدها مفتوحة بينما تبقى بيانات تدريبه مخفية، فلا يمكن إجراء تدقيق كامل. ويجب أيضًا تقييم التحقق بالتشفير في ضوء تكلفة النموذج الخاضع للفحص وحجمه. هذه مسائل هندسية وحوكمة ينبغي حلها، وليست تفاصيل تُخفى في كتيب دعائي.

يجب أن تنجو الحجة من أفضل اعتراض لها، لذا ها هي. مراجعة الآلة لا تنظف العالم الذي تعلمت منه الآلة. أظهر باحثان، دريسل وفريد، أن الأشخاص العاديين الذين يستخدمون سبعة حقائق توقعوا إعادة الجريمة بنفس جودة البرمجيات في فلوريدا التي استخدمت مئة وسبعة وثلاثين، وأنتجوا نفس الفجوة العنصرية. كان التحيز في العالم، في سجلات الاعتقال، في التاريخ الذي غذى الشيء. نموذج شفاف تمامًا تم تدريبه على واقع معوج سيعيد إنتاج الاعوجاج بدقة، الآن وهو يرتدي معطف مختبر. هناك أخبار أسوأ، وتأتي من رياضيات العدالة نفسها. عندما ترتكب مجموعتان الجرائم بمعدلات مختلفة، لا يمكنك بناء متنبئ يكون متوازنًا بالتساوي ومتوازنًا في أخطائه. عليك أن تختار واحدة. لذا، فإن المراجعة لا تعطيك الإجابة الصحيحة. إنها تعطيك المقايضة، في ضوء النهار، ولا يزال يتعين على شخص ما أن يختار أي نوع من العدالة يريد. الذكاء الاصطناعي لا يلغي السياسة. إنه ينقل السياسة إلى اختيار ما يُقال للآلة أن تحسنه. النسخة الجديدة من "من يحرس الحراس" هي "من يختار الهدف".

لاحظ ما الذي يفعله هذا بالحدس الأصلي، ذلك الذي يقول إن الذكاء الاصطناعي سيصبح مصدرنا الوحيد للحقيقة وأن هذا هو السبب في أن المصدر المفتوح يجب أن ينتصر. الغريزة صحيحة والصياغة معكوسة. مصدر واحد للحقيقة هو أخطر شيء يمكنك بناؤه، لأنه الترتيب الوحيد الذي يمكن أن يكون فيه الجميع مخطئين في نفس الاتجاه تمامًا في نفس اللحظة. المصدر المفتوح لا يجعل الذكاء الاصطناعي المصدر الوحيد. إنه الشيء الوحيد الذي يمنع الذكاء الاصطناعي من أن يصبح واحدًا محجوزًا. الشيء الذي يجب أن نريده لم يكن أبدًا أوراكل مفتوحة واحدة. بل هي العديد من الأوراكل القابلة للمراجعة، تتجادل، كما تتجادل الأسعار في السوق وتتناقش التخمينات في علم يعمل. رأى بوبر شكل هذا قبل وقت طويل من وجود التكنولوجيا. المجتمع المفتوح هو ذلك الذي يمكن فيه سحب أي ادعاء، بما في ذلك ادعاءات الحكام، إلى العلن وإلغاؤه. لم تكن الصوابية أبدًا هي الوعد. بل كانت القابلية للتصحيح.

عد إلى بوردن وبراتر مرة أخيرة. حصلت الآلة عليهم بشكل خاطئ تمامًا، وهذا، بشكل غريب، كان التقدم، لأنه كان يمكن القبض عليه. نحن لا نقرر ما إذا كنا سنثق في الآلات بالحقيقة. تلك القرار خلفنا؛ نحن نفعل ذلك بالفعل، في كل مرة نسأل بدلاً من أن ننظر. السؤال الوحيد الحي هو ما إذا كنا نبنيها بحيث يمكن استدعاؤها إلى قاعة المحكمة، وقراءتها سطرًا بسطر، وتكذيبها. يتشكل هذا الخيار باستمرار من خلال التراخيص وتوثيق النماذج وحوكمة الأنظمة التي نستخدمها. إذا تم التفكير في ذلك من المبادئ الأساسية، فلا يوجد شك قريب. إذا كان هناك شيء واحد سيخبرنا جميعًا بما هو صحيح، فلا يمكن السماح له بأن ينتمي إلى أي منا.