เครื่องจักรบนการพิจารณาคดี

ในปี 2014 มีผู้คนสองคนถูกจองตัวในเรือนจำของมณฑลเดียวกันในฟลอริดา และซอฟต์แวร์ชิ้นหนึ่งได้มอบหมายหมายเลขให้กับพวกเขา บริชา บอร์เดน อายุสิบแปดปี เป็นคนผิวดำ มีความผิดเล็กน้อยในวัยรุ่นอยู่บ้าง ถูกประเมินว่ามีความเสี่ยงสูงที่จะก่ออาชญากรรมในอนาคต เวอร์นอน พราเตอร์ ชายผิวขาว มีประวัติการปล้นอาวุธอยู่แล้ว ถูกประเมินว่ามีความเสี่ยงต่ำ สองปีต่อมา ซอฟต์แวร์นี้ถูกพิสูจน์ว่าผิดอย่างสิ้นเชิง บอร์เดนไม่เคยทำผิดอีกเลย ขณะที่พราเตอร์กลับเข้าไปอยู่ในคุกอีกครั้ง

บทเรียนที่ทุกคนได้รับจากเรื่องนี้คือเครื่องจักรมีอคติ บทเรียนที่น่าสนใจกว่าคือบทเรียนที่แทบไม่มีใครได้รับ: เรารู้ว่าเครื่องจักรผิดเพราะมันสามารถตรวจสอบได้

ProPublica ดึงคะแนนความเสี่ยงของผู้คนสิบพันคนในมณฑลบราวาร์ด มาจัดเรียงเทียบกับสิ่งที่ผู้คนเหล่านั้นทำจริงในช่วงสองปีถัดไป และเผยแพร่ทั้งหมด สงครามเล็ก ๆ เกิดขึ้น นักสถิติ นักวิทยาศาสตร์คอมพิวเตอร์ที่มหาวิทยาลัยคอร์เนล มหาวิทยาลัยสแตนฟอร์ด และมหาวิทยาลัยคาร์เนกี เมลลอน รวมถึงวิศวกรของบริษัทใช้เวลาหลายปีในการต่อสู้เกี่ยวกับตัวเลขเดียวกันในที่สาธารณะ ไม่มีใครเคยทำเช่นนี้กับผู้พิพากษา เราจะไม่มีวันรู้ว่ามีกี่ครั้งที่ผู้พิพากษามองไปที่บอร์เดนและพราเตอร์แล้วเข้าใจผิดในหัวของเขา เพราะหัวไม่เก็บบันทึก เรื่องอื้อฉาวของซอฟต์แวร์นั้นไม่ใช่เพราะมันมีอคติ แต่เป็นเพราะเป็นครั้งแรกที่อคตินั้นทิ้งร่องรอยไว้

อคติเป็นสภาพธรรมดาของการตัดสินใจทุกอย่างที่มนุษย์เคยทำ นี่ไม่ใช่การมองโลกในแง่ร้าย มันเป็นเพียงการตั้งค่า สิ่งที่หายาก สิ่งที่เคยหายากเสมอ คือความสามารถในการตรวจสอบการตัดสินใจหลังจากนั้น สังคมทุกแห่งดำเนินไปด้วยผู้คนที่บอกเราว่าสิ่งใดเป็นความจริงและเราไม่มีวิธีการตรวจสอบที่เป็นรูปธรรม สำหรับเวลานานมันคือบาทหลวง จากนั้นก็เป็นนักวิทยาศาสตร์ จากนั้นผู้พิพากษา แพทย์ นักข่าว เรามอบหมายความจริงเพราะเราต้องทำ ไม่มีใครสามารถตรวจสอบทุกอย่างด้วยตนเองได้ ดังนั้นเราจึงแต่งตั้งผู้คนให้ทำแทนเรา และจากนั้นเราก็หวัง

วิทยาศาสตร์ควรจะเป็นสถานที่เดียวที่ไม่จำเป็นต้องหวัง การตรวจสอบโดยเพื่อน การทำซ้ำ และอุปกรณ์ทั้งหมดมีอยู่เพื่อให้การอ้างสิทธิ์ไม่ต้องพึ่งพาชื่อเสียงที่ดีของผู้เรียกร้อง โดยส่วนใหญ่แล้วมันไม่ได้ทำงานแบบนั้น ในปี 2005 จอห์น ไออานนิดิสได้เผยแพร่เอกสารที่มีชื่อที่สดใสว่า "ทำไมผลการวิจัยที่เผยแพร่ส่วนใหญ่จึงเป็นเท็จ" และปีที่ผ่านมานั้นไม่เป็นมิตรกับใครก็ตามที่หวังว่าเขาจะพูดเกินจริง นักจิตวิทยาชื่อแดริล เบมได้เอกสารที่อ้างว่ามีหลักฐานสำหรับการรับรู้ทางพิเศษผ่านการตรวจสอบโดยเพื่อนในวารสารชั้นนำในปี 2011 เมื่อผู้วิจัยคนอื่นทำการทดลองอีกครั้งและไม่พบอะไร สี่วารสารปฏิเสธที่จะเผยแพร่ความล้มเหลว โดยอ้างว่าการทำซ้ำไม่ใช่เรื่องใหม่ ในช่วงเวลาเดียวกัน ดีเดอริค สเตเปลถูกจับได้ว่าประดิษฐ์ข้อมูลในหลายการศึกษา เขามีการถอนตัวถึงห้าสิบแปดครั้ง เครื่องจักรที่สร้างขึ้นเพื่อจับสิ่งนี้กลับไม่สามารถจับได้ด้วยเหตุผลที่ชัดเจน ผู้ที่ทำการแก้ไขมีอาชีพ และอาชีพคือผลประโยชน์ และคุณไม่สามารถทำการทดลองซ้ำกับคนเพื่อดูว่าผลประโยชน์ของพวกเขาทำให้การตัดสินใจของพวกเขาเปลี่ยนไปอย่างไร

ผู้คนชอบที่จะบอกว่าปัญหาการทำซ้ำพิสูจน์ว่าวิทยาศาสตร์สามารถแก้ไขตัวเองได้ มันทำได้ในที่สุด แต่มันก็ต้องใช้คนภายนอก ใช้เวลาสิบปี และความอับอายสาธารณะจำนวนมากเพื่อให้การแก้ไขเกิดขึ้น ซึ่งเป็นสิ่งแปลกที่จะเรียกว่าการแก้ไขตัวเอง

กฎหมายไม่ดีไปกว่านี้ และมันซื่อสัตย์เกี่ยวกับเรื่องนี้เพียงโดยบังเอิญ เดวิด มัสตาร์ด ผู้ศึกษาการตัดสินโทษของรัฐบาลกลาง พบว่าจำเลยผิวดำได้รับโทษที่ยาวนานกว่าจำเลยผิวขาวที่เปรียบเทียบได้ประมาณสิบสองเปอร์เซ็นต์ หากสำรวจผู้พิพากษา เก้าสิบเจ็ดเปอร์เซ็นต์ของพวกเขาจะบอกคุณว่าพวกเขาเหนือกว่าค่าเฉลี่ยในการหลีกเลี่ยงสิ่งที่มัสตาร์ดวัดไว้ ส่วนที่ฉันชอบที่สุดในวรรณกรรมคือการศึกษาที่มีชื่อเสียง "ผู้พิพากษาหิว" ซึ่งกล่าวว่าคณะกรรมการปล่อยตัวจะไร้ความปรานีในช่วงเวลาก่อนอาหารกลางวัน ทุกคนชอบมัน แต่ปรากฏว่ามันอาจจะไม่เป็นความจริง ส่วนใหญ่ของผลกระทบสามารถอธิบายได้จากวิธีที่น่าเบื่อในการจัดเรียงคดีในระหว่างวัน เรายังคงยึดมั่นในเรื่องนี้ เพราะมันยืนยันสิ่งที่เราเชื่ออยู่แล้ว ซึ่งเป็นปัญหาทั้งหมดที่แสดงสด: อคติที่ทำงานอยู่กับเรา ขณะที่เราอ่านเกี่ยวกับอคติ

ที่นี่ใครบางคนมักจะบอกว่าปัญหาที่ลึกกว่าคือระบบทุนนิยม ว่าตลาดให้รางวัลกับการชนะและไม่มีความรักโดยเฉพาะสำหรับความจริง นั่นถูกต้องครึ่งหนึ่ง และครึ่งที่ผิดคือสิ่งที่น่าสนใจ ตลาดให้รางวัลกับสิ่งที่คุณให้คะแนนมัน คะแนนมันจากความสนใจและคุณจะได้สิ่งที่ไม่ดี คะแนนมันจากความถูกต้องและคุณจะได้เครื่องมือค้นหาความจริงที่ดีที่สุดที่ใครเคยสร้าง ตลาดการคาดการณ์ ซึ่งผู้คนเดิมพันด้วยเงินจริงเกี่ยวกับสิ่งที่จะเกิดขึ้น มักจะชนะเหนือคณะผู้เชี่ยวชาญที่ได้รับค่าจ้างให้รู้ ฮาเยคชี้ให้เห็นเมื่อแปดสิบปีที่แล้วว่าระบบราคาเองเป็นเครื่องจักรขนาดใหญ่ในการค้นหาสิ่งที่สำนักงานกลางใด ๆ ไม่สามารถรวบรวมได้ ดังนั้นศัตรูจึงไม่เคยเป็นผลประโยชน์ และไม่เคยเป็นตลาด ศัตรูคือผลประโยชน์ที่คุณไม่สามารถตรวจสอบได้

ซึ่งนำเรามาสู่สมาชิกใหม่ล่าสุดของบาทหลวง ปัญญาประดิษฐ์คือความจริงที่ทรงพลังที่สุดที่เคยสร้างขึ้น และโดยระยะทางที่เข้มข้นที่สุด มันตอบสนองด้วยเสียงที่เรียบของผู้เชี่ยวชาญที่อดทน และผู้คนเชื่อมันเหมือนที่พวกเขาเคยเชื่อสารานุกรม ยกเว้นว่าความรู้ไม่ได้พูดกลับ ฉันสร้างบริษัท AI เป็นอาชีพ และใช้เวลาอย่างน้อยเท่ากับเวลาที่ฉันกังวลเกี่ยวกับว่าใครจะเป็นเจ้าของมันในที่สุด อันตรายไม่ได้อยู่ในนิยายวิทยาศาสตร์ เครื่องจักรที่คล่องแคล่วซึ่งไม่มีใครนอกบริษัทไม่กี่แห่งสามารถตรวจสอบได้ นั่งอยู่ระหว่างผู้คนพันล้านและทุกสิ่งที่พวกเขาต้องการรู้ เป็นอันตรายมากพอในตัวมันเอง นี่เป็นปัญหาหรือไม่? เพียงถ้าคุณคิดว่ามันสำคัญว่าใครจะยืนอยู่ระหว่างคนหนึ่งกับทุกคำถามที่เขาจะถามตลอดชีวิตของเขา ออราเคิลที่ปิดตัวเดียวคือบาทหลวงเก่าอีกครั้ง โดยมีเวลาทำงานที่ดีกว่า

แต่มีสิ่งใหม่ที่แท้จริงที่เสนอ และมันคือสิ่งที่ควรค่าแก่การต่อสู้ คุณสามารถนำโมเดลขึ้นศาลได้ คุณสามารถทดลองมันได้ล้านครั้งและดูว่ามันทำอะไร ตั้งมันให้ตอบเหมือนกันสองครั้งและมันจะทำ ซึ่งมากกว่าที่คุณจะพูดได้สำหรับอำนาจมนุษย์ใด ๆ ที่เคยมีชีวิตอยู่ คุณสามารถทดสอบมันในทุกกลุ่มที่คุณสนใจและวัดว่ามันล้มเหลวอย่างไร หากน้ำหนักของมันเปิดเผย คุณสามารถอ่านมันได้ และวิทยาศาสตร์ใหม่ของการตีความกำลังเรียนรู้ที่จะอ่านเหตุผลภายในอย่างช้า ๆ แม้ว่าเราจะยังห่างไกลจากจุดสิ้นสุดของเส้นทางนั้น การศึกษาจากทูเลนได้ดูการตัดสินใจเกี่ยวกับโทษห้าหมื่นครั้งในเวอร์จิเนีย ซึ่งผู้พิพากษามีอัลกอริธึมให้ปรึกษา และอัลกอริธึมทำสองสิ่งในเวลาเดียวกัน มันทำให้โทษมีความสอดคล้องมากขึ้น และทำให้เห็นอคติทางเชื้อชาติที่การใช้ดุลยพินิจธรรมดาได้ปกปิดไว้เป็นเวลาหนึ่งศตวรรษ นั่นคือการแลกเปลี่ยน คุณยอมแพ้ความไม่โปร่งใสที่สะดวกสบายของลำไส้มนุษย์ และคุณจะได้สิ่งที่คุณสามารถตรวจสอบได้ คุณไม่สามารถเรียกบันทึกความรู้สึกได้ คุณสามารถเรียกบันทึกโมเดลได้

นี่คือเหตุผลที่สิ่งที่ฟังดูเหมือนงานอดิเรกสามอย่างแยกจากกันจริง ๆ แล้วเป็นเครื่องจักรเดียว คุณสามารถตรวจสอบกลไก ซึ่งเป็นสิ่งที่โอเพ่นซอร์สมีไว้สำหรับ คุณสามารถพิสูจน์ว่าโมเดลใดผลิตคำตอบใด ซึ่งเป็นสิ่งที่งานเข้ารหัสที่กำลังดำเนินการอยู่ภายใต้ชื่อเช่น zkML มีไว้สำหรับ และคุณสามารถสร้างการจัดเรียงทั้งหมดเพื่อให้ไม่มีใครสามารถเปลี่ยนโมเดลอย่างเงียบ ๆ หรือปิดมันได้ ซึ่งเป็นสิ่งที่ส่วนที่ต้านทานการเซ็นเซอร์มีไว้สำหรับ กลไกเหล่านี้มีข้อจำกัดที่ต้องพิจารณาอย่างตรงไปตรงมา หากเปิดเผยเฉพาะค่าน้ำหนักของโมเดล แต่ปกปิดข้อมูลฝึก ก็ไม่อาจตรวจสอบได้อย่างครบถ้วน การตรวจสอบด้วยวิทยาการเข้ารหัสต้องประเมินโดยคำนึงถึงต้นทุนและขนาดของโมเดลที่ตรวจสอบด้วย สิ่งเหล่านี้คือปัญหาด้านวิศวกรรมและธรรมาภิบาลที่ต้องแก้ ไม่ใช่รายละเอียดที่ควรซ่อนไว้ในโบรชัวร์

ข้อโต้แย้งต้องอยู่รอดจากการคัดค้านที่ดีที่สุดของตัวเอง ดังนั้นนี่คือมัน การตรวจสอบเครื่องจักรไม่ได้ทำให้โลกที่เครื่องจักรเรียนรู้จากนั้นสะอาดขึ้น นักวิจัยสองคนคือ Dressel และ Farid แสดงให้เห็นว่าคนธรรมดาที่ใช้ข้อเท็จจริงเจ็ดข้อสามารถคาดการณ์การกระทำผิดซ้ำได้ดีพอ ๆ กับซอฟต์แวร์ฟลอริดาที่ใช้ข้อมูลหนึ่งร้อยสามสิบเจ็ดข้อ และสร้างช่องว่างทางเชื้อชาติเดียวกัน อคติอยู่ในโลก ในบันทึกการจับกุม ในประวัติศาสตร์ที่เลี้ยงดูสิ่งนี้ โมเดลที่โปร่งใสอย่างสมบูรณ์ที่ฝึกอบรมจากความเป็นจริงที่บิดเบี้ยวจะทำซ้ำความบิดเบี้ยวอย่างซื่อสัตย์ ตอนนี้สวมเสื้อกาวน์ มีข่าวร้ายกว่านั้น และมันมาจากคณิตศาสตร์ของความยุติธรรมเอง เมื่อสองกลุ่มกระทำผิดในอัตราที่สังเกตได้แตกต่างกัน คุณไม่สามารถสร้างตัวทำนายที่มีการปรับเทียบอย่างเท่าเทียมกันและมีความสมดุลในข้อผิดพลาดได้ คุณต้องเลือกหนึ่งอย่าง ดังนั้นการตรวจสอบจึงไม่มอบคำตอบที่ถูกต้องให้คุณ มันมอบการแลกเปลี่ยนในแสงสว่าง และยังมีคนที่ต้องเลือกว่าต้องการความยุติธรรมแบบไหน ปัญญาประดิษฐ์ไม่ได้ยกเลิกการเมือง มันย้ายการเมืองไปยังการเลือกสิ่งที่เครื่องจักรถูกบอกให้เพิ่มประสิทธิภาพ รุ่นใหม่ของ "ใครเฝ้าระวังผู้เฝ้าระวัง" คือ "ใครเลือกวัตถุประสงค์"

สังเกตว่าสิ่งนี้ทำอะไรกับสัญชาตญาณเดิม ซึ่งบอกว่า AI จะกลายเป็นแหล่งความจริงเดียวของเรา และนี่คือเหตุผลที่โอเพ่นซอร์สต้องชนะ สัญชาตญาณนั้นถูกต้องและการใช้คำผิดทาง องค์กรเดียวของความจริงคือสิ่งที่อันตรายที่สุดที่คุณสามารถสร้างได้ เพราะมันคือการจัดเรียงเดียวที่ทุกคนสามารถผิดในทิศทางเดียวกันได้ในเวลาเดียวกัน โอเพ่นซอร์สไม่ได้ทำให้ AI เป็นแหล่งความจริงเดียว มันคือสิ่งเดียวที่หยุดไม่ให้ AI กลายเป็นแหล่งที่ถูกจับได้เดียว สิ่งที่ควรต้องการไม่เคยเป็นออราเคิลเปิดเดียว มันคือหลายออราเคิลที่ตรวจสอบได้ ที่โต้แย้งกัน เหมือนที่ราคาต่อรองในตลาดและการคาดเดาโต้แย้งในวิทยาศาสตร์ที่ทำงาน พอปเปอร์เห็นรูปร่างของสิ่งนี้นานก่อนที่เทคโนโลยีจะมีอยู่ สังคมเปิดคือสังคมที่การอ้างสิทธิ์ใด ๆ รวมถึงของผู้ปกครอง สามารถถูกลากเข้าสู่ที่สาธารณะและถูกโค่นล้ม ความถูกต้องไม่เคยเป็นคำมั่นสัญญา ความสามารถในการแก้ไขคือสิ่งที่เป็น

กลับไปที่บอร์เดนและพราเตอร์อีกครั้ง เครื่องจักรได้ทำให้พวกเขาผิดอย่างสิ้นเชิง และนั่นแปลกพอสมควรคือความก้าวหน้า เพราะมันสามารถถูกจับได้ เราไม่ได้ตัดสินใจว่าจะไว้วางใจเครื่องจักรกับความจริงหรือไม่ การตัดสินใจนั้นอยู่เบื้องหลังเราแล้ว เราทำเช่นนั้นทุกครั้งที่เราถามแทนที่จะมอง คำถามเดียวที่ยังมีชีวิตอยู่คือเราจะสร้างมันขึ้นมาเพื่อให้สามารถถูกนำเข้าสู่ห้องพิจารณาคดี อ่านทีละบรรทัด และถูกขัดแย้งได้หรือไม่ ทางเลือกนี้ถูกกำหนดอย่างต่อเนื่องผ่านใบอนุญาต เอกสารของโมเดล และการกำกับดูแลระบบที่เราใช้งาน เมื่อพิจารณาจากหลักการพื้นฐาน มันไม่ใช่การตัดสินใจที่ใกล้เคียง หากสิ่งหนึ่งจะบอกพวกเราทุกคนว่าสิ่งใดเป็นความจริง มันไม่สามารถถูกอนุญาตให้เป็นของใครสักคนได้