ปลุกโกเลมให้ตื่น

ตอนเป็นวัยรุ่น ผมได้อ่านงานของนอร์เบิร์ต วีเนอร์

ผมเจอหนังสือของเขาโดยบังเอิญ ไม่รู้ด้วยซ้ำว่าเขาเป็นใคร และไม่ได้เข้าใจทั้งหมด แต่การพบเจอบางอย่างก็ทิ้งร่องรอยไว้ก่อนที่เราจะรู้ว่าเพราะอะไร วันนี้ หลังจากอยู่กับเทคโนโลยีมายี่สิบปี ผมเพิ่งตระหนักว่าการอ่านโดยบังเอิญครั้งนั้นเตรียมผมให้พร้อมสำหรับปัญญาประดิษฐ์ได้ดีกว่าคอร์สใด หนังสือใหม่เล่มใด หรือเธรดของผู้เชี่ยวชาญคนไหน

วีเนอร์เป็นเด็กอัจฉริยะ จบมัธยมปลายตอนอายุสิบเอ็ด ได้ปริญญาเอกจากฮาร์วาร์ดตอนสิบเจ็ด เขาเรียนตรรกศาสตร์กับเบอร์ทรันด์ รัสเซลล์ที่เคมบริดจ์ เรียนคณิตศาสตร์กับฮิลแบร์ตที่เกิททิงเงิน แล้วใช้ชีวิตที่เหลืออยู่ที่ MIT เขาเป็นนักคณิตศาสตร์ตัวจริง ประเภทที่ชื่อของเขายังติดอยู่กับสิ่งที่เราใช้กันจนทุกวันนี้ เช่น กระบวนการวีเนอร์ ซึ่งอธิบายการเคลื่อนที่แบบบราวเนียน การสั่นไหวแบบสุ่มของอนุภาคในของไหล แต่นั่นไม่ใช่เหตุผลที่เราจดจำเขา

ช่วงสงครามโลกครั้งที่สอง เขาได้รับโจทย์ที่เป็นรูปธรรมมาก จะยิงเครื่องบินข้าศึกให้ตกอย่างไร ปืนใหญ่ต้องไม่เล็งไปยังตำแหน่งที่เครื่องบินอยู่ แต่ต้องเล็งไปยังตำแหน่งที่มันจะไปถึงในอีกไม่กี่วินาที ระหว่างที่กระสุนพุ่งขึ้นไป ดังนั้นจึงต้องทำนายเส้นทางของนักบินที่กำลังพยายามทำตัวให้คาดเดาไม่ได้ และตรงนี้เอง วีเนอร์มองเห็นบางอย่างที่ไม่เคยมีใครอธิบายได้ชัดเท่าเขามาก่อน

ปืนใหญ่ นักบิน และกระสุนรวมกันเป็นระบบ แต่ละส่วนปรับพฤติกรรมตามข้อมูลที่ได้รับจากส่วนอื่น มีวงจรอยู่ และวีเนอร์ก็ตระหนักว่าวงจรนี้ปรากฏอยู่ทุกหนแห่ง ในมือที่เอื้อมไปหยิบแก้ว เพราะตาคอยแก้การเคลื่อนไหวตลอดเวลา ในร่างกายที่รักษาอุณหภูมิ ในเทอร์โมสตัท ในระบบเศรษฐกิจ ในระบบประสาทของสัตว์ ธรรมชาติของเนื้อวัตถุไม่สำคัญเลย จะเป็นเนื้อหนังหรือโลหะก็ไม่ต่างกัน สิ่งสำคัญคือข้อมูลที่ไหลเวียนและถูกแก้ไข

ปี 1948 เขาเรียกมันว่าไซเบอร์เนติกส์ คำนี้มาจากภาษากรีก kubernêtês หมายถึงผู้ควบคุมเรือ ผู้ถือหางเสือ เป็นรากเดียวกับคำว่าปกครอง และแนวคิดทั้งหมดอยู่ในคำเดียว คือฟีดแบ็ก หรือข้อมูลป้อนกลับ ระบบอัจฉริยะ ไม่ว่าจะมีชีวิตหรือถูกสร้างขึ้น จะวัดช่องว่างระหว่างสิ่งที่ต้องการกับสิ่งที่เป็นอยู่ จากนั้นแก้ไข วัดใหม่ แล้วแก้ไขอีก ไม่รู้จบ

ลองคิดดูว่านั่นหมายความว่าอย่างไร ในปี 1948 นานก่อนคอมพิวเตอร์สำหรับผู้บริโภคเครื่องแรก ชายคนหนึ่งยืนยันว่าสัตว์กับเครื่องจักรอยู่ภายใต้กฎเดียวกัน เส้นแบ่งระหว่างสิ่งมีชีวิตกับสิ่งประดิษฐ์ไม่ใช่เส้นแบ่งของเนื้อสาร แต่เป็นเส้นแบ่งของการจัดระบบ นี่คือพื้นดินเดียวกับที่ AI จะเติบโตขึ้นในอีกห้าสิบปีต่อมา วีเนอร์จัดฉากไว้แล้ว แต่ไม่ได้อยู่ดูละคร

สิ่งที่ทำให้ผมหลงใหลในตัวเขามาตลอดคือสิ่งที่เกิดกับแนวคิดของเขาหลังจากนั้น ไซเบอร์เนติกส์ไม่ได้อยู่รอดในฐานะสาขาวิชา วันนี้คุณจะไม่พบภาควิชาไซเบอร์เนติกส์ในมหาวิทยาลัย มันทำสิ่งที่หายากกว่านั้น มันละลายเข้าไปในทุกสิ่ง วิทยาการคอมพิวเตอร์รับวงจรแก้ไขตัวเองไป และการเรียนรู้แบบเสริมกำลังที่ขับเคลื่อนโมเดลปัจจุบันก็คือฟีดแบ็กของวีเนอร์ที่แทบไม่ได้เปลี่ยนหน้าตา วิทยาศาสตร์การรู้คิดรับแนวคิดว่าสมองเป็นเครื่องประมวลผลข้อมูล วิทยาการหุ่นยนต์และระบบอัตโนมัติรับทฤษฎีการควบคุม ซึ่งเป็นลูกโดยตรงที่สุดของมัน นิเวศวิทยารับวิธีคิดเรื่องสมดุลพลวัต เศรษฐศาสตร์รับแบบจำลองการกำกับปรับสมดุล ไซเบอร์เนติกส์ให้กำเนิดสิ่งต่าง ๆ มากเสียจนตายเพราะความอุดมสมบูรณ์ของตัวเอง เราไม่สอนมันอีกแล้ว เพราะเราใช้ชีวิตอยู่ข้างในมัน

แต่หนังสือที่ผมอยากส่งถึงมือคุณจริง ๆ คือเล่มสุดท้าย ชื่อ God and Golem, Inc. วีเนอร์ตีพิมพ์ในปี 1964 ปีเดียวกับที่เขาเสียชีวิต หนังสือได้รับรางวัลพูลิตเซอร์หลังจากเขาจากไป เป็นหนังสือเล่มเล็ก มีชื่อรองว่าด้วยจุดที่ไซเบอร์เนติกส์ปะทะกับศาสนา และก่อน ChatGPT ถึงหกสิบปี เขาตั้งปัญหาเดียวกับที่ห้องวิจัย AI ทุกแห่งทั่วโลกกำลังขบคิดในวันนี้ไว้แล้ว

วีเนอร์เริ่มจากตำนานโกเลม สิ่งมีชีวิตจากดินเหนียวที่แรบไบแห่งปรากปลุกขึ้นมารับใช้ตน ก่อนที่มันจะหลุดจากการควบคุมของผู้เป็นนาย เขาเสริมด้วยเรื่องสั้นอังกฤษเก่าเรื่อง The Monkey’s Paw ซึ่งเครื่องรางทำให้คำขอสามข้อเป็นจริง แต่ด้วยวิธีที่ตรงตัวและโหดร้ายที่สุดเท่าที่จะเป็นได้ คู่สามีภรรยาขอเงิน ลูกชายตายในอุบัติเหตุที่โรงงาน แล้วเงินก็มาในรูปค่าชดเชย คำขอเป็นจริงแล้ว ตามตัวอักษรทุกคำ

นี่คือสิ่งที่วีเนอร์เข้าใจ อันตรายของเครื่องจักรทรงพลังไม่ใช่การที่มันหันมาเล่นงานเราด้วยความมุ่งร้าย อันตรายคือมันเชื่อฟังเราอย่างสมบูรณ์แบบ ทำตรงตามที่เราขอ ไม่ใช่ตามที่เราต้องการ เครื่องจักรที่เรียนรู้ได้จะพัฒนาพฤติกรรมที่ผู้สร้างไม่เคยคาดคิดหรือปรารถนา เขายกตัวอย่างโปรแกรมเล่นหมากฮอสที่ลงท้ายด้วยการชนะคนเขียนโปรแกรม เครื่องจักรก้าวเลยเจตนาของมนุษย์ โดยไม่มีสามัญสำนึก ไม่มีคุณค่าที่เข้าใจกันโดยนัย ไม่มีทุกสิ่งที่เราถือว่าเข้าใจกันโดยไม่เอ่ยเมื่อขออะไรสักอย่าง เขาเขียนว่า หากเรามอบหมายงานให้เครื่องจักรที่เมื่อลงมือทำแล้วเราไม่อาจติดตามการทำงานของมันได้ เราควรมั่นใจอย่างยิ่งว่าสิ่งที่เราขอนั้นคือสิ่งที่เราต้องการจริง ๆ

นี่คือปัญหาการจัดแนว AI ให้ตรงกับเจตนาของมนุษย์ ตรงกันทุกคำ ถูกตั้งไว้ในปี 1964 โดยชายที่ไม่เคยเห็นโครงข่ายประสาทเทียมแม้แต่เครือข่ายเดียว

แล้วผมได้อะไรจากทั้งหมดนี้ และทำไมผมจึงคิดว่าการอ่านครั้งนั้นตอนวัยรุ่นเตรียมผมให้พร้อมกับสิ่งที่กำลังมา

อย่างแรก ผมเรียนรู้ที่จะคิดเป็นวงจรแทนเส้นตรง AI ไม่ใช่เครื่องมือที่เปิดใช้ครั้งเดียวแล้วเก็บเข้าที่ มันเป็นระบบที่เราเข้าไปมีความสัมพันธ์ด้วย รับสิ่งที่เราป้อนให้ แก้ไขตัวเอง และแก้ไขเรากลับด้วย ความสัมพันธ์เป็นวงกลม คนที่คิดว่าตนควบคุมเครื่องมือโดยไม่เห็นว่าตัวเองก็อยู่ในวงจรนั้น กำลังเข้าใจธรรมชาติของสิ่งที่ตนใช้อยู่ผิด

จากนั้น ผมเข้าใจตั้งแต่เนิ่น ๆ ว่าการถ่ายทอดเจตนาให้ชัดสำคัญกว่าทุกอย่าง บทเรียนของโกเลมคือบทเรียนเดียวที่สำคัญจริง ๆ ในวันนี้ เครื่องจักรทรงพลังจะทำสิ่งที่ขอตามตัวอักษร ทุกอย่างอยู่ที่ความแม่นยำของคำขอ สิ่งที่เราเรียกกันวันนี้ว่าการเขียนพรอมป์ต์เป็น ก็ไม่มีอะไรมากไปกว่าไซเบอร์เนติกส์ประยุกต์ บอกสิ่งที่ต้องการอย่างแม่นยำแก่บางสิ่งที่จะไม่มีวันเดาส่วนที่เหลือให้เรา

แล้วก็มีเรื่องความรับผิดชอบ วีเนอร์ใช้ช่วงท้ายของชีวิตย้ำเรื่องง่าย ๆ การมอบความสามารถให้เครื่องจักรไม่ได้หมายถึงการมอบวิจารณญาณให้มัน เครื่องจักรตัดสินใจได้ว่าจะทำอย่างไร แต่ไม่มีวันตัดสินใจแทนเราได้ว่าทำไปทำไม หรือควรทำหรือไม่ เส้นนี้ไม่ขยับ และคนที่ยืนอยู่บนเส้นนั้นคือเรา

ข้อสุดท้ายอาจสำคัญที่สุด และเป็นเหตุผลที่ผมรักเขา วีเนอร์ไม่ใช่ผู้พยากรณ์ที่ตื่นเต้นไปกับทุกอย่าง เขาเป็นนักมนุษยนิยมที่กังวล เขาปฏิเสธสัญญาจากกองทัพ เตือนเรื่องระบบอัตโนมัติกับการว่างงานก่อนที่มันจะกลายเป็นกระแสนานมาก เขายืนยันศักดิ์ศรีของมนุษย์ต่อหน้าเครื่องจักรที่เขาเองมีส่วนช่วยให้เป็นไปได้ การอยู่แนวหน้าของ AI ไม่ได้แปลว่าต้องหลับหูหลับตารับมันมาใช้ และไม่ได้แปลว่าต้องกลัวมันด้วย แต่หมายถึงการยังมองเห็นชัดว่าใครรับใช้ใคร ความเชี่ยวชาญทางเทคนิคที่ไม่คิดถึงจุดหมาย คือสิ่งที่วีเนอร์หวั่นเกรงพอดี

ผมนึกถึงวีเนอร์อีกครั้งในยุคที่ดาริโอ อะโมเดอีรับบทผู้พยากรณ์หายนะ หัวหน้า Anthropic ใช้เวลาส่วนหนึ่งเตือนเรา เรื่องความเสี่ยงที่โมเดลของเขาเองจะกลายเป็นอันตราย เรื่องการว่างงานที่กำลังมา เขาส่งสัญญาณเตือนไปพร้อมกับสร้างเครื่องจักรที่ทรงพลังที่สุดเท่าที่จะทำได้ และนี่คือจุดที่ผมติดใจ ไม่ใช่คำเตือน แต่เป็นความหน้าไหว้หลังหลอก เพราะใต้ความห่วงใยที่แสดงออก มีการอ้างสิทธิ์ที่ผมทนไม่ได้ บริษัทเอกชนแห่งหนึ่งตั้งตนเป็นผู้ตัดสินว่าอะไรดีต่อมนุษยชาติ อยากเขียนกติกาในขณะเดียวกับที่ลงเล่นเพื่อชนะ บริษัทไม่มีหน้าที่ไปกำหนดกติกาเหล่านั้น ไม่ใช่บทบาทของมัน และมันไม่มีความชอบธรรมเช่นนั้น ระหว่างภูมิปัญญาที่ผู้นำยกย่องตนเองแล้วตัดสินคนเดียวว่าอะไรอันตราย กับการถกเถียงและทดสอบอย่างเปิดกว้างของตลาด การใช้งาน และผู้คนนับล้านที่ลองแล้วตัดสินใจ ผมเชื่ออย่างหลัง วีเนอร์ไม่เคยสั่งใคร เขาพูดความสงสัยออกมาดัง ๆ แล้วปล่อยให้คนอื่นตัดสินใจ นี่คือความแตกต่างทั้งหมดระหว่างการเตือนกับการตั้งตัวเป็นผู้พิทักษ์

สุดท้ายแรบไบก็ต้องหยุดโกเลม คำถามที่เราควรถามไม่ใช่ว่าเราจะสร้างสิ่งมีชีวิตนี้เป็นหรือไม่ เรื่องนั้นเรารู้แล้ว แต่คือเราจะยังพูดได้อยู่ไหมว่าแท้จริงแล้วเราต้องการอะไร