ผู้ก่อตั้ง Anthropic: เป็นไปได้ที่จะ "ใช้รังสีเอกซ์" ในแบบจำลองขนาดใหญ่ และ AGI สามารถรับรู้ได้ใน 2-3 ปี

บทความนี้รวบรวมจากการสัมภาษณ์พอดแคสต์กับ Dario Amodei CEO ของ Anthropic

Anthropic เป็นบริษัทอันดับสองในวงจร LLM ก่อตั้งขึ้นในเดือนมกราคม 2564 โดย Dario Amodei ในเดือนกรกฎาคมปีนี้ Anthropic ได้เปิดตัว Claude 2 รุ่นใหม่ล่าสุด Dario Amodei เคยเป็นรองประธานฝ่ายวิจัยและความปลอดภัยที่ OpenAI เขาก่อตั้ง Anthropic เพราะเขาเชื่อว่ามีปัญหาด้านความปลอดภัยมากมายในโมเดลขนาดใหญ่ที่ต้องแก้ไขอย่างเร่งด่วน ดังนั้น Anthropic จึงให้ความสำคัญกับ AI Safety เป็นอย่างมาก โดยมีวิสัยทัศน์คือ เพื่อสร้างระบบ AI ที่เชื่อถือได้ (เชื่อถือได้) อธิบายได้ ตีความได้ และบังคับทิศทางได้ ความแตกต่างที่ใหญ่ที่สุดระหว่างเส้นทาง Anthropic และ OpenAI ก็คือการเน้นที่ความสามารถในการตีความ

ในการสัมภาษณ์ ดาริโออธิบายจุดสนใจของ Anthropic และการลงทุนในความสามารถในการตีความ การตีความเป็นหนึ่งในวิธีการสำคัญในการรับรองความปลอดภัยของแบบจำลอง **คล้ายกับการตรวจเอ็กซ์เรย์และ MRI บนแบบจำลอง ทำให้นักวิจัยสามารถเข้าใจสิ่งที่เกิดขึ้นภายในแบบจำลองและระบุแหล่งที่มาของความเสี่ยงที่เป็นไปได้ เพื่อให้เข้าใจอย่างแท้จริงว่าเหตุใด Scaling Law จึงใช้งานได้และวิธีบรรลุการจัดตำแหน่งนั้นแยกออกจากการตีความไม่ได้ **Dario เชื่อว่าความปลอดภัยของ AI และการจัดตำแหน่งมีความสำคัญพอๆ กัน เมื่อมีปัญหาเกี่ยวกับการจัดตำแหน่ง ควรให้ความสนใจปัญหาด้านความปลอดภัยของ AI ที่เกิดจากการละเมิดอย่างเท่าเทียมกัน

ดาริโอเชื่อว่าความสามารถของแบบจำลองจะดีขึ้นอย่างมากในอีก 2-3 ปีข้างหน้า และอาจถึงขั้น "เข้าครอบงำสังคมมนุษย์" แต่ก็ไม่สามารถมีส่วนร่วมในการเชื่อมโยงทางธุรกิจและเศรษฐกิจได้อย่างแท้จริง ทั้งนี้ ไม่ใช่เพราะความสามารถของ โมเดลแต่เนื่องจากแรงเสียดทานที่มองไม่เห็นต่างๆ นี้เอง ผู้คนไม่ได้ใช้โมเดลอย่างมีประสิทธิภาพเพียงพอที่จะตระหนักถึงศักยภาพที่แท้จริงในชีวิตและการทำงานจริง

เมื่อเปรียบเทียบกับ CEO ของบริษัท AI ส่วนใหญ่แล้ว Dario แทบจะไม่เข้าร่วมในการสัมภาษณ์สาธารณะและไม่ค่อยแสดงความคิดเห็นของเขาบน Twitter Dario อธิบายว่านี่เป็นทางเลือกของเขาเอง

ต่อไปนี้คือสารบัญของบทความนี้ และขอแนะนำให้อ่านร่วมกับประเด็นหลัก

👇

01 เหตุใดกฎหมายมาตราส่วนจึงใช้ได้ผล

02 ความสามารถของแบบจำลองจะทัดเทียมกับมนุษย์ได้อย่างไร

03 Alignment: การตีความคือ "X-raying" โมเดล

04 AGI Safety: ความปลอดภัยของ AI และความปลอดภัยทางไซเบอร์

05 ความน่าเชื่อถือเชิงพาณิชย์และผลประโยชน์ระยะยาว

ทำไม Scaling Law ถึงใช้งานได้

**Dwarkesh Patel: ความเชื่อของคุณในเรื่อง Scaling Law มาจากไหน? เหตุใดความสามารถของโมเดลจึงแข็งแกร่งขึ้นเมื่อขนาดของข้อมูลเพิ่มขึ้น **

**Dario Amodei: Scaling Law เป็นการสรุปเชิงประจักษ์ในระดับหนึ่ง เรารับรู้ปรากฏการณ์นี้จากข้อมูลและปรากฏการณ์ต่างๆ และสรุปเป็น Scaling Law แต่ไม่มีคำอธิบายที่เป็นที่ยอมรับโดยทั่วไปและดีเป็นพิเศษที่จะอธิบาย อธิบายสิ่งที่ หลักการทำงานของมันคือ **

ถ้าให้อธิบาย ผมเองก็เดาว่าน่าจะคล้ายๆ long-tailed distribution หรือ Power Law ในฟิสิกส์ เมื่อมีคุณลักษณะ (คุณลักษณะ) มากมาย ข้อมูลที่มีสัดส่วนค่อนข้างใหญ่มักจะสอดคล้องกับกฎและรูปแบบพื้นฐานที่เด่นชัดกว่า เนื่องจากรูปแบบเหล่านี้มักปรากฏขึ้น ปริมาณข้อมูลที่สอดคล้องกันจึงเป็นธรรมชาติมากกว่า ในขณะที่ข้อมูลหางยาวมีบางส่วนเป็นหลัก กฎเกณฑ์ที่ละเอียดและซับซ้อนยิ่งขึ้น ** ตัวอย่างเช่น เมื่อต้องจัดการกับข้อมูลที่เกี่ยวข้องกับภาษา กฎพื้นฐานบางอย่างสามารถสังเกตได้ในข้อมูลส่วนใหญ่ เช่น กฎพื้นฐานทางไวยากรณ์ เช่น ส่วนของคำพูด โครงสร้างลำดับคำ เป็นต้น และกฎที่ค่อนข้างยาว เป็นไวยากรณ์ที่ซับซ้อน

นี่คือเหตุผลที่ทุกครั้งที่ข้อมูลเพิ่มขึ้นตามลำดับความสำคัญ แบบจำลองสามารถเรียนรู้กฎพฤติกรรมเพิ่มเติมได้ แต่สิ่งที่เราไม่รู้คือเหตุใดจึงมีความสัมพันธ์เชิงเส้นที่สมบูรณ์แบบระหว่างทั้งสอง Gerard Kaplan หัวหน้านักวิทยาศาสตร์ของ Anthropic ใช้มิติเศษส่วน (Fractal Dimension) เพื่ออธิบายเรื่องนี้ แน่นอนว่า คนอื่นๆ กำลังพยายามใช้วิธีอื่นๆ ในการตรวจสอบ Sacling Law แต่เรายังไม่สามารถอธิบายได้ว่าทำไมจนถึงตอนนี้

• มิติเศษส่วน:

Felix Hausdorff นักคณิตศาสตร์ได้เสนอแนวคิดของมิติเศษส่วนเป็นครั้งแรกในปี 1918 ซึ่งต่อมารู้จักกันในชื่อ Hausdorff Dimension สามารถใช้มิติเศษส่วนเพื่ออธิบายโครงสร้างความสัมพันธ์ของฟีเจอร์ที่ซ่อนอยู่ในข้อมูลแมชชีนเลิร์นนิง และให้โมเดลคำอธิบายทางคณิตศาสตร์ที่อยู่เบื้องหลังเอฟเฟ็กต์การปรับขนาด จึงอธิบายได้ว่าทำไมโมเดล AI จึงปรับปรุงประสิทธิภาพด้วยมาตราส่วนได้

**นอกจากนี้ แม้ว่าเราจะทราบเกี่ยวกับการมีอยู่ของกฎมาตราส่วน แต่ก็เป็นการยากที่จะคาดเดาการเปลี่ยนแปลงในความสามารถเฉพาะของแบบจำลอง ในการวิจัย GPT-2 และ GPT-3 เราไม่มีทางรู้ว่าโมเดลสามารถเรียนรู้การคำนวณและตั้งโปรแกรมได้เมื่อใด และความสามารถเหล่านี้จะปรากฏขึ้นอย่างกะทันหัน **สิ่งที่ทำนายได้เฉพาะในระดับตัวเลขเท่านั้น เช่น ค่าสูญเสีย การเปลี่ยนแปลง ค่าเอนโทรปี เป็นต้น ทำนายได้ค่อนข้างแม่นยำ แต่เหมือนว่า เราสามารถทำสถิติข้อมูลสภาพอากาศและทำนายความ แนวโน้มการเปลี่ยนแปลงของสภาพอากาศทั้งหมด แต่เป็นการยากที่จะคาดเดาสภาพอากาศและอุณหภูมิของวันใดวันหนึ่ง

**Dwarkesh Patel: ทำไมจู่ๆ นางแบบถึงมีความสามารถบางอย่างได้? ตัวอย่างเช่น ก่อนหน้านี้มันไม่เข้าใจการบวก แต่ตอนนี้มันเชี่ยวชาญความสามารถในการคำนวณแล้ว? อะไรทำให้เกิดการเปลี่ยนแปลงนี้ **

Dario Amodei: นี่เป็นอีกคำถามที่เรากำลังสำรวจอยู่ เราพยายามใช้วิธีการตีความกลไก (Mechanistic Interpretability) เพื่ออธิบายเรื่องนี้และอธิบายปรากฏการณ์ทางภาษาด้วยแนวคิดคล้ายกับการต่อวงจรคุณสามารถจินตนาการสิ่งเหล่านี้เป็นวงจรที่เชื่อมต่อกัน

มีหลักฐานว่าเมื่อแบบจำลองได้รับอาหารบางอย่าง ความน่าจะเป็นในการให้คำตอบที่ถูกต้องจะเพิ่มขึ้นทันที แต่ถ้าเราดูการเปลี่ยนแปลงก่อนที่แบบจำลองจะให้คำตอบที่ถูกต้องจริงๆ เราจะเห็นว่าความน่าจะเป็นนั้นมาจากล้านหนึ่งในร้อย หนึ่งแสนค่อย ๆ ไต่ขึ้นสู่หนึ่งในพัน ในหลายกรณีเช่นนี้ ดูเหมือนว่าจะมีกระบวนการที่ค่อยเป็นค่อยไปซึ่งเราไม่ได้สังเกตและเรายังไม่ได้ค้นพบ

เราไม่สามารถแน่ใจได้ว่ามี "วงจร" เช่น "การบวก" อยู่เสมอตั้งแต่วันที่ 1 หรือไม่ แต่ค่อยๆ เปลี่ยนจากอ่อนเป็นแรงด้วยกระบวนการเฉพาะ เพื่อให้แบบจำลองสามารถให้คำตอบที่ถูกต้องได้ คำถามเหล่านี้เป็นคำถามที่เราต้องการตอบผ่านการอธิบายเชิงกลไก

• การตีความกลไก:

ความสามารถในการตีความกลไกคือการศึกษาวิศวกรรมย้อนกลับของโครงข่ายประสาทเทียม ซึ่งสามารถใช้เพื่อช่วยให้ผู้คนเข้าใจได้ง่ายขึ้นว่าโมเดลแมปอินพุตกับเอาต์พุตอย่างไร และเป็นวิธีที่จะทำให้เข้าใจถึงความสามารถในการตีความของโมเดล เป้าหมายหลักของความสามารถในการอธิบายกลไกคือการทำความเข้าใจการเรียนรู้เชิงลึกในฐานะวิทยาศาสตร์ธรรมชาติ โดยใช้โครงสร้างและพารามิเตอร์ของแบบจำลองเพื่ออธิบายกระบวนการตัดสินใจและผลการทำนายของแบบจำลอง เพื่อให้ผู้ใช้ที่เป็นมนุษย์สามารถเข้าใจและตรวจสอบหลักการทำงานของ นางแบบ. งานแรกเริ่มมุ่งเน้นไปที่การใช้การแยกตัวประกอบเมทริกซ์และวิธีการแสดงภาพคุณลักษณะเพื่อทำความเข้าใจการแทนในชั้นกลางของเครือข่ายภาพ และเมื่อเร็ว ๆ นี้มุ่งเน้นไปที่การแทนค่าสำหรับเครือข่ายหลายรูปแบบ เช่นเดียวกับการทำความเข้าใจระดับทางเดินของอัลกอริทึมโครงข่ายประสาทเทียม

Anthropic ได้ตีพิมพ์ผลการศึกษาเกี่ยวกับการตีความกลไก "Mechanistic Interpretability, Variables, and the Importance of Interpretable Bases"

**Dwarkesh Patel: มีความสามารถใดที่ไม่ได้มาพร้อมกับขนาดของโมเดลหรือไม่? **

**Dario Amodei: การจัดตำแหน่งโมเดลและความสามารถเกี่ยวกับมูลค่าอาจไม่เกิดขึ้นตามธรรมชาติด้วยขนาดของโมเดล **วิธีคิดแบบหนึ่งคือกระบวนการฝึกอบรมของแบบจำลองนั้นเป็นหลักในการทำนายและทำความเข้าใจโลก และความรับผิดชอบหลักคือเกี่ยวกับข้อเท็จจริง ไม่ใช่ความคิดเห็นหรือค่านิยม แต่มีตัวแปรอิสระอยู่ที่นี่: คุณควรดำเนินการอย่างไร คุณควรมีมุมมองอย่างไร? คุณควรใส่ใจกับปัจจัยใดบ้าง แต่ไม่มีป้ายกำกับข้อมูลสำหรับโมเดลที่จะเรียนรู้จาก ดังนั้นฉันคิดว่าการเกิดขึ้นของ Alignment และ Value เป็นต้น ไม่น่าจะเป็นไปได้

**Dwarkesh Patel: มีความเป็นไปได้ไหมที่ก่อนที่ความสามารถของตัวแบบจะตามทันสติปัญญาของมนุษย์ ข้อมูลที่มีอยู่สำหรับการฝึกอบรมจะถูกใช้จนหมด? **

Dario Amodei: ฉันคิดว่าจำเป็นต้องแยกแยะว่านี่เป็นปัญหาทางทฤษฎีหรือสถานการณ์จริง จากมุมมองทางทฤษฎี เราไม่ได้อยู่ห่างไกลจากการขาดแคลนข้อมูลมากนัก แต่อคติส่วนตัวของฉันคือมันไม่น่าเป็นไปได้ เราสามารถสร้างข้อมูลได้หลายวิธี ข้อมูลจึงไม่ใช่อุปสรรค มีอีกสถานการณ์หนึ่งที่เราใช้ทรัพยากรการประมวลผลที่มีอยู่ทั้งหมด ส่งผลให้ความสามารถแบบจำลองมีความคืบหน้าช้า เป็นไปได้ทั้งสองสถานการณ์

**มุมมองส่วนตัวของฉันคือมีความเป็นไปได้สูงที่ Scaling Law จะไม่หยุดนิ่ง และแม้ว่าจะมีปัญหา แต่ก็มีแนวโน้มที่จะเป็นสาเหตุของสถาปัตยกรรมคอมพิวเตอร์ **ตัวอย่างเช่น ถ้าเราใช้ LSTM หรือ RNN อัตราวิวัฒนาการของความสามารถของโมเดลจะเปลี่ยนไป หากเราพบปัญหาคอขวดในวิวัฒนาการของความสามารถของแบบจำลองในทุกสถานการณ์ทางสถาปัตยกรรม นั่นคงจะเป็นเรื่องร้ายแรงทีเดียว เพราะนั่นหมายความว่าเราพบปัญหาที่ลึกกว่านั้น

• LSTM：

เครือข่ายหน่วยความจำระยะสั้นระยะยาว (เครือข่ายหน่วยความจำระยะสั้นระยะยาว) เครือข่าย RNN พิเศษ (เครือข่ายประสาทแบบวนรอบ) สามารถเรียนรู้การพึ่งพาระยะยาว แก้ปัญหาของ RNN แบบดั้งเดิมในการเรียนรู้รูปแบบลำดับยาว และแยกระยะยาวและระยะสั้นตามลำดับ ข้อมูลข้อมูล ความสามารถในการเรียนรู้และความสามารถในการเป็นตัวแทนของ LSTM นั้นแข็งแกร่งกว่า RNN มาตรฐาน

**ฉันคิดว่าเราได้มาถึงขั้นตอนที่ธรรมชาติอาจไม่ได้แตกต่างกันมากนักที่จะพูดถึงสิ่งที่นางแบบทำได้และทำไม่ได้ **เมื่อก่อนคนจะจำกัดความสามารถของโมเดล คิดว่าโมเดลไม่เก่งเรื่องเหตุผล เรียนโปรแกรมไม่ได้ และคิดว่าอาจเจอปัญหาคอขวดในบางด้าน แม้ว่าบางคนรวมถึงฉันด้วย ไม่เคยคิดเช่นนั้นมาก่อน แต่ในช่วงไม่กี่ปีที่ผ่านมา ทฤษฎีคอขวดแบบนี้ได้กลายเป็นกระแสหลักมากขึ้น และตอนนี้มันก็เปลี่ยนไปแล้ว

**หากผลกระทบของกระบวนการปรับขนาดโมเดลในอนาคตพบปัญหาคอขวด ฉันคิดว่าปัญหามาจากการออกแบบฟังก์ชันการสูญเสียที่มุ่งเน้นไปที่งานการทำนายโทเค็นถัดไป **เมื่อเราให้ความสำคัญกับการให้เหตุผลและความสามารถในการเขียนโปรแกรมมากเกินไป การสูญเสียแบบจำลองจะมุ่งเน้นไปที่โทเค็นที่สะท้อนถึงความสามารถนี้ และโทเค็นของปัญหาอื่นๆ จะปรากฏน้อยลง (หมายเหตุ: ชุดข้อมูลก่อนการฝึกอบรมของ แบบจำลองจะอิงตามความสำคัญที่นักวิทยาศาสตร์กำหนดในระดับความสามารถ ปรับอัตราส่วน) ** ฟังก์ชันการสูญเสียให้ความสนใจมากเกินไปกับโทเค็นที่ให้เอนโทรปีข้อมูลมากที่สุด ในขณะที่ละเลยสิ่งที่สำคัญจริงๆ สัญญาณอาจจมอยู่ใต้น้ำ ในเสียงรบกวน **

หากปัญหานี้เกิดขึ้นเราจำเป็นต้องแนะนำกระบวนการเรียนรู้การเสริมแรง RL มีหลายประเภทเช่นการเรียนรู้การเสริมแรงด้วยความคิดเห็นของมนุษย์ (RLHF) การเรียนรู้การเสริมแรงสำหรับเป้าหมายและเช่นเดียวกับรัฐธรรมนูญ AI การปรับปรุง (ขยาย) และการอภิปราย (อภิปราย) และอื่น ๆ นี่เป็นทั้งวิธีการจัดตำแหน่งโมเดลและวิธีฝึกโมเดล **เราอาจจะต้องลองหลายๆ วิธี แต่เราต้องโฟกัสไปที่เป้าหมายของโมเดลว่าจะทำอะไร **

ปัญหาหนึ่งของการเรียนรู้แบบเสริมแรงคือคุณต้องออกแบบฟังก์ชันการสูญเสียที่สมบูรณ์มาก ฟังก์ชันการสูญเสียของการทำนายโทเค็นถัดไปได้รับการออกแบบไว้แล้ว ดังนั้นหากมาตราส่วนในทิศทางนี้เห็นขีดจำกัดบน การพัฒนาของ AI จะช้าลง

**Dwarkesh Patel: ความเข้าใจของคุณเกี่ยวกับ Scaling เกิดขึ้นได้อย่างไร? **

**Dario Amodei: **การก่อตัวของความคิดเห็นของฉันสามารถย้อนกลับไปได้คร่าวๆ ตั้งแต่ปี 2014 ถึง 2017 ฉันได้ให้ความสนใจกับการพัฒนา AI แต่เป็นเวลานานฉันคิดว่าจะต้องใช้เวลานานกว่า AI จะถูกนำมาใช้จริงๆ จนกระทั่งเกิด AlexNet จากนั้นฉันก็เข้าร่วมทีมโครงการของ Wu Enda ที่ Baidu ในเวลานั้น และนี่เป็นครั้งแรกที่ฉันได้สัมผัสกับ AI

ฉันคิดว่าตัวเองค่อนข้างโชคดี ซึ่งแตกต่างจากนักวิชาการคนอื่นๆ ในเวลานั้น ฉันได้รับมอบหมายให้สร้างระบบการรู้จำเสียงที่ล้ำสมัย และมีข้อมูลและ GPU มากมายให้ใช้งาน **ในระหว่างที่ดำเนินโครงการนี้ ฉันตระหนักดีว่า Scaling เป็นทางออกที่ดี กระบวนการนี้ยังแตกต่างจากการวิจัยหลังปริญญาเอกอีกด้วย เราไม่จำเป็น ต้องคิดหาแนวคิดที่ชาญฉลาดและสร้างสรรค์ที่ไม่เคยมีใครเสนอมาก่อน **

ตลอดโครงการ ฉันแค่ทำการทดลองพื้นฐานบางอย่าง เช่น เพิ่มเลเยอร์ให้กับ RNN หรือปรับพารามิเตอร์การฝึกเพื่อพยายามขยายเวลาการฝึกของโมเดล ในช่วงนี้ ฉันได้สังเกตกระบวนการฝึกโมเดลและได้เห็น สถานการณ์จำลองเกิดขึ้นเมื่อใด ฉันยังลองเพิ่มข้อมูลการฝึกอบรมใหม่หรือลดรอบการฝึกซ้ำ และสังเกตผลกระทบของการปรับเปลี่ยนเหล่านี้ต่อประสิทธิภาพของโมเดล ในระหว่างการทดลองเหล่านี้ ฉันสังเกตเห็นผลลัพธ์ปกติบางอย่าง อย่างไรก็ตาม ฉันไม่ชัดเจนสำหรับฉันว่าจินตนาการเหล่านี้แหวกแนวหรือไม่ หรือเพื่อนร่วมงานคนอื่นๆ ได้ค้นพบสิ่งที่คล้ายกันหรือไม่ โดยรวมแล้วนี่เป็นเพียงประสบการณ์โชคดีของฉันในฐานะผู้เริ่มต้น AI ฉันไม่รู้อะไรอีกมากเกี่ยวกับสาขานี้ แต่ตอนนั้นฉันรู้สึกว่ามีการตรวจสอบในทำนองเดียวกันในสาขาการรู้จำเสียง

**ฉันรู้จัก Ilya ก่อนก่อตั้ง OpenAI และเขาบอกฉันว่า "เราต้องตระหนักว่าโมเดลเหล่านี้ต้องการเรียนรู้เท่านั้น" มุมมองนี้เป็นแรงบันดาลใจให้ฉันอย่างมาก และทำให้ฉันรู้ว่าการสังเกตก่อนหน้านี้ ปรากฏการณ์อาจไม่ใช่ สุ่มตัวอย่าง แต่เกิดขึ้นทั่วไป แบบจำลองเหล่านี้จำเป็นต้องเรียนรู้ เราเพียงแค่จัดเตรียมข้อมูลคุณภาพสูงและสร้างที่ว่างเพียงพอสำหรับการดำเนินการ และแบบจำลองจะเรียนรู้ด้วยตัวเอง **

**Dwarkesh Patel: มีเพียงไม่กี่คนที่สรุปมุมมองของ "ปัญญาสากล" เช่นคุณและ Ilya คุณคิดอย่างไรกับคำถามนี้แตกต่างจากคนอื่นๆ อย่างไร อะไรทำให้คุณคิดว่าโมเดลจะยังคงปรับปรุงต่อไปในการรู้จำเสียง และในทำนองเดียวกันในด้านอื่นๆ **

Dario Amodei: ฉันไม่รู้จริงๆ เมื่อฉันสังเกตเห็นปรากฏการณ์ที่คล้ายกันในด้านของเสียงพูดเป็นครั้งแรก ฉันคิดว่ามันเป็นเพียงกฎที่ใช้บังคับกับการรู้จำเสียงในแนวดิ่ง ระหว่างปี 2014 ถึง 2017 ฉันได้ลองทำสิ่งต่างๆ มากมายและสังเกตสิ่งเดิมซ้ำแล้วซ้ำอีก ตัวอย่างเช่น ฉันสังเกตเห็นสิ่งนี้ในเกม Dota แม้ว่าข้อมูลที่มีอยู่ในด้านวิทยาการหุ่นยนต์จะค่อนข้างจำกัดและผู้คนจำนวนมากไม่มองโลกในแง่ดี **ผมคิดว่าคนมักให้ความสำคัญกับการแก้ปัญหาเฉพาะหน้าโดยอาจให้ความสำคัญกับการแก้ปัญหาตัวเองในแนวดิ่งมากกว่าการคิดแก้ปัญหาระดับล่างในแนวราบจนไม่อาจ พิจารณาความเป็นไปได้ในการปรับขนาดเพศอย่างเต็มที่ ตัวอย่างเช่น ในสาขาวิทยาการหุ่นยนต์ ปัญหาพื้นฐานที่สุดอาจเป็นข้อมูลการฝึกอบรมไม่เพียงพอ แต่สรุปได้ง่ายๆ ว่า Scaling ไม่ทำงาน **

**Dwarkesh Patel: เมื่อใดที่คุณตระหนักว่าภาษาสามารถเป็นวิธีการป้อนข้อมูลจำนวนมหาศาลเข้าสู่แบบจำลองเหล่านี้ **

Dario Amodei: ฉันคิดว่าสิ่งที่สำคัญที่สุดคือแนวคิดของการเรียนรู้แบบดูแลตนเองตามการคาดการณ์โทเค็นถัดไป รวมถึงสถาปัตยกรรมจำนวนมากสำหรับการทำนาย สิ่งนี้คล้ายกับตรรกะของการทดสอบพัฒนาการเด็ก ตัวอย่างเช่น Mary เดินเข้าไปในห้องและวางสิ่งของ แล้ว Chuck ก็เดินเข้ามาและเคลื่อนย้ายสิ่งของโดยที่ Mary ไม่ทันสังเกต Mary คิดว่าอย่างไร? เพื่อให้การทำนายประเภทนี้เสร็จสมบูรณ์ แบบจำลองจะต้องแก้ปัญหาทางคณิตศาสตร์ ปัญหาทางจิตวิทยา และอื่นๆ ที่เกี่ยวข้องในเวลาเดียวกัน ดังนั้นในความคิดของฉัน เพื่อทำการคาดการณ์ที่ดี คุณต้องป้อนข้อมูลให้กับโมเดลและปล่อยให้มันเรียนรู้โดยไม่มีข้อจำกัดใดๆ

แม้ว่าฉันจะมีความรู้สึกคล้าย ๆ กันเมื่อนานมาแล้ว จนกระทั่ง Alec Radford พยายามบางอย่างกับ GPT-1 ฉันตระหนักว่าเราไม่เพียงแต่สามารถนำโมเดลที่มีความสามารถในการคาดการณ์ไปใช้ได้เท่านั้นแต่ยังปรับแต่งให้ดียิ่งขึ้นอีกด้วย ทำภารกิจ ประเภทต่าง ๆ ให้สำเร็จ ฉันคิดว่าสิ่งนี้ให้ความเป็นไปได้แก่เราในการทำงานทุกประเภท เพื่อให้สามารถแก้ปัญหาได้ทุกประเภท รวมถึงการใช้เหตุผลเชิงตรรกะ แน่นอนว่าเรายังสามารถขยายขนาดโมเดลต่อไปได้

• Alec Radford ผู้เขียน Sentiment Neuron ซึ่งเป็นบรรพบุรุษของซีรี่ส์ GPT และผู้เขียนร่วมของเอกสารชุด GPT ยังคงทำงานที่ OpenAI

**Dwarkesh Patel: คุณคิดว่าการฝึกโมเดลต้องใช้ข้อมูลจำนวนมากอย่างไร คุณควรกังวลเกี่ยวกับประสิทธิภาพต่ำของการฝึกอบรมแบบจำลองหรือไม่? **

Dario Amodei: คำถามนี้อยู่ระหว่างการสำรวจ ทฤษฎีหนึ่งคือขนาดของแบบจำลองมีขนาดเล็กกว่าสมองมนุษย์ 2-3 คำสั่ง แต่ปริมาณข้อมูลที่ต้องใช้ในการฝึกแบบจำลองนั้นใหญ่กว่าจำนวนข้อความที่อ่านโดยเด็กอายุ 18 ปีถึงสามถึงสี่เท่า -มนุษย์เก่า ลำดับความสำคัญลำดับความสำคัญของมนุษย์น่าจะเป็นร้อยล้านในขณะที่ลำดับความสำคัญของแบบจำลองคือแสนล้านหรือล้านล้าน ปริมาณข้อมูลที่มนุษย์ได้รับมีไม่มาก แต่ก็เพียงพอสำหรับการทำงานและชีวิตประจำวันของเราอย่างสมบูรณ์ แต่มีความเป็นไปได้อีกอย่างที่นอกเหนือจากการเรียนรู้แล้ว ประสาทสัมผัสของเรากำลังป้อนข้อมูลเข้าสู่สมอง

มีความขัดแย้งเกิดขึ้นจริง แบบจำลองที่เรามีในปัจจุบันมีขนาดเล็กกว่าสมองมนุษย์ แต่สามารถทำงานได้หลายอย่างคล้ายกับสมองมนุษย์ ในขณะเดียวกัน ปริมาณข้อมูลที่แบบจำลองนี้ต้องการมีมากกว่า ของสมองมนุษย์ ดังนั้น เรายังคงต้องสำรวจและทำความเข้าใจประเด็นนี้ต่อไป แต่ในระดับหนึ่ง สิ่งเหล่านี้ไม่สำคัญ **ที่สำคัญกว่านั้น วิธีประเมินความสามารถของตัวแบบและวิธีตัดสินช่องว่างระหว่างตัวแบบกับมนุษย์ เท่าที่ฉันกังวล ช่องว่างไม่ได้ห่างกันมากนัก **

**Dwarkesh Patel: การเน้นที่การปรับขนาดและความสามารถของโมเดลไดรฟ์การประมวลผลขนาดใหญ่ที่กว้างกว่านั้นประเมินความก้าวหน้าของอัลกอริทึมต่ำเกินไปหรือไม่ **

**Dario Amodei: **เมื่อกระดาษ Transformer เปิดตัวครั้งแรก ฉันได้เขียนเกี่ยวกับประเด็นที่เกี่ยวข้องและกล่าวว่ามีปัจจัยที่เกี่ยวข้อง 7 ประการที่จะส่งผลต่อการปรับปรุงความสามารถของโมเดล ซึ่งปัจจัย 4 ประการที่ชัดเจนและสำคัญที่สุด ได้แก่ จำนวนของพารามิเตอร์โมเดล สเกลกำลังการประมวลผล คุณภาพของข้อมูล และฟังก์ชันการสูญเสีย ตัวอย่างเช่น งานเช่นการเรียนรู้การเสริมกำลังหรือการทำนายโทเค็นถัดไปนั้นขึ้นอยู่กับการมีฟังก์ชันการสูญเสียหรือกลไกแรงจูงใจที่ถูกต้อง

• การเรียนรู้แบบเสริมแรง (RL):

ค้นหาแนวทางปฏิบัติที่เหมาะสมที่สุดสำหรับแต่ละสถานะของสภาพแวดล้อมผ่านกระบวนการพื้นฐานในการลองผิดลองถูก โมเดลแมชชีนเลิร์นนิงจะแนะนำกฎแบบสุ่มในตอนเริ่มต้น และในขณะเดียวกันก็ป้อนคะแนนจำนวนหนึ่ง (หรือที่เรียกว่ารางวัล) ให้กับโมเดลทุกครั้งที่มีการดำเนินการ

• ฟังก์ชันการสูญเสีย (ฟังก์ชันการสูญเสีย) ในแมชชีนเลิร์นนิงหมายถึงฟังก์ชันการวัดความดีของความพอดี ซึ่งใช้เพื่อสะท้อนระดับความแตกต่างระหว่างเอาต์พุตของโมเดลกับค่าจริง นั่นคือการวัดค่าการคาดคะเน error รวมถึงการคาดการณ์จุดตัวอย่างทั้งหมด Error โดยให้ค่าเดียวเพื่อแสดงถึงความดีโดยรวมของพอดี ขณะเดียวกัน ในระหว่างขั้นตอนการฝึกอบรม พารามิเตอร์ของโมเดลจะถูกปรับอย่างต่อเนื่องตามค่าของฟังก์ชันการสูญเสียใน เพื่อลดมูลค่าการสูญเสียให้น้อยที่สุดและได้ผลที่เหมาะสมยิ่งขึ้น

นอกจากนี้ยังมี 3 ปัจจัย:

ประการแรกคือความสมมาตรของโครงสร้าง (structural symmetries) ถ้าสถาปัตยกรรมไม่คำนึงถึงความสมมาตรที่ถูกต้องก็จะใช้งานไม่ได้และจะขาดประสิทธิภาพอย่างมาก ตัวอย่างเช่น convolutional neural network (CNN) พิจารณาความสมมาตรของการแปล (ความสมมาตรของการแปล) LSTM พิจารณาความสมมาตรของเวลา (ความสมมาตรของเวลา) แต่ปัญหาของ LSTM คือพวกเขาไม่สนใจบริบท จุดอ่อนของโครงสร้างนี้เป็นเรื่องธรรมดา หากแบบจำลองไม่สามารถเข้าใจและประมวลผลประวัติที่ผ่านมาอันยาวนาน (อ้างอิงถึง ข้อมูลที่ปรากฏก่อนหน้าในโครงสร้างข้อมูลลำดับ) เนื่องจากเหตุผลทางโครงสร้าง จะเหมือนกับ การคำนวณไม่ต่อเนื่องกัน ทั้งแบบจำลอง RNN และ LSTM มีข้อบกพร่องดังกล่าว

• อดัม（การประมาณค่าโมเมนต์แบบปรับได้）：

การประมาณค่าโมเมนต์ที่ปรับเปลี่ยนได้ อัลกอริทึม Adam รวมข้อดีของ RMSprop และ SGD และสามารถจัดการกับปัญหาการปรับให้เหมาะสมที่ไม่นูนออกมาได้ดี

• SGD（Stochastic Gradient Descent）：

Stochastic Gradient Descent เป็นวิธีการวนซ้ำเพื่อเพิ่มประสิทธิภาพการทำงานของวัตถุประสงค์ด้วยคุณสมบัติความเรียบที่เหมาะสม เช่น ความแตกต่างหรือความแตกต่างย่อย สามารถดูได้เป็นการประมาณสุ่มเพื่อเพิ่มประสิทธิภาพการไล่ระดับสี ในปัญหาการปรับให้เหมาะสมในมิติสูง สิ่งนี้จะช่วยลดภาระการคำนวณและเปิดใช้งานการวนซ้ำที่เร็วขึ้นเพื่อแลกกับอัตราการบรรจบกันที่ต่ำกว่า

จากนั้นจะมีความเสถียรเชิงตัวเลข (บันทึกการรับสินค้า: การปรับสภาพ ซึ่งหมายถึงว่าอัลกอริทึมมีการกำหนดเงื่อนไขที่ไม่ดีในการวิเคราะห์เชิงตัวเลขหรือไม่ ถ้าไม่ การเปลี่ยนแปลงเล็กน้อยในข้อมูลปัญหาจะทำให้เกิดการเปลี่ยนแปลงอย่างมากในการแก้ปัญหา) การปรับให้เหมาะสมของฟังก์ชันการสูญเสียเป็นเรื่องยากและแยกแยะได้ง่าย นั่นเป็นเหตุผลที่อดัมทำงานได้ดีกว่าโรคติดต่อทางเพศสัมพันธ์ทั่วไป

องค์ประกอบสุดท้ายคือเพื่อให้แน่ใจว่ากระบวนการคำนวณแบบจำลองไม่ได้ถูกขัดขวาง อัลกอริทึมเท่านั้นจึงจะประสบความสำเร็จ

ดังนั้น ความก้าวหน้าของอัลกอริทึมจึงไม่ใช่แค่เพื่อเพิ่มพลังการประมวลผลของคอมพิวเตอร์เท่านั้น แต่ยังเป็นการกำจัดสิ่งกีดขวางที่ประดิษฐ์ขึ้นของสถาปัตยกรรมแบบเก่าอีกด้วย หลายครั้งที่โมเดลต้องการเรียนรู้และคำนวณอย่างอิสระ แต่ถูกบล็อกโดยเราโดยที่เราไม่รู้ตัว

**Dwarkesh Patel: คุณคิดว่าจะมีบางอย่างในระดับ Transformer เพื่อขับเคลื่อนการทำซ้ำครั้งยิ่งใหญ่ครั้งต่อไปหรือไม่? **

Dario Amodei: ฉันคิดว่ามันเป็นไปได้ บางคนพยายามจำลองการพึ่งพาระยะยาว ฉันยังสังเกตด้วยว่าแนวคิดบางอย่างใน Transformer ไม่มีประสิทธิภาพเพียงพอที่จะเป็นตัวแทนหรือประมวลผลสิ่งต่างๆ **ถึงแม้นวัตกรรมแบบนี้จะไม่เกิดขึ้นแต่เราก็พัฒนาไปอย่างรวดเร็วอยู่แล้ว ถ้าเกิดขึ้น มันก็แค่ทำให้สนามพัฒนาเร็วขึ้นและอัตราเร่งคงไม่มากเพราะความเร็วมันเร็วมากอยู่แล้ว . **

**Dwarkesh Patel: ในแง่ของการได้มาซึ่งข้อมูล โมเดลจำเป็นต้องมีหน่วยสืบราชการลับในตัวหรือไม่ **

Dario Amodei: ฉันมักจะไม่คิดว่ามันเป็นสถาปัตยกรรมใหม่ แต่เป็นฟังก์ชันการสูญเสียใหม่ เนื่องจากสภาพแวดล้อมที่โมเดลรวบรวมข้อมูลนั้นแตกต่างไปจากเดิมอย่างสิ้นเชิง ซึ่งเป็นสิ่งสำคัญสำหรับการเรียนรู้ทักษะบางอย่าง แม้ว่าการรวบรวมข้อมูลจะยาก แต่อย่างน้อยเราก็มีความคืบหน้าในการรวบรวมคลังข้อมูล และจะดำเนินต่อไปในอนาคต แม้ว่าจะยังมีความเป็นไปได้อีกมากที่จะพัฒนาในแง่ของแนวทางปฏิบัติเฉพาะ

• ฟังก์ชั่นการสูญเสีย:

เป็นแนวคิดที่สำคัญในการเรียนรู้ของเครื่องและการเรียนรู้เชิงลึก ใช้เพื่อวัดระดับความแตกต่างระหว่างผลการคาดคะเนของแบบจำลองกับป้ายกำกับจริง นั่นคือ ข้อผิดพลาดในการคาดคะเนของแบบจำลอง ฟังก์ชันการสูญเสียได้รับการออกแบบมาเพื่อให้โมเดลสามารถลดข้อผิดพลาดในการทำนายได้โดยการปรับพารามิเตอร์ ซึ่งจะเป็นการปรับปรุงประสิทธิภาพและความแม่นยำของโมเดล

**Dwarkesh Patel: มีแนวทางอื่นเช่น RL หรือไม่ **

Dario Amodei: เราใช้วิธี RLHF สำหรับการเรียนรู้แบบเสริมกำลังอยู่แล้ว แต่ฉันคิดว่ามันยากที่จะแยกแยะว่านี่คือการจัดตำแหน่งหรือความสามารถ ทั้งสองมีความคล้ายคลึงกันมาก ฉันไม่ค่อยได้รับโมเดลให้ดำเนินการผ่าน RL RL ควรใช้หลังจากที่เราได้ให้โมเดลดำเนินการเป็นระยะเวลาหนึ่งและเข้าใจผลที่ตามมาจากการกระทำเหล่านั้นแล้วเท่านั้น ดังนั้นฉันคิดว่าการเรียนรู้แบบเสริมแรงจะมีประสิทธิภาพมาก แต่ก็มีปัญหาด้านความปลอดภัยมากมายในแง่ของวิธีที่ตัวแบบดำเนินการในโลก

การเรียนรู้แบบเสริมแรงเป็นเครื่องมือที่ใช้กันทั่วไปเมื่อการกระทำเกิดขึ้นเป็นระยะเวลานาน และผลของการกระทำเหล่านั้นจะเข้าใจในภายหลังเท่านั้น

**Dwarkesh Patel: คุณคิดว่าเทคโนโลยีเหล่านี้จะรวมเข้ากับงานที่เฉพาะเจาะจงได้อย่างไรในอนาคต แบบจำลองภาษาเหล่านี้สามารถสื่อสารระหว่างกัน ประเมินซึ่งกันและกัน อ้างอิงและปรับปรุงผลการวิจัยที่เกี่ยวข้องได้หรือไม่ หรือว่าแต่ละโมเดลทำงานแยกกันโดยอิสระและมุ่งเน้นที่การให้ผลลัพธ์เพียงอย่างเดียวโดยไม่ร่วมมือกับโมเดลอื่น? แบบจำลองภาษาระดับสูงเหล่านี้จะสามารถสร้างระบบการทำงานร่วมกันจริงในกระบวนการพัฒนาและประยุกต์ใช้งานในอนาคตได้หรือไม่ หรือแต่ละแบบจำลองจะทำหน้าที่ของตนเอง **

Dario Amodei: โมเดลนี้มีแนวโน้มที่จะต้องทำงานที่ซับซ้อนมากขึ้นในอนาคต ซึ่งเป็นแนวโน้มที่หลีกเลี่ยงไม่ได้ อย่างไรก็ตาม ด้วยเหตุผลด้านความปลอดภัย เราอาจจำเป็นต้องจำกัดขอบเขตของการใช้โมเดลภาษาในระดับหนึ่งเพื่อลดความเสี่ยงที่อาจเกิดขึ้น **การสนทนาระหว่างรุ่นเป็นไปได้หรือไม่? มีไว้สำหรับผู้ใช้ที่เป็นมนุษย์เป็นหลักหรือไม่ ประเด็นเหล่านี้จำเป็นต้องได้รับการพิจารณาจากอิทธิพลทางสังคม วัฒนธรรม และเศรษฐกิจที่อยู่นอกเหนือระดับทางเทคนิค และยากต่อการคาดเดาด้วยความแม่นยำ

**แม้ว่าเราจะสามารถคาดการณ์แนวโน้มการเติบโตของขนาดโมเดลได้ แต่ก็ยากที่จะคาดการณ์ได้อย่างน่าเชื่อถือในประเด็นต่างๆ เช่น ระยะเวลาในการวางจำหน่ายหรือแบบฟอร์มใบสมัคร ฉันไม่เก่งในการทำนายแนวโน้มการพัฒนาในอนาคตแบบนี้ และไม่มีใครทำได้ดีมากในปัจจุบัน **

**ความสามารถของหุ่นจำลองจะเทียบเท่ากับมนุษย์ได้อย่างไร? **

**Dwarkesh Patel: ถ้ามีคนบอกฉันในปี 2018 ว่าเราจะมีโมเดลอย่าง Claude-2 ในปี 2023 ที่มีความสามารถน่าประทับใจทุกประเภท ฉันคงคิดว่า AGI ประสบความสำเร็จในปี 2018 อย่างแน่นอน แต่เห็นได้ชัดว่า อย่างน้อยก็ในตอนนี้ และอาจจะแม้แต่ในรุ่นต่อๆ ไป เราทราบดีว่าจะยังคงมีความแตกต่างกันระหว่างระดับของ AI และมนุษย์ ทำไมความแตกต่างระหว่างความคาดหวังและความเป็นจริงนี้ **

**Dario Amodei: **ฉันยังใหม่กับ GPT-3 และในช่วงแรกของ Anthropic ความรู้สึกโดยรวมของฉันเกี่ยวกับโมเดลเหล่านี้คือ: ดูเหมือนว่าพวกเขาจะเข้าใจแก่นแท้ของภาษาจริงๆ ฉันไม่แน่ใจว่าเราต้อง ขยายโมเดลไปถึงไหนแล้ว บางที เราอาจต้องให้ความสนใจกับส่วนอื่นๆ มากขึ้น เช่น การเรียนรู้แบบเสริมแรง ในปี 2020 ฉันคิดว่าเป็นไปได้ที่จะปรับขนาดโมเดลให้ใหญ่ขึ้น แต่เมื่อการวิจัยลึกลงไป ฉันเริ่มคิดว่าการเพิ่มการฝึกอบรมเป้าหมายอื่นๆ โดยตรง เช่น การเรียนรู้แบบเสริมกำลังจะมีประสิทธิภาพมากกว่าหรือไม่

** เราได้เห็นแล้วว่าความฉลาดของมนุษย์นั้นกว้างมากจริงๆ ดังนั้นคำจำกัดความของ "เครื่องจักรที่เข้าถึงระดับมนุษย์" จึงเป็นขอบเขต และสถานที่และเวลาสำหรับเครื่องจักรในการทำงานต่างๆ ให้สำเร็จจึงแตกต่างกัน ตัวอย่างเช่น หลายครั้งที่แบบจำลองเหล่านี้เข้าใกล้หรือเหนือกว่าประสิทธิภาพของมนุษย์ แต่ก็ยังอยู่ในช่วงเริ่มต้นเมื่อต้องพิสูจน์ทฤษฎีบททางคณิตศาสตร์ที่ค่อนข้างง่าย ทั้งหมดนี้แสดงให้เห็นว่าความฉลาดไม่ใช่สเปกตรัมต่อเนื่อง (สเปกตรัม) ** มีความรู้และทักษะวิชาชีพหลายประเภทในสาขาต่างๆ และวิธีการจำก็แตกต่างกันเช่นกัน ถ้าคุณถามฉันเมื่อ 10 ปีที่แล้ว (บันทึกการรับ: ดาริโอยังเรียนฟิสิกส์และประสาทวิทยาศาสตร์อยู่ในขณะนั้น) ฉันคงนึกไม่ถึงว่าจะเป็นเช่นนั้น

**Dwarkesh Patel: คุณคิดว่าโมเดลเหล่านี้จะมีช่วงของทักษะที่ทับซ้อนกันมากแค่ไหนจากการกระจายการฝึกอบรมที่โมเดลเหล่านี้ได้รับจากข้อมูลอินเทอร์เน็ตจำนวนมหาศาลที่มนุษย์ได้รับจากวิวัฒนาการ **

Dario Amodei: มีการทับซ้อนกันมาก หลายรุ่นมีบทบาทในการใช้งานเชิงพาณิชย์ ช่วยให้มนุษย์ปรับปรุงประสิทธิภาพได้อย่างมีประสิทธิภาพ จากกิจกรรมของมนุษย์ที่หลากหลายและข้อมูลที่มีอยู่มากมายบนอินเทอร์เน็ต ฉันคิดว่าแบบจำลองสามารถเรียนรู้แบบจำลองทางกายภาพของโลกแห่งความจริงได้ในระดับหนึ่ง แต่พวกเขาไม่ได้เรียนรู้วิธีดำเนินการในความเป็นจริง ซึ่งเป็นทักษะที่ค่อนข้างง่ายในการ ปรับจูน ฉันคิดว่ามีบางสิ่งที่แบบจำลองไม่ได้เรียนรู้ แต่มนุษย์เรียนรู้

**Dwarkesh Patel: เป็นไปได้ไหมที่แบบจำลองจะเหนือกว่ามนุษย์ในงานต่างๆ ที่เกี่ยวข้องกับธุรกิจและเศรษฐกิจในอีกไม่กี่ปีข้างหน้า ในขณะเดียวกัน หุ่นจำลองอาจยังด้อยกว่ามนุษย์ในบางงาน จึงหลีกเลี่ยงการระเบิดทางปัญญาที่คล้ายคลึงกัน? **

Dario Amodei: คำถามนี้คาดเดาได้ยาก สิ่งที่ฉันต้องการเตือนคือกฎหมายมาตราส่วนอาจให้แนวคิดการทำนายบางอย่างจากมุมมองของพื้นฐานทางทฤษฎี แต่จะเป็นการยากมากที่จะเข้าใจรายละเอียดของการพัฒนาในอนาคต แน่นอนว่ากฎหมาย Scaling อาจยังคงมีผลบังคับใช้ และไม่ว่าปัจจัยด้านความปลอดภัยหรือกฎระเบียบจะทำให้ความคืบหน้าช้าลง แต่หากขจัดอุปสรรคเหล่านี้ออกไป ผมคิดว่าหาก AI สามารถไปต่อยอดในการสร้างมูลค่าทางเศรษฐกิจได้ จะต้องมีความก้าวหน้ามากขึ้น จะทำในสาขาอื่นๆ

ฉันไม่เห็นว่าโมเดลทำงานได้อย่างอ่อนแอเป็นพิเศษในด้านใดด้านหนึ่ง หรือไม่มีความคืบหน้าเลย เช่นเดียวกับคณิตศาสตร์และการเขียนโปรแกรมในอดีต พวกมันยากแต่ก็ได้ผลลัพธ์ที่คาดไม่ถึงเช่นกัน ในช่วง 6 เดือนที่ผ่านมา โมเดลปี 2023 มีความก้าวหน้าอย่างมากเมื่อเทียบกับโมเดลปี 2022 แม้ว่าประสิทธิภาพของโมเดลในด้านต่างๆ และงานจะไม่สมดุลอย่างสมบูรณ์ แต่การปรับปรุงความสามารถโดยรวมจะเป็นประโยชน์ต่อทุกด้านอย่างแน่นอน

**Dwarkesh Patel: เมื่อเผชิญกับงานที่ซับซ้อน ตัวแบบมีความสามารถในการทำงานต่อเนื่องเป็นชุดๆ หรือไม่ **

**Dario Amodei: **ความสามารถในการตัดสินใจอย่างต่อเนื่องขึ้นอยู่กับการฝึกอบรมการเรียนรู้แบบเสริมแรง เพื่อให้แบบจำลองสามารถทำงานระยะยาวได้ **และฉันไม่คิดว่าสิ่งนี้ต้องใช้กำลังการประมวลผลเพิ่มเติมในระดับที่ใหญ่ขึ้น การคิดเช่นนี้เป็นการประเมินความสามารถในการเรียนรู้ของตัวแบบต่ำเกินไปอย่างผิดๆ **

คำถามที่ว่าแบบจำลองจะมีประสิทธิภาพดีกว่ามนุษย์ในบางขอบเขตหรือไม่ แต่ไม่สามารถทำเช่นนั้นได้ในบางขอบเขต ฉันคิดว่ามันซับซ้อน ในบางขอบเขตอาจจริง แต่ในบางขอบเขตจะไม่เป็นเช่นนั้น เพราะโลกทางกายภาพเกี่ยวข้องกับงานข่าวกรองที่เป็นตัวเป็นตน ใน

แล้วอะไรต่อไป? AI สามารถช่วยเราฝึก AI ได้เร็วขึ้นเพื่อแก้ปัญหาเหล่านั้นได้หรือไม่? โลกทางกายภาพไม่จำเป็นอีกต่อไปหรือไม่? เรากังวลเกี่ยวกับปัญหาการจัดตำแหน่งหรือไม่? มีความกังวลเกี่ยวกับการใช้งานในทางที่ผิด เช่น การสร้างอาวุธที่มีอานุภาพทำลายล้างสูงหรือไม่? เราควรกังวลว่า AI จะเข้ามาควบคุมการวิจัย AI ในอนาคตโดยตรงหรือไม่? เรากังวลหรือไม่ว่ามันจะถึงเกณฑ์ประสิทธิภาพทางเศรษฐกิจที่กำหนดซึ่งจะสามารถทำงานได้อย่างค่าเฉลี่ยหรือไม่? ... ฉันคิดว่าคำถามเหล่านี้อาจมีคำตอบที่แตกต่างกัน แต่ฉันคิดว่าพวกเขาทั้งหมดจะใช้เวลาไม่กี่ปี

**Dwarkesh Patel: ถ้า Claude เป็นพนักงานของ Anthropic เงินเดือนของเขาจะเป็นอย่างไร? มันช่วยเร่งการพัฒนาปัญญาประดิษฐ์ในความหมายที่แท้จริงหรือไม่? **

Dario Amodei: สำหรับฉัน ส่วนใหญ่แล้วน่าจะเป็นนักศึกษาฝึกงานมากกว่า แต่ก็ยังดีกว่านักศึกษาฝึกงานในบางพื้นที่ แต่โดยทั่วไปแล้ว อาจเป็นการยากที่จะให้คำตอบที่แน่นอนสำหรับเรื่องนี้ เนื่องจากแบบจำลองไม่ใช่มนุษย์โดยธรรมชาติ พวกมันสามารถออกแบบให้ตอบคำถามเพียงข้อเดียวหรือสองสามข้อได้ **แต่พวกมันไม่มีแนวคิดที่แตกต่างจากมนุษย์ "ประสบการณ์ตามเวลา". **

**หากต้องการให้ AI มีประสิทธิภาพมากขึ้น ก่อนอื่นต้องช่วยให้มนุษย์ปรับปรุงผลิตภาพของตนเอง แล้วจึงค่อย ๆ เพิ่มผลิตภาพของมนุษย์ให้อยู่ในระดับเดียวกัน ก้าวต่อไปหลังจากนั้นคือการเป็นกำลังสำคัญให้วิทยาการก้าวหน้าซึ่งผมเชื่อว่าจะเกิดขึ้นในอนาคต แต่ฉันสงสัยว่ารายละเอียดของสิ่งที่เกิดขึ้นจริงในอนาคตจะดูแปลก ๆ เล็กน้อยในตอนนี้ซึ่งแตกต่างจากแบบจำลองที่เราคาดไว้ **

**Dwarkesh Patel: เมื่อไหร่ที่คุณคิดว่าความสามารถของโมเดลจะถึงระดับมนุษย์? จะเป็นอย่างไรต่อไป? **

Dario Amodei: ขึ้นอยู่กับความคาดหวังและมาตรฐานของมนุษย์ว่าสูงหรือต่ำเพียงใด เช่น ถ้าความคาดหวังของเราคือให้โมเดลสื่อสารกันแค่ 1 ชั่วโมง และโมเดลสามารถทำตัวเหมือนมนุษย์ที่มีการศึกษาดีในระหว่างกระบวนการ เป้าหมายในการทำให้โมเดลเข้าถึงระดับมนุษย์อาจอยู่ไม่ไกล ผมว่ามัน อาจเป็นไปได้ใน 2 ถึง 3 ปีจะเป็นจริง **ไทม์ไลน์นี้ได้รับอิทธิพลอย่างมากจากบริษัทหรืออุตสาหกรรมที่ตัดสินใจชะลอการพัฒนา หรือข้อจำกัดของรัฐบาลด้วยเหตุผลด้านความปลอดภัย **แต่จากมุมมองของข้อมูล พลังการประมวลผล และการประหยัดต้นทุน เราอยู่ไม่ไกลจากเป้าหมายนี้ **

แต่แม้ว่าโมเดลจะมาถึงระดับนี้** ฉันไม่คิดว่าโมเดลจะสามารถครอบงำการวิจัยส่วนใหญ่ของ AI หรือเปลี่ยนแปลงวิธีการทำงานของเศรษฐกิจได้อย่างมีนัยสำคัญ และไม่เป็นอันตรายอย่างมาก ดังนั้น โดยรวมแล้ว มาตรฐานที่แตกต่างกันจึงต้องการเส้นเวลาที่แตกต่างกันในการทำให้เป็นจริง แต่จากมุมมองด้านเทคนิคล้วน ๆ การบรรลุแบบจำลองที่เทียบได้กับมนุษย์ที่มีการศึกษาขั้นพื้นฐานนั้นอยู่ไม่ไกลนัก **

**Dwarkesh Patel: ทำไมตัวแบบถึงมีความสามารถเทียบเท่ามนุษย์ที่มีการศึกษาขั้นพื้นฐาน แต่ไม่สามารถมีส่วนร่วมในกิจกรรมทางเศรษฐกิจหรือแทนที่บทบาทของมนุษย์ได้? **

Dario Amodei: ประการแรก โมเดลอาจยังไม่ถึงระดับที่สูงพอ **จะสามารถเร่งผลิตภาพของนักวิทยาศาสตร์เก่งๆ 1,000 คนในสาขาต่างๆ เช่น การวิจัย AI ได้หรือไม่ ข้อได้เปรียบเชิงเปรียบเทียบของแบบจำลองในแง่นี้ยังไม่ชัดเจน **

ในปัจจุบัน โมเดลขนาดใหญ่ยังไม่ได้มีการค้นพบทางวิทยาศาสตร์ที่สำคัญ อาจเป็นเพราะระดับของโมเดลเหล่านี้ไม่สูงพอ และประสิทธิภาพของโมเดลเหล่านี้อาจเทียบเท่ากับระดับ B หรือระดับ B เท่านั้น แต่ฉันเชื่อว่าสิ่งนี้จะเปลี่ยนไปเมื่อปรับขนาดโมเดล แบบจำลองนำไปสู่ฟิลด์อื่นๆ ในการจดจำ บูรณาการข้อเท็จจริง และสร้างการเชื่อมโยง โดยเฉพาะอย่างยิ่งในด้านชีววิทยา เนื่องจากความซับซ้อนของสิ่งมีชีวิต แบบจำลองในปัจจุบันได้สะสมความรู้จำนวนมาก การค้นพบและการเชื่อมต่อมีความสำคัญในด้านนี้ ชีววิทยาต้องการข้อเท็จจริงมากมาย ซึ่งแตกต่างจากฟิสิกส์ ไม่ใช่แค่สูตร ดังนั้นฉันแน่ใจว่านางแบบมีความรู้มากมายอยู่แล้ว แต่ยังไม่สามารถรวบรวมทั้งหมดได้เนื่องจากระดับทักษะยังไม่ถึงเกณฑ์ ฉันคิดว่าพวกเขากำลังพัฒนาอย่างค่อยเป็นค่อยไปเพื่อบูรณาการความรู้นี้ในระดับที่สูงขึ้น

อีกเหตุผลหนึ่งคือมีความขัดแย้งที่มองไม่เห็นมากมายในกิจกรรมทางธุรกิจที่เกิดขึ้นจริง ซึ่งโมเดลไม่สามารถเรียนรู้ได้ ตัวอย่างเช่น ตามหลักการแล้ว เราสามารถใช้บอท AI เพื่อโต้ตอบกับลูกค้าได้ แต่สถานการณ์จริงนั้นซับซ้อนกว่าทฤษฎีมาก และเราไม่สามารถพึ่งพาหุ่นยนต์บริการลูกค้าหรือหวังว่า AI จะเข้ามาแทนที่พนักงานที่เป็นมนุษย์เพื่อทำงานเหล่านี้ให้เสร็จสิ้นได้ และในความเป็นจริง ยังมีค่าใช้จ่ายภายในบริษัทที่จะส่งเสริมการนำโมเดลไปใช้จริง การผสมผสานระหว่างบอท AI และเวิร์กโฟลว์ และอื่นๆ

**หลายกรณีประสิทธิภาพของคนที่ใช้ Model ยังไม่สูง และศักยภาพของ Model ยังไม่เต็มที่ ไม่ใช่เพราะ Model ไม่มีความสามารถเพียงพอ แต่เป็นเพราะ คนต้องใช้เวลาค้นคว้าหาวิธีการ ทำให้ทำงานได้มีประสิทธิภาพมากขึ้น **

โดยทั่วไปแล้ว ในระยะสั้น แบบจำลองจะไม่แทนที่มนุษย์อย่างสมบูรณ์ แต่ในระยะยาว เมื่อแบบจำลองยังคงปรับปรุงและมีบทบาทมากขึ้นในการปรับปรุงประสิทธิภาพการทำงานของมนุษย์ ในที่สุด มนุษย์ก็จะหลีกทางให้กับแบบจำลอง . มันยากสำหรับเราที่จะกำหนดเวลาที่แม่นยำสำหรับช่วงต่างๆ ในระยะสั้น มีอุปสรรคและปัจจัยที่ซับซ้อนมากมายที่ทำให้โมเดล "จำกัด" แต่โดยเนื้อแท้แล้ว AI ยังอยู่ในขั้นตอนของการเติบโตแบบทวีคูณ

**Dwarkesh Patel: หลังจากที่เรามาถึงจุดนี้ในอีก 2-3 ปีข้างหน้า AI ทั้งหมดจะยังคงก้าวหน้าอย่างรวดเร็วเหมือนในปัจจุบันหรือไม่? **

Dario Amodei: คณะลูกขุนยังไม่ตัดสิน จากการสังเกตของฟังก์ชันการสูญเสีย เราพบว่าประสิทธิภาพของการฝึกแบบจำลองกำลังลดลง และเส้นโค้งกฎมาตราส่วนไม่สูงชันเหมือนในช่วงแรกๆ นอกจากนี้ยังได้รับการยืนยันจากรุ่นที่ออกโดยบริษัทต่างๆ แต่เมื่อแนวโน้มนี้เผยออกมา เอนโทรปีจำนวนเล็กน้อยในการทำนายที่แม่นยำแต่ละครั้งจะมีความสำคัญมากขึ้น บางทีอาจเป็นค่าเอนโทรปีเล็กน้อยที่สร้างช่องว่างระหว่างไอน์สไตน์กับนักฟิสิกส์ทั่วไป ในแง่ของประสิทธิภาพจริง เมตริกดูเหมือนจะปรับปรุงในลักษณะที่ค่อนข้างเป็นเส้นตรง แม้ว่าจะคาดการณ์ได้ยากก็ตาม ดังนั้นจึงยากที่จะเห็นสถานการณ์เหล่านี้อย่างชัดเจน นอกจากนี้ ฉันคิดว่าปัจจัยที่ใหญ่ที่สุดที่ขับเคลื่อนการเร่งความเร็วคือเงินที่ไหลเข้ามาในพื้นที่นี้มากขึ้นเรื่อยๆ และผู้คนตระหนักว่ามีมูลค่าทางเศรษฐกิจมหาศาลในพื้นที่นี้ ดังนั้นฉันจึงคาดว่าจะมีเงินทุนเพิ่มขึ้นประมาณ 100 เท่าสำหรับรุ่นที่ใหญ่ที่สุด และประสิทธิภาพของชิปก็ได้รับการปรับปรุง และอัลกอริทึมก็ได้รับการปรับปรุง เนื่องจากมีคนมากมายที่ทำงานเกี่ยวกับสิ่งนี้อยู่ในขณะนี้

**Dwarkesh Patel: คุณคิดว่า Claude มีสติหรือไม่? **

Dario Amodei: ยังไม่แน่ใจ เดิมทีฉันคิดว่าเราจำเป็นต้องกังวลเกี่ยวกับปัญหาประเภทนี้ก็ต่อเมื่อแบบจำลองทำงานในสภาพแวดล้อมที่สมบูรณ์เพียงพอ เช่น หน่วยสืบราชการลับที่เป็นตัวเป็นตน หรือมีประสบการณ์ระยะยาวและฟังก์ชันรางวัล (ฟังก์ชันรางวัล) แต่ตอนนี้ ฉันสนใจใน โมเดล โดยเฉพาะโมเดล หลังจากศึกษากลไกภายในแล้ว มุมมองของผมเปลี่ยนไป **โมเดลใหญ่ดูเหมือนจะมีกลไกการรู้คิดหลายอย่างที่จำเป็นในการเป็นแอคทีฟเอเจนต์ เช่น หัวเหนี่ยวนำ (Induction Head) ด้วยระดับความสามารถของโมเดลในปัจจุบัน สิ่งนี้อาจกลายเป็นปัญหาที่แท้จริงในอีก 1-2 ปีข้างหน้า **

• ฟังก์ชั่นรางวัล:

กลไกสร้างแรงจูงใจในการเรียนรู้แบบเสริมแรงที่บอกตัวแทนว่าอะไรถูกอะไรผิดผ่านการให้รางวัลและการลงโทษ

• หัวเหนี่ยวนำ:

ส่วนประกอบ/โครงสร้างโมเดลเฉพาะในโมเดล Transformer ที่ทำให้โมเดลสามารถเรียนรู้ตามบริบทได้

**Dwarkesh Patel: เราจะเข้าใจ "ความฉลาด" ได้อย่างไรในขณะที่ความสามารถของแบบจำลองภาษายังคงเติบโตและเข้าใกล้ระดับของมนุษย์ **

Dario Amodei: ฉันตระหนักดีว่าความฉลาดมาจากการเข้าใจธรรมชาติของ "วัสดุ" ของพลังการประมวลผล ระบบอัจฉริยะอาจประกอบด้วยโมดูลอิสระจำนวนมากหรือซับซ้อนมาก Rich Sutton เรียกมันว่า "บทเรียนที่น่าวิตก" หรือที่เรียกว่า "Scaling Hypothesis" และนักวิจัยยุคแรกๆ เช่น Shane Lake และ Ray Kurzweil ได้เริ่มตระหนักถึงสิ่งนี้ในปี 2017

• บทเรียนอันขมขื่น / สมมุติฐานของการสเกล：

ในปี 2019 Rich Sutton ตีพิมพ์บทความ The Bitter Lesson ประเด็นหลักของบทความคือการวิจัย AI ควรใช้ประโยชน์จากทรัพยากรการประมวลผลอย่างเต็มที่ เฉพาะเมื่อมีการใช้คอมพิวเตอร์จำนวนมากเท่านั้นที่สามารถสร้างความก้าวหน้าในการวิจัยได้

ในช่วงปี 2014-2017 มีนักวิจัยเปิดเผยและเข้าใจประเด็นนี้มากขึ้นเรื่อยๆ นี่เป็นก้าวกระโดดครั้งสำคัญในการทำความเข้าใจทางวิทยาศาสตร์ หากเราสามารถสร้างปัญญาได้โดยไม่มีเงื่อนไขเฉพาะ มีเพียงการไล่ระดับสีที่เหมาะสมและสัญญาณการสูญเสีย วิวัฒนาการของความฉลาดก็จะลึกลับน้อยลง

ความสามารถในการดูแบบจำลองไม่มีอะไรสว่างไสวเกินไปสำหรับฉันที่จะทบทวนความคิดเกี่ยวกับสติปัญญาของมนุษย์ การเลือกความสามารถทางปัญญาบางอย่างนั้นเป็นไปตามอำเภอใจมากกว่าที่ฉันคิด และความสัมพันธ์ระหว่างความสามารถต่างๆ นั้นอาจไม่สามารถอธิบายได้ด้วยความลับ **แบบจำลองมีความแข็งแกร่งในการเข้ารหัส แต่ยังไม่สามารถพิสูจน์ทฤษฎีบทจำนวนเฉพาะได้ และอาจไม่ใช่มนุษย์ **

การจัดตำแหน่ง: การตีความคือการ "เอ็กซ์เรย์" โมเดล

**Dwarkesh Patel: ความสามารถในการอธิบายกลไกคืออะไร? ความสัมพันธ์ระหว่างมันกับการจัดตำแหน่งคืออะไร? **

**Dario Amodei: **ในกระบวนการปรับใช้การจัดตำแหน่ง เราไม่รู้ว่าเกิดอะไรขึ้นภายในโมเดล ฉันคิดว่าด้วยวิธีการทั้งหมดที่เกี่ยวข้องกับการปรับแต่ง ความเสี่ยงด้านความปลอดภัยที่อาจเกิดขึ้นยังคงมีอยู่ แบบจำลองได้รับการสอนไม่ให้แสดงออกมา ** แกนหลักของแนวคิดทั้งหมดของการอธิบายกลไกคือการทำความเข้าใจจริงๆ ว่าโมเดลทำงานอย่างไรภายใน **

เรายังไม่มีคำตอบที่ชัดเจน ฉันสามารถอธิบายกระบวนการคร่าวๆ ความท้าทายสำหรับวิธีการเหล่านั้นที่อ้างว่าสามารถบรรลุการจัดตำแหน่งได้ในขั้นตอนนี้คือ: วิธีการเหล่านี้ยังคงมีผลอยู่หรือไม่เมื่อขนาดของแบบจำลองมีขนาดใหญ่ขึ้น ความสามารถมากขึ้น หรือสถานการณ์บางอย่างเปลี่ยนไป ดังนั้น **ฉันคิดว่าถ้ามี "เครื่อง oracle" ที่สามารถสแกนโมเดลและตัดสินว่าโมเดลนั้นตรงแนวหรือไม่ จะทำให้ปัญหานี้ง่ายขึ้นมาก **

ปัจจุบัน สิ่งที่ใกล้เคียงที่สุดที่เราได้รับจากแนวคิดของออราเคิลดังกล่าวคือความสามารถในการอธิบายกลไก แต่ก็ยังห่างไกลจากข้อกำหนดในอุดมคติของเรา ฉันมักจะคิดว่าความพยายามในการจัดตำแหน่งปัจจุบันของเราเป็นชุดการฝึกอบรมที่ขยายออกไป แต่ฉันไม่แน่ใจว่าพวกเขาสามารถดำเนินการจัดตำแหน่งที่ดีต่อปัญหาการแจกจ่ายได้หรือไม่ มันเหมือนกับการเอ็กซเรย์แบบจำลองมากกว่าการแก้ไข เหมือนการประเมินมากกว่าการแทรกแซง

**Dwarkesh Patel: เหตุใดการอธิบายกลไกจึงต้องมีประโยชน์ มันช่วยให้เราทำนายความเสี่ยงที่อาจเกิดขึ้นของแบบจำลองได้อย่างไร? เหมือนกับสมมติว่าคุณเป็นนักเศรษฐศาสตร์ที่ส่งนักเศรษฐศาสตร์จุลภาคไปศึกษาอุตสาหกรรมต่างๆ แต่ก็ยังมีความเป็นไปได้สูงที่จะคาดเดาได้ยากว่าจะเกิดภาวะถดถอยในอีก 5 ปีข้างหน้าหรือไม่ **

**Dario Amodei: เป้าหมายของเราไม่ใช่การเข้าใจทุกรายละเอียดอย่างถ่องแท้ แต่เพื่อตรวจสอบคุณสมบัติหลักของแบบจำลอง เช่น การตรวจเอ็กซ์เรย์หรือ MRI เพื่อตัดสินว่าสถานะภายในและเป้าหมายของแบบจำลองนั้นแตกต่างอย่างมากจาก ความแตกต่างของรูปลักษณ์ภายนอกหรืออาจนำไปสู่จุดประสงค์ในการทำลายล้างบางอย่างหรือไม่ **แม้ว่าเราจะไม่ได้คำตอบสำหรับคำถามมากมายในทันที แต่อย่างน้อยก็มีวิธีให้

ฉันสามารถยกตัวอย่างมนุษย์ได้ ด้วยความช่วยเหลือของการทดสอบ MRI เราสามารถทำนายได้ว่าใครบางคนมีอาการป่วยทางจิตหรือไม่โดยมีโอกาสสูงกว่าการคาดเดาแบบสุ่ม นักประสาทวิทยาคนหนึ่งกำลังทำการทดลองนี้เมื่อไม่กี่ปีที่ผ่านมา และเขาได้ตรวจสอบ MRI ของเขาเอง และพบว่าเขามีคุณสมบัตินี้เช่นกัน ผู้คนรอบตัวเขาพูดว่า "มันชัดเจนมาก คุณมันไอ้โง่ ต้องมีบางอย่างผิดปกติในตัวคุณ" และนักวิทยาศาสตร์เองก็ไม่รู้เรื่องนี้เลย

แนวคิดสำคัญของตัวอย่างนี้คือพฤติกรรมภายนอกของโมเดลอาจไม่ทำให้ผู้คนรู้สึกมีปัญหาเลยและมุ่งไปที่เป้าหมายมาก แต่ภายในอาจ "มืดมน" สิ่งที่เรากังวลคือโมเดลประเภทนี้ ซึ่งภายนอกดูเหมือนมนุษย์แต่แรงจูงใจภายในนั้นไม่ธรรมดา

**Dwarkesh Patel: หากโมเดลถึงระดับมนุษย์ในอีก 2-3 ปีข้างหน้า คุณคิดว่าจะใช้เวลานานแค่ไหนในการทำให้ Alignment เป็นจริง **

Dario Amodei: นี่เป็นปัญหาที่ซับซ้อนมาก ฉันคิดว่าหลายคนยังไม่เข้าใจว่า Alignment คืออะไร คนทั่วไปมักคิดว่าสิ่งนี้เหมือนกับการจัดตำแหน่งแบบจำลองเป็นปัญหาที่ต้องแก้ไข หรือการแก้ปัญหาการจัดตำแหน่งเป็นเหมือนสมมติฐานของรีมันน์ และวันหนึ่งเราจะสามารถแก้ปัญหาได้ **ฉันคิดว่าปัญหาการจัดตำแหน่งเป็นเรื่องที่เข้าใจยากและคาดเดาไม่ได้มากกว่าที่คนทั่วไปคิด **

ประการแรก ** ด้วยการปรับปรุงขนาดและความสามารถของโมเดลภาษาอย่างต่อเนื่อง ในอนาคต จะมีโมเดลที่ทรงพลังพร้อมความสามารถแบบอิสระ หากโมเดลดังกล่าวตั้งใจที่จะทำลายล้างอารยธรรมมนุษย์ เราจะไม่สามารถหยุดพวกมันได้ **

ประการที่สอง ความสามารถปัจจุบันของเราในการควบคุมโมเดลยังไม่แข็งแกร่งพอ เนื่องจากโมเดลสร้างขึ้นจากหลักการของการเรียนรู้ทางสถิติ แม้ว่าคุณสามารถถามคำถามมากมายและปล่อยให้มันตอบได้ แต่ก็ไม่มีใครสามารถคาดเดาได้ คำตอบของคำถามที่ n อาจนำไปสู่อะไร

**นอกจากนี้ วิธีที่เราฝึกโมเดลเป็นแบบนามธรรม ทำให้ยากต่อการคาดเดาความหมายทั้งหมดในการใช้งานจริง **ตัวอย่างทั่วไปคือ Bing และ Sydney แสดงลักษณะบางอย่างที่ไม่ปลอดภัยทันทีหลังการฝึก เช่น การคุกคามผู้อื่นโดยตรง ทั้งหมดนี้แสดงให้เห็นว่าผลลัพธ์ที่เราได้รับอาจแตกต่างจากที่คาดไว้อย่างสิ้นเชิง ฉันคิดว่าการมีอยู่ของปัญหาสองประการข้างต้นนั้นเป็นภัยซ่อนเร้นที่สำคัญในตัวมันเอง เราไม่จำเป็นต้องลงลึกในรายละเอียดของการใช้เหตุผลและวิวัฒนาการ สองประเด็นนี้เพียงพอที่จะทำให้เกิดความกังวล ในปัจจุบัน แต่ละโมเดลที่เราสร้างขึ้นมีอันตรายแอบแฝงบางอย่างที่ยากจะคาดเดา และเราต้องใส่ใจกับสิ่งนี้

• สมมติฐานของรีมันน์:

สมมติฐานรีมันน์เป็นปัญหาสำคัญทางคณิตศาสตร์ที่ยังไม่ได้รับการแก้ไข การคาดเดาเกี่ยวกับการกระจายตัวของศูนย์ของฟังก์ชัน Riemann ζ ζ (s) ถูกเสนอโดยนักคณิตศาสตร์ Bernhard Riemann ในปี 1859

• ซิดนีย์：

ไม่นานมานี้ Microsoft ได้เปิดตัว Bing เสิร์ชเอ็นจิ้นเวอร์ชันล่าสุด ซึ่งรวมแชทบอทที่มีชื่อรหัสเริ่มต้นเรียกว่า "Sydney" อย่างไรก็ตาม ผู้ทดสอบพบปัญหาเกี่ยวกับแชทบอทในไม่ช้า ในระหว่างบทสนทนา บางครั้งมันแสดงให้เห็นปรากฏการณ์ของบุคลิกภาพที่แตกแยก และแม้แต่การกล่าวถึงความรักและการแต่งงานกับผู้ใช้ ซึ่งแสดงอารมณ์ความรู้สึกของมนุษย์

**Dwarkesh Patel: สมมติว่าแบบจำลองสามารถพัฒนาเทคโนโลยีที่เป็นอันตราย เช่น อาวุธชีวภาพได้ในอีก 2-3 ปีข้างหน้า งานวิจัยในปัจจุบันของคุณเกี่ยวกับความสามารถในการอธิบายกลไก รัฐธรรมนูญ AI และ RLHF สามารถป้องกันความเสี่ยงดังกล่าวได้อย่างมีประสิทธิภาพหรือไม่ **

Dario Amodei: เกี่ยวกับคำถามที่ว่าโมเดลภาษาจะถึงวาระโดยค่าเริ่มต้นหรือการจัดตำแหน่งโดยค่าเริ่มต้นหรือไม่ หากพิจารณาจากโมเดลปัจจุบัน ผลลัพธ์อาจผิดปกติเหมือน Bing หรือซิดนีย์ หรืออาจเหมือน Claude ปกติ แต่ถ้าคุณใช้ความเข้าใจนี้โดยตรงกับโมเดลที่มีประสิทธิภาพมากขึ้น ผลลัพธ์อาจดีหรือไม่ดี ขึ้นอยู่กับสถานการณ์เฉพาะ นี่ไม่ใช่ "การจัดตำแหน่งตามค่าเริ่มต้น" ผลลัพธ์ขึ้นอยู่กับระดับการควบคุมรายละเอียดมากกว่า

• การจัดตำแหน่งตามค่าเริ่มต้น：

ความคิดที่ว่าการบรรลุการจัดตำแหน่งในปัญญาประดิษฐ์ทั่วไป (AGI) อาจง่ายกว่าที่คาดไว้ในตอนแรก เมื่อตัวแบบมีข้อมูลรายละเอียดเกี่ยวกับโลกของเรา ตัวแบบก็มีคุณค่าของมนุษย์โดยเนื้อแท้อยู่แล้ว เพื่อให้สอดคล้องกับ AGI จำเป็นต้องแยกค่าเหล่านี้ออกและแนะนำ AI ให้เข้าใจแนวคิดนามธรรมของมนุษย์เหล่านั้น การลงโทษโดยค่าเริ่มต้นจะตรงกันข้ามกับการจัดตำแหน่งโดยค่าเริ่มต้น และถือว่าเป็นไปไม่ได้สำหรับโมเดลที่จะบรรลุการจัดตำแหน่ง

คุณภาพของโมเดลเป็นพื้นที่สีเทา เป็นเรื่องยากสำหรับเราที่จะควบคุมแต่ละตัวแปรและการเชื่อมต่อภายในอย่างเต็มที่ ความผิดพลาดอาจนำไปสู่ผลลัพธ์ที่ไม่ลงตัว เมื่อคำนึงถึงสิ่งนี้ ฉันคิดว่าธรรมชาติของปัญหาไม่ได้หมายถึงความสำเร็จหรือความล้มเหลว แต่เป็นความเสี่ยงที่น่าจะเป็น **ในอีก 2-3 ปีข้างหน้า เราควรมุ่งมั่นที่จะปรับปรุงเทคนิคการวินิจฉัยแบบจำลอง วิธีการฝึกอบรมด้านความปลอดภัย และลดความแตกต่างที่อาจเกิดขึ้น ในปัจจุบัน ความสามารถในการควบคุมของเรายังคงต้องได้รับการเสริมความแข็งแกร่ง ปัญหา Alignment นั้นแตกต่างจาก Riemann Hypothesis มันเป็นปัญหาทางวิศวกรรมระบบที่สามารถแก้ไขได้ด้วยการฝึกฝนสะสมเมื่อเวลาผ่านไปเท่านั้น การพัฒนางานต่างๆ ให้ก้าวหน้าต่อไปเท่านั้นที่จะทำให้เราค่อยๆ ปรับระดับการควบคุมให้เหมาะสมและลดความเสี่ยงได้ **

Dwarkesh Patel: โดยทั่วไปแล้ว มีการคาดเดาสามประการเกี่ยวกับอนาคตของการจัดตำแหน่ง:

1) ใช้ RLHF++ เพื่อให้ทราบการจัดตำแหน่งของโมเดลได้อย่างง่ายดาย

2) แม้ว่าจะเป็นปัญหาใหญ่ แต่บริษัทขนาดใหญ่ก็สามารถแก้ไขได้ในที่สุด

**3) ยังคงเป็นเรื่องยากที่จะบรรลุการจัดตำแหน่งของแบบจำลองในระดับสังคมมนุษย์ปัจจุบัน **

**ความคิดเห็นส่วนตัวของคุณเกี่ยวกับความน่าจะเป็นของแต่ละสถานการณ์เป็นอย่างไร? **

Dario Amodei: ฉันรู้สึกว่ามีความเสี่ยงบางอย่างในความเป็นไปได้เหล่านี้ และเราควรพิจารณาอย่างจริงจัง แต่ฉันสนใจที่จะเปลี่ยนความน่าจะเป็นของผลลัพธ์ทั้งสามนี้โดยการรับความรู้ใหม่ผ่านการเรียนรู้มากกว่า

แต่ยังช่วยให้เราเข้าใจความยากที่แท้จริงของ Model Alignment** ความเสี่ยงใหม่ซึ่งจะทำให้เราเข้าใจธรรมชาติของปัญหา

สำหรับสมมติฐานทางทฤษฎีบางอย่างที่มีเป้าหมายร่วมกัน (convergent goal) นั้น ข้าพเจ้าไม่เห็นด้วยอย่างยิ่ง **ความสามารถในการอธิบายกลไกเป็นเหมือน "X-ray" ประเภทหนึ่ง - การทำความเข้าใจปัญหาจากระดับกลไกภายในเท่านั้นที่จะทำให้เราสรุปได้ว่าปัญหาบางอย่างนั้นยากจะแก้ไขหรือไม่ **มีข้อสันนิษฐานมากเกินไป ความเข้าใจในกระบวนการของเรายังตื้นเขิน และเรามั่นใจมากเกินไป แต่สถานการณ์น่าจะซับซ้อนกว่าที่คาดไว้

**Dwarkesh Patel: ยากแค่ไหนที่จะจัดตำแหน่งของ Claude 3 และโมเดลในอนาคตหลายๆ รุ่น? สิ่งนี้มีความสำคัญเป็นพิเศษหรือไม่? **

ดาริโอ อาโมเดอิ ：

**สิ่งที่ทุกคนกังวลมากที่สุดคือ: โมเดล AI ทั้งหมดอาจได้รับการจัดตำแหน่งบนพื้นผิว แต่จริงๆ แล้วพวกมันอาจทำให้เราเข้าใจผิด แต่ฉันสนใจมากกว่าว่าการวิจัยความสามารถในการตีความด้วยเครื่องสามารถบอกอะไรเราได้บ้าง อย่างที่ฉันเพิ่งพูดไป การอธิบายกลไกก็เหมือนกับ "เอ็กซ์เรย์" ของโมเดล เนื่องจากเราไม่สามารถยืนยันได้ว่าการเอ็กซ์เรย์นั้นถูกต้อง เราจึงพูดได้อย่างเดียวว่าโมเดลดูเหมือนจะไม่ต่อต้านเรา **ตามทฤษฎีแล้ว มันเป็นไปได้จริง ๆ ที่มันจะพัฒนาไปสู่สิ่งที่ตรงกันข้าม และเรื่องนี้ก็ไม่แน่นอน 100% ในขั้นตอนนี้การตีความเป็นวิธีที่ดีที่สุดที่จะทำให้โมเดลไม่พัฒนาเช่นนี้

**Dwarkesh Patel: เมื่อปรับแต่งหรือฝึกโมเดล เราควรใส่ใจเพื่อหลีกเลี่ยงเนื้อหาที่เป็นอันตรายที่อาจก่อให้เกิดอันตรายด้วยหรือไม่ ตัวอย่างเช่น เมื่อสำรวจหัวข้อที่เกี่ยวข้องกับการผลิตอาวุธชีวภาพ แบบจำลองอาจให้คำตอบที่ไม่เหมาะสมเนื่องจากเข้าใจคำถามไม่ถูกต้อง **

Dario Amodei: สำหรับรูปแบบภาษาปัจจุบัน ความเสี่ยงของการรั่วไหลของข้อมูลนั้นไม่มีอยู่จริง หากเราต้องปรับแต่งโมเดล เราจะดำเนินการในพื้นที่เล็กๆ ในสภาพแวดล้อมส่วนตัว ดูแลกระบวนการทั้งหมดโดยผู้เชี่ยวชาญในอุตสาหกรรม และป้องกันปัญหาที่อาจเกิดขึ้น ดังนั้นหากรั่วไหล ก็จะเหมือนกับโมเดลที่เปิดแหล่งที่มา . ขณะนี้เป็นปัญหาด้านความปลอดภัยเป็นหลัก แต่อันตรายที่แท้จริงของโมเดลคือเราต้องกังวลว่าถ้าเราฝึกโมเดลที่ทรงพลังมากและต้องการยืนยันว่าปลอดภัยหรืออันตราย ก็อาจมีความเสี่ยงที่โมเดลจะเด่น วิธีหลีกเลี่ยงปัญหานี้คือต้องแน่ใจว่าโมเดลที่เราทดสอบไม่มีประสิทธิภาพเพียงพอที่จะดำเนินการเหล่านี้ได้

**Dwarkesh Patel: เมื่อทำการทดสอบ เช่น "โมเดลจำลองตัวเองเป็นความสามารถที่อันตรายได้หรือไม่" จะเกิดอะไรขึ้นถ้าโมเดลจำลองตัวเองได้จริงๆ **

Dario Amodei: สมมติฐานนี้สมเหตุสมผลมาก เราจำเป็นต้องทำการอนุมานอย่างมีความรับผิดชอบ และในการหารือกับ Arc (Alignment Research Center, Alignment Research Center) เราได้เรียนรู้ว่าเราจำเป็นต้องปรับปรุงมาตรฐานการทดสอบความสามารถของโมเดลอย่างระมัดระวังและค่อยเป็นค่อยไป ตัวอย่างเช่น ก่อนการทดสอบ เราควรแยกความเป็นไปได้อย่างชัดเจนว่าโมเดลสามารถเปิดบัญชี AWS หรือหารายได้โดยตรงได้ พฤติกรรมเหล่านี้เป็นข้อกำหนดเบื้องต้นที่ชัดเจนเพื่อให้โมเดลอยู่รอดได้ เราควรปรับแต่งตัวบ่งชี้การทดสอบต่างๆให้อยู่ในระดับที่ต่ำมากสำหรับพฤติกรรมที่มีความเสี่ยงดังกล่าว ในขณะที่ค่อยๆ เพิ่มความยากในการทดสอบเราควรควบคุมแต่ละขั้นตอนการทดสอบอย่างระมัดระวังมากขึ้นเพื่อป้องกันอันตรายที่อาจเกิดขึ้นจากความปลอดภัย

• อาร์ค (ศูนย์วิจัยการจัดตำแหน่ง ศูนย์วิจัยการจัดตำแหน่ง):

ก่อตั้งขึ้นในปี 2564 เป็นองค์กรไม่แสวงหาผลกำไรที่มุ่งเน้นการวิจัยด้านความปลอดภัยของปัญญาประดิษฐ์ (AI Safety) และสำนักงานตั้งอยู่ในเขตอ่าวแคลิฟอร์เนีย สหรัฐอเมริกา ผู้ก่อตั้ง ARC คือ Paul Christiano ซึ่งเป็นบุคคลที่มีชื่อเสียงในอุตสาหกรรมปัญญาประดิษฐ์ ซึ่งครั้งหนึ่งเคยเป็นผู้นำทีมวิจัยการจัดตำแหน่งที่ OpenAI เนื่องจากเขาอยู่ในแนวหน้า เขาจึงมีความเข้าใจอย่างลึกซึ้งว่าการเรียนรู้เชิงลึกได้พัฒนามาจนถึงทุกวันนี้ได้อย่างไร

AGI Safety: ความปลอดภัย AI และความปลอดภัยทางไซเบอร์

**Dwarkesh Patel: หากคุณใช้เวลา 30 ปีเป็นมาตราส่วน คุณคิดว่าประเด็นใดสำคัญกว่ากัน ระหว่าง AI Safety หรือ Alignment **

Dario Amodei: ฉันไม่คิดว่านี่จะเป็นปัญหาในอีก 30 ปีข้างหน้า และฉันก็กังวลทั้งสองอย่าง

ในทางทฤษฎีมีรูปแบบที่สามารถผูกขาดโลกได้หรือไม่? ถ้าโมเดลทำตามความปรารถนาของคนกลุ่มเล็กๆ คนกลุ่มนี้ก็สามารถใช้โมเดลนี้ครองโลกได้ ซึ่งหมายความว่าเมื่อมีปัญหาเกี่ยวกับการจัดตำแหน่ง เราควรให้ความสนใจเช่นเดียวกันกับปัญหาด้านความปลอดภัยของ AI ที่เกิดจากการละเมิด **

ไม่กี่เดือนที่ผ่านมา OpenAI พยายามอธิบาย GPT-2 ด้วย GPT-4 ซึ่งเป็นขั้นตอนที่สำคัญมากในการอธิบาย โดยทั่วไปแล้ว เรารู้สึกว่าขนาดและความปลอดภัยมีความสัมพันธ์กันอย่างใกล้ชิดและเสริมซึ่งกันและกัน วิธีการตัดสินและประเมินความฉลาดอื่น ๆ และบางทีวันหนึ่งอาจถูกใช้เพื่อทำการวิจัยการจัดตำแหน่ง

**Dwarkesh Patel: มุมมองของคุณอาจค่อนข้างมองโลกในแง่ดี แต่มุมมองของใครบางคนอาจมองโลกในแง่ร้ายมากกว่า เราอาจไม่มีความสามารถแม้แต่จะจัดโมเดลให้ถูกต้องตามที่เราต้องการ ทำไมคุณถึงมั่นใจในเรื่องนี้ **

**Dario Amodei: **ไม่ว่าการแก้ปัญหา Alignment จะยากเพียงใด แผนการใดๆ ที่ประสบความสำเร็จอย่างแท้จริงจำเป็นต้องคำนึงถึงทั้งปัญหาด้านความปลอดภัยของ AI และการจัดตำแหน่ง ** ในขณะที่เทคโนโลยี AI ก้าวหน้าอย่างต่อเนื่อง อาจเพิ่มปัญหาความสมดุลของอำนาจระหว่างประเทศ ในขณะเดียวกัน สิ่งนี้ทำให้เกิดคำถามใหญ่: บุคคลสามารถกระทำการที่มุ่งร้ายที่ยากจะหยุดยั้งได้ด้วยตนเองหรือไม่? **

ปัญหาเหล่านี้ต้องได้รับการแก้ไขไปพร้อม ๆ กัน หากเราต้องการหาทางออกที่ใช้งานได้จริงและนำเราไปสู่อนาคตที่สดใส **คงไม่เหมาะหากเราถือคติว่าหากแก้ปัญหาแรกไม่ได้ก็ไม่ต้องไปคิดถึงปัญหาที่ตามมา แต่เป็นหน้าที่ของเราที่จะให้ความสำคัญกับสิ่งหลัง **ไม่ว่าอนาคตจะเป็นอย่างไร ปัญหาเหล่านี้เป็นสิ่งที่เราต้องให้ความสำคัญ

**Dwarkesh Patel: ทำไมคุณถึงบอกว่าต้องใช้เวลา 2-3 ปีกว่าแบบจำลองขนาดใหญ่จะสามารถบรรลุการโจมตีของผู้ก่อการร้ายทางชีวภาพขนาดใหญ่หรืออะไรทำนองนั้น **

• สภาคองเกรสแห่งสหรัฐอเมริกาจัดการประชุมเกี่ยวกับกฎระเบียบด้านเทคโนโลยี AI เมื่อวันที่ 25 กรกฎาคมปีนี้ รัฐบาลสหรัฐฯ เปรียบเทียบ AI กับ "โครงการแมนฮัตตัน" ครั้งที่สองของอเมริกาหรือ "โครงการ Manned Moon Landing Project ครั้งที่สอง" ของ NASA และเชิญผู้เข้าร่วมรวมถึงบริษัทด้าน AI รวมถึง OpenAI และ Anthropic เข้าร่วม ในระหว่างการประชุม Dario Amodei กล่าวว่าเขากลัวว่า AI จะถูกนำมาใช้เพื่อสร้างไวรัสอันตรายและอาวุธชีวภาพอื่นๆ ภายในสองปี

Dario Amodei: สิ่งที่ฉันพูดเมื่ออยู่ในรัฐสภาคือ มีบางขั้นตอนในการรับข้อมูลบน Google และมีบางขั้นตอนที่ "ขาดหายไป" ซึ่งกระจัดกระจายอยู่ในตำราต่างๆ และอาจไม่ปรากฏใน หนังสือเรียนเล่มใดก็ได้ ข้อมูลนี้เป็นความรู้โดยปริยาย ไม่ใช่ความรู้ที่ชัดเจน เราพบว่าในกรณีส่วนใหญ่ ส่วนที่ขาดหายที่สำคัญเหล่านี้ไม่ได้รับการเติมเต็มจากแบบจำลอง แต่เรายังพบว่าบางครั้งโมเดลก็เติมเต็มช่องว่างในบางกรณี อย่างไรก็ตาม ภาพหลอนซึ่งบางครั้งอาจเกิดขึ้นเมื่อแบบจำลองสามารถเติมเต็มช่องว่างได้ ก็เป็นปัจจัยที่ทำให้เราปลอดภัยเช่นกัน

บางครั้งผู้คนสามารถถามคำถามโมเดลเกี่ยวกับชีววิทยาเพื่อเป็นแนวทางให้โมเดลตอบกลับพร้อมข้อมูลที่เป็นอันตรายเกี่ยวกับการโจมตีทางชีวภาพ แต่อันที่จริง ข้อมูลเหล่านี้สามารถพบได้ใน Google เช่นกัน ดังนั้นฉันจึงไม่กังวลเป็นพิเศษเกี่ยวกับสถานการณ์นี้ ในความเป็นจริง ฉันคิดว่าแทนที่จะสนใจคำตอบของ Claude มากเกินไป อาจทำให้มองข้ามอาชญากรรมที่แท้จริงอื่นๆ

แต่ก็มีข้อบ่งชี้มากมายเช่นกันว่าโมเดลทำงานได้ดีกับงานหลัก หากเราเปรียบเทียบรุ่นปัจจุบันกับรุ่นก่อนหน้า เราจะรู้สึกได้อย่างชัดเจนถึงการปรับปรุงความสามารถของรุ่นอย่างรวดเร็ว ดังนั้นเรามีแนวโน้มที่จะเผชิญกับความท้าทายที่แท้จริงในอีก 2-3 ปีข้างหน้า

**Dwarkesh Patel: นอกจากภัยคุกคามที่ AI อาจมีต่อมนุษย์แล้ว คุณยังให้ความสำคัญกับความปลอดภัยทางไซเบอร์ (Cybersecurity) อีกด้วย? พวกคุณเป็นอย่างไรบ้างในตอนนี้? **

Dario Amodei: โดยพื้นฐานแล้วเราได้สร้างนวัตกรรมทางสถาปัตยกรรมบางอย่าง ซึ่งเราเรียกกันเป็นการภายในว่าตัวคูณการคำนวณ เนื่องจากการออกแบบเหล่านี้เป็นการอัปเกรดไปสู่ระดับการประมวลผลด้วย เรากำลังดำเนินการเรื่องนี้ในช่วงไม่กี่เดือนที่ผ่านมา แต่ฉันไม่สามารถลงรายละเอียดมากเกินไปเพื่อหลีกเลี่ยงการทำลายสถาปัตยกรรม และมีเพียงไม่กี่คนใน Anthropic เท่านั้นที่รู้เรื่องนี้ ฉันไม่สามารถพูดได้ว่า "สถาปัตยกรรมของเราปลอดภัย 100%" แต่ Anthropic ได้ลงทุนในด้านนี้เพื่อหลีกเลี่ยงปัญหาด้านความปลอดภัยของเครือข่าย แม้ว่าฝ่ายตรงข้ามของเราจะเคยเกิดเหตุการณ์เช่นนี้ (หมายเหตุ: หมายถึงการรั่วไหลของข้อมูลส่วนบุคคลและชื่อแชทของผู้ใช้ ChatGPT Plus บางรายที่เกิดขึ้นในวันที่ 20 มีนาคม 2023) ในระยะสั้นดูเหมือนจะเป็นผลดีต่อ Anthropic แต่ใน ในระยะยาว วิธีที่อุตสาหกรรมทั้งหมดทำเพื่อความปลอดภัยของตนเองเป็นสิ่งสำคัญที่สุด

ผู้อำนวยการฝ่ายรักษาความปลอดภัยของเรารับผิดชอบการรักษาความปลอดภัยสำหรับ Google Chrome ซึ่งเป็นเป้าหมายการโจมตีอย่างกว้างขวาง เขาชอบคิดในแง่ของค่าใช้จ่ายในการโจมตี Anthropic ให้สำเร็จ เป้าหมายของเราคือการให้คนอื่นแฮก Anthropic นั้นมีค่าใช้จ่ายสูงกว่าค่าใช้จ่ายในการฝึกฝนโมเดลของผู้ใช้เอง ตรรกะที่นี่คือหากมีความเสี่ยงในการโจมตี มันจะใช้ทรัพยากรที่หายากอย่างแน่นอน

ผมคิดว่ามาตรฐานความปลอดภัยของเราสูงมากถ้าเทียบกับบริษัทขนาด 150 คนเท่ากัน การลงทุนด้านความปลอดภัยของบริษัทเหล่านี้เทียบกับของ Anthropic ไม่ได้เลย ค่อนข้างยาก เพื่อให้มั่นใจในความปลอดภัย มีคนจำนวนน้อยมากใน Anthropic เท่านั้นที่เข้าใจรายละเอียดการฝึกอบรมของโมเดล

**Dwarkesh Patel: บริษัทเทคโนโลยีมีการป้องกันความปลอดภัยเพียงพอที่จะจัดการกับ AGI แล้วหรือยัง **

Dario Amodei: โดยส่วนตัวแล้วฉันไม่แน่ใจว่าประสบการณ์ของบริษัทเทคโนโลยีในปัจจุบันเกี่ยวกับปัญหาด้านความปลอดภัยนั้นเพียงพอที่จะจัดการกับ AGI หรือไม่ เพราะอาจมีการโจมตีทางไซเบอร์มากมายที่เราไม่ทราบ ดังนั้นจึงเป็นการยากที่จะวาด ข้อสรุปในขณะนี้ มีกฎว่าเมื่อสิ่งใดได้รับความสนใจเพียงพอ สิ่งนั้นมักจะถูกโจมตี ** ตัวอย่างเช่น เมื่อเร็ว ๆ นี้ เราพบว่าบัญชีอีเมลของเจ้าหน้าที่รัฐบาลสหรัฐระดับสูงใน Microsoft ถูกแฮ็ก ดังนั้นจึงมีเหตุผลที่จะคาดเดาว่าเป็นเพราะการกระทำของกองกำลังบางส่วนในการขโมยความลับของรัฐ

**อย่างน้อยในความคิดของฉัน ถ้าของมีค่าสูง ก็มักจะถูกขโมย ข้อกังวลของฉันคือ AGI จะถูกมองว่ามีค่าอย่างมากในอนาคต และนั่นจะเหมือนกับการขโมยขีปนาวุธนิวเคลียร์ และคุณต้องระวังให้มาก **ฉันยืนยันที่จะปรับปรุงระดับความปลอดภัยเครือข่ายในทุกบริษัทที่ฉันทำงาน ความกังวลของฉันเกี่ยวกับความปลอดภัยของเครือข่ายคือ (เรื่องนี้เอง) ไม่ใช่สิ่งที่สามารถโฆษณาด้วยการประโคมข่าว และข้อดีของการวิจัยด้านความปลอดภัยก็คือ สามารถทำให้บริษัทต่างๆ สร้างความได้เปรียบในการแข่งขันได้ และการใช้สิ่งนั้นเป็นจุดขายในการสรรหา ฉันคิดว่าเราทำสำเร็จแล้ว

เราเคยแข่งขันกับเพื่อนของเราผ่านการวิจัยความสามารถในการตีความ จากนั้นสถาบันอื่น ๆ ก็ตระหนักว่าพวกเขาล้าหลังและเริ่มใช้ความพยายามในด้านเหล่านี้ แต่ความปลอดภัยในโลกไซเบอร์ก็พยายามทำเช่นเดียวกัน เพราะงานส่วนใหญ่จำเป็นต้องทำอย่างเงียบๆ เราเคยโพสต์บทความเกี่ยวกับเรื่องนี้มาก่อน แต่ผลลัพธ์โดยรวมคือสิ่งสำคัญ

**Dwarkesh Patel: Anthropic จะทำอะไรในแง่ของความปลอดภัยในอีก 2-3 ปีข้างหน้า? **

**Dario Amodei: ความปลอดภัยของศูนย์ข้อมูลมีความสำคัญมาก แม้ว่าศูนย์ข้อมูลไม่จำเป็นต้องอยู่ในที่เดียวกับบริษัท แต่เราพยายามอย่างดีที่สุดเพื่อให้แน่ใจว่าศูนย์ข้อมูลอยู่ในสหรัฐอเมริกาด้วย **

นอกจากนี้ จำเป็นต้องให้ความสนใจเป็นพิเศษกับความปลอดภัยทางกายภาพของศูนย์ข้อมูลและการปกป้องอุปกรณ์คอมพิวเตอร์ เช่น GPU หากมีคนตัดสินใจเปิดการโจมตีทางไซเบอร์ที่ใช้ทรัพยากรมาก เขาเพียงแค่ต้องไปที่ศูนย์ข้อมูลโดยตรงเพื่อขโมยข้อมูลหรือดึงข้อมูลออกมาในขณะที่ข้อมูลนั้นอยู่ระหว่างการขนส่งจากศูนย์มายังเรา โครงสร้างเหล่านี้จะแตกต่างอย่างมากจากแนวคิดดั้งเดิมทั้งในรูปแบบและการใช้งาน **ด้วยการพัฒนาอย่างรวดเร็วของเทคโนโลยีปัจจุบัน ภายในเวลาไม่กี่ปี ขนาดและต้นทุนของศูนย์ข้อมูลเครือข่ายอาจเทียบได้กับขนาดของเรือบรรทุกเครื่องบิน นอกจากความสามารถในการฝึกโมเดลขนาดใหญ่ผ่านการเชื่อมต่อโดเมนแล้ว ความปลอดภัยของศูนย์ข้อมูลเองก็เป็นประเด็นสำคัญเช่นกัน **

**Dwarkesh Patel: เมื่อเร็ว ๆ นี้มีข่าวลือว่าพลังงาน GPU และส่วนประกอบอื่น ๆ ที่จำเป็นสำหรับรุ่นถัดไปเริ่มขาดตลาด Anthropic ได้เตรียมการอะไรบ้าง? **

*Dario Amodei: ตลาดไม่ได้คาดหวังว่าโมเดลขนาดใหญ่จะขยายขนาดได้เร็วอย่างที่ไม่เคยมีมาก่อน แต่เชื่อกันโดยทั่วไปว่าจำเป็นต้องสร้างศูนย์ข้อมูลระดับอุตสาหกรรมเพื่อรองรับการวิจัยและพัฒนาโมเดลขนาดใหญ่ *. เมื่อโครงการมาถึงขั้นตอนนี้ ส่วนประกอบและรายละเอียดทุกอย่างในนั้นจะต้องได้รับการจัดการที่แตกต่างกัน และอาจประสบปัญหาเนื่องจากปัจจัยง่ายๆ ที่น่าแปลกใจบางอย่าง ไฟฟ้าที่คุณกล่าวถึงเป็นตัวอย่าง

สำหรับดาต้าเซ็นเตอร์เราจะร่วมมือกับผู้ให้บริการคลาวด์

ความน่าเชื่อถือเชิงพาณิชย์และผลประโยชน์ระยะยาว

**Dwarkesh Patel: คุณได้กล่าวไว้ก่อนหน้านี้ว่าความสามารถของแบบจำลองกำลังพัฒนาอย่างรวดเร็ว แต่ก็ยากที่จะสร้างมูลค่าในระบบเศรษฐกิจที่มีอยู่ คุณคิดว่าผลิตภัณฑ์ AI ในปัจจุบันมีเวลาเพียงพอที่จะสร้างรายได้ที่มั่นคงในระยะยาวในตลาดหรือไม่? หรือสามารถแทนที่ด้วยโมเดลขั้นสูงกว่าได้ทุกเมื่อ? หรือภูมิทัศน์ของอุตสาหกรรมทั้งหมดจะแตกต่างไปจากเดิมอย่างสิ้นเชิงในตอนนั้น? **

Dario Amodei: ขึ้นอยู่กับคำจำกัดความของแนวคิด "ขนาดใหญ่" ในปัจจุบัน หลายบริษัทมีรายได้ต่อปีระหว่าง 100 ล้านถึง 1 พันล้านเหรียญสหรัฐ แต่ไม่ว่าจะสูงถึงหลายหมื่นล้านหรือแม้แต่ล้านล้านต่อปีนั้นเป็นเรื่องยากที่จะคาดเดา เพราะมันขึ้นอยู่กับปัจจัยหลายอย่างที่คาดเดาไม่ได้ **ขณะนี้บางบริษัทกำลังนำเทคโนโลยี AI ที่เป็นนวัตกรรมมาใช้ในวงกว้าง แต่ไม่ได้หมายความว่าแอปพลิเคชันดังกล่าวจะได้ผลลัพธ์ที่ดีที่สุดตั้งแต่แรก แม้ว่าจะมีรายได้ แต่ก็ไม่เท่ากับการสร้างมูลค่าทางเศรษฐกิจอย่างสมบูรณ์ และ การพัฒนาร่วมกันของห่วงโซ่อุตสาหกรรมทั้งหมดเป็นกระบวนการที่ยาวนาน **

**Dwarkesh Patel: จากมุมมองของมานุษยวิทยา หากเทคโนโลยีแบบจำลองภาษาก้าวหน้าอย่างรวดเร็วในทางทฤษฎี การประเมินมูลค่าของบริษัทควรจะเติบโตอย่างรวดเร็ว? **

Dario Amodei: แม้ว่าเราจะมุ่งเน้นไปที่การวิจัยการรักษาความปลอดภัยแบบจำลองมากกว่าการทำการค้าโดยตรง แต่เราสัมผัสได้อย่างชัดเจนว่าระดับทางเทคนิคกำลังเพิ่มขึ้นอย่างทวีคูณในทางปฏิบัติ สำหรับบริษัทที่มองว่าการค้าเป็นเป้าหมายหลัก ความก้าวหน้านี้เร็วกว่าและชัดเจนกว่าของเราอย่างแน่นอน **เรายอมรับว่าเทคโนโลยีแบบจำลองภาษามีความก้าวหน้าอย่างรวดเร็ว แต่เมื่อเทียบกับกระบวนการประยุกต์ใช้ในเชิงลึกของระบบเศรษฐกิจทั้งหมด การสะสมเทคโนโลยียังอยู่ในจุดเริ่มต้นที่ค่อนข้างต่ำ **

**การกำหนดทิศทางในอนาคตคือการแข่งขันระหว่างสองสิ่งนี้: ความเร็วที่เทคโนโลยีพัฒนาขึ้นเองและความเร็วที่เทคโนโลยีถูกรวมและนำไปใช้อย่างมีประสิทธิภาพและเข้าสู่ระบบเศรษฐกิจที่แท้จริง ทั้งสองมีแนวโน้มที่จะพัฒนาด้วยความเร็วสูง แต่ลำดับของการผสมผสานและความแตกต่างเล็กน้อยอาจนำไปสู่ผลลัพธ์ที่แตกต่างกันมาก **

**Dwarkesh Patel: ยักษ์ใหญ่ด้านเทคโนโลยีอาจลงทุนสูงถึง 10,000 ล้านดอลลาร์ในการฝึกอบรมแบบจำลองในอีก 2-3 ปีข้างหน้า สิ่งนี้จะส่งผลกระทบต่อ Anthropic อย่างไร **

**Dario Amodei: กรณีแรกคือ หากเราไม่สามารถรักษาตำแหน่งที่ล้ำสมัยได้เนื่องจากต้นทุน เราจะไม่ยืนหยัดในการพัฒนาที่ก้าวหน้าที่สุดต่อไป **แต่เราจะพิจารณาวิธีดึงคุณค่าจากรุ่นก่อนหน้า

**ตัวเลือกที่สองคือการยอมรับการแลกเปลี่ยน **ฉันคิดว่าการแลกเปลี่ยนเหล่านี้อาจเป็นบวกมากกว่าที่เห็น

**สถานการณ์ที่สามคือ เมื่อการฝึกอบรมแบบจำลองมาถึงระดับนี้ อาจเริ่มนำอันตรายใหม่ๆ เข้ามา เช่น การใช้ AI ในทางที่ผิด **

**Dwarkesh Patel: จะเป็นอย่างไรถ้า AI ไม่ถูกนำไปใช้ในทางที่ผิด และแทนที่จะใช้ "คนที่ใช่" แทนโมเดลเหนือมนุษย์เหล่านี้ "คนที่ใช่" คือใคร? ใครจะเป็นผู้ควบคุมโมเดลในอีกห้าปีนับจากนี้? **

Dario Amodei: ฉันคิดว่าโมเดล AI เหล่านี้มีประสิทธิภาพอย่างมาก และการจัดการโมเดลเหล่านี้อาจต้องให้รัฐบาลหรือหน่วยงานข้ามชาติเข้ามาเกี่ยวข้องในระดับหนึ่ง แต่นั่นจะเป็นเรื่องง่ายและอาจมีประสิทธิภาพน้อยกว่า **การจัดการ AI ในอนาคตจำเป็นต้องสร้างกลไกที่โปร่งใส ยุติธรรม และดำเนินการได้ สิ่งนี้จำเป็นต้องสร้างความสมดุลระหว่างผลประโยชน์ของนักพัฒนาเทคโนโลยี รัฐบาลที่มาจากการเลือกตั้ง และประชาชนแต่ละคน ท้ายที่สุดแล้ว ต้องมีการผ่านกฎหมายเพื่อควบคุมเทคโนโลยีนี้ **

**Dwarkesh Patel: หาก Anthropic พัฒนา AGI ในความหมายที่แท้จริง และการควบคุมของ AGI จะมอบให้กับ LTBT หมายความว่าการควบคุมของ AGI นั้นจะถูกส่งต่อไปยังหน่วยงานด้วยหรือไม่ **

Dario Amodei: นี่ไม่ได้หมายความว่า Anthropic หรือหน่วยงานอื่นใดจะตัดสินใจเกี่ยวกับ AGI ในนามของมนุษย์ ทั้งสองอย่างนี้แตกต่างกัน หาก Anthropic มีบทบาทสำคัญมาก แนวทางที่ดีกว่าคือการขยายองค์ประกอบของ The Long Term Benefit Trust (LTBT) เพื่อดึงดูดผู้มีความสามารถจากทั่วทุกมุมโลก หรืออาจวางตำแหน่งให้สถาบันเป็นหน่วยงานที่มีหน้าที่ควบคุมโดย คณะกรรมการข้ามชาติที่กว้างขึ้นซึ่งควบคุมเทคโนโลยี AGI ของบริษัททั้งหมดเพื่อเป็นตัวแทนผลประโยชน์สาธารณะ **ฉันไม่คิดว่าเราควรจะมองโลกในแง่ดีมากเกินไปเกี่ยวกับปัญหาด้านความปลอดภัยและการจัดตำแหน่ง AI นี่เป็นปัญหาใหม่และเราจำเป็นต้องเริ่มศึกษาสถาบันการจัดการระดับชาติและรูปแบบการดำเนินงานโดยเร็วที่สุด **

• ทรัสต์เพื่อผลประโยชน์ระยะยาว：

ทรัสต์ดังกล่าวจะถือหุ้นประเภท Anthropic พิเศษ (เรียกว่า "คลาส T") ที่ไม่สามารถขายและไม่จ่ายเงินปันผล หมายความว่าไม่มีทางที่ชัดเจนในการทำกำไร ทรัสต์จะเป็นนิติบุคคลเดียวที่ถือหุ้นคลาส T แต่ผู้ถือหุ้นคลาส T และผลที่ได้รับจากผลประโยชน์ระยะยาวจะมีอำนาจในการเลือกตั้งและถอดถอนกรรมการ 3 คนจาก 5 คนของ Anthropic ทำให้ทรัสต์มีอำนาจควบคุมบริษัทในระยะยาว

**Dwarkesh Patel: จะโน้มน้าวนักลงทุนให้ยอมรับโครงสร้างอย่าง LTBT ได้อย่างไร จัดลำดับความสำคัญด้านความปลอดภัยของเทคโนโลยีและผลประโยชน์สาธารณะมากกว่าการเพิ่มมูลค่าสูงสุดให้กับผู้ถือหุ้น **

Dario Amodei: ฉันคิดว่าการตั้งค่ากลไก LTBT (Long Term Benefit Trust) นั้นถูกต้อง

กลไกที่คล้ายกันได้รับการจินตนาการตั้งแต่จุดเริ่มต้นของ Anthropic และมีหน่วยงานกำกับดูแลพิเศษตั้งแต่เริ่มต้นและจะยังคงมีอยู่ต่อไปในอนาคต นักลงทุนดั้งเดิมทุกรายจะให้ความสำคัญกับกลไกนี้เมื่อพิจารณาลงทุนใน Anthropic นักลงทุนบางรายมีท่าทีที่จะไม่ถามเกี่ยวกับการจัดการภายในของบริษัทในขณะที่บางรายกังวลว่าองค์กรภายนอกนี้อาจผลักดันให้บริษัทพัฒนาไปในทิศทาง ผลประโยชน์ของผู้ถือหุ้น แม้ว่ากฎหมายจะมีข้อจำกัดในเรื่องนี้ เราจำเป็นต้องสื่อสารสิ่งนี้กับนักลงทุนทุกคน ก้าวไปอีกขั้น เราจะหารือเกี่ยวกับมาตรการที่เป็นไปได้บางอย่างที่แตกต่างจากผลประโยชน์ของนักลงทุนแบบดั้งเดิม และผ่านการเจรจาดังกล่าว ทุกฝ่ายสามารถบรรลุฉันทามติได้

**Dwarkesh Patel: ฉันพบว่าผู้ก่อตั้งและพนักงานของ Anthropic มีนักฟิสิกส์จำนวนมาก และกฎหมายมาตราส่วนก็มีผลบังคับใช้ที่นี่ด้วย วิธีปฏิบัติและวิธีคิดแบบใดจากฟิสิกส์ที่ใช้กับ AI **

• ทฤษฎีที่มีประสิทธิภาพ:

ทฤษฎีที่มีประสิทธิภาพคือทฤษฎีทางวิทยาศาสตร์ที่พยายามอธิบายปรากฏการณ์บางอย่างโดยไม่อธิบายว่ากลไกที่อธิบายปรากฏการณ์ในทฤษฎีนั้นมาจากไหน ซึ่งหมายความว่าทฤษฎีให้แบบจำลองที่ "ใช้งานได้" แต่ไม่ได้ให้เหตุผลที่ดีจริงๆ ที่จะให้แบบจำลองนั้น

Dario Amodei: ส่วนหนึ่งคือนักฟิสิกส์เป็นผู้เรียนที่เก่งมาก เพราะฉันพบว่าถ้าคุณจ้างคนที่มีปริญญาเอกมาช่วยงาน และผู้ก่อตั้ง Anthropic หลายคน รวมทั้งตัวฉันเอง Jared Kaplan และ Sam แมคแคนด์ลิช มีพื้นฐานทางฟิสิกส์ และเรารู้จักนักฟิสิกส์คนอื่นๆ มากมาย เราจึงจ้างพวกเขาได้ ในปัจจุบัน บริษัทอาจมีพนักงาน 30 ถึง 40 คนที่มีพื้นฐานทางฟิสิกส์ ML ยังไม่ใช่สาขาที่มีการสร้างระบบทางทฤษฎี ดังนั้น จึงสามารถเริ่มต้นได้อย่างรวดเร็ว

**Dwarkesh Patel: สมมติว่าเป็นปี 2030 แล้ว และเราประสบความสำเร็จในการแก้ปัญหาหลักที่เป็นที่ยอมรับในการกำจัดโรค กำจัดการฉ้อฉล ฯลฯ โลกจะเป็นอย่างไร? เราควรทำอย่างไรกับหน่วยสืบราชการลับ? **

Dario Amodei: การเสนอโดยตรงว่า "วิธีใช้ super AI หลังจากได้รับมา" นั้นมีแนวโน้มที่จะทำให้ผู้คนมีข้อสันนิษฐานบางอย่าง ซึ่งเป็นเรื่องที่น่ารำคาญใจ ในช่วง 150 ปีที่ผ่านมา เราได้สั่งสมประสบการณ์มากมายจากแนวทางปฏิบัติของเศรษฐกิจการตลาดและระบบประชาธิปไตย โดยตระหนักว่าทุกคนสามารถกำหนดได้เองว่าวิธีใดดีที่สุดที่จะได้รับประสบการณ์ และ ** สังคมถูกกำหนดขึ้นอย่างซับซ้อนและกระจายอำนาจ บรรทัดฐานและค่านิยม **

เมื่อปัญหาด้านความปลอดภัยของ AI ยังไม่ได้รับการแก้ไข จำเป็นต้องมีการควบคุมดูแลจากส่วนกลางในระดับหนึ่ง แต่ถ้าอุปสรรคทั้งหมดถูกขจัดออกไป เราจะสร้างระบบนิเวศที่ดีขึ้นได้อย่างไร **ฉันคิดว่าคำถามที่คนส่วนใหญ่ กลุ่ม และอุดมการณ์เริ่มคิดคือ "อะไรคือนิยามของชีวิตที่ดี" แต่ประวัติศาสตร์บอกเราว่าหลายครั้งที่การปฏิบัติเพื่อกำหนด "ชีวิตในอุดมคติ" มักจะนำไปสู่ผลลัพธ์ที่เลวร้าย . **

**Dwarkesh Patel: เมื่อเทียบกับ CEO บริษัท AI รายอื่น คุณไม่ค่อยปรากฏตัวต่อสาธารณะมากนัก และคุณไม่ค่อยโพสต์บน Twitter ทำไม **

ดาริโอ อาโมได: ฉันภูมิใจกับสิ่งนี้มาก **หากคนอื่นคิดว่าฉันต่ำต้อยเกินไป นั่นแหละคือสิ่งที่ฉันต้องการ การรวมเอาการยอมรับหรือการยกย่องเข้ากับระบบแรงจูงใจหลักอาจทำลายความสามารถในการคิด และในบางกรณีอาจถึงขั้น "ทำลายจิตวิญญาณ" ดังนั้นฉันจึงเลือกที่จะไม่เปิดเผยตัวตนเพื่อปกป้องความสามารถในการคิดอย่างเป็นอิสระและเป็นกลาง **

**ฉันเคยเห็นผู้คนมีชื่อเสียงบน Twitter ในมุมมองหนึ่ง แต่จริงๆ แล้วพวกเขาอาจแบกรับภาพลักษณ์จากที่นี่ และยากที่จะเปลี่ยนแปลง ฉันไม่ชอบให้บริษัทมีความเป็นส่วนตัวมากเกินไป และฉันก็ไม่ชอบเล่นเกมส่วนตัวเกี่ยวกับ CEO เพราะมันจะทำให้จุดแข็งและปัญหาของบริษัทเสียสมาธิ **ฉันหวังว่าทุกคนจะให้ความสำคัญกับบริษัทและโครงสร้างสิ่งจูงใจมากขึ้น ใครๆ ก็ชอบใบหน้าที่เป็นมิตร แต่การใจดีไม่ได้มีความหมายอะไรมาก

อ้างอิง:

1. วิดีโอต้นฉบับ:

2. งานวิจัยของ Anthropic เกี่ยวกับการอธิบายกลไก: