พอดคาสต์: เกมสอน AI ให้เรียนรู้ด้วยตัวเองอย่างไร

วันนี้เราจะประกาศการแข่งขัน Jeopardy ไม่เหมือนที่เราเคยนำเสนอมาก่อน

และตอนนี้ก็ยังเป็นอย่างนั้น แน่นอน เรามีพื้นที่เก็บข้อมูลมากขึ้น แต่เกมก็มีขนาดใหญ่กว่าและซับซ้อนกว่ามาก

จูเลียน โทเกลิอุส: เกม No Man’s Sky ที่ออกมาในปี 2016 แต่พวกเขายังคงอัปเดตอยู่เสมอ – มันน่าประทับใจขึ้นเรื่อยๆ มีดาวเคราะห์อยู่ในนั้นมากกว่าที่คุณจะเคยไปสักครั้งในชีวิต ทว่ามันก็เข้ากับคอมพิวเตอร์ของคุณได้พอดี เพราะพวกมันถูกสร้างขึ้นใหม่ทุกครั้งที่คุณเห็นพวกมัน

เจนนิเฟอร์: ในขณะเดียวกันนักวิจัยยังคงสร้างเกมสำหรับเล่นเกม AI ต่อไป… และ Togelius กล่าวว่าหนึ่งในความท้าทายต่อไปในพื้นที่นั้นคือให้พวกเขาเล่นเกมหลายเกมพร้อมกัน… เพราะการทำงานหลายอย่างพร้อมกันเป็นสิ่งที่มนุษย์ทำได้ดี …แต่นั่นยังไม่เป็นกรณีสำหรับระบบเหล่านี้

แล้วเราจะเอาอะไรจากสภาพแวดล้อมที่มีโครงสร้างสูงเหล่านี้ซึ่งมีความสามารถในการคาดเดาได้มากมาย… ไปสู่สิ่งที่ใกล้เคียงกับชีวิตจริงซึ่งยุ่งเหยิงและวุ่นวายและไม่ คาดเดาได้เลย

สำหรับเขาและนักวิจัยคนอื่นๆ…? เราเล่นเกมมากขึ้น

จูเลียน โทเกลิอุส: หากเรามีระบบที่สามารถเล่นได้อย่างน่าเชื่อถือ เช่น มีความชำนาญบ้าง เกมหลักร้อยในรายชื่อเกมคอมพิวเตอร์อันดับต้นๆ เช่น Steam หรือ AppStore หรืออะไรก็ตาม จะมีบางอย่างที่คล้ายกับปัญญาทั่วไป

เจนนิเฟอร์: ดังนั้น ในบางแง่… เรายังคงเป็นเหมือนที่เราอยู่เมื่อครึ่งศตวรรษก่อน… คิดว่าเราอาจแค่พบกุญแจสู่ปัญญาทั่วไปด้วยระบบ AI ที่สามารถเอาชนะมนุษย์ในเกมของพวกเขาเอง

แต่เรายังผสมผสานเกมและ AI ในรูปแบบอื่นๆ…เช่นการช่วยเราในการฝึกอบรม ข้อมูล.

ไม่กี่ปีที่ผ่านมา ฉันได้พบกับทีมงานที่พรินซ์ตัน พยายามสร้างป้ายหยุดให้เป็นที่รู้จักมากขึ้นสำหรับรถยนต์ที่ขับด้วยตนเอง… โดยใช้เกม Grand Theft Auto

ฟังดูแปลกนะ… มันใช้งานได้จริงเมื่อคุณพิจารณาว่าคนขับจะเจอป้ายหยุดรถในโลกแห่งความเป็นจริงได้อย่างไร… ไม่ว่าจะเป็นไม้เท้าบนพื้น… ห้อยอยู่ ในอากาศ… หรือทาสีบนทางเท้า… และเราพบพวกมันในทุกชนิดของแสงและสภาพอากาศ… บางครั้งถูกบดบังด้วยกิ่งไม้บางส่วน… หรือความมืดของคืน.

นักวิจัยสามารถไปหาตัวอย่างของป้ายหยุดทั้งหมดเหล่านี้… หรือวิดีโอเกมก็สามารถสร้างตัวอย่างได้ไม่รู้จบ

นอกจากนี้ เรายังใช้เกมเพื่อให้เข้าใจถึงขั้นตอนวิธีต่างๆ ได้ดีขึ้น ตัดสินใจ.

เจนนิเฟอร์: เราอยู่ที่อาร์เคดสุดคลาสสิกในบอสตัน… เพราะมีวิดีโอเกมเก่า ๆ หลายเกมที่คุ้นเคย ฝึกระบบ AI

Will Douglas-Heaven: สวัสดี ฉันชื่อ Will Douglas-Heaven ฉันเป็นบรรณาธิการอาวุโสของ AI ที่ Technology Review… และฉันไม่สามารถเล่น Frogger ได้

Will Douglas-Heaven: Frogger เกิดขึ้นเมื่อไม่นานมานี้ในการวิจัย AI ต่างๆ ที่พวกเขาพยายามให้ AI อธิบายตัวเองและอธิบายว่ามันกำลังทำอะไรอยู่ อืม และพวกเขาสอน… พวกเขาฝึก AI ให้เล่นเกมนี้ และคุณรู้ Frogger… คุณสามารถได้ยินจากเสียงรบกวน ฉันล้มเหลวอยู่เรื่อยๆ

Will Douglas-Heaven: พวกเขาโยน AI ไปที่เกมเก่าเหล่านี้และเพิ่งแสดงให้พวกเขาเห็นหน้าจอที่พวกเขาไม่มี ความคิดวิธีการเล่น มันเป็นแค่พิกเซลบนหน้าจอ สิ่งที่เกิดขึ้น NS เฮ้ ลองทำสิ่งต่าง ๆ และบางครั้งพวกเขาก็ระเบิด บางครั้งพวกเขาก็ยิงเรือเอเลี่ยน และใช้รางวัลเพียงประเภทเดียวที่คุณรู้ว่าพวกเขาทำบางอย่างเมื่อใด ใช่แล้ว คะแนนเพิ่มขึ้น พวกเขาค่อยๆ หาวิธีเล่นเกม และพวกเขาเปลี่ยนจากความเข้าใจ ไม่มีอะไรเลย ในหลาย ๆ กรณี การเรียงลำดับของคะแนนสูงของผู้เล่นที่เป็นมนุษย์ที่ดีที่สุด และแม้แต่ตัวอย่างเจ๋ง ๆ ที่พวกเขาพบวิธีเอาชนะเกมที่มนุษย์ไม่เคยค้นพบ

เจนนิเฟอร์: ตัวอย่างหนึ่งมาจากเกมที่ชื่อว่า Q*Bert ซึ่งทำให้ผู้เล่นอยู่บนพีระมิดของ สี่เหลี่ยม

วิล ดักลาส-เฮเวน:

ฉันหมายถึงความคิดพื้นฐานคือคุณมีผู้ชายตัวเล็ก ๆ คนนี้ที่กระโดดลงพีระมิดจากการลงจอดบนสี่เหลี่ยม และเมื่อคุณเปลี่ยนช่องสี่เหลี่ยมทั้งหมดเป็นสีเดียวกันแล้ว คุณก็จะไปยังระดับถัดไปได้ แต่ฉันคิดว่า AI ในระดับแรก เปลี่ยนสีทั้งหมดของสี่เหลี่ยมแล้วกระโดดขึ้นและลงที่ช่องสี่เหลี่ยมแทนที่จะไปที่ระดับถัดไป และพบข้อบกพร่องบางอย่างในเกมซึ่งทำให้สามารถให้คะแนนได้ไม่สิ้นสุดในระยะเวลาอันสั้น และแม้แต่ผู้ออกแบบเกมก็แบบว่า “ฉันไม่เคยเห็นข้อผิดพลาดนั้นมาก่อน”

เจนนิเฟอร์: หลังจากหยุดพัก… เราจะได้พบกับผู้บุกเบิกเบื้องหลังความก้าวหน้าครั้งสำคัญในสาขานี้ แต่ก่อนอื่น ฉันต้องการบอกคุณเกี่ยวกับกิจกรรมที่เรียกว่า CyberSecure ในเดือนพฤศจิกายน เป็นการประชุมด้านความปลอดภัยทางไซเบอร์ของ Tech Review และฉันจะอยู่ที่นั่นกับเพื่อนร่วมงาน คุณสามารถเรียนรู้เพิ่มเติมที่ Cyber ​​Secure MIT dot com.

เราจะกลับมา… หลังจากนี้

[MIDROLL]

เดวิด ซิลเวอร์: ฉันชื่อเดวิด ซิลเวอร์ ฉันทำงานเกี่ยวกับปัญญาประดิษฐ์และนำไปใช้กับเกม ฉันทำงานให้กับบริษัทที่ชื่อว่า DeepMind และเป้าหมายของเราคือการลองใช้ อืม ปัญญาประดิษฐ์เพื่อสร้างระบบที่ฉลาดบางอย่างที่อยู่ในสมองของมนุษย์

เจนนิเฟอร์: DeepMind คือ ที่เป็นศูนย์กลางของงานนี้ด้วยเกม เป็นห้องปฏิบัติการวิจัยที่เป็นส่วนหนึ่งของ Google Alphabet

เดวิด ซิลเวอร์: เราได้พัฒนาระบบที่เรียกว่า AlphaGo ซึ่งเป็นโปรแกรมแรกที่สามารถเล่นเกม Go ได้ในระดับผู้เล่นมืออาชีพระดับแนวหน้า และในความเป็นจริง มันสามารถเอาชนะ Lee Sedol แชมป์โลกได้

เขาบอกว่ามันไม่เหมือนกับเด็กทารกที่มาจับกับโลกรอบตัวมัน… อาคาร การแก้ปัญหาและทักษะความคิดสร้างสรรค์เมื่อเวลาผ่านไป

เดวิด ซิลเวอร์: ฉันคิดว่าเราได้เห็นตัวอย่างแล้วว่า ภายในโดเมนที่มีข้อจำกัด เราเห็นอัลกอริธึมที่สร้างสรรค์ตามเจตนาและวัตถุประสงค์ทั้งหมด ฉันหมายถึง ความคิดสร้างสรรค์คืออะไร นอกจากความสามารถในการค้นพบแนวคิดใหม่ๆ ด้วยตัวเอง และฉันคิดว่านั่นคือแก่นแท้ของความคิดสร้างสรรค์ แก่นแท้ของความคิดสร้างสรรค์คือสิ่งที่อัลกอริธึมของเรากำลังทำ นั่นคือการค้นพบสิ่งใหม่ๆ ทีละขั้นตอนและเรียนรู้จากประสบการณ์ของพวกเขาว่าแนวคิดใหม่ที่พวกเขาคิดขึ้นมานั้นเป็นสิ่งที่ทรงพลังจริงๆ และช่วยให้บรรลุ เป้าหมาย ดังนั้นฉันคิดว่าในอนาคต เราจะเห็นความคิดสร้างสรรค์ของแบบฟอร์มนี้มากขึ้นเรื่อยๆ คุณจะเห็นว่าเครื่องจักรที่สามารถค้นพบแนวคิดที่ช่วยให้พวกเขาบรรลุเป้าหมายได้ด้วยตนเอง ไม่ใช่เพราะมีคนบอกไว้ นี่คือสิ่งที่คุณต้องการเพื่อให้บรรลุเป้าหมายนั้น แต่เพราะพวกเขาคิดออกเอง

เจนนิเฟอร์: และ.. ความคิดสร้างสรรค์นั้นทำให้ AlphaZero ค้นพบสิ่งใหม่ๆ เกี่ยวกับวิธีการ เล่นหมากรุก. ตอนนี้…. ผู้เล่นที่เป็นมนุษย์กำลังนำมันมาใช้ในเกมของตัวเอง … เรียกมันว่า.. “กำลังเล่นอัลฟ่าซีโร่”

เจ้าภาพ: “ยินดีต้อนรับสู่ How to Attack lLike AlphaZero ฉบับอื่น! ฉันหวังว่าคุณจะพร้อมสำหรับบทเรียนของวันนี้…”

มันอาจเป็นจุดยืนสุดท้ายของพวกเขา [Sounds from The International 3 (Dota tournament) via YouTube. *Crowd cheering, sports commentators shouting excitedly, Dota gameplay.*]

นักกีฬา: เขาจะพยายามเน้นทุกคน แต่ก็มีหลายอย่าง

นักกีฬา: ไม่มีคลิปเพิ่มเติม เหลือประมาณครึ่ง HP

นักกีฬา: ไตรมาส HP. สิงโตรอบด้าน! อีเคบี!
นักกีฬา:

พวกเขา ชนะรอบ! พวกเขาจะทำมัน!

นักกีฬา: ราชาแห่งภาคเหนือ! พันธมิตรฯ ชนะ! พวกเขาชนะ TI 3

นักกีฬา: Alliance เพิ่งชนะ 1.4 ล้านดอลลาร์!

นักกีฬา: พวกเขาคือ 3 แชมป์ระดับนานาชาติของคุณ!

เดวิด ฟาร์ฮี: ดังนั้นเกมนี้จึงมีผู้ใช้ที่เป็นมนุษย์หลายล้านคนที่แข่งขันในทัวร์นาเมนต์เหล่านี้เพื่อรับรางวัลใหญ่ ซึ่งทำให้มั่นใจได้ว่าเรารู้ว่ามีมนุษย์ที่กำลังเล่นอยู่ ระดับทักษะที่สูงมาก ในเดือนสิงหาคมปี 2018 เราได้พาตัวแทนของเราไปทัวร์นาเมนต์นี้

เจนนิเฟอร์: AI ของพวกเขาเล่นกับสองทีมมืออาชีพที่ตกรอบไปแล้ว… และแพ้อย่างหวุดหวิด แต่ปีต่อมาด้วยการฝึกฝนที่มากขึ้น AI ก็สามารถเอาชนะอดีตแชมป์โลกได้ 2 – 0
เดวิด ฟาร์ฮี:

ดังนั้น OpenA-I Five จึงถูกฝึกโดยไม่มีมนุษย์อยู่ในกระบวนการฝึก ดังนั้นมันจึงเป็นเช่นนั้น เล่นกับตัวเองในเซิร์ฟเวอร์คลาวด์เหล่านี้ซ้ำแล้วซ้ำอีก จากนั้นเมื่อเราต้องการเล่นกับมนุษย์ เราจะนำสแน็ปช็อตออกจากคลาวด์และเล่นกับมนุษย์ แต่เราไม่เคยป้อนข้อมูลนั้นกลับเข้าสู่กระบวนการฝึกอบรม

[Music]

เจนนิเฟอร์: แต่ยังมีคำถามว่าเกมสามารถช่วยเราฝึก AI ให้มีประโยชน์มากขึ้นได้หรือไม่

ตอนนี้เรามีระบบที่เก่งมากในสิ่งเดียว แต่เรายังไม่มีโมเดลที่สามารถทำสิ่งต่างๆ ได้มากมายในคราวเดียว

อีกครั้ง เพื่อนร่วมงานของฉัน วิล ดักลาส เฮเวน

Will Douglas-Heaven: เคล็ดลับก็คือ ฉันคิดว่าการถอยกลับจากการสร้าง AI ที่เก่งในกลยุทธ์เฉพาะหรือ หรือมีวิธีแก้ปัญหาที่ยอดเยี่ยมสำหรับกฎหรือการเคลื่อนไหวนี้ สิ่งที่เราเคยเห็นใน AI เหล่านี้ที่สามารถเรียนรู้ที่จะเล่นเกมได้

เจนนิเฟอร์: เพื่อให้เข้าใจถึงขั้นต่อไปของการวิจัยนี้จริงๆ… การคิดถึงวิธีที่เด็กๆ เล่นในสนามเด็กเล่นอาจเป็นประโยชน์

Will Douglas-Heaven:

พวกเขาไม่ได้เล่นเกมที่มีกฎเกณฑ์ที่ตั้งไว้จริงๆ ฉันหมายความว่า พวกมันอาจประกอบขึ้นเป็นพวกมันได้ แต่คุณก็รู้ พวกเขากำลังสำรวจ ทดลองสิ่งต่างๆ และในลักษณะที่เป็นธรรมชาติและเปิดกว้าง และไม่มีเป้าหมายที่แน่นอนที่พวกเขากำลังดำเนินการอยู่ และฉันคิดว่ามันเป็นเทคนิคแบบนี้ ซึ่งยังคงเป็นรูปแบบการเล่น ที่เราจะได้เห็นกัน ผลักดันสิ่งต่างๆ ไปข้างหน้า เมื่อเราพูดถึงความฉลาดทั่วไป ตัวอย่างเช่น Deepmind ได้เปิดตัวสนามเด็กเล่นเสมือนเมื่อไม่กี่เดือนที่ผ่านมา มันเหมือนกับโลกของวิดีโอเกมที่เรียกว่า X Land และเต็มไปด้วยบอทตัวน้อย และสิ่งที่ดีที่นี่คือ X Land นั้นถูกควบคุมโดย AI หรือคล้ายกับผู้ชำนาญด้านเกมที่จัดสภาพแวดล้อมใหม่ จัดเรียงสิ่งกีดขวางและบล็อกและลูกบอลที่บอทตัวเล็ก ๆ เล่นด้วยและยังมาพร้อมกับสิ่งต่าง ๆ กฎทันที ดังนั้น เกมง่ายๆ เช่น แท็กหรือซ่อนหา และบอทก็แค่ต้องฝึกฝน คุณก็รู้วิธีเล่นเกมเหล่านั้น คุณรู้ว่าวัตถุใดในโลกเสมือนจริงนั้นที่จะช่วยให้พวกเขาทำ และพวกเขาเรียนรู้ทักษะทั่วไป เช่น การสำรวจ แค่ทดลอง และฉันคิดว่าการสำรวจปลายเปิดแบบนี้จะเป็นกุญแจสำคัญสำหรับ AI รุ่นต่อไป และเป็นเรื่องน่าตื่นเต้นที่ [00:09:00] คลื่นลูกต่อไปของ AI ซึ่งเป็น AI ที่จะเก่งหลายอย่าง [00:09:03] เรา // ยังคงสามารถผ่านเกมได้อีกครั้ง เกมจึงไม่ไปไหน เกมอยู่กับ AI มาตั้งแต่ต้น และคุณก็รู้ เป็นเรื่องดีที่เห็นว่าการเล่นยังคงเป็นวิธีที่ดีที่สุดในการเรียนรู้

[CREDITS]
เจนนิเฟอร์: ตอนนี้ฉันและ .รายงาน วิลล์ ดักลาส-เฮเวน… และอำนวยการสร้างโดย แอนโธนี่ กรีน, เอ็มมา ซิลเค็นส์ และคาเรน ห่าว เรียบเรียงโดย Niall Firth, Michael Reilly และ Mat Honan วิศวกรมิกซ์ของเราคือ Garret Lang… ด้วยการออกแบบเสียงและดนตรีโดย Jacob Gorski

ขอบคุณที่รับฟัง ผมชื่อเจนนิเฟอร์ สตรอง


บ้าน ธุรกิจ
• การดูแลสุขภาพ

ไลฟ์สไตล์

เทค โลก อาหาร เกม