Tech

DeepMind ตั้งเป้าที่จะแต่งงานกับการเรียนรู้เชิงลึกและอัลกอริทึมแบบคลาสสิก

งาน Transform Technology Summit จะเริ่มขึ้นในวันที่ 13 ตุลาคมด้วย Low-Code/No Code: Enable Enterprise Agility สมัครตอนนี้!


การเรียนรู้อย่างลึกซึ้งจะเกิดขึ้นจริง ๆ สัญญา? เราไม่รู้จริงๆ แต่ถ้าจะเป็นเช่นนั้น มันจะต้องหลอมรวมว่าอัลกอริธึมวิทยาการคอมพิวเตอร์แบบคลาสสิกทำงานอย่างไร นี่คือสิ่งที่ DeepMind ดำเนินการอยู่ และความสำเร็จนั้นมีความสำคัญต่อการนำโครงข่ายประสาทเทียมไปใช้ในแอปพลิเคชันเชิงพาณิชย์ในวงกว้างในที่สุด

ก่อตั้งขึ้นในปี 2010 โดยมีเป้าหมาย ของการสร้าง AGI – ปัญญาประดิษฐ์ทั่วไป AI วัตถุประสงค์ทั่วไปที่เลียนแบบสติปัญญาของมนุษย์อย่างแท้จริง – DeepMind

อยู่ในระดับแนวหน้าของ การวิจัยเอไอ บริษัทยังได้รับการสนับสนุนจากบริษัทยักษ์ใหญ่ในอุตสาหกรรมอย่าง Elon Musk และ Peter Thiel

ได้มาโดย Google

ในปี 2014 DeepMind ได้สร้างหัวข้อข่าวสำหรับโครงการต่างๆ เช่น AlphaGo โปรแกรมที่ เอาชนะแชมป์โลกในเกมโก ในห้า- การแข่งขันเกมและ AlphaFold ซึ่ง พบวิธีแก้ปัญหาสำหรับความท้าทายที่ยิ่งใหญ่ทางชีววิทยาอายุ 50 ปี.

ตอนนี้ DeepMind ได้กำหนดเป้าหมายไปที่ความท้าทายที่ยิ่งใหญ่อีกอย่างหนึ่ง: เชื่อมโยงโลกแห่งการเรียนรู้เชิงลึกและวิทยาการคอมพิวเตอร์คลาสสิกเข้ากับ

เปิดใช้งานการเรียนรู้เชิงลึกเพื่อ ทำทุกอย่าง. หากประสบความสำเร็จ วิธีการนี้สามารถปฏิวัติ AI และซอฟต์แวร์อย่างที่เรารู้จัก

Petar Veličković เป็นนักวิทยาศาสตร์การวิจัยอาวุโสของ DeepMind การเข้าสู่วิทยาการคอมพิวเตอร์ของเขามาจากการใช้เหตุผลเชิงอัลกอริทึมและการคิดแบบอัลกอริธึมโดยใช้อัลกอริธึมแบบคลาสสิก นับตั้งแต่เขาเริ่มทำการวิจัยเชิงลึก เขาต้องการที่จะกระทบยอดการเรียนรู้เชิงลึกกับอัลกอริธึมแบบคลาสสิกที่ทำให้เขารู้สึกตื่นเต้นเกี่ยวกับวิทยาการคอมพิวเตอร์ในตอนแรก

ในขณะเดียวกันชาร์ลส์ Blundell เป็นหัวหน้าฝ่ายวิจัยของ DeepMind ซึ่งสนใจที่จะรับโครงข่ายประสาทเทียมเพื่อใช้ข้อมูลปริมาณมหาศาลที่พวกเขาเปิดเผยได้ดีขึ้นมาก ตัวอย่างรวมถึงการสร้างเครือข่ายเพื่อบอกเราถึงสิ่งที่ไม่รู้ เรียนรู้ได้เร็วยิ่งขึ้น หรือเพื่อให้เกินความคาดหมาย

เมื่อVeličkovićพบกับ Blundell ที่ DeepMind เกิดสิ่งใหม่ขึ้น: แนวการวิจัยที่มีชื่อว่า Neural Algorithmic Reasoning (NAR) หลังจากรายงานตำแหน่ง ทั้งคู่เพิ่งเผยแพร่

NAR ติดตามรากเหง้าของทุ่งที่มันสัมผัสและแยกออกเป็นการทำงานร่วมกัน กับนักวิจัยคนอื่นๆ และไม่เหมือนกับการวิจัยแบบพายในท้องฟ้า NAR มีผลลัพธ์และแอปพลิเคชันในช่วงแรกๆ ที่จะแสดงสำหรับตัวเอง

อัลกอริทึมและการเรียนรู้อย่างลึกซึ้ง: สิ่งที่ดีที่สุดของทั้งสองโลก

Veličkovićเป็นผู้ริเริ่มทิศทางการให้เหตุผลแบบอัลกอริทึมใน DeepMind ในหลาย ๆ ด้าน ด้วยภูมิหลังของเขาทั้งในอัลกอริธึมแบบคลาสสิกและการเรียนรู้เชิงลึก เขาตระหนักว่ามีความสอดคล้องกันอย่างมากระหว่างทั้งสอง วิธีใดวิธีหนึ่งเหล่านี้มีแนวโน้มที่จะทำได้ดีมาก อีกวิธีหนึ่งทำได้ไม่ดี และในทางกลับกัน

“โดยปกติเมื่อคุณเห็นสิ่งเหล่านี้ รูปแบบต่างๆ เป็นเครื่องบ่งชี้ที่ดีว่าหากคุณสามารถทำอะไรเพื่อให้พวกเขาใกล้ชิดกันมากขึ้นอีกนิด คุณก็จะได้วิธีที่ยอดเยี่ยมในการหลอมรวมสิ่งที่ดีที่สุดของทั้งสองโลก และสร้างความก้าวหน้าที่แข็งแกร่งจริงๆ” Veličković กล่าว .

เมื่อVeličković เข้าร่วม DeepMind Blundell กล่าวว่า การสนทนาในช่วงแรกๆ ของพวกเขาสนุกมาก เพราะมีภูมิหลังที่คล้ายคลึงกันมาก พวกเขาทั้งคู่มีพื้นฐานด้านวิทยาการคอมพิวเตอร์เชิงทฤษฎี ทุกวันนี้ ทั้งคู่ทำงานอย่างหนักกับการเรียนรู้ของเครื่อง ซึ่งคำถามพื้นฐานมาเป็นเวลานานคือวิธีการพูดคุยทั่วไป คุณทำงานอย่างไรนอกเหนือจากตัวอย่างข้อมูลที่คุณเห็น

อัลกอริธึมเป็นตัวอย่างที่ดีของสิ่งที่เราใช้กันทุกวัน Blundell ตั้งข้อสังเกต ในความเป็นจริง เขาเสริมว่า มีอัลกอริธึมไม่มากนัก ถ้าคุณดูหนังสือเรียนวิทยาศาสตร์คอมพิวเตอร์มาตรฐาน อาจมีอัลกอริธึม 50 หรือ 60 แบบที่คุณเรียนรู้ในระดับปริญญาตรี และทุกอย่างที่ผู้คนใช้เชื่อมต่อผ่านอินเทอร์เน็ต เช่น ใช้เพียงส่วนย่อยของสิ่งเหล่านั้น

“มีพื้นฐานที่ดีมากสำหรับการคำนวณที่สมบูรณ์มาก ที่เรารู้อยู่แล้ว แต่มันแตกต่างอย่างสิ้นเชิงจากสิ่งที่เรากำลังเรียนรู้ ดังนั้นเมื่อ Petar และฉันเริ่มพูดถึงเรื่องนี้ เราได้เห็นชัดเจนว่ามีการหลอมรวมที่ดีที่เราสามารถทำได้ระหว่างสองทุ่งนี้ที่ยังไม่ได้สำรวจจริงๆ” Blundell กล่าว

วิทยานิพนธ์หลักของการวิจัย NAR คืออัลกอริธึมมีคุณสมบัติที่แตกต่างกันโดยพื้นฐานสำหรับวิธีการเรียนรู้เชิงลึก และนี่แสดงให้เห็นว่าหากวิธีการเรียนรู้เชิงลึกสามารถเลียนแบบอัลกอริธึมได้ดีกว่า การเรียงลำดับทั่วไปที่เห็นด้วยอัลกอริธึมก็จะเป็นไปได้ด้วยการเรียนรู้เชิงลึก

ถึง เข้าหาหัวข้อของบทความนี้ เราขอให้ Blundell และ Veličković กำหนดคุณสมบัติที่กำหนดของอัลกอริธึมวิทยาการคอมพิวเตอร์คลาสสิกเมื่อเทียบกับโมเดลการเรียนรู้เชิงลึก การหาวิธีที่อัลกอริธึมและโมเดลการเรียนรู้เชิงลึกแตกต่างกันเป็นจุดเริ่มต้นที่ดีหากเป้าหมายคือการกระทบยอด

การเรียนรู้เชิงลึกไม่สามารถสรุปได้

สำหรับ ผู้เริ่มต้น Blundell กล่าวว่าอัลกอริทึมในกรณีส่วนใหญ่ไม่เปลี่ยนแปลง อัลกอริธึมประกอบด้วยชุดกฎตายตัวซึ่งดำเนินการกับอินพุตบางรายการ และโดยปกติแล้ว อัลกอริธึมที่ดีมักจะมีคุณสมบัติที่รู้จักกันดี สำหรับอินพุตประเภทใดก็ตามที่อัลกอริธึมได้รับ จะให้เอาต์พุตที่สมเหตุสมผลในระยะเวลาที่เหมาะสม โดยปกติคุณสามารถเปลี่ยนขนาดของอินพุตและอัลกอริทึมทำงานต่อไปได้

สิ่งอื่นที่คุณสามารถทำได้ด้วยอัลกอริธึมคือคุณสามารถเชื่อมต่อเข้าด้วยกัน เหตุผลที่อัลกอริธึมสามารถร้อยเข้าด้วยกันได้ก็เพราะการรับประกันนี้: ให้อินพุตบางประเภท จะสร้างเอาต์พุตบางประเภทเท่านั้น และนั่นหมายความว่าเราสามารถเชื่อมต่ออัลกอริธึม ป้อนเอาท์พุตของมันเข้าไปในอินพุตของอัลกอริธึมอื่นๆ และสร้างสแต็กทั้งหมดได้

ผู้คนต่างมองว่าอัลกอริธึมกำลังทำงาน การเรียนรู้เชิงลึกมาระยะหนึ่งแล้ว และเป็นเรื่องยากทีเดียว Blundell กล่าว เนื่องจากการทดลองงานง่ายๆ เป็นวิธีที่ดีในการดีบักสิ่งต่างๆ Blundell จึงอ้างถึงตัวอย่างเล็กๆ น้อยๆ นั่นคือ งานคัดลอกอินพุต อัลกอริธึมที่มีหน้าที่คัดลอก โดยที่เอาต์พุตเป็นเพียงสำเนาของอินพุต

ปรากฎว่าสิ่งนี้ยากกว่าที่คาดไว้สำหรับการเรียนรู้เชิงลึก . คุณสามารถเรียนรู้ที่จะทำสิ่งนี้ได้จนถึงระยะหนึ่ง แต่ถ้าคุณเพิ่มความยาวของอินพุตผ่านจุดนั้น สิ่งต่างๆ ก็เริ่มพังทลาย หากคุณฝึกเครือข่ายบนหมายเลข 1-10 และทดสอบบนหมายเลข 1-1,000 เครือข่ายจำนวนมากจะไม่ทั่วถึง

Blundell อธิบาย “ พวกเขาจะไม่ได้เรียนรู้แนวคิดหลัก ซึ่งคุณเพียงแค่ต้องคัดลอกอินพุตไปยังผลลัพธ์ และเมื่อคุณทำให้กระบวนการซับซ้อนขึ้น อย่างที่คุณจินตนาการได้ มันยิ่งแย่ลงไปอีก ดังนั้น หากคุณคิดเกี่ยวกับการจัดเรียงอัลกอริธึมกราฟต่างๆ จริงๆ แล้ว การวางนัยทั่วไปจะแย่กว่านั้นมาก หากคุณเพียงแค่ฝึกเครือข่ายเพื่อจำลองอัลกอริธึมในแบบที่ไร้เดียงสา”

โชคดีที่มันไม่ใช่ข่าวร้ายทั้งหมด

” นี่คือสิ่งที่ดีมากเกี่ยวกับอัลกอริธึม ซึ่งโดยพื้นฐานแล้วมันเป็นการจำลอง คุณสามารถสร้างข้อมูลได้จำนวนมาก และนั่นทำให้พวกเขาคล้อยตามการเรียนรู้จากโครงข่ายประสาทเทียมระดับลึก” เขากล่าว “แต่เราต้องคิดจากการเรียนรู้อย่างลึกซึ้ง เราจำเป็นต้องเปลี่ยนแปลงอะไรที่นั่นเพื่อให้อัลกอริทึมเหล่านี้สามารถแสดงออกมาได้ดีและเรียนรู้ได้อย่างแท้จริงในรูปแบบที่แข็งแกร่ง”

แน่นอน ตอบคำถามนั้น อยู่ไกลจากความเรียบง่าย

“เมื่อใช้การเรียนรู้เชิงลึก มักจะไม่มีการรับประกันที่แข็งแกร่งมากว่าผลลัพธ์จะเป็นอย่างไร ดังนั้นคุณอาจบอกว่าผลลัพธ์เป็นตัวเลขระหว่างศูนย์ถึงหนึ่ง และคุณสามารถรับประกันได้ แต่คุณไม่สามารถรับประกันสิ่งที่มีโครงสร้างมากกว่านี้ได้” Blundell อธิบาย “ตัวอย่างเช่น คุณไม่สามารถรับประกันได้ว่าหากคุณแสดงโครงข่ายประสาทเทียมรูปภาพของแมว และจากนั้นคุณถ่ายภาพแมวที่ต่างออกไป มันจะจัดอยู่ในประเภทแมวอย่างแน่นอน”

ด้วยอัลกอริธึม คุณสามารถพัฒนาการรับประกันว่าสิ่งนี้จะไม่เกิดขึ้น ส่วนหนึ่งเป็นเพราะอัลกอริธึมประเภทของปัญหาถูกนำไปใช้กับการค้ำประกันประเภทนี้มากขึ้น ดังนั้นหากปัญหาสามารถคล้อยตามการรับประกันเหล่านี้ บางทีเราอาจสามารถนำงานอัลกอริธึมคลาสสิกของเครือข่ายประสาทลึกที่อนุญาตการรับประกันประเภทนี้สำหรับโครงข่ายประสาทเทียมได้

การรับประกันเหล่านี้มักจะเกี่ยวข้องกับการวางนัยทั่วไป: ขนาดของอินพุต ประเภทของอินพุตที่คุณมี และผลลัพธ์ที่สรุปเหนือประเภท ตัวอย่างเช่น หากคุณมีอัลกอริธึมการจัดเรียง คุณสามารถจัดเรียงรายการตัวเลขได้ แต่คุณสามารถจัดเรียงอะไรก็ได้ที่คุณสามารถกำหนดลำดับได้ เช่น ตัวอักษรและคำ อย่างไรก็ตาม นั่นไม่ใช่สิ่งที่เราเห็นในขณะนี้ด้วยโครงข่ายประสาทลึก

อัลกอริธึมสามารถนำไปสู่การแก้ปัญหาที่ไม่เหมาะสม

ความแตกต่างอีกประการหนึ่ง ซึ่งVeličkovićตั้งข้อสังเกตคือ การคำนวณอัลกอริธึมนั้นมักจะแสดงเป็น pseudocode ที่อธิบายว่าคุณเปลี่ยนจากอินพุตไปยังเอาต์พุตของคุณได้อย่างไร สิ่งนี้ทำให้อัลกอริทึม ตีความได้เล็กน้อย และเนื่องจากพวกมันทำงานบนอินพุตที่เป็นนามธรรมเหล่านี้ซึ่งสอดคล้องกับเงื่อนไขเบื้องต้นและเงื่อนไขภายหลัง จึงง่ายกว่ามากที่จะให้เหตุผลในทางทฤษฎีเกี่ยวกับสิ่งเหล่านี้

นั่นก็ทำให้มันเป็นเช่นนั้น หาความเชื่อมโยงระหว่างปัญหาต่างๆ ที่คุณอาจไม่เห็นได้ง่ายกว่ามาก Veličković กล่าวเสริม เขายกตัวอย่างของ MaxFlow

และ MinCut เป็นสองปัญหาที่ดูเหมือนจะค่อนข้างแตกต่างกัน แต่ที่ การแก้ปัญหาอย่างใดอย่างหนึ่งจำเป็นต้องเป็นวิธีแก้ปัญหาสำหรับอีกทางหนึ่ง ไม่ชัดเจนเว้นแต่คุณจะศึกษาจากเลนส์ที่เป็นนามธรรมมาก

“ความสง่างามและข้อจำกัดประเภทนี้มีประโยชน์มากมาย แต่ก็เป็น ข้อบกพร่องที่อาจเกิดขึ้นของอัลกอริทึม” Veličkovićกล่าว “นั่นเป็นเพราะว่าถ้าคุณต้องการป้อนข้อมูลของคุณให้สอดคล้องกับเงื่อนไขเบื้องต้นที่เข้มงวดเหล่านี้ สิ่งนี้หมายความว่าหากข้อมูลที่มาจากโลกแห่งความจริงถูกรบกวนแม้แต่เล็กน้อยและไม่เป็นไปตามเงื่อนไขเบื้องต้น ฉันจะสูญเสีย ข้อมูลจำนวนมากก่อนที่ฉันจะสามารถนวดมันลงในอัลกอริทึมได้”

เขากล่าวว่าเห็นได้ชัดว่าวิธีการอัลกอริธึมแบบคลาสสิกนั้นด้อยประสิทธิภาพเพราะแม้ว่าอัลกอริธึมจะให้ คุณเป็นโซลูชันที่สมบูรณ์แบบ มันอาจจะให้โซลูชันที่สมบูรณ์แบบแก่คุณในสภาพแวดล้อมที่ไม่สมเหตุสมผล ดังนั้น วิธีแก้ปัญหาจึงไม่ใช่สิ่งที่คุณสามารถใช้ได้ ในทางกลับกัน เขาอธิบายว่าการเรียนรู้เชิงลึกได้รับการออกแบบมาเพื่อนำเข้าข้อมูลดิบจำนวนมากอย่างรวดเร็วตามขนาด และรับกฎที่น่าสนใจในข้อมูลดิบ โดยไม่มีข้อจำกัดที่จริงจัง

“สิ่งนี้ทำให้มีประสิทธิภาพอย่างน่าทึ่งในสถานการณ์ที่มีเสียงดัง: คุณสามารถรบกวนอินพุตของคุณและเครือข่ายประสาทของคุณจะยังคงใช้งานได้อย่างสมเหตุสมผล สำหรับอัลกอริธึมแบบคลาสสิก นั่นอาจไม่เป็นเช่นนั้น และนั่นเป็นอีกเหตุผลหนึ่งที่เราอาจต้องการหาจุดกึ่งกลางที่ยอดเยี่ยมนี้ ซึ่งเราอาจรับประกันบางอย่างเกี่ยวกับข้อมูลของเราได้ แต่ไม่ต้องการข้อมูลนั้นที่จะถูกจำกัด เช่น สเกลาร์เล็กๆ เมื่อความซับซ้อนของโลกแห่งความเป็นจริงอาจเป็น ใหญ่กว่ามาก” Veličković กล่าว

จุดที่ต้องพิจารณาอีกประการหนึ่งคือที่มาของอัลกอริทึม โดยปกติสิ่งที่เกิดขึ้นคือคุณจะพบนักวิทยาศาสตร์เชิงทฤษฎีที่ฉลาดมาก คุณอธิบายปัญหาของคุณ และพวกเขาคิดหนักมากเกี่ยวกับเรื่องนี้ Blundell กล่าว จากนั้นผู้เชี่ยวชาญก็ออกไปและแมปปัญหาไปยังเวอร์ชันที่เป็นนามธรรมมากขึ้นซึ่งขับเคลื่อนอัลกอริธึม จากนั้นผู้เชี่ยวชาญจะนำเสนออัลกอริทึมสำหรับปัญหาประเภทนี้ ซึ่งพวกเขาสัญญาว่าจะดำเนินการในระยะเวลาที่กำหนดและให้คำตอบที่ถูกต้อง อย่างไรก็ตาม เนื่องจากการทำแผนที่จากปัญหาในโลกแห่งความเป็นจริงไปยังพื้นที่นามธรรมซึ่งอัลกอริทึมได้รับมานั้นไม่แม่นยำเสมอไป Blundell กล่าวว่า มันต้องมีการก้าวกระโดดแบบอุปนัยเล็กน้อย

สำหรับแมชชีนเลิร์นนิง มันกลับตรงกันข้าม เพราะ ML แค่ดูข้อมูล มันไม่ได้แมปกับพื้นที่ที่เป็นนามธรรมจริงๆ แต่มันแก้ปัญหาตามสิ่งที่คุณบอก

สิ่งที่ Blundell และ Veličković พยายามทำ do คือไปที่ใดที่หนึ่งระหว่างสุดขั้วทั้งสองนี้ โดยที่คุณมีบางอย่างที่มีโครงสร้างมากกว่าเล็กน้อย แต่ก็ยังเหมาะกับข้อมูล และไม่จำเป็นต้องมีมนุษย์อยู่ในลูป ด้วยวิธีนี้คุณไม่จำเป็นต้องคิดหนักในฐานะนักวิทยาศาสตร์คอมพิวเตอร์ แนวทางนี้มีค่าเพราะมักจะอยู่ในโลกแห่งความเป็นจริง ปัญหาไม่ได้ถูกแมปกับปัญหาที่เรามีอัลกอริธึมอย่างแน่นอน และแม้กระทั่งสำหรับสิ่งที่เรามีอัลกอริธึม เรายังมีปัญหาที่เป็นนามธรรม ความท้าทายอีกประการหนึ่งคือวิธีสร้างอัลกอริธึมใหม่ซึ่งมีประสิทธิภาพเหนือกว่าอัลกอริธึมที่มีอยู่ซึ่งมีการรับประกันแบบเดียวกันอย่างมาก

ทำไมต้องเรียนรู้อย่างลึกซึ้ง? การแสดงข้อมูล

เมื่อมนุษย์นั่งลงเพื่อเขียนโปรแกรม มันง่ายมากที่จะได้บางสิ่งที่ ช้ามาก ตัวอย่างเช่น มีเวลาดำเนินการแบบเอ็กซ์โปเนนเชียล Blundell ตั้งข้อสังเกต โครงข่ายประสาทเทียมเป็นสิ่งที่ตรงกันข้าม อย่างที่เขาว่ากัน มันขี้เกียจมาก ซึ่งเป็นคุณสมบัติที่น่าพึงใจมากในการคิดค้นอัลกอริธึมใหม่ๆ

“มีคนดู ที่เครือข่ายที่สามารถปรับความต้องการและเวลาในการคำนวณได้ ในการเรียนรู้เชิงลึก วิธีการออกแบบสถาปัตยกรรมเครือข่ายมีผลกระทบอย่างมากต่อประสิทธิภาพการทำงาน มีความเชื่อมโยงกันอย่างมากระหว่างจำนวนการประมวลผลที่คุณทำกับระยะเวลาในการคำนวณที่ใช้ไป และสถาปัตยกรรมแบบใดที่คุณสร้างขึ้น — สิ่งเหล่านี้เชื่อมโยงกันอย่างใกล้ชิด” Blundell กล่าว

Veličkovićตั้งข้อสังเกตว่าสิ่งหนึ่งที่ผู้คนทำในบางครั้งเมื่อแก้ปัญหาตามธรรมชาติด้วยอัลกอริธึมคือการพยายามผลักดันพวกเขาเข้าสู่กรอบการทำงานที่พวกเขาคิดขึ้นซึ่งเป็นสิ่งที่ดีและเป็นนามธรรม เป็นผลให้พวกเขาอาจทำให้ปัญหาซับซ้อนกว่าที่จำเป็น

“The เช่นการเดินทาง [salesperson]

คือ

NP สมบูรณ์ ปัญหา และเราไม่ทราบอัลกอริทึมเวลาพหุนามสำหรับมัน อย่างไรก็ตาม มีคำทำนายที่ถูกต้อง 100% สำหรับการเดินทาง [salesperson] สำหรับทุกเมืองในสวีเดน ทุกเมืองในเยอรมนี ทุกเมืองในสหรัฐอเมริกา และนั่นเป็นเพราะว่าข้อมูลที่เกิดขึ้นตามภูมิศาสตร์มีคุณสมบัติที่ดีกว่ากราฟใดๆ ที่คุณสามารถป้อนเพื่อเดินทางได้ [salesperson]” Veličković กล่าว

ก่อนที่จะเจาะลึกลงไป เฉพาะ NAR เรารู้สึกว่าคำถามที่ไร้เดียงสาอยู่ในลำดับ: ทำไมต้องเรียนรู้อย่างลึกซึ้ง? เหตุใดจึงต้องเลือกใช้เฟรมเวิร์กการวางนัยทั่วไปที่ใช้กับอัลกอริธึมการเรียนรู้เชิงลึกโดยเฉพาะ ไม่ใช่แค่อัลกอริธึมการเรียนรู้ของเครื่องใดๆ

คู่หู DeepMind ต้องการออกแบบโซลูชันที่ทำงานบน ความซับซ้อนที่แท้จริงของโลกแห่งความเป็นจริง จนถึงตอนนี้ ทางออกที่ดีที่สุดสำหรับการประมวลผลข้อมูลที่เกิดขึ้นตามธรรมชาติจำนวนมากในปริมาณมากคือโครงข่ายประสาทเทียมเชิงลึก Veličković เน้นย้ำ

Blundell ตั้งข้อสังเกตว่าโครงข่ายประสาทเทียมมีมาก การแสดงข้อมูลที่สมบูรณ์ยิ่งขึ้นกว่าอัลกอริทึมแบบคลาสสิก “แม้แต่ในคลาสโมเดลขนาดใหญ่ที่ร่ำรวยและซับซ้อนมาก เราพบว่าเราจำเป็นต้องขยายขอบเขตให้ไกลกว่านั้นเพื่อให้สามารถรันอัลกอริธึมได้อย่างน่าเชื่อถือ เป็นวิทยาศาสตร์เชิงประจักษ์ที่เรากำลังดูอยู่ และฉันไม่คิดว่าเมื่อคุณรวยขึ้นเรื่อย ๆ พวกเขาสามารถเริ่มทำกระบวนการนี้ได้” เขากล่าว

จากนั้น Blundell ได้ขยายขอบเขตของโครงสร้างการตัดสินใจ

“เราทราบดีว่าแผนผังการตัดสินใจนั้นเป็นกลอุบาย: ถ้าเป็นเช่นนั้นก็เป็นเช่นนั้น สิ่งที่ขาดหายไปจากการเรียกซ้ำหรือการวนซ้ำ ความสามารถในการวนซ้ำหลายๆ ครั้ง ในโครงข่ายประสาทเทียม เป็นเวลานานที่ผู้คนเข้าใจว่ามีความสัมพันธ์ระหว่างการวนซ้ำ การเรียกซ้ำ และโครงข่ายประสาทในปัจจุบัน ใน กราฟโครงข่ายประสาท

การเรียงลำดับเดียวกัน ของการประมวลผลเกิดขึ้นอีกครั้ง ข้อความที่ส่งผ่านที่คุณเห็นกลับเป็นสิ่งที่เป็นธรรมชาติมาก” เขากล่าว

ในที่สุด Blundell รู้สึกตื่นเต้นกับศักยภาพที่จะก้าวต่อไป

“ถ้าคุณคิดถึงการเขียนโปรแกรมเชิงวัตถุ ซึ่งคุณส่งข้อความระหว่างคลาสของวัตถุ คุณจะเห็นว่ามันมีความคล้ายคลึงกัน และคุณสามารถสร้างไดอะแกรมการโต้ตอบที่ซับซ้อนมากได้ และสามารถแมปเข้ากับโครงข่ายประสาทกราฟได้ ดังนั้นจากโครงสร้างภายในที่คุณได้รับความมั่งคั่งที่ดูเหมือนว่าอาจทรงพลังพอที่จะเรียนรู้อัลกอริทึมที่คุณไม่จำเป็นต้องได้รับด้วยวิธีการเรียนรู้ของเครื่องแบบดั้งเดิม” Blundell อธิบาย

โลก

  • อาหาร
  • เกม การท่องเที่ยว

    Leave a Reply

    Your email address will not be published.

    Back to top button