Tech

วิธีโยกย้ายไปยัง Snowflake โดยไม่ได้รับ 'ข้อมูลเมา'

Transform Technology Summits เริ่มต้นวันที่ 13 ตุลาคมด้วย Low-Code/No Code: Enable Enterprise Agility สมัครตอนนี้!


ในกรณีที่คุณไม่เคยได้ยิน เมฆกำลังเฟื่องฟู และเมื่อพูดถึงที่เก็บข้อมูลบนคลาวด์ โดยเฉพาะอย่างยิ่ง คลังข้อมูล Snowflake ได้รับประโยชน์จากพายุหิมะ ในการเปิดเผยข้อมูลทางการเงินล่าสุด บริษัท รายงาน ลูกค้า 4,532 รายและการเติบโตของรายได้ 110% เมื่อเทียบเป็นรายปี

แม้ว่า การโยกย้ายเป็นเพียงขั้นตอนแรก เมื่อพูดถึงการยอมรับคลาวด์ การทำให้ถูกต้องเป็นสิ่งสำคัญในการทำให้ธุรกิจประสบความสำเร็จ และมีหลายสิ่งที่ต้องพิจารณา: การกำกับดูแล การปรับแต่ง การจัดผู้มีส่วนได้ส่วนเสีย และการสร้างทีมเพื่อให้เกิดขึ้น นอกจากนี้ ความจริงที่ว่าพื้นที่จัดเก็บและการประมวลผลแบบไม่จำกัดของ Snowflake ทำให้ง่ายต่อการเรียกเก็บเงินก้อนใหญ่

เพื่อให้เข้าใจมากขึ้นว่าบริษัทหนึ่งๆ เตรียมพร้อมสำหรับการโยกย้ายอย่างไร ถึง Snowflake เราได้พูดคุยกับ Salim Syed ผู้อำนวยการอาวุโสฝ่ายวิศวกรรมข้อมูลที่ Capital One เขาดึงม่านการย้ายถิ่นของบริษัทออก ซึ่งเริ่มต้นในปี 2560 ทีมงานได้ทำการอัปเดตหลายครั้งในช่วงหลายปีที่ผ่านมา และการเดินทางครั้งนี้ก็ประสบผลสำเร็จซึ่งส่งผลให้ประหยัดค่าใช้จ่ายได้เกือบ 27%

บทสัมภาษณ์นี้ได้รับการแก้ไขเพื่อความกระชับและชัดเจน

VentureBeat: Capital One ตั้งใจจะย้ายไป Snowflake เพราะคุณเห็นถึงประโยชน์ที่เป็นไปได้แน่นอน แต่คุณคาดหวังความท้าทายอะไร? มีข้อเสียใดบ้างที่คุณรู้สึกว่าต้องแก้ไขว่าสิ่งนี้จะส่งผลกระทบต่อข้อมูลของ Capital One และวิธีการทำงานกับข้อมูลนั้นอย่างไร

ซาลิม ไซอิด: เป็นคำถามที่ดี และใช่. สถาปัตยกรรมของ Snowflake จึงแตกต่างจากคลังข้อมูลอื่น ๆ ที่เราเคยร่วมงานด้วย ซึ่งมีการแยกพื้นที่จัดเก็บและการประมวลผล เมื่อก่อนเราไม่ต้องจัดการคอมพิวเตอร์แยกกัน คุณเพิ่งให้สิทธิ์การเข้าถึงฐานข้อมูลแก่ผู้ใช้ของเรา แต่เรารู้ว่า Snowflake ให้พื้นที่เก็บข้อมูลไม่จำกัดและการประมวลผลไม่จำกัด และหากเราไม่ได้จัดการวิธีการจัดเตรียมและสร้างการควบคุมและการกำกับดูแลที่เหมาะสม เราจะสูญเสียการติดตามต้นทุนและการกำกับดูแล นั่นคือสิ่งหนึ่ง

อีกอย่างคือเราไม่ต้องการให้ทีมรวมศูนย์เป็นคอขวด โดยมีผู้ใช้ 6,000 รายร้องขอการเข้าถึงคลังข้อมูลและประมวลผล แยกจากกัน เราจึงเริ่มคิดว่าเราจะให้บริการตนเองมากกว่านี้ได้อย่างไร และมอบความเป็นเจ้าของข้อมูลและโครงสร้างพื้นฐานให้กับธุรกิจเพื่อจัดการสภาพแวดล้อมของตนเอง แต่ยังสร้างความมั่นใจในการกำกับดูแล การควบคุมต้นทุน และแนวทางปฏิบัติที่ดีที่สุด สู่การเดินทางของเราในการสร้างเครื่องมือเหล่านี้ทั้งหมดที่ช่วยให้เราจัดการ Snowflake ได้ดีขึ้น

VentureBeat: แล้วการกลายเป็น “เมาข้อมูล” คืออะไร?

Syed:

ขณะที่เราย้ายไปยังคลาวด์ จำนวนข้อมูลที่เรา สิ่งที่เห็นในตอนนี้คือ ฉันทำไม่ได้ … อาจมากกว่าที่เราเคยมีในองค์กรถึง 50 เท่าด้วยซ้ำ ดังนั้นปริมาณข้อมูลและความหลากหลายของข้อมูลจึงเพิ่มขึ้นอย่างต่อเนื่อง และ Snowflake ช่วยให้คุณสามารถจัดเก็บข้อมูลได้มากเท่าที่คุณต้องการและเรียกใช้การวิเคราะห์ได้มากเท่าที่คุณต้องการ นั่นคือคำศัพท์ที่เราคิดขึ้นมาเกี่ยวกับวิธีที่นักวิเคราะห์ของเราจะใช้ทรัพยากรที่เราให้โดยพื้นฐาน เมื่อนักวิเคราะห์ทำงานกับข้อมูล พวกเขากำลังสร้างชุดย่อยของข้อมูลและจัดเก็บไว้ในแซนด์บ็อกซ์ส่วนตัว และสิ่งที่เกิดขึ้นคือเมื่อคุณอนุญาตให้นักวิเคราะห์ นักวิทยาศาสตร์ข้อมูล หรือใครก็ตามที่ยังคงสร้างพื้นที่จัดเก็บข้อมูลมากขึ้นเรื่อยๆ คุณจะสูญเสียการควบคุมข้อมูลนั้น ดังนั้นเราจึงต้องการอย่างยิ่งเป็นพิเศษเพื่อให้แน่ใจว่าข้อมูลใดๆ ที่สร้างขึ้นนอกระบบการผลิตโดยผู้ใช้ของเราจะได้รับการดูแลอย่างดี เรารู้แน่ชัดว่าข้อมูลนั้นคืออะไร ใครควรเข้าถึงได้ แชร์อย่างไร เก็บข้อมูลไว้นานแค่ไหน เมตาดาต้า เราต้องการทุกอย่างที่จับได้เพื่อที่เราจะได้เติบโตอย่างรวดเร็ว แต่ก็ยังทำให้แน่ใจว่า ยังปกครองได้ดี

VentureBeat: ความกังวลรอบด้าน การ “เมาข้อมูล” เป็นเรื่องเกี่ยวกับการควบคุมมากกว่าปริมาณข้อมูล?

Syed: เป็นทั้งสองอย่าง ค่าใช้จ่ายเป็นปัจจัยหนึ่งเพราะคุณสามารถใช้จ่ายได้มาก ในขณะที่เมื่อก่อนคุณไม่ได้จ่าย มันไม่ได้จ่ายเท่าที่คุณทำ แต่คุณซื้อใบอนุญาตเป็นเวลาหนึ่งปีและใช้มัน – ไม่สำคัญหรอกว่ามากน้อยแค่ไหน ด้วย Snowflake และ AWS Cloud ยิ่งคุณใช้มากเท่าไหร่ คุณก็ยิ่งต้องจ่ายเงินมากขึ้นเท่านั้น ดังนั้นจึงเป็นเรื่องสำคัญมากที่จะต้องแน่ใจว่าคุณใช้คอมพิวเตอร์อย่างมีประสิทธิภาพมากที่สุด ในอีกด้านหนึ่ง การกำกับดูแลและการควบคุมก็มีความสำคัญเช่นกันเมื่อคุณมีข้อมูลที่หลากหลายและข้อมูลประเภทต่างๆ มากมาย เพื่อให้เราได้รับการควบคุมที่ดี เราต้องตอบสนองไม่เพียงแต่กลุ่มไซเบอร์เท่านั้น แต่ยังรวมถึงหน่วยงานกำกับดูแล ทีมดูแลฐานข้อมูล และผู้มีส่วนได้ส่วนเสียที่แตกต่างกันทั้งหมด

VentureBeat: เมื่อพูดถึงหน่วยงานกำกับดูแล ข้อเท็จจริงที่ว่า Capital One อยู่ในอุตสาหกรรมที่มีการควบคุมอย่างเข้มงวดมีผลกระทบใดๆ หรือไม่?

Syed:

ฉันคิดว่า Capital One อยู่ในที่ที่ดีกว่าเพราะพวกเราเป็นเช่นนั้น บริษัทที่มีการควบคุมอย่างเข้มงวด ดังนั้นเราจึงเข้าใจการบริหารความเสี่ยงดีกว่าบริษัทอื่น แต่สิ่งที่เปลี่ยนแปลงไปจริงๆ ในการโยกย้ายของเราคือ การกำกับดูแลการปรับขนาด เพราะตอนนี้เราแค่จัดการกับข้อมูลที่มากขึ้นแบบทวีคูณ ในอดีต ธรรมาภิบาลสามารถกลายเป็นคอขวดและสามารถยับยั้งนวัตกรรมของคุณได้ เพราะทุกคนต้องรักษาทีมกลางที่บังคับใช้การกำกับดูแล และทุกคนต้องปฏิบัติตามนั้น ความท้าทายของเราคือเราจะรวมกลุ่มและทำให้ธรรมาภิบาลง่ายขึ้นได้อย่างไร? และเราจะซ่อนระบบราชการทั้งหมดที่เกิดขึ้นและทำให้โปร่งใสได้อย่างไรเพื่อให้ผู้ใช้ของเรายังคงสามารถเข้าถึงข้อมูลและสร้างสรรค์สิ่งใหม่ ๆ ในขณะที่ทำให้แน่ใจว่ากิจกรรมการกำกับดูแลทั้งหมดได้รับการดูแลเบื้องหลัง นั่นคือสิ่งที่เราให้ความสำคัญจริงๆ ระหว่างการย้ายถิ่นฐาน และคุณถามถึงบริษัทอื่น แม้ว่าจะไม่ใช่บริษัทที่มีการควบคุม แต่ก็กลายเป็นส่วนสำคัญของทุกองค์กร ข้อมูลทั้งหมดนั้นจะมีค่ามากไม่ว่า มันถูกควบคุม

VentureBeat: มาดูวิธีแก้ปัญหาของคุณกัน . คุณไม่เพียงแค่ควบคุมแต่ทำให้กระบวนการคล่องตัวได้อย่างไร

Syed:

เราสร้างเครื่องมือเพราะเรารู้ว่าต้นทุนจะกลายเป็นปัญหาใหญ่ ถ้าเราไม่ได้ แต่แนวคิดก็คือคุณกำลังเชื่อมโยงความเป็นเจ้าของและการจัดการเข้ากับธุรกิจ ในขณะเดียวกันก็บังคับใช้นโยบายส่วนกลางและใช้เครื่องมือจากส่วนกลาง ดังนั้นคำถามคือคุณจะทำให้มันยังคงยืดหยุ่นได้อย่างไรเพื่อให้สายธุรกิจนั้นยังคงปรับตัวได้และพวกเขาไม่เพียงแค่ปฏิเสธ? นั่นคือจุดเริ่มต้นจริงๆ

จากนั้นการเดินทางก็เปลี่ยนจากการจัดการโครงสร้างพื้นฐานใน Snowflake ไปสู่การจัดการข้อมูล เราต้องการให้แน่ใจว่าในด้านผู้ผลิต ประสบการณ์นั้นราบรื่น — ที่คุณสามารถนำเข้าข้อมูลจากแหล่งต่าง ๆ ทั้งหมด และทำให้แน่ใจว่าเวิร์กโฟลว์เดียวจะได้รับข้อมูลและข้อมูลเมตาที่ลงทะเบียนของคุณ ระบุความไวของคอลัมน์ และจัดประเภทคอลัมน์และฟิลด์ จากนั้นตรวจสอบให้แน่ใจว่าข้อมูลจะถูกเก็บไว้ที่ใด จะอัปเดตอย่างไร และการเปลี่ยนแปลงใดที่จะเกิดขึ้น เราแค่ต้องการทำให้ประสบการณ์ทั้งหมดนั้นง่าย และในขณะที่เกิดเหตุการณ์นั้นขึ้น โดยพื้นฐานแล้วเราได้เปิดใช้งานการกำกับดูแลข้อมูลทั้งหมด เพื่อให้ธุรกิจไม่ต้องลงทุนซ้ำ และสามารถกำหนดค่าเวิร์กโฟลว์ของพวกเขาและใช้กระบวนการนำเข้าข้อมูลของเราได้

เราคิดเกี่ยวกับส่วนการค้นพบข้อมูลจริงๆ ด้วย เราจำเป็นต้องสร้างระบบที่คุณสามารถค้นหาข้อมูลได้อย่างง่ายดายโดยดูว่าคนอื่นในบทบาทของคุณค้นหาอะไร เราจึงใช้ การเรียนรู้ของเครื่อง เพื่อคิดออก จากนั้นเมื่อคุณพบข้อมูลที่เกี่ยวข้องกับคุณ เราจะให้ข้อมูลว่าคุณเชื่อถือข้อมูลนั้นได้หรือไม่ มีการอัปเดตบ่อยเพียงใด ครั้งล่าสุดคือเมื่อใด มีค่าอะไร ใครเข้าถึงข้อมูล เป็นต้น เรา ต้องการลบระบบราชการทั้งหมดออกและสร้างแอปพลิเคชันแบบ end-to-end ที่ราบรื่น

VentureBeat:

และทั้งหมดนี้มีลักษณะอย่างไรในแง่ของคนที่เกี่ยวข้อง? คุณมีทีมงานเฉพาะหรือไม่? ผู้เชี่ยวชาญประเภทใดที่คุณคิดว่าจำเป็นต้องมีส่วนร่วมในการดำเนินการประเภทนี้

ซิด:

ทุกอย่างเริ่มต้นจากความเป็นผู้นำ คุณต้องมีความเป็นผู้นำเพื่อให้ทุกสายธุรกิจเข้าใจว่าเป็นแนวทางของคุณ และใช่อย่างแน่นอน คุณจะต้องสร้างทีมวิศวกรข้อมูล นักพัฒนาแอปพลิเคชัน สถาปนิก UI และผู้ที่เข้าใจการกำกับดูแลและประเด็นปัญหา ทีมงานผลิตภัณฑ์ขนาดใหญ่ ดังนั้นจึงเป็นการรวมตัวกันของทีมที่ถูกนำเข้ามา และเรายังมีส่วนร่วมอย่างต่อเนื่องกับสายธุรกิจเพื่อให้แน่ใจว่าเราได้ตอบสนองความต้องการของพวกเขาเช่นกัน

VentureBeat: ฮา

ทั้งหมดนี้นำพาคุณมาจนถึงวันนี้หรือไม่? คุณต้องทำการอัปเดตหรือเปลี่ยนแปลงหรือไม่?

Syed:

เรา เรียนรู้มากมายตลอดเส้นทางและทำการปรับเปลี่ยน ตัวอย่างเช่น ในตอนแรก เราได้สร้างรูปแบบบางอย่างสำหรับผู้ผลิตข้อมูล เช่น โหลดข้อมูล และเรากำหนดกฎเกณฑ์ต่างๆ ให้กับสายงานธุรกิจ และบอกว่าพวกเขาสามารถทำเองได้ แต่เมื่อเวลาผ่านไป เราตระหนักว่าการบังคับใช้สิ่งนี้เป็นเรื่องยากจริงๆ และรู้ว่าใครทำหรือไม่ปฏิบัติตามกฎ ดังนั้นเราจึงสร้างเครื่องมือแบบรวมศูนย์สำหรับสิ่งนี้ แต่ยังจัดการกับข้อกังวลของสายธุรกิจด้วยการทำให้แน่ใจว่าจะมีการกำหนดค่าสูงและยืดหยุ่นได้ แต่ฉันรู้สึกว่าตอนนี้เราอยู่ในตำแหน่งที่ดีและเห็นประโยชน์ แอปพลิเคชันนี้ทำงานด้วยมือเกือบ 50,000 ชั่วโมงที่เราเคยทำ และเราพบว่าประหยัดค่าใช้จ่ายได้เกือบ 27% และเราเห็นการใช้งานเพิ่มขึ้นอย่างต่อเนื่อง โดยมีการสืบค้นเพิ่มขึ้น 5-6 เท่า

VentureBeat: คุณได้อะไรจากประสบการณ์นี้บ้าง? มีอะไรที่คุณอยากรู้ก่อนหน้านี้ในกระบวนการนี้หรือไม่?

ซิด:

สำหรับใครก็ตามที่พยายามจะย้ายข้อมูลหรือแปลงข้อมูลไปยังระบบคลาวด์ รู้ว่ายากที่จะนำจีนี่กลับเข้าไปในขวด ดังนั้นจึงเป็นเรื่องสำคัญอย่างยิ่งที่จะต้องคิดล่วงหน้าว่าคุณจะปรับใช้การกำกับดูแลอย่างไร

เวนเจอร์บีท

ภารกิจของ VentureBeat คือการเป็นจัตุรัสกลางเมืองดิจิทัลสำหรับผู้มีอำนาจตัดสินใจด้านเทคนิคเพื่อรับความรู้เกี่ยวกับเทคโนโลยีที่เปลี่ยนแปลงและการทำธุรกรรม ไซต์ของเราให้ข้อมูลที่จำเป็นเกี่ยวกับเทคโนโลยีข้อมูลและกลยุทธ์เพื่อเป็นแนวทางในการเป็นผู้นำองค์กรของคุณ เราขอเชิญคุณเข้าร่วมเป็นสมาชิกชุมชนของเราเพื่อเข้าถึง:

กลายเป็น สมาชิก

    บ้าน

  • ธุรกิจ
  • ดูแลสุขภาพ
  • ไลฟ์สไตล์
  • เทค โลก

  • อาหาร

  • เกม
  • การท่องเที่ยว

    Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button