Data Mesh คืออะไร
Data Mesh คือโครงสร้างสถาปัตยกรรมที่แก้ปัญหาความด้านความปลอดภัยข้อมูลขั้นสูงผ่านการเป็นเจ้าของแบบกระจายและการกระจายศูนย์ องค์กรมีแหล่งที่มาของข้อมูลหลายแหล่งจากสายงานธุรกิจต่างๆ ซึ่งต้องนำมาผสานรวมกันเพื่อใช้ในการวิเคราะห์ สถาปัตยกรรมของ Data Mesh จะรวมแหล่งที่มาของข้อมูลที่แตกต่างเข้าด้วยกันอย่างมีประสิทธิภาพ และเชื่อมโยงผ่านการแชร์ข้อมูลที่มีการจัดการและแนวทางการกำกับดูแล ฟังก์ชันทางธุรกิจสามารถควบคุมวิธีการเข้าถึง บุคคลที่เข้าถึง และรูปแบบการเข้าถึงข้อมูลที่แชร์ได้ แม้ Data Mesh จะเพิ่มความซับซ้อนให้กับสถาปัตยกรรม แต่ก็เพิ่มประสิทธิภาพด้วยการปรับปรุงการเข้าถึงข้อมูล ความปลอดภัย และความสามารถในการเพิ่มทรัพยากร
Data Mesh ช่วยแก้ปัญหาอะไรได้บ้าง
แม้ว่าองค์กรต่างๆ จะสามารถเข้าถึงปริมาณข้อมูลที่เพิ่มขึ้นได้ แต่พวกเขาก็ต้องจัดเรียง กรอง ประมวลผล และวิเคราะห์ข้อมูลเพื่อให้ได้มาซึ่งประโยชน์ในทางปฏิบัติ องค์กรต่างๆ มักใช้ทีมวิศวกรและนักวิทยาศาสตร์จากส่วนกลางในการจัดการข้อมูล ทีมดังกล่าวจะใช้แพลตฟอร์มข้อมูลแบบรวมศูนย์เพื่อวัตถุประสงค์ดังต่อไปนี้
- นำเข้าข้อมูลจากหน่วยธุรกิจที่แตกต่างกันทั้งหมด (หรือโดเมนธุรกิจ)
- แปลงข้อมูลให้เป็นรูปแบบที่สอดคล้องกัน น่าเชื่อถือ และเป็นประโยชน์ ตัวอย่างเช่น ทีมงานสามารถตรวจสอบให้แน่ใจว่าวันที่ทั้งหมดในระบบอยู่ในรูปแบบเดียวกัน หรือสรุปรายงานประจำวันได้
- เตรียมข้อมูลสำหรับผู้ใช้ข้อมูล เช่น สร้างรายงานสำหรับมนุษย์ หรือจัดทำไฟล์ XML สำหรับแอปพลิเคชัน อ่านเกี่ยวกับ XML »
เมื่อปริมาณข้อมูลเพิ่มขึ้น องค์กรต่างๆ ต้องเผชิญกับต้นทุนที่เพิ่มขึ้นเพื่อรักษาความคล่องตัวไว้ดังเดิม ระบบ Monolithic เป็นระบบที่ปรับขนาดได้ยาก เนื่องจากเหตุผลดังต่อไปนี้
ทีมข้อมูลแบบที่แยกออกมาต่างหาก
ทีมข้อมูลจากส่วนกลางมีนักวิทยาศาสตร์ข้อมูลและวิศวกรผู้เชี่ยวชาญที่มีความรู้ด้านธุรกิจและโดเมนจำกัด อย่างไรก็ตาม พวกเขายังคงต้องให้ข้อมูลสำหรับความต้องการในการดำเนินงานและการวิเคราะห์ที่หลากหลายโดยปราศจากความเข้าใจที่ชัดเจนเกี่ยวกับแรงจูงใจ
การตอบสนองต่อการเปลี่ยนแปลงช้า
โดยทั่วไป วิศวกรข้อมูลจะใช้ Pipeline ที่นำเข้าข้อมูลและแปลงข้อมูลในหลายขั้นตอน ก่อนจะเก็บไว้ใน Data Lake ส่วนกลาง การเปลี่ยนแปลงที่ร้องขอใดๆ จำเป็นต้องมีการแก้ไข Pipeline ทั้งหมด ทีมจากส่วนกลางต้องทำการเปลี่ยนแปลงเหล่านี้ พร้อมกับจัดลำดับความสำคัญที่ขัดแย้งกันด้วยความรู้ด้านโดเมนธุรกิจที่จำกัด
ความแม่นยำที่ลดลง
หน่วยธุรกิจไม่มีการเชื่อมโยงกับผู้ใช้ข้อมูลและทีมข้อมูลจากส่วนกลาง ส่งผลให้ขาดแรงจูงใจในการให้ข้อมูลที่มีความหมาย ถูกต้อง และเป็นประโยชน์
ประโยชน์ของ Data Mesh มีอะไรบ้าง
เมื่อเวลาผ่านไป สถาปัตยกรรมแพลตฟอร์มข้อมูลอาจส่งผลให้ผู้ใช้ข้อมูลผิดหวัง ผู้ผลิตข้อมูลขาดการเชื่อมต่อ และทีมจัดการข้อมูลทำงานหนักเกินไป สถาปัตยกรรม Data Mesh พยายามแก้ปัญหาความท้าทายเหล่านี้ด้วยการเสริมศักยภาพให้หน่วยธุรกิจมีความเป็นอิสระสูงและเป็นเจ้าของโดเมนข้อมูลของตัวเองได้ ประโยชน์ของสถาปัตยกรรม Data Mesh มีดังต่อไปนี้
การประมวลผลข้อมูลแบบประชาธิปไตย
Data Mesh จะถ่ายโอนการควบคุมข้อมูลไปยังผู้เชี่ยวชาญโดเมนที่สร้างผลิตภัณฑ์ข้อมูลที่มีความหมายภายในกรอบการกำกับดูแลแบบกระจายอำนาจ ผู้ใช้ข้อมูลยังร้องขอการเข้าถึงผลิตภัณฑ์ข้อมูลและขอการอนุมัติหรือการเปลี่ยนแปลงได้โดยตรงจากเจ้าของข้อมูล ส่งผลให้ทุกคนเข้าถึงข้อมูลที่เกี่ยวข้องได้รวดเร็วขึ้น และการเข้าถึงที่เร็วขึ้นช่วยเพิ่มความคล่องตัวทางธุรกิจ
ความยืดหยุ่นที่เพิ่มขึ้น
โครงสร้างพื้นฐานข้อมูลแบบรวมศูนย์นั้นซับซ้อนกว่า และต้องการความร่วมมือในการดูแลและแก้ไข โดย Data Mesh จะจัดระเบียบการใช้งานทางเทคนิคของระบบส่วนกลางใหม่ไปยังโดเมนธุรกิจแทน ซึ่งจะช่วยขจัด Data Pipeline ส่วนกลาง และลดปัญหาคอขวดในการปฏิบัติงานและความเครียดทางเทคนิคในระบบได้
ความคุ้มราคา
สถาปัตยกรรมข้อมูลแบบกระจายย้ายออกจากการประมวลผลแบบชุด แทนที่จะส่งเสริมการนำ Data Stream แบบเรียลไทม์มาใช้ คุณปรับปรุงการมองเห็นในการจัดสรรทรัพยากรและต้นทุนการจัดเก็บ ส่งผลให้มีการจัดทำงบประมาณที่ดีขึ้นและต้นทุนลดลง
ปรับปรุงการค้นหาข้อมูล
โมเดล Data Mesh ป้องกันไม่ให้ Data Silo ก่อตัวขึ้นรอบๆ ทีมวิศวกรรมส่วนกลาง นอกจากนี้ยังช่วยลดความเสี่ยงที่สินทรัพย์ข้อมูลจะถูกล็อคภายในระบบโดเมนธุรกิจต่างๆ กรอบการจัดการข้อมูลส่วนกลางจะควบคุมและบันทึกข้อมูลที่มีอยู่ในองค์กรแทน ตัวอย่างเช่น ทีมโดเมนจะลงทะเบียนข้อมูลของตนโดยอัตโนมัติในสำนักทะเบียนกลาง
การปฏิบัติตามข้อกำหนดและการรักษาความปลอดภัยที่แกร่งขึ้น
สถาปัตยกรรม Data Mesh บังคับใช้นโยบายความปลอดภัยของข้อมูลทั้งภายในและระหว่างโดเมน โดยให้การตรวจสอบจากส่วนกลางและการตรวจสอบกระบวนการแบ่งปันข้อมูล ตัวอย่างเช่น คุณสามารถบังคับใช้ข้อกำหนดข้อมูลบันทึกและการติดตามบนโดเมนทั้งหมด ผู้ตรวจสอบของคุณสามารถสังเกตการใช้งานและความถี่ของการเข้าถึงข้อมูลได้
กรณีการใช้งานของ Data Mesh มีอะไรบ้าง
Data Mesh สามารถรองรับกรณีการใช้งานของ Big Data ได้ทุกประเภท เราขอยกตัวอย่างให้บางส่วนด้านล่าง
การวิเคราะห์ข้อมูล
ฟังก์ชันทางธุรกิจที่หลากหลายจัดเตรียมข้อมูลที่เชื่อถือได้และมีคุณภาพสูงสำหรับเวิร์กโหลดการวิเคราะห์ข้อมูลของคุณ ทีมของคุณสามารถใช้ข้อมูลเพื่อสร้างแดชบอร์ดธุรกิจอัจฉริยะแบบกำหนดเองที่แสดงประสิทธิภาพของโครงการ ผลลัพธ์ทางการตลาด และข้อมูลการดำเนินงาน นักวิทยาศาสตร์ข้อมูลสามารถเร่งโครงการแมชชีนเลิร์นนิงเพื่อใช้ประโยชน์จากระบบอัตโนมัติอได้ย่างเต็มที่
การดูแลลูกค้า
Data Mesh ให้มุมมองของลูกค้าที่ครอบคลุมสำหรับทีมสนับสนุนและการตลาด ตัวอย่างเช่น ทีมสนับสนุนสามารถดึงข้อมูลที่เกี่ยวข้องและลดเวลาในการจัดการโดยเฉลี่ยได้ ส่วนทีมการตลาดก็สามารถมั่นใจได้ว่าพวกเขากำหนดเป้าหมายกลุ่มประชากรของลูกค้าที่เหมาะสมในแคมเปญของพวกเขา
การรายงานตามกฎระเบียบ
ความต้องการปริมาณ ความตรงต่อเวลา และความถูกต้องของข้อมูลที่ตรงตามวัตถุประสงค์ด้านกฎระเบียบทำให้เกิดความท้าทายทั้งกับหน่วยงานกำกับดูแลและบริษัทที่ได้รับการควบคุม ทุกฝ่ายสามารถได้รับประโยชน์จากการประยุกต์ใช้เทคโนโลยี Data Mesh ตัวอย่างเช่น องค์กรสามารถส่งข้อมูลการรายงานไปยัง Data Mesh ที่ควบคุมโดยหน่วยงานกำกับดูแลจากส่วนกลางได้
ข้อมูลภายนอก
คุณสามารถใช้เทคโนโลยี Data Mesh สำหรับกรณีการใช้งานที่ต้องใช้ชุดข้อมูลภายนอกและสาธารณะได้ คุณสามารถปฏิบัติต่อข้อมูลภายนอกเป็นโดเมนแยกต่างหากและใช้งานในเครือข่ายเพื่อให้แน่ใจว่าสอดคล้องกับชุดข้อมูลภายใน
หลักการของสถาปัตยกรรม Data Mesh คืออะไร
องค์กรของคุณต้องดำเนินการตามหลักการ 4 ประการต่อไปนี้ เพื่อนำตัวอย่าง Data Mesh มาใช้
สถาปัตยกรรมที่ขับเคลื่อนด้วยโดเมนแบบกระจาย
แนวทาง Data Mesh นำเสนอว่าความรับผิดชอบในการจัดการข้อมูลควรถูกจัดระเบียบตามหน้าที่ทางธุรกิจหรือโดเมน ทีมโดเมนมีหน้าที่รับผิดชอบในการรวบรวม แปลง และให้ข้อมูลที่เกี่ยวข้องหรือสร้างขึ้นโดยหน้าที่ทางธุรกิจของตน แทนที่จะเป็นข้อมูลโดเมนที่ไหลจากแหล่งที่มาของข้อมูลไปยังแพลตฟอร์มข้อมูลส่วนกลาง ทีมเฉพาะจะโฮสต์และให้บริการชุดข้อมูลในลักษณะที่ใช้งานได้ง่าย ตัวอย่างเช่น ผู้ค้าปลีกอาจมีโดเมนเสื้อผ้าที่มีข้อมูลเกี่ยวกับผลิตภัณฑ์เสื้อผ้าของตนและโดเมนพฤติกรรมในเว็บไซต์ที่มีการวิเคราะห์พฤติกรรมของผู้เยี่ยมชมไซต์
ข้อมูลเป็นผลิตภัณฑ์
เพื่อให้การนำ Data Mesh ไปใช้ประสบความสำเร็จ ทีมโดเมนทุกทีมต้องใช้การคิดเกี่ยวกับผลิตภัณฑ์กับชุดข้อมูลที่มีให้ ต้องถือว่าสินทรัพย์ข้อมูลเป็นผลิตภัณฑ์ของตน และธุรกิจขององค์กรและทีมข้อมูลที่เหลือเป็นลูกค้า
เพื่อประสบการณ์ของผู้ใช้ที่ดีที่สุด ผลิตภัณฑ์ข้อมูลโดเมนควรมีคุณสมบัติพื้นฐานดังต่อไปนี้
ค้นหาได้ง่าย
ผลิตภัณฑ์ข้อมูลแต่ละรายการจะลงทะเบียนตัวเองด้วยแคตตาล็อกข้อมูลส่วนกลางเพื่อให้ค้นหาได้ง่าย
ระบุที่อยู่ได้
ผลิตภัณฑ์ข้อมูลทุกรายการควรมีที่อยู่เฉพาะที่ช่วยให้ผู้ใช้ข้อมูลเข้าถึงได้ทางโปรแกรม โดยทั่วไป ที่อยู่จะเป็นไปตามมาตรฐานการการตั้งชื่อที่กำหนดโดยส่วนกลางภายในองค์กร
เชื่อถือได้
ผลิตภัณฑ์ข้อมูลกำหนดวัตถุประสงค์ระดับบริการที่ยอมรับได้ โดยประเมินว่าข้อมูลสะท้อนความเป็นจริงของเหตุการณ์ที่จัดทำเอกสารได้ใกล้เคียงเพียงใด ตัวอย่างเช่น โดเมนคำสั่งซื้อสามารถเผยแพร่ข้อมูลหลังจากยืนยันที่อยู่และหมายเลขโทรศัพท์ของลูกค้า
อธิบายตนเองได้
ผลิตภัณฑ์ข้อมูลทั้งหมดมีไวยากรณ์และความหมายที่อธิบายไว้อย่างดีซึ่งเป็นไปตามหลักการตั้งชื่อมาตรฐานที่กำหนดโดยองค์กร
โครงสร้างพื้นฐานข้อมูลแบบบริการตนเอง
สถาปัตยกรรมข้อมูลแบบกระจายกำหนดให้ทุกโดเมนตั้งค่า Data Pipeline ของตนเองเพื่อทำการล้าง กรอง และโหลดผลิตภัณฑ์ข้อมูลของตัวเอง Data Mesh นำเสนอแนวคิดของแพลตฟอร์มข้อมูลแบบบริการตนเองเพื่อหลีกเลี่ยงการทำงานซ้ำซ้อน วิศวกรข้อมูลได้สร้างเทคโนโลยีเพื่อให้หน่วยธุรกิจทั้งหมดสามารถประมวลผลและเก็บผลิตภัณฑ์ข้อมูลของตนได้ โครงสร้างพื้นฐานแบบบริการตนเองจึงแบ่งความรับผิดชอบได้ ทีมวิศวกรรมข้อมูลจะจัดการเทคโนโลยี ในขณะที่ทีมธุรกิจจะจัดการข้อมูล
การกำกับดูแลข้อมูลที่เช่ือมโยงกับส่วนกลาง
สถาปัตยกรรม Data Mesh ทำให้การรักษาความปลอดภัยเป็นความรับผิดชอบร่วมกันภายในองค์กร ความเป็นผู้นำจะกำหนดมาตรฐานและนโยบายระดับโลกที่คุณสามารถนำไปใช้กับโดเมนต่างๆ ได้ ในขณะเดียวกัน สถาปัตยกรรมข้อมูลแบบกระจายอำนาจช่วยให้มีอิสระสูงเกี่ยวกับมาตรฐานและการดำเนินนโยบายภายในโดเมน
คุณจะสร้าง Data Mesh ในองค์กรของคุณได้อย่างไร
Data Mesh เป็นแนวคิดเกิดใหม่ที่เพิ่งถูกดึงขึ้นมาหลังการระบาดใหญ่ องค์กรต่างๆ กำลังทดลองใช้เทคโนโลยีต่างๆ ไปพร้อมกับการพยายามสร้าง Data Mesh สำหรับกรณีการใช้งานที่เฉพาะเจาะจง อย่างไรก็ตาม การนำ Data Mesh ระดับองค์กรไปใช้กับองค์กรต่างๆ ยังเป็นเรื่องที่หาได้ยาก ไม่มีเส้นทางที่ชัดเจนในการปรับใช้ Data Mesh แต่นี่คือคำแนะนำบางประการ
วิเคราะห์ข้อมูลที่มีอยู่ของคุณ
ก่อนสร้าง Data Mesh คุณต้องทำแค็ตตาล็อกข้อมูลที่มีอยู่และระบุโดเมนธุรกิจที่เกี่ยวข้อง การปฏิบัติตามกฎความสอดคล้องเป็นกุญแจสู่ความสัมพันธ์ที่มีประสิทธิภาพของข้อมูลระหว่างโดเมน ตัวอย่างเช่น คุณจะต้องกำหนดมาตรฐานสากลสำหรับการจัดรูปแบบประเภทช่อง ช่องข้อมูลเมตา และแบบแผนที่อยู่ของผลิตภัณฑ์ข้อมูล
ใช้นโยบายการกำกับดูแลข้อมูลทั่วโลก
การกำกับดูแลข้อมูลแบบรวมศูนย์กำหนดให้ทีม IT ส่วนกลางของคุณกำหนดมาตรฐานการรายงาน การรับรองความถูกต้อง และการปฏิบัติตามข้อกำหนดสำหรับ Data Mesh คุณยังสามารถกำหนดการควบคุมการเข้าถึงแบบละเอียดที่เจ้าของผลิตภัณฑ์ข้อมูลใช้เมื่อโฮสต์ชุดข้อมูลของตน ในขณะที่ผู้ผลิตข้อมูลกำหนดและวัดคุณภาพข้อมูล นโยบายการกำกับดูแลส่วนกลางจะช่วยชี้แนะการตัดสินใจของพวกเขา
สร้างแพลตฟอร์มข้อมูลแบบบริการตนเอง
แพลตฟอร์มข้อมูลแบบบริการตนเองของคุณควรเป็นแบบทั่วไป เพื่อให้ทุกคนสามารถสร้างผลิตภัณฑ์ข้อมูลโดเมนใหม่ได้ นอกจากนี้ยังควรซ่อนความซับซ้อนทางเทคนิคพื้นฐาน และจัดเตรียมส่วนประกอบโครงสร้างพื้นฐานในลักษณะบริการตนเอง ความสามารถบางอย่างที่รวมอยู่ด้วยมีดังนี้
- การเข้ารหัสข้อมูล
- สคีมาผลิตภัณฑ์ข้อมูล
- การกำกับดูแลและการควบคุมการเข้าถึง
- การค้นพบผลิตภัณฑ์ข้อมูล เช่น การลงทะเบียนหรือการเผยแพร่แคตตาล็อก
- การตรวจสอบและการบันทึกผลิตภัณฑ์ข้อมูล
- แคชเพื่อประสิทธิภาพที่ดีขึ้น
คุณยังสามารถสร้างระบบอัตโนมัติ เช่น การกำหนดค่าและสคริปต์ เพื่อลดระยะเวลาในการสร้างผลิตภัณฑ์ข้อมูล
เลือกเทคโนโลยีที่เหมาะสม
ระบบจัดเก็บข้อมูลแบบดั้งเดิมที่มีอยู่ของคุณ เช่น คลังข้อมูลและ Data Lake สามารถขับเคลื่อน Data Mesh ของคุณได้ คุณเพียงแค่ต้องเปลี่ยนการใช้งานจากระบบ Monolithic ไปสู่ที่เก็บข้อมูลแบบกระจายศูนย์หลายแห่ง Data Mesh ยังช่วยให้สามารถนำแพลตฟอร์มคลาวด์และเทคโนโลยีที่มีระบบคลาวด์เป็นศูนย์กลางมาใช้ได้ โครงสร้างพื้นฐานระบบคลาวด์ช่วยลดต้นทุนการดำเนินงานและความพยายามที่จำเป็นในการสร้าง Data Mesh คุณต้องเลือกผู้ให้บริการระบบคลาวด์ที่มีบริการจัดการข้อมูลที่หลากหลายเพื่อรองรับสถาปัตยกรรม Data Mesh ของคุณ คุณจะต้องพิจารณาข้อกำหนดการผสานรวมข้อมูลกับระบบที่ล้าสมัยด้วย
เริ่มการเปลี่ยนแปลงทางวัฒนธรรมทั่วทั้งองค์กร
วันนี้เรามีเทคโนโลยีและเครื่องมือที่จำเป็นสำหรับการสร้าง Data Mesh ด้วยผลิตภัณฑ์ข้อมูลที่หลากหลาย การเปลี่ยนไปสู่การรวมชุดงานและการสตรีมเข้าด้วยกันทำได้ง่ายกว่าที่เคยด้วยเครื่องมือเช่น Amazon EMR อย่างไรก็ตาม การปรับขนาด Data Mesh ของคุณให้มากกว่าโปรเจกต์ขนาดเล็กนั้นจำเป็นต้องเปลี่ยนตัวอย่างให้ห่างไกลจากสถาปัตยกรรมข้อมูลแบบรวมศูนย์ในอดีต ต้องใช้ภาษาใหม่ที่เน้นสิ่งต่อไปนี้
- การค้นหาข้อมูลและการใช้งานผ่านการแยกและการโหลด
- การประมวลผลข้อมูลแบบเรียลไทม์ผ่านการประมวลผลเป็นชุดปริมาณมากในภายหลัง
- การเป็นเจ้าของผลิตภัณฑ์ข้อมูลแบบกระจายบนสถาปัตยกรรมแพลตฟอร์มข้อมูลส่วนกลาง
ปัจจุบัน เทคโนโลยีข้อมูลมักจะขับเคลื่อนการตัดสินใจทางสถาปัตยกรรม Data Mesh ย้อนกลับขั้นตอนนี้ โดยวางผลิตภัณฑ์ข้อมูลโดเมนไว้ตรงกลางเพื่อให้ขับเคลื่อนการตัดสินใจด้านเทคโนโลยีแทน
Data Mesh และ Data Lake ต่างกันอย่างไร
Data Lake เป็นที่เก็บข้อมูลที่คุณสามารถจัดเก็บข้อมูลที่มีโครงสร้างและไม่มีโครงสร้างทั้งหมดได้โดยไม่ต้องประมวลผลล่วงหน้าและในขนาดใดก็ได้ ในแพลตฟอร์มข้อมูลแบบรวมศูนย์ Data Lake เป็นเทคโนโลยีหลักในการจัดเก็บข้อมูลจากแหล่งข้อมูลที่เป็นไปได้ทั้งหมด
Data Mesh คือตัวอย่างการจัดการข้อมูลที่ใช้ Data Lake ในรูปแบบต่างๆ Data Lake ไม่ใช่หัวใจสำคัญของสถาปัตยกรรมทั้งหมดอีกต่อไป แต่คุณสามารถใช้เพื่อปรับใช้ผลิตภัณฑ์ข้อมูลหรือเป็นส่วนหนึ่งของโครงสร้างพื้นฐานแบบบริการตนเอง
Data Mesh และ Data Fabric ต่างกันอย่างไร
Data Fabric เป็นสถาปัตยกรรมสมัยใหม่อีกรูปแบบหนึ่งที่ใช้แมชชีนเลิร์นนิงและระบบอัตโนมัติสำหรับการผสานรวมระบบคลาวด์และ Data Pipeline แบบครบวงจร คุณสามารถคิดว่านี่เป็นเทคโนโลยีอีกขั้นบนโครงสร้างพื้นฐานของคุณที่ผสานรวมและนำเสนอข้อมูลแก่ผู้ใช้ที่ไม่ใช่ด้านเทคนิคอย่างเหนียวแน่น ตัวอย่างเช่น ผู้มีอำนาจตัดสินใจใช้โครงสร้างข้อมูลเพื่อดูข้อมูลทั้งหมดของตนในที่เดียว และสร้างการเชื่อมต่อระหว่างชุดข้อมูลที่แตกต่างกัน
ทั้ง Data Fabric และ Data Mesh มีเป้าหมายที่คล้ายคลึงกัน นั่นคือการจัดการข้อมูลแบบครบวงจรและมีประสิทธิภาพ ตัวอย่างเช่น สมมติว่าคุณมี Data Lake ส่วนกลางและใช้บริการของ AWS สำหรับการนำข้อมูลเข้า ในขณะเดียวกัน คุณมีโครงสร้างพื้นฐานเดิมสำหรับการแปลงข้อมูล Data Fabric ของคุณจะผสานรวมทั้งสองระบบและนำเสนอมุมมองที่เป็นหนึ่งเดียวโดยไม่ต้องเปลี่ยน Pipeline มีอยู่
Data Fabric จึงใช้เทคโนโลยีเพื่อทำงานร่วมกับโครงสร้างพื้นฐานที่คุณมีอยู่ ในทางกลับกัน การใช้งาน Data Mesh นั้นต้องการให้คุณเปลี่ยนโครงสร้างพื้นฐานเอง คุณต้องเปลี่ยนโมเดลพุชและนำเข้าของการจัดการข้อมูลเป็นโมเดลเสิร์ฟและดึงทั่วทั้งโดเมนธุรกิจของคุณ
AWS รองรับสถาปัตยกรรม Data Mesh ของคุณได้อย่างไร
สถาปัตยกรรมข้อมูลสมัยใหม่บน AWS แสดงรายการบริการต่างๆ ที่คุณสามารถใช้เพื่อปรับใช้ Data Mesh และสถาปัตยกรรมข้อมูลสมัยใหม่อื่นๆ ในองค์กรของคุณ คุณสามารถสร้างผลิตภัณฑ์ข้อมูลและโครงสร้างพื้นฐาน Data Mesh ได้อย่างรวดเร็วด้วยต้นทุนที่ต่ำโดยไม่สูญเสียประสิทธิภาพ
ตัวอย่างบริการของ AWS ที่คุณสามารถใช้ได้มีดังนี้
- ใช้ AWS Lake Formation เพื่อสร้างรูปแบบ Data Mesh ตามขนาดด้วยการควบคุมการเข้าถึงตามแท็ก
- ใช้ AWS Data Exchange เพื่อรวมข้อมูลของบุคคลที่สามเข้ากับ Data Mesh ของคุณ
- ใช้ AWS Glue เพื่อแชร์ โฮสต์ และจัดทำแค็ตตาล็อกผลิตภัณฑ์ข้อมูล
เริ่มต้นใช้งาน Data Mesh ของคุณบน AWS โดยการสร้างบัญชีฟรีวันนี้
