Apache Flink คืออะไร

Apache Flink ใช้ในการสร้างแอปพลิเคชันสตรีมมิ่งและแบทช์ประเภทต่าง ๆ เนื่องจากคุณสมบัติที่หลากหลาย
แอปพลิเคชันทั่วไปบางประเภทที่ขับเคลื่อนโดย Apache Flink คือ:

• แอปพลิเคชันที่ขับเคลื่อนด้วยเหตุการณ์ การรับเหตุการณ์เข้าจากสตรีมเหตุการณ์อย่างน้อยหนึ่งรายการและดำเนินการคำนวณ การอัปเดตสถานะ หรือการกระทำภายนอก การประมวลผลแบบติดตามสถานะช่วยให้ใช้ตรรกะนอกเหนือจากการแปลงข้อความเดียว (SMT) โดยที่ผลลัพธ์ขึ้นอยู่กับประวัติของเหตุการณ์ที่นำเข้า
• แอปพลิเคชันการวิเคราะห์ข้อมูล ซึ่งแยกข้อมูลสารสนเทศและข้อมูลเชิงลึกจากข้อมูล มีการดำเนินการตามแบบดั้งเดิมโดยการสืบค้นชุดข้อมูลจำกัด และเรียกการสืบค้นอีกครั้งหรือแก้ไขผลลัพธ์เพื่อรวมข้อมูลใหม่ ด้วย Apache Flink ทำให้การวิเคราะห์สามารถดำเนินการได้โดยการอัปเดตอย่างต่อเนื่อง การสตรีมการสืบค้นหรือการประมวลผลเหตุการณ์ที่นำเข้าแบบเรียลไทม์ การปล่อยและอัปเดตผลลัพธ์อย่างต่อเนื่อง
• แอปพลิเคชันไปป์ไลน์ข้อมูล ที่ทำการแปลงและเพิ่มคุณค่าข้อมูลเพื่อย้ายจากพื้นที่เก็บข้อมูลหนึ่งไปยังอีกพื้นที่เก็บข้อมูลหนึ่ง ปกติแล้ว extract-transform-load (ETL) จะดำเนินการเป็นระยะ ๆ ในรูปแบบแบทช์ ด้วย Apache Flink กระบวนการนี้สามารถทำงานได้อย่างต่อเนื่อง โดยย้ายข้อมูลที่มีความหน่วงต่ำไปยังปลายทาง

ประมวลผลทั้งชุดข้อมูลที่ไม่มีขอบเขต (สตรีม) และแบบมีขอบเขต (แบทช์)

Apache Flink สามารถประมวลผลทั้งชุดข้อมูลที่ไม่มีขอบเขตและแบบมีขอบเขต เช่น สตรีมและข้อมูลแบทช์ สตรีมที่ไม่มีขอบเขตจะมีจุดเริ่มต้น แต่แทบไม่มีที่สิ้นสุดและไม่มีจุดจบ การประมวลผลในทางทฤษฎีแล้วจะไม่มีการหยุด

ข้อมูลแบบมีขอบเขต เช่น ตาราง มีจำนวนจำกัด และสามารถประมวลผลได้ตั้งแต่ต้นจนจบในเวลาที่จำกัด
Apache Flink มีอัลกอริทึมและโครงสร้างข้อมูลเพื่อรองรับการประมวลผลทั้งแบบมีขอบและไม่มีขอบเขตผ่านอินเทอร์เฟซการเขียนโปรแกรมเดียวกัน แอปพลิเคชันที่ประมวลผลข้อมูลที่ไม่มีขอบเขตจะทำงานอย่างต่อเนื่อง แอปพลิเคชันที่ประมวลผลข้อมูลแบบมีขอบเขตจะสิ้นสุดการดำเนินการเมื่อถึงจุดสิ้นสุดของชุดข้อมูลอินพุต

เรียกใช้แอปพลิเคชันแบบปรับขนาดได้

Apache Flink ได้รับการออกแบบมาเพื่อเรียกใช้แอปพลิเคชันที่มีสถานะในทุกขนาด การประมวลผลจะดำเนินการแบบคู่ขนานกับงานหลายพันชิ้นที่แจกจ่ายหลายเครื่องพร้อมกัน

สถานะยังแบ่งพาร์ติชันและกระจายในแนวนอนช่วยให้สามารถรักษาหลายเทราไบต์ในเครื่องหลายเครื่อง สถานะจะถูกตรวจสอบไปยังพื้นที่จัดเก็บข้อมูลที่ใช้งานได้อย่างต่อเนื่องทีละขั้นตอน

ประสิทธิภาพในหน่วยความจำ

ข้อมูลที่หลั่งไหลผ่านแอปพลิเคชันและสถานะจะถูกแบ่งพาร์ติชันในเครื่องหลายเครื่อง ดังนั้น การคำนวณจึงสามารถทำได้โดยการเข้าถึงข้อมูลในเครื่อง ซึ่งมักจะอยู่ในหน่วยความจำ

ความสอดคล้องของสถานะด้วยข้อความเพียงครั้งเดียว

แอปพลิเคชันที่นอกเหนือจากการแปลงข้อความเดียว (Single Message Transformations, SMT) นั้นเต็มไปด้วยสถานะ ตรรกะที่เกี่ยวกับธุรกิจจำเป็นต้องจดจำเหตุการณ์หรือผลลัพธ์ระดับกลาง Apache Flink จะรับประกันความสอดคล้องของสถานะภายใน แม้ในกรณีที่เกิดความล้มเหลว และการหยุดและรีสตาร์ทแอปพลิเคชัน ผลกระทบของแต่ละข้อความต่อสถานะภายในจะถูกนำไปใช้เพียงครั้งเดียวเท่านั้น โดยไม่คำนึงว่าแอปพลิเคชันอาจได้รับข้อมูลที่ซ้ำกันจากแหล่งที่มาของข้อมูลดังกล่าวเมื่อกู้คืนหรือเมื่อรีสตาร์ท

ตัวเชื่อมต่อที่หลากหลาย

Apache Flink มีตัวเชื่อมต่อที่ตรวจสอบแล้วจำนวนมากสำหรับระบบส่งข้อความและการสตรีมยอดนิยม การจัดเก็บข้อมูล เครื่องมือค้นหา และระบบไฟล์ ตัวอย่างเช่น Apache Kafka, Amazon Kinesis Data Streams, Amazon SQS, Active MQ, Rabbit MQ, NiFi, OpenSearch และ ElasticSearch, DynamoDB, HBase และฐานข้อมูลใด ๆ ที่ให้ไคลเอนต์ JDBC

การกำหนดแอ็บสแตร็กหลายระดับ

Apache Flink นำเสนอการกำหนดแอ็บสแตร็กหลายระดับสำหรับอินเทอร์เฟซการเขียนโปรแกรม จาก SQL และ Table API สตรีมในระดับที่สูงกว่า โดยใช้การกำหนดแอ็บสแตร็กที่คุ้นเคย เช่น ตาราง (table), รวม (join) และ จัดกลุ่มโดย (group by) DataStream API มอบระดับการกำหนดแอ็บสแตร็กที่น้อยกว่า แต่ควบคุมได้มากขึ้นด้วยความหมายของสตรีม (semantics of streams) การวาดหน้าต่าง (windowing) และการจับคู่ (mapping) และสุดท้าย API ProcessFunction มอบการควบคุมที่ดีในการประมวลผลแต่ละข้อความและการควบคุมสถานะโดยตรง อินเทอร์เฟซการเขียนโปรแกรมทั้งหมดทำงานได้อย่างราบรื่นกับชุดวันที่ที่ไม่มีขอบเขต (สตรีม) และแบบมีขอบเขต (ตาราง) ระดับการกำหนดแอ็บสแตร็กที่แตกต่างกันสามารถใช้ในแอปพลิเคชันเดียวกัน โดยเป็นเครื่องมือที่เหมาะสมในการแก้ปัญหาแต่ละปัญหา

ภาษาการเขียนโปรแกรมหลายภาษา

Apache Flink สามารถเขียนโปรแกรมได้หลายภาษา ตั้งแต่ SQL สตรีมระดับสูงไปจนถึง Python, Scala, Java แต่ยังรวมถึงภาษา JVM อื่น ๆ เช่น Kotlin ด้วย

NortonLifeLock

NortonLifeLock คือบริษัทรักษาความปลอดภัยทางไซเบอร์และความเป็นส่วนตัวทางอินเทอร์เน็ตระดับโลกที่ให้บริการแก่ลูกค้าหลายล้านรายในด้านการรักษาความปลอดภัยของอุปกรณ์ การระบุตัวตนและความเป็นส่วนตัวออนไลน์สำหรับบ้านและครอบครัว

NortonLifeLock นำเสนอผลิตภัณฑ์ VPN เป็นบริการฟรีเมียมแก่ผู้ใช้ ดังนั้น พวกเขาจึงจำเป็นต้องบังคับใช้ขีดจำกัดการใช้งานแบบเรียลไทม์เพื่อหยุดผู้ใช้ฟรีเมียมไม่ให้ใช้บริการเมื่อการใช้งานเกินขีดจำกัด ความท้าทายสำหรับ NortonLifeLock คือการทำสิ่งนี้ในรูปแบบที่เชื่อถือได้และราคาไม่แพง

NortonLifeLock ช่วยลดความยุ่งยากในการใช้งานของผู้ใช้และการรวมระดับอุปกรณ์โดยใช้ Apache Flink

Samsung SmartThings

ในฐานะที่เป็นบริษัทย่อยอิสระของ Samsung SmartThings เป็นหนึ่งในระบบนิเวศ IoT ชั้นนำของโลก ซึ่งกำหนดวิธีที่ง่ายที่สุดสำหรับทุกคนในการสร้างสมาร์ทโฮม

Samsung SmartThings กำลังประสบปัญหาเช่นการสงวนทรัพยากรไว้สำหรับแต่ละแอปพลิเคชัน ซึ่งทำให้เกิดความล่าช้าและการลดลงของประสิทธิภาพขณะประมวลผลข้อมูล และก็จะนำไปสู่ค่าใช้จ่ายที่สูงเพื่อการรักษาเวิร์กโหลดในการดำเนินงานในที่สุด พวกเขาจึงต้องออกแบบแพลตฟอร์มข้อมูลใหม่

พวกเขาย้ายจาก Apache Spark ไปยัง Apache Flink

BT Group

BT Group คือผู้ให้บริการด้านโทรคมนาคมและเครือข่ายชั้นนำของสหราชอาณาจักร และเป็นผู้ให้บริการชั้นนำด้านบริการและโซลูชันการสื่อสารระดับโลกซึ่งบริการลูกค้าใน 180 ประเทศ กิจกรรมหลักของบริษัทในสหราชอาณาจักร ได้แก่ การจัดหาโทรศัพท์บ้าน โทรศัพท์มือถือ บรอดแบนด์ และทีวี (รวมถึงกีฬา) และผลิตภัณฑ์และบริการต่างๆ บนเครือข่ายโทรศัพท์บ้านและโทรศัพท์มือถือแบบผสมผสานแก่ลูกค้าที่เป็นผู้บริโภค ภาคธุรกิจ และภาครัฐ

BT ต้องการแอปพลิเคชันตรวจสอบบริการเพื่อรองรับการเปิดตัว Digital Voice ซึ่งเป็นผลิตภัณฑ์สำหรับผู้บริโภคใหม่ที่ช่วยให้สามารถโทรด้วยเสียงความละเอียดสูงผ่านเครือข่ายบรอดแบนด์ในสหราชอาณาจักร

BT สร้างบริการวิเคราะห์ที่ขับเคลื่อนด้วยเหตุการณ์โดยใช้ Apache Flink เพื่อนำเข้า ประมวลผล และแสดงภาพข้อมูลบริการ

Autodesk

Autodesk คือผู้ให้บริการชั้นนำด้านซอฟต์แวร์การออกแบบและวิศวกรรมสามมิติ ต้องการทำมากกว่าแค่สร้างและส่งมอบซอฟต์แวร์ นอกจากนี้ยังต้องการทำให้แน่ใจว่าผู้ใช้ทั่วโลกหลายล้านคนมีประสบการณ์ที่ดีที่สุดในการใช้งานซอฟต์แวร์นั้นๆ อีกด้วย

Autodesk ผลิตซอฟต์แวร์ให้กับผู้ที่ผลิตสิ่งต่างๆ พวกเขาให้บริการลูกค้า 200+ ล้านคน พวกเขาจำเป็นต้องกำจัดไซโลออกไปเพื่อค้นหาและแก้ไขปัญหาของลูกค้าได้เร็วขึ้น พวกเขาต้องการวิธีการที่มีความต่อเนื่องในการรวบรวมและวัดเมตริกกับทีมปฏิบัติการขนาดเล็กโดยไม่ต้องเพิ่มต้นทุนหรือสร้างการล็อคอินข้อมูล

NHL

National Hockey League เป็นลีกที่เก่าแก่ที่สุดเป็นอันดับสองจากลีกกีฬาอาชีพหลัก 4 ลีกในอเมริกาเหนือ ปัจจุบัน NHL ประกอบด้วยสโมสรสมาชิกทั้งหมด 32 สโมสร ซึ่งแต่ละสโมสรสะท้อนให้เห็นถึงโครงสร้างระดับนานาชาติของลีก โดยมีผู้เล่นจากมากกว่า 20 ประเทศเป็นตัวแทนในบัญชีรายชื่อของทีม

NHL กำลังเผชิญกับความท้าทายทางเทคนิคหลายประการ เช่น การกำหนดคุณสมบัติที่จำเป็นและวิธีการสร้างแบบจำลองเพื่อทำนายเหตุการณ์ที่มีความไม่แน่นอนจำนวนมาก และการกำหนดวิธีใช้ข้อมูลเซ็นเซอร์ PPT สตรีมเพื่อระบุว่าการเผชิญหน้าจะเกิดขึ้นที่ไหน ผู้เล่นที่เกี่ยวข้อง และความน่าจะเป็นที่ผู้เล่นแต่ละคนจะชนะการเผชิญหน้านั้น ทั้งหมดนี้ภายในเวลาหลายร้อยมิลลิวินาที

NHL ใช้ประโยชน์จาก Apache Flink โดยไม่เพียงแต่สามารถทำนายผู้ชนะการเผชิญหน้าเท่านั้น แต่ยังสร้างรากฐานสำหรับการแก้ปัญหาที่คล้ายคลึงกันจำนวนมากในแบบเรียลไทม์และประหยัดค่าใช้จ่ายอีกด้วย

Poshmark

Poshmark เป็นตลาดโซเชียลชั้นนำโดยจำหน่ายสินค้าใหม่และมือสองสำหรับผู้หญิง ผู้ชาย เด็ก สัตว์เลี้ยง บ้าน และอื่น ๆ ชุมชนที่มีผู้คนมากกว่า 80 ล้านคนทั่วสหรัฐอเมริกา แคนาดา ออสเตรเลีย และอินเดียกำลังสร้างอนาคตของการช็อปปิ้งที่เรียบง่าย เข้ากับสังคม และยั่งยืน

Poshmark มุ่งเน้นไปที่การเติบโตระดับสูงสุดผ่านการปรับแต่งและปรับปรุงประสบการณ์ของผู้ใช้ การเริ่มต้นในการใช้การประมวลผลแบบแบทช์เพื่อการปรับแต่งและความปลอดภัยไม่เป็นไปตามความคาดหวังสำหรับการปรับปรุงประสบการณ์ของลูกค้า

Poshmark ออกแบบการปรับแต่งแบบเรียลไทม์โดยใช้การเพิ่มประสิทธิภาพข้อมูลแบบเรียลไทม์ด้วย Apache Flink