คําถามที่พบบ่อยเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink

ลงชื่อเข้าใช้ในคอนโซลบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และสร้างแอปพลิเคชันการประมวลผลสตรีมใหม่ คุณยังสามารถใช้ AWS CLI และ AWS SDK ได้อีกด้วย เมื่อคุณสร้างแอปพลิเคชันแล้ว ให้ไปที่สภาพแวดล้อมการพัฒนาแบบผสานรวมที่คุณต้องการ แล้วเชื่อมต่อกับ AWS และติดตั้งไลบรารี Apache Flink แบบโอเพนซอร์สและ AWS SDK ในภาษาที่คุณเลือก Apache Flink เป็นเฟรมเวิร์กและเอนจิ้นโอเพนซอร์สสําหรับประมวลผล Data Stream และ AWS SDK ไลบรารีที่ขยายได้ประกอบด้วยตัวดำเนินการประมวลผลสตรีมที่สร้างไว้ล่วงหน้ามากกว่า 25 ตัว เช่น วินโดว์และการรวม และการผสานรวมบริการของ AWS เช่น Amazon MSK, Amazon Kinesis Data Streams, Amazon DynamoDB และ Amazon Kinesis Data Firehose เมื่อสร้างแล้ว ให้อัปโหลดโค้ดของคุณไปยังบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จากนั้นบริการจะดูแลทุกสิ่งที่จำเป็นในการเรียกใช้แอปพลิเคชันแบบเรียลไทม์อย่างต่อเนื่อง รวมถึงการปรับขนาดโดยอัตโนมัติเพื่อให้สอดคล้องกับปริมาณและอัตราการโอนถ่ายข้อมูลของข้อมูลขาเข้าของคุณ

การใช้ Apache Beam เพื่อสร้างแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink นั้นคล้ายกับการเริ่มต้นใช้งาน Apache Flink เป็นอย่างมาก คุณสามารถทําตามคําแนะนําในคําถามข้างต้น ตรวจสอบว่าคุณได้ติดตั้งส่วนประกอบที่จำเป็นสำหรับแอปพลิเคชันเพื่อทำงานบน Apache Beam แล้ว โดยทำตามคำแนะนำในคู่มือนักพัฒนา โปรดทราบว่าบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะรองรับ Java SDK เมื่อทำงานบน Apache Beam เท่านั้น

คุณสามารถเริ่มต้นใช้งานได้จากคอนโซลบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และสร้างโน้ตบุ๊ก Studio ใหม่ เมื่อเริ่มสร้างโน้ตบุ๊ก คุณจะสามารถเปิดใน Apache Zeppelin เพื่อเขียนโค้ดในภาษา SQL, Python หรือ Scala ได้ทันที คุณสามารถพัฒนาแอปพลิเคชันเชิงโต้ตอบได้โดยใช้อินเทอร์เฟซโน้ตบุ๊กสำหรับ Amazon Kinesis Data Streams, Amazon MSK และ Amazon S3 โดยใช้การผสานรวมที่มีอยู่ในตัวและแหล่งที่มาและปลายทางอื่นๆ ที่รองรับ Apache Flink ด้วยตัวเชื่อมต่อแบบกำหนดเอง คุณสามารถใช้ตัวดำเนินการทั้งหมดที่ Apache Flink รองรับใน Flink SQL และ Table API เพื่อทำการสืบค้น Data Stream เฉพาะกิจและพัฒนาแอปพลิเคชันการประมวลผลสตรีมของคุณ เมื่อพร้อมแล้ว คุณสามารถสร้างและเลื่อนระดับโค้ดของคุณให้เป็นแอปพลิเคชันประมวลผลสตรีมที่ทำงานอย่างต่อเนื่องพร้อมทั้งมีการปรับขนาดอัตโนมัติและสถานะคงที่ได้ในไม่กี่ขั้นตอน 

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ปรับขนาดแอปพลิเคชันของคุณได้อย่างยืดหยุ่นเพื่อรองรับอัตราการโอนถ่ายข้อมูลของสตรีมต้นทางและความซับซ้อนในการสืบค้นสำหรับสถานการณ์ส่วนใหญ่ หากต้องการข้อมูลโดยละเอียดเกี่ยวกับขีดจำกัดในการให้บริการของแอปพลิเคชัน Apache Flink โปรดไปที่หัวข้อ “ขีดจำกัด” ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink

รองรับ เมื่อใช้ Apache Flink DataStream Connectors แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะสามารถใช้ AWS Glue Schema Registry ซึ่งเป็นคุณสมบัติแบบไม่ต้องใช้เซิร์ฟเวอร์ของ AWS Glu ได้ คุณสามารถผสานรวม Apache Kafka, Amazon MSK และ Amazon Kinesis Data Streams ซึ่งเป็นซิงก์หรือแหล่งที่มาเข้ากับเวิร์กโหลดของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ โปรดไปที่คู่มือนักพัฒนาเกี่ยวกับการลงทะเบียนสคีมาของ AWS Glue เพื่อเริ่มต้นใช้งานและเรียนรู้เพิ่มเติม

แอปพลิเคชันคือเอนทิตีบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ที่คุณทำงานด้วย บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะอ่านและประมวลผลข้อมูลการสตรีมแบบเรียลไทม์อย่างต่อเนื่อง ส่วนคุณก็เขียนโค้ดแอปพลิเคชันในภาษาที่รองรับ Apache Flink เพื่อประมวลผลข้อมูลการสตรีมขาเข้าและสร้างเอาต์พุต จากนั้นบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะเขียนเอาต์พุตไปยังปลายทางที่กําหนดไว้

แต่ละแอปพลิเคชันจะประกอบด้วย 3 องค์ประกอบหลัก:

1. อินพุต: อินพุตคือแหล่งที่มาของการสตรีมสําหรับแอปพลิเคชันของคุณ ในการกําหนดค่าอินพุต คุณจะต้องแมปแหล่งสตรีมมิงกับ Data Stream การไหลเวียนของข้อมูลจากแหล่งที่มาของข้อมูลไปยัง Data Stream ของคุณ คุณประมวลผลข้อมูลจาก Data Stream เหล่านี้โดยใช้โค้ดแอปพลิเคชันของคุณเอง โดยส่งข้อมูลที่ประมวลผลแล้วไปยัง Data Stream หรือปลายทางลำดับถัดไป คุณเพิ่มอินพุตภายในโค้ดแอปพลิเคชันสำหรับแอปพลิเคชัน Apache Flink และโน้ตบุ๊ก Studio และผ่าน API สำหรับแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink 
2. โค้ดแอปพลิเคชัน:โค้ดแอปพลิเคชันคือชุดของตัวดำเนินการ Apache Flink ที่ประมวลผลอินพุตและสร้างเอาต์พุต ในรูปแบบที่ง่ายที่สุด โค้ดแอปพลิเคชันสามารถเป็นตัวดำเนินการ Apache Flink เพียงตัวเดียวที่อ่านจาก Data Stream ที่เชื่อมโยงกับแหล่งสตรีมมิง และเขียนไปยัง Data Stream อีกจุดหนึ่งที่เชื่อมโยงกับเอาต์พุต สำหรับโน้ตบุ๊ก Studio นี่อาจเป็นการสืบค้น “select” ของ Flink SQL แบบธรรมดา โดยผลลัพธ์จะแสดงในบริบทภายในโน้ตบุ๊ก คุณสามารถเขียนโค้ด Apache Flink ในภาษาที่รองรับสำหรับแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink หรือโน้ตบุ๊ก Studio ก็ได้
3. เอาต์พุต: จากนั้นคุณสามารถเลือกกำหนดค่าเอาต์พุตของแอปพลิเคชันเพื่อคงข้อมูลไปยังปลายทางภายนอกได้ โดยเพิ่มอินพุตเหล่านี้ภายในโค้ดแอปพลิเคชันสำหรับโน้ตบุ๊กสตูดิโอและแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink 

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับแอปพลิเคชันที่สร้างโดยใช้ภาษา Java, Scala และ Python พร้อมด้วยไลบรารี Apache Flink แบบโอเพนซอร์สและโค้ดที่คุณกำหนดเอง บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ยังรองรับแอปพลิเคชันที่สร้างโดยใช้ภาษา Java พร้อมด้วยไลบรารี Apache Beam แบบโอเพนซอร์สและโค้ดที่คุณกำหนดเองอีกด้วย บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio รองรับโค้ดที่สร้างโดยใช้ภาษา SQL, Python และ Scala ที่ใช้งานร่วมกับ Apache Flink ได้

AWS มีเครื่องมือต่างๆ ที่คุณสามารถใช้เพื่อตรวจสอบแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รวมถึงสามารถเข้าถึง Flink Dashboard สําหรับแอปพลิเคชัน Apache Flink ได้อีกด้วย คุณสามารถกําหนดค่าเครื่องมือเหล่านี้เพื่อทําการตรวจสอบให้คุณได้ หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับวิธีการตรวจสอบแอปพลิเคชันของคุณ โปรดอ่านคู่มือนักพัฒนาต่อไปนี้ 

• การตรวจสอบ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
• การตรวจสอบบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ต้องใช้สิทธิ์ในการอ่านบันทึกจากแหล่งที่มาของข้อมูลการสตรีมที่คุณระบุในแอปพลิเคชันของคุณ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ยังต้องใช้สิทธิ์ในการเขียนเอาต์พุตจากแอปพลิเคชันของคุณไปยังปลายทางที่ระบุในการกําหนดค่าเอาต์พุตแอปพลิเคชันของคุณด้วย คุณสามารถให้สิทธิ์เหล่านี้ได้โดยการสร้างบทบาท AWS Identity and Access Management (IAM) ที่บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink สามารถรับบทบาทดังกล่าวได้ สิทธิ์ที่คุณมอบให้กับบทบาทนี้จะกำหนดว่าบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะทำอะไรได้บ้างเมื่อบริการนี้รับบทบาทดังกล่าว หากต้องการข้อมูลเพิ่มเติม โปรดดูที่คู่มือนักพัฒนาต่อไปนี้

• การให้สิทธิ์ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
• การให้สิทธิ์ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ปรับขนาดแอปพลิเคชันของคุณได้อย่างยืดหยุ่นเพื่อรองรับอัตราการโอนถ่ายข้อมูลของสตรีมต้นทางและความซับซ้อนในการสืบค้นสำหรับสถานการณ์ส่วนใหญ่ ความจุของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ในรูปแบบของ Amazon KPU หนึ่ง KPU จะมี 1 vCPU และหน่วยความจํา 4 GB 

สำหรับแอปพลิเคชัน Apache Flink และโน้ตบุ๊ก Studio นั้น บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะกำหนดพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่จำนวน 50 GB ต่อ KPU ซึ่งแอปพลิเคชันของคุณใช้สำหรับจุดตรวจสอบ และพร้อมให้คุณใช้ผ่านดิสก์ชั่วคราวได้ จุดตรวจสอบคือการสำรองข้อมูลที่อัปเดตแล้วของแอปพลิเคชันที่ทำงานอยู่ ซึ่งใช้เพื่อกู้คืนในทันทีหลังจากที่แอปพลิเคชันหยุดชะงัก คุณยังสามารถควบคุมการใช้งานแบบคู่ขนานสำหรับงานแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้อีกด้วย (เช่น การอ่านจากแหล่งที่มาหรือการใช้ตัวดำเนินการ) โดยใช้พารามิเตอร์ Parallelism และ ParallelismPerKPU ใน API Parallelism จะกำหนดจำนวนอินสแตนซ์ที่ใช้งานพร้อมกันในงานหนึ่งๆ ตัวดำเนินการ แหล่งที่มา และซิงก์ทั้งหมดจะทำงานด้วย Parallelism ที่กำหนดไว้ตามค่าเริ่มต้น Parallelism per KPU จะกำหนดจำนวนของงานคู่ขนานที่สามารถกำหนดเวลาได้ต่อ KPU ของแอปพลิเคชันของคุณตามค่าเริ่มต้น หากต้องการข้อมูลเพิ่มเติม โปรดดูที่ “การปรับขนาด” ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink 

หากต้องการข้อมูลเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดสําหรับ Apache Flink โปรดดูหัวข้อแนวทางปฏิบัติที่ดีที่สุดในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink หัวข้อนี้กล่าวถึงแนวทางปฏิบัติที่ดีที่สุดสำหรับความทนทานต่อความเสียหาย ประสิทธิภาพ การบันทึก การเขียนโค้ด และอื่นๆ 

หากต้องการข้อมูลเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดสําหรับ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio โปรดดูหัวข้อแนวทางปฏิบัติที่ดีที่สุดในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio นอกเหนือจากแนวทางปฏิบัติที่ดีที่สุดแล้ว หัวข้อนี้ยังกล่าวถึงตัวอย่างแอปพลิเคชัน SQL, Python และ Scala ข้อกำหนดสำหรับการปรับใช้โค้ดของคุณให้เป็นแอปพลิเคชันประมวลผลสตรีมที่ทำงานอย่างต่อเนื่อง ประสิทธิภาพ การบันทึก และอื่นๆ

ใช่ คุณสามารถเข้าถึงทรัพยากรที่อยู่เบื้องหลัง Amazon VPC ได้ คุณสามารถเรียนรู้วิธีกําหนดค่าแอปพลิเคชันของคุณสําหรับการเข้าถึง VPC ได้ในหัวข้อการใช้ Amazon VPC ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink

ไม่ได้ ถ้ามีการระบุหลายซับเน็ต ซับเน็ตเหล่านั้นจะต้องอยู่ใน VPC เดียวกัน คุณสามารถเชื่อมต่อกับ VPC อื่นๆ ได้โดยเชื่อมต่อ VPC ของคุณเข้าด้วยกัน

แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และโน้ตบุ๊กบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio ที่ได้รับการกำหนดค่าให้เข้าถึงทรัพยากรใน VPC ที่เฉพาะเจาะจงจะไม่สามารถเข้าถึงอินเทอร์เน็ตได้โดยเป็นการกำหนดค่าเริ่มต้น คุณสามารถเรียนรู้วิธีกําหนดค่าการเข้าถึงอินเทอร์เน็ตสําหรับแอปพลิเคชันของคุณได้ในหัวข้อการเข้าถึงอินเทอร์เน็ตและบริการในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink

เมื่อใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณจะชําระค่าบริการเฉพาะส่วนที่คุณใช้เท่านั้น ไม่มีทรัพยากรที่ต้องจัดหาหรือค่าใช้จ่ายล่วงหน้าที่เกี่ยวข้องกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink 

คุณจะถูกเรียกเก็บค่าบริการรายชั่วโมงตามจำนวน Amazon KPU ที่ใช้เพื่อเรียกใช้แอปพลิเคชันการสตรีมของคุณ KPU เดียวคือหน่วยของความสามารถในการประมวลผลสตรีมที่ประกอบด้วยการประมวลผล 1 vCPU และหน่วยความจำ 4 GB บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะทำการปรับจำนวน KPU ที่แอปพลิเคชันประมวลผลสตรีมของคุณต้องใช้โดยอัตโนมัติเนื่องจากความต้องการหน่วยความจำและการประมวลผลแตกต่างกันไปตามความซับซ้อนของการประมวลผลและอัตราการโอนถ่ายข้อมูลการสตรีมที่ประมวลผล 

สำหรับแอปพลิเคชัน Apache Flink และ Apache Beam คุณจะถูกเรียกเก็บค่า KPU เพิ่มเติมหนึ่งรายการต่อแอปพลิเคชันสำหรับการควบคุมระบบแอปพลิเคชัน แอปพลิเคชัน Apache Flink และ Apache Beam ยังมีการเรียกเก็บค่าบริการสำหรับการเรียกใช้พื้นที่จัดเก็บข้อมูลแอปพลิเคชันที่ทำงานอยู่และการสำรองข้อมูลแอปพลิเคชันที่คงที่อีกด้วย พื้นที่จัดเก็บข้อมูลแอปพลิเคชันที่ทำงานอยู่จะใช้สำหรับความสามารถในการประมวลผลที่สนับสนุนสถานะต่างๆ ในบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และคิดค่าบริการต่อ GB/เดือน การสำรองข้อมูลแอปพลิเคชันที่คงที่เป็นตัวเลือกแบบไม่บังคับ คิดค่าบริการต่อ GB/เดือน และมีคุณสมบัติการกู้คืน ณ จุดใดจุดหนึ่งของเวลาสำหรับแอปพลิเคชันให้ 

สำหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio ในโหมดการพัฒนาหรือโหมดโต้ตอบ คุณจะถูกเรียกเก็บค่า KPU เพิ่มเติมหนึ่งรายการสำหรับการควบคุมระบบแอปพลิเคชัน และ 1 KPU สำหรับการพัฒนาเชิงโต้ตอบ นอกจากนี้ คุณจะถูกเรียกเก็บเงินสําหรับการเรียกใช้พื้นที่เก็บข้อมูลแอปพลิเคชันด้วย มั้งนี้ คุณจะไม่ถูกเรียกเก็บเงินสําหรับการสํารองข้อมูลแอปพลิเคชันที่คงที่

หากต้องการข้อมูลราคาเพิ่มเติม โปรดดูที่หน้าราคาของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink

สำหรับแอปพลิเคชัน Apache Flink และ Apache Beam คุณจะถูกเรียกเก็บเงินขั้นต่ำ 2 KPU และพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่ 50 GB หากแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ของคุณกำลังทำงานอยู่

สำหรับโน้ตบุ๊กของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio คุณจะถูกเรียกเก็บเงินขั้นต่ำ 3 KPU และพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่ 50 GB หากแอปพลิเคชันของคุณกำลังทำงานอยู่

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เป็นโซลูชันการประมวลผลสตรีมที่มีการจัดการเต็มรูปแบบ โดยไม่ขึ้นอยู่กับแหล่งที่มาของการสตรีมที่อ่านข้อมูลและปลายทางที่เขียนข้อมูลที่ประมวลผลไป คุณจะถูกเรียกเก็บเงินแยกต่างหากสําหรับบริการที่คุณอ่านจากแอปพลิเคชันและเขียนไปยังแอปพลิเคชันของคุณ

ไม่ได้ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ยังไม่สามารถใช้งานใน AWS Free Tier ได้ในขณะนี้

Apache Flink เป็นเฟรมเวิร์กและกลไกโอเพนซอร์สสําหรับประมวลผล Data Stream และข้อมูลแบบแบตช์ โดยช่วยให้สร้างแอปพลิเคชันการสตรีมได้ง่าย เนื่องจากมีตัวดำเนินการที่มีประสิทธิภาพและแก้ไขปัญหาการสตรีมหลักๆ ได้ เช่น การประมวลผลซ้ำซ้อน Apache Flink ให้การกระจายข้อมูล การสื่อสาร และความทนทานต่อความเสียหายสำหรับการประมวลผลแบบกระจายบน Data Stream

คุณสามารถเริ่มต้นด้วยการดาวน์โหลดไลบรารีโอเพนซอร์ส รวมถึง AWS SDK, Apache Flink และตัวเชื่อมต่อสำหรับบริการของ AWS รับคำแนะนำเกี่ยวกับวิธีดาวน์โหลดไลบรารีและสร้างแอปพลิเคชันแรกของคุณในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink

คุณเขียนโค้ด Apache Flink โดยใช้ Data Stream และตัวดำเนินการสตรีม Data Stream ของแอปพลิเคชันคือโครงสร้างข้อมูลที่คุณดำเนินการประมวลผลโดยใช้โค้ดแอปพลิเคชันของคุณเอง ข้อมูลจะไหลเวียนอย่างต่อเนื่องจากแหล่งที่มาไปสู่ Data Stream ของแอปพลิเคชัน ตัวดำเนินการสตรีมอย่างน้อยหนึ่งตัวจะถูกใช้เพื่อกำหนดการประมวลผลบน Data Stream ของแอปพลิเคชัน รวมถึงการแปลง การแบ่งส่วน การรวม การผสาน และวินโดว์ Data Stream และตัวดําเนินการสามารถเชื่อมต่อในห่วงโซ่แบบอนุกรมและแบบขนานได้ เราได้แสดงตัวอย่างสั้นๆ โดยใช้โค้ดหลอกที่ด้านล่าง

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

ตัวดำเนินการจะรับ Data Stream ของแอปพลิเคชันเป็นอินพุตและส่งข้อมูลที่ประมวลผลแล้วไปยัง Data Stream ของแอปพลิเคชันเป็นเอาต์พุต โดยสามารถเชื่อมต่อตัวดำเนินการเข้าด้วยกันเพื่อสร้างแอปพลิเคชันที่มีหลายขั้นตอน และไม่จำเป็นต้องใช้ความรู้ขั้นสูงเกี่ยวกับระบบแบบกระจายในการนำตัวดำเนินการเหล่านี้ไปใช้งาน

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับตัวดำเนินการทั้งหมดจาก Apache Flink ที่สามารถใช้เพื่อแก้ไขกรณีการใช้งานที่หลากหลาย รวมถึงแผนที่, KeyBy, การรวม, วินโดว์, การผสานรวม และอื่นๆ ตัวอย่างเช่น ตัวดำเนินการแผนที่ช่วยให้คุณทำการประมวลผลได้ตามความต้องการ โดยนำองค์ประกอบหนึ่งมาจาก Data Stream ขาเข้าและสร้างอีกองค์ประกอบหนึ่งขึ้นมา KeyBy จัดระเบียบข้อมูลอย่างมีเหตุผลโดยใช้คีย์ที่ระบุ เพื่อให้คุณสามารถประมวลผลจุดข้อมูลที่คล้ายคลึงกันร่วมกันได้ การรวมจะดำเนินการประมวลผลในหลายคีย์ เช่น ผลรวม ต่ำสุด และสูงสุด ส่วน Window Join จะรวม Data Stream 2 รายการเข้าด้วยกันบนคีย์และวินโดว์ที่กำหนด 

คุณสามารถสร้างตัวดำเนินการแบบกำหนดเองได้หากการทำงานนี้ไม่ตรงกับความต้องการของคุณ ค้นหาตัวอย่างเพิ่มเติมได้ในหัวข้อตัวดำเนินการในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณสามารถดูรายชื่อตัวดําเนินการ Apache Flink ทั้งหมดได้ในเอกสารประกอบ Apache Flink 

คุณสามารถตั้งค่าการผสานรวมที่สร้างไว้ล่วงหน้าโดย Apache Flink โดยใช้โค้ดที่น้อยที่สุดหรือสร้างการผสานรวมของคุณเองเพื่อเชื่อมต่อกับแหล่งที่มาของข้อมูลได้แทบทุกแหล่ง ไลบรารีโอเพนซอร์สที่ใช้ Apache Flink รองรับแหล่งการสตรีมและปลายทาง หรือซิงค์เพื่อประมวลผลการส่งข้อมูล นอกจากนี้ ยังรวมถึงการสนับสนุนการเพิ่มข้อมูลผ่านตัวเชื่อมต่อ I/O แบบอะซิงโครนัสอีกด้วย ตัวอย่างตัวเชื่อมต่อเหล่านี้มีดังต่อไปนี้

• แหล่งที่มาของข้อมูลการสตรีม: Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams ปลายทางหรือซิงก์: Amazon Kinesis Data Streams
• Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Service และ Amazon S3 (ผ่านการผสานรวมการซิงค์ไฟล์)

ใช่ คุณสามารถใช้แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อจำลองข้อมูลระหว่าง Amazon Kinesis Data Streams, Amazon MSK และระบบอื่นๆ ได้ ตัวอย่างที่ให้ไว้ในเอกสารประกอบของเราแสดงให้เห็นถึงวิธีการอ่านจากหัวข้อ Amazon MSK หนึ่งและเขียนไปยังอีกหัวข้อหนึ่ง

คุณสามารถเพิ่มแหล่งที่มาหรือปลายทางให้กับแอปพลิเคชันของคุณได้โดยสร้างจากโปรแกรมพื้นฐานที่ช่วยให้คุณสามารถอ่านและเขียนจากไฟล์ ไดเร็กทอรี ซ็อกเก็ต หรืออะไรก็ตามที่คุณสามารถเข้าถึงได้ผ่านทางอินเทอร์เน็ต Apache Flink มีโปรแกรมพื้นฐานเหล่านี้สำหรับแหล่งที่มาของข้อมูลและซิงค์ข้อมูล โปรแกรมพื้นฐานมาพร้อมกับการกำหนดค่าต่างๆ เช่น ความสามารถในการอ่านและเขียนข้อมูลอย่างต่อเนื่องหรือครั้งเดียว แบบอะซิงโครนัสหรือซิงโครนัส และอื่นๆ อีกมากมาย ตัวอย่างเช่น คุณสามารถตั้งค่าแอปพลิเคชันให้อ่านอย่างต่อเนื่องจาก Amazon S3 โดยขยายการผสานรวมแหล่งที่มาตามไฟล์ที่มีอยู่

แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ใช้โมเดลการส่งมอบเพียงครั้งเดียวหากแอปพลิเคชันถูกสร้างขึ้นโดยใช้ตัวดําเนินการ idempotent รวมถึงแหล่งที่มาและซิงค์ ซึ่งหมายความว่าข้อมูลที่ประมวลผลจะส่งผลกระทบต่อผลลัพธ์ขั้นปลายหนึ่งครั้งและเพียงครั้งเดียวเท่านั้น

ตามค่าเริ่มต้น แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะใช้ความหมายของ Apache Flink เพียงครั้งเดียว แอปพลิเคชันของคุณรองรับความหมายการประมวลผลเพียงครั้งเดียวหากคุณออกแบบแอปพลิเคชันโดยใช้แหล่งที่มา ตัวดำเนินการ และซิงก์ที่ใช้ความหมายเพียงครั้งเดียวของ Apache Flink

ใช่ แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink มีพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่ 50 GB ต่อ KPU บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะปรับขนาดพื้นที่จัดเก็บตามแอปพลิเคชันของคุณ พื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่จะใช้สําหรับบันทึกสถานะของแอปพลิเคชันโดยใช้จุดตรวจสอบ นอกจากนี้ ยังสามารถเข้าถึงโค้ดแอปพลิเคชันของคุณเพื่อใช้เป็นดิสก์ชั่วคราวสําหรับแคชข้อมูลหรือวัตถุประสงค์อื่นๆ ได้อีกด้วย บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink สามารถลบข้อมูลออกจากพื้นที่จัดเก็บแอปพลิเคชันที่ทํางานอยู่ซึ่งไม่ได้บันทึกผ่านจุดตรวจสอบ (เช่น ตัวดำเนินการ แหล่งที่มา ซิงค์) ได้ทุกเมื่อ ข้อมูลทั้งหมดที่จัดเก็บไว้ในพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่จะถูกเข้ารหัสเมื่อไม่ได้ใช้งาน

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะสํารองข้อมูลสถานะของแอปพลิเคชันที่ทํางานอยู่โดยอัตโนมัติโดยใช้จุดตรวจสอบและสแนปช็อต จุดตรวจสอบจะบันทึกสถานะปัจจุบันของแอปพลิเคชันและเปิดใช้งานแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อกู้คืนตำแหน่งของแอปพลิเคชันเพื่อให้ความหมายเหมือนกับการดำเนินการที่ปราศจากข้อผิดพลาด จุดตรวจสอบจะใช้พื้นที่จัดเก็บแอปพลิเคชันที่ทํางานอยู่ จุดตรวจสอบสําหรับแอปพลิเคชัน Apache Flink จะมีให้ผ่านฟังก์ชันจุดตรวจสอบของ Apache Flink สแนปช็อตจะบันทึกจุดกู้คืนในจุดเวลาที่กำหนดสําหรับแอปพลิเคชันและใช้การสํารองข้อมูลแอปพลิเคชันที่คงที่ สแนปช็อตจะคล้ายกับจุดบันทึกของ Flink

คุณสามารถใช้สแนปช็อตเพื่อสร้างและกู้คืนแอปพลิเคชันของคุณให้เป็นจุดเวลาก่อนหน้านี้ได้ คุณสามารถรักษาสถานะก่อนหน้านี้ของแอปพลิเคชันและย้อนกลับแอปพลิเคชันของคุณได้ตลอดเวลาด้วยวิธีนี้ คุณสามารถควบคุมจำนวนสแน็ปช็อตที่คุณมีในช่วงเวลาหนึ่งๆ ได้ ตั้งแต่ศูนย์ไปจนถึงหลายพันสแน็ปช็อต สแนปช็อตใช้การสํารองข้อมูลแอปพลิเคชันที่คงที่ และบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะเรียกเก็บเงินจากคุณตามขนาดของสแนปช็อต บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะเข้ารหัสข้อมูลที่บันทึกไว้ในสแนปช็อตตามค่าเริ่มต้น คุณสามารถลบสแนปช็อตแต่ละรายการผ่าน API หรือลบสแนปช็อตทั้งหมดได้โดยการลบแอปพลิเคชันของคุณ

หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับเวอร์ชันของ Apache Flink ที่รองรับ โปรดไปที่หน้าบันทึกย่อประจำรุ่นของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink หน้านี้ยังมีเวอร์ชันต่างๆ ของ Apache Beam, Java, Scala, Python และ AWS SDK ที่บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับอีกด้วย 

ได้ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับแอปพลิเคชันการสตรีมที่สร้างขึ้นโดยใช้ Apache Beam คุณสามารถสร้างแอปพลิเคชันการสตรีม Apache Beam ในภาษา Java และเรียกใช้ในเอนจิ้นและบริการต่างๆ รวมถึงใช้ Apache Flink บนบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ คุณสามารถค้นหาข้อมูลเกี่ยวกับเวอร์ชันของ Apache Flink และ Apache Beam ที่รองรับได้ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink 

คุณสามารถเริ่มต้นจากบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio, Amazon Kinesis Data Streams หรือคอนโซล Amazon MSK ได้ในไม่กี่ขั้นตอนเพื่อเปิดใช้โน้ตบุ๊กแบบไม่ต้องใช้เซิร์ฟเวอร์เพื่อสืบค้น Data Stream ได้ทันทีและดำเนินการวิเคราะห์ข้อมูลเชิงโต้ตอบได้

การวิเคราะห์ข้อมูลเชิงโต้ตอบ: คุณสามารถเขียนโค้ดในโน้ตบุ๊กด้วยภาษา SQL, Python หรือ Scala เพื่อโต้ตอบกับข้อมูลการสตรีมของคุณ โดยมีเวลาตอบกลับการสืบค้นเป็นวินาที คุณสามารถใช้การแสดงภาพในตัวเพื่อสำรวจข้อมูล ดูข้อมูลเชิงลึกแบบเรียลไทม์เกี่ยวกับข้อมูลการสตรีมของคุณจากภายในโน้ตบุ๊ก และพัฒนาแอปพลิเคชันการประมวลผลสตรีมที่ขับเคลื่อนโดย Apache Flink

เมื่อโค้ดของคุณพร้อมที่จะทำงานเป็นแอปพลิเคชันที่ใช้งานจริงแล้ว คุณสามารถเปลี่ยนผ่านไปเป็นแอปพลิเคชันประมวลผลสตรีมที่ประมวลผลข้อมูลในระดับกิกะไบต์ต่อวินาทีได้ในขั้นตอนเดียว โดยไม่ต้องใช้เซิร์ฟเวอร์

แอปพลิเคชันการประมวลผลสตรีม: เมื่อคุณพร้อมที่จะเลื่อนระดับโค้ดของคุณไปเป็นการใช้งานจริงแล้ว คุณสามารถสร้างโค้ดได้โดยคลิก “ปรับใช้เป็นแอปพลิเคชันการประมวลผลสตรีม” ในอินเทอร์เฟซโน้ตบุ๊กหรือออกคำสั่งเดียวใน CLI Studio จะดูแลการจัดการโครงสร้างพื้นฐานทั้งหมดที่จำเป็นเพื่อให้คุณเรียกใช้แอปพลิเคชันการประมวลผลสตรีมได้ในวงกว้าง โดยเปิดใช้งานการปรับขนาดอัตโนมัติและสถานะคงที่ เช่นเดียวกับในแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink

คุณสามารถเขียนโค้ดในโน้ตบุ๊กในภาษาที่คุณต้องการได้ทั้ง SQL, Python หรือ Scala โดยใช้ Table API ของ Apache Flink Table API เป็น API นามธรรมและเชิงสัมพันธ์ระดับสูงที่รองรับซูเปอร์เซ็ตของความสามารถ SQL โดยมีการดำเนินการที่คุณคุ้นเคย เช่น เลือก กรอง ผสานรวม จัดกลุ่มตาม รวม และอื่นๆ พร้อมด้วยคอนเซ็ปต์เฉพาะสตรีม เช่น วินโดว์ คุณจะใช้ % เพื่อระบุภาษาที่จะใช้ในส่วนของโน้ตบุ๊ก และสามารถสลับไปมาระหว่างภาษาได้ ตัวแปรเป็นปลั๊กอิน Apache Zeppelin คุณจึงสามารถระบุภาษาหรือเอนจิ้นประมวลผลข้อมูลสำหรับแต่ละส่วนของโน้ตบุ๊กได้ คุณยังสามารถสร้างฟังก์ชันที่ผู้ใช้กําหนดเองและอ้างอิงจากฟังก์ชันดังกล่าวเพื่อปรับปรุงฟังก์ชันการทํางานของโค้ดได้อีกด้วย

คุณสามารถดําเนินการ SQL ดังต่อไปนี้

• สแกนและกรอง (SELECT, WHERE) 
• การรวม (GROUP BY, GROUP BY WINDOW, HAVING) 
• เซ็ต (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• เรียงลำดับ (ORDER BY, LIMIT) 
• ผสานรวม (INNER, OUTER, Timed Window – BETWEEN, AND, Joining with Temporal Tables – ตารางที่ติดตามการเปลี่ยนแปลงเมื่อเวลาผ่านไป)
• Top-N
• การลบข้อมูลซ้ำซ้อน
• การจดจํารูปแบบ

การสืบค้นเหล่านี้บางส่วน เช่น GROUP BY, OUTER JOIN และ Top-N เป็นผลลัพธ์ที่อัปเดตสำหรับการสตรีมข้อมูล ซึ่งหมายความว่าผลลัพธ์จะมีการอัปเดตอย่างต่อเนื่องในขณะที่ข้อมูลการสตรีมได้รับการประมวลผล นอกจากนี้ยังรองรับคําสั่ง DDL อื่นๆ เช่น CREATE, ALTER และ DROP โปรดดูการสืบค้นและตัวอย่างทั้งหมดได้ในเอกสารประกอบเกี่ยวกับการสืบค้นของ Apache Flink

Table API ของ Apache Flink รองรับ Python และ Scala ผ่านการรวมภาษาโดยใช้สตริง Python และนิพจน์ Scala การดำเนินการที่รองรับจะคล้ายกับการดำเนินการ SQL ที่รองรับอย่างมาก รวมถึงการเลือก การเรียงลำดับ การจัดกลุ่ม การผสานรวม การกรอง และการวินโดว์ การดําเนินการและตัวอย่างทั้งหมดระบุอยู่ในคู่มือนักพัฒนาของเรา

หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับเวอร์ชันของ Apache Flink ที่รองรับ โปรดไปที่หน้าบันทึกย่อประจำรุ่นของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink หน้านี้ยังมีเวอร์ชันต่างๆ ของ Apache Zeppelin, Apache Beam, Java, Scala, Python และ AWS SDK ที่บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับอีกด้วย

• แหล่งที่มาของข้อมูล: Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon S3 
• ปลายทางหรือซิงค์: Amazon MSK, Amazon Kinesis Data Streams และ Amazon S3

คุณสามารถกำหนดค่าการผสานรวมเพิ่มเติมได้ด้วยขั้นตอนเพิ่มเติมไม่กี่ขั้นตอนและใส่โค้ด Apache Flink (Python, Scala หรือ Java) เพิ่มอีกไม่กี่บรรทัดเพื่อกำหนดการเชื่อมต่อกับการผสานการทำงานทั้งหมดที่ Apache Flink รองรับ ซึ่งรวมถึงปลายทาง เช่น Amazon OpenSearch Service, Amazon ElastiCache สำหรับ Redis, Amazon Aurora, Amazon Redshift, Amazon DynamoDB, Amazon Keyspaces และอื่นๆ คุณสามารถแนบไฟล์ปฏิบัติการสำหรับตัวเชื่อมต่อแบบกำหนดเองเหล่านี้ได้เมื่อคุณสร้างหรือกำหนดค่าแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio

ข้อตกลงระดับการให้บริการ (SLA) ของเรารับประกันเปอร์เซ็นต์เวลาทํางานรายเดือนอย่างน้อย 99.9% สําหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink

คุณมีสิทธิ์ได้รับเครดิตบริการ SLA สําหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ภายใต้ SLA ของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flinkหาก Availability Zone มากกว่าหนึ่งแห่งที่คุณกําลังทํางานอยู่ภายใน AWS Region เดียวกันมีเปอร์เซ็นต์เวลาทํางานรายเดือนน้อยกว่า 99.9% ในระหว่างรอบการเรียกเก็บเงินรายเดือนในรอบใดก็ตาม สำหรับรายละเอียดเกี่ยวกับข้อกำหนดและเงื่อนไข SLA ทั้งหมด รวมถึงรายละเอียดเกี่ยวกับวิธีการยื่นคำร้อง โปรดไปที่หน้ารายละเอียดบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink SLA