Amazon Data Firehose

โหลดสตรีมข้อมูลแบบเรียลไทม์ลงในที่จัดเก็บข้อมูลดิบ คลังข้อมูล และบริการด้านวิเคราะห์อย่างเชื่อถือได้

ประโยชน์

จับภาพ แปลง และโหลดข้อมูลการสตรีมได้อย่างง่ายดาย สร้างสตรีมการส่งมอบ เลือกปลายทางของคุณ และเริ่มสตรีมข้อมูลแบบเรียลไทม์ด้วยการคลิกเพียงไม่กี่ครั้ง

จัดเตรียมและปรับขนาดทรัพยากรการประมวลผล หน่วยความจำ และเครือข่ายโดยอัตโนมัติโดยไม่ต้องมีการบริหารจัดการระบบอย่างต่อเนื่อง

แปลงข้อมูล Raw Streaming (การสตรีมดิบ) ให้อยู่ในรูปแบบ เช่น Apache Parquet และแบ่งพาร์ติชันข้อมูลการสตรีมแบบไดนามิกโดยไม่ต้องสร้างไปป์ไลน์การประมวลผลของคุณเอง

วิธีทำงาน

Amazon Data Firehose มอบวิธีที่ง่ายที่สุดในการรับ เปลี่ยน และส่ง Data Stream ไปยัง Data Lake คลังข้อมูล และบริการการวิเคราะห์ต่างๆ ภายในไม่กี่วินาที ในการใช้ Amazon Data Firehose คุณต้องตั้งค่าสตรีมด้วยแหล่งที่มา ปลายทาง และการแปลงที่จำเป็น Amazon Data Firehose จะประมวลผลการสตรีมอย่างต่อเนื่อง ปรับขนาดตามปริมาณข้อมูลที่มีโดยอัตโนมติ และนำส่งภายในเวลาไม่กี่วินาที

เลือกแหล่งที่มาสำหรับ Data Stream ของคุณ เช่น หัวข้อใน Amazon Managed Streaming สำหรับ Kafka (MSK) สตรีมใน Kinesis Data Streams หรือเขียนข้อมูลโดยใช้ Firehose Direct PUT API Amazon Data Firehos ผสานรวมบริการของ AWS ไว้มากกกว่า 20 รายการ เพื่อให้คุณสามารถกำหนดค่าสตรีมจากแหล่งที่มาต่าง ๆ เช่น ฐานข้อมูล (แสดงตัวอย่าง) Amazon CloudWatch Logs, AWS WAF web ACL logs ข้อมูลบันทึก AWS Network Firewall, Amazon SNS หรือ AWS IoT

ระบุว่าคุณต้องการแปลง Data Stream ของคุณเป็นรูปแบบต่างๆ เช่น Parquet หรือ ORC ยกเลิกการบีบอัดข้อมูล ดำเนินการแปลงข้อมูลแบบกำหนดเองโดยใช้ฟังก์ชัน AWS Lambda ของคุณเองหรือพาร์ทิชันบันทึกข้อมูลอินพุตแบบไดนามิกตามคุณลักษณะเพื่อส่งไปยังตำแหน่งต่างๆ

เลือกปลายทางสำหรับสตรีมของคุณ เช่น Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake ตาราง Apache Iceberg ตาราง  Amazon S3 (แสดงตัวอย่าง) หรือตำแหน่งข้อมูล HTTP ที่กำหนดเอง

ดูข้อมูลเพิ่มเติมเกี่ยวกับ Amazon Data Firehose ได้ที่ เอกสารประกอบเกี่ยวกับ Amazon Data Firehose

กรณีใช้งาน

สตรีมข้อมูลลงใน Amazon S3 แล้วแปลงข้อมูลให้อยู่ในรูปแบบที่ต้องใช้ในการวิเคราะห์โดยไม่ต้องสร้างไปป์ไลน์การประมวลผล

ตรวจสอบความปลอดภัยของเครือข่ายแบบเรียลไทม์และสร้างการแจ้งเตือนเมื่อพบสิ่งที่อาจเป็นภัยคุกคาม โดยใช้เครื่องมือการจัดการข้อมูลและเหตุการณ์ด้านความปลอดภัย (SIEM) ที่ได้รับการสนับสนุน

เพิ่มประสิทธิภาพให้กับ Data Stream ของคุณด้วยโมเดลแมชชีนเลิร์นนิง (ML) เพื่อวิเคราะห์ข้อมูลและคาดการณ์ตำแหน่งข้อมูลการอนุมานเมื่อสตรีมย้ายไปยังปลายทาง


สำรวจ AWS เพิ่มเติม