只需单击一下,即可使用适用于 Apache Flink 的亚马逊托管服务蓝图构建端到端流管道。了解详情。
借助适用于 Apache Flink 的亚马逊托管服务,您可以使用 Apache Flink 实时转换和分析串流数据。适用于 Apache Flink 的亚马逊托管服务简化了构建和管理 Apache Flink 工作负载的过程,并且使您可以将应用程序与其他 AWS 服务集成。
使用 Apache Flink 和 Apache Beam 构建串流应用程序
第 1 步:将开源库下载到您喜欢的 IDE
首先下载开源库,包括 AWS SDK、Apache Flink 和 AWS 服务连接器。
第 2 步:使用 Apache Flink 或 Apache Beam 构建示例应用程序
使用数据流和流运算符编写 Apache Flink 应用程序代码。应用程序数据流是您使用应用程序代码执行处理所依据的数据结构。数据不断地从源流向应用程序数据流。一个或多个流运算符用于定义对应用程序数据流的处理。
第 3 步:将您的代码上传到适用于 Apache Flink 的亚马逊托管服务
构建完成后,将您的代码上传到适用于 Apache Flink 的亚马逊托管服务。该服务会处理持续运行实时应用程序所需的任何事项,包括自动扩展以匹配传入数据的大小和吞吐量。
直观地使用适用于 Apache Flink Studio 的亚马逊托管服务
第 1 步:创建适用于 Apache Flink Studio 应用程序的亚马逊托管服务
从适用于 Apache Flink 的亚马逊托管服务、亚马逊 MSK 或 Amazon Kinesis Data Streams 控制台开始。使用自定义连接器来连接任何其他数据来源。
第 2 步:以 SQL、Python 和 Scala 在无服务器笔记本中编写代码,并开发 Apache Flink 应用程序
在笔记中运行单个段落,在上下文中查看结果,并使用 Apache Zeppelin 内置的可视化功能加速开发。您还可以在代码中使用用户定义的函数。
步骤 3:作为适用于 Apache Flink 的亚马逊托管服务串流应用程序进行构建和部署
将代码作为持续运行的流应用程序进行部署,只需几个步骤即可完成。您部署的应用程序将成为适用于 Apache Flink 的亚马逊托管服务应用程序,带有持久状态和自动扩缩功能。在将代码产品化之前,您还能更改源、目标位置、日志记录和监控层级。
在线学习
在适用于 Apache Flink 的亚马逊托管服务上构建 Apache Flink 应用程序的自主进度培训
在本研讨会中,您将构建端对端的串流架构以近乎实时地提取、分析和显示串流数据。您将着手通过近乎实时地分析出租车队的遥测数据来优化纽约市一家出租车公司的车队运营。
适用于 Apache Flink 的亚马逊托管服务的 AWS 串流数据解决方案
使用预先构建的解决方案快速入门。借助适用于 Apache Flink 的亚马逊托管服务的 AWS 串流数据解决方案,您可以处理实时串流使用案例,例如捕获大量应用程序日志、分析点击流数据、持续交付到数据湖等。
使用适用于 Apache Flink 和 Studio 的亚马逊托管服务进行事件检测
在本次研讨会中,您将创建一个流处理应用程序,以识别进入您的赌场正在下大赌注的客户。大额消费者坐在赌桌旁时,该应用程序将向您发送电子邮件。您还可以识别需要补充筹码的牌桌,并通过他们的下注和获胜模式识别赌场中潜在的作弊者。
使用适用于 Apache Flink 的亚马逊托管服务构建排行榜
本学习系列由五部分组成,其中,您将使用适用于 Apache Flink Studio 的亚马逊托管服务为实时游戏排行榜构建现代数据流架构。该架构包括数据摄取、通过数据库变更数据采集(CDC)实时扩展、数据处理以及计算、存储和可视化结果。
Amazon Kinesis Data Analytics 入门
立即享受 AWS 免费套餐。
通过分步指南了解如何使用 Amazon Kinesis Data Analytics for SQL 或 Amazon Kinesis Data Analytics for Apache Flink。
从 Amazon Kinesis Data Analytics 控制台构建流应用程序。