适用于 Apache Flink 的亚马逊托管服务文档

适用于 Apache Flink 的亚马逊托管服务让您可以更轻松地使用 Apache Flink 构建和运行实时流处理应用程序。适用于 Apache Flink 的亚马逊托管服务可预置和配置您的 Flink 集群,并编排 Flink 作业管理。它可以设置监控和警报,提供自动扩缩功能,并且专为高可用性(包括可用区失效转移)而设计。该服务提供对 Apache Flink 富有表现力的 API 的访问权限,通过适用于 Apache Flink Studio 的亚马逊托管服务,您只需几个步骤即可以交互方式查询数据流或启动有状态的应用程序。使用此托管服务,您可以开始使用 Apache Flink,并快速部署和操作您的数据流处理应用程序。

借助适用于 Apache Flink 的亚马逊托管服务,您可以使用 Apache Flink 的各项功能,包括低延迟和高吞吐量数据处理、恰好一次处理和持久的应用程序状态。适用于 Apache Flink 的亚马逊托管服务旨在帮助您部署安全、合规且高度可用的应用程序。适用于 Apache Flink 的亚马逊托管服务可跨多个可用区复制数据和工作负载。 

适用于 Apache Flink 的亚马逊托管服务可以简化应用程序开发,因为该服务支持 Flink 的 Java、Scala、Python 和 SQL 语言的灵活 API。适用于 Apache Flink 的亚马逊托管服务与很多数据来源和目标集成,例如 Amazon Managed Streaming for Apache Kafka(Amazon MSK)、Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、Amazon Simple Storage Service(Amazon S3)、Amazon DynamoDB、JDBC 连接器和自定义连接器。 

开源

适用于 Apache Flink 的亚马逊托管服务包括开源库,如 Apache FlinkApache BeamApache ZeppelinAWS SDK和 AWS 服务集成。Apache Flink 是旨在构建可用和准确的流式处理应用程序的框架和引擎。Apache Beam 是一个统一模型,用于定义在多个运行时系统引擎上运行的流式处理和批处理数据处理应用程序。AWS 开发工具包以您的首选语言提供 API,无需对许多 AWS 服务进行复杂的代码编写,同时还包含 AWS 库、示例代码和文档。

灵活的 API

适用于 Apache Flink 的亚马逊托管服务支持 Flink 的 Java、Scala、Python 和 SQL 语言的灵活 API,这些 API 专门用于不同的应用场景,包括有状态事件处理、流式传输 ETL(提取、转换和加载)和实时分析。借助预先构建的运算符和分析功能,您可以构建 Apache Flink 流式处理应用程序,而且这些库是可扩展的,因此您可以对各种应用场景执行实时处理。

AWS 服务集成

您只需极少的代码即可设置和集成数据来源或目标。使用适用于 Apache Flink 的亚马逊托管服务库与以下 AWS 服务集成:  

高级集成功能

除 AWS 集成外,适用于 Apache Flink 的亚马逊托管服务库还包含超过 40 种 Apache Flink 连接器,并且可以构建自定义集成。只需几行代码,即可通过高级功能修改各项集成的行为方式。您可以使用一系列 Apache Flink 原语类型来构建自定义集成,这使您可以读取和写入通过互联网访问的文件、目录、套接字或其他资源。

一次处理

使用适用于 Apache Flink 的亚马逊托管服务,可以构建处理后的记录对结果只有一次影响的应用程序,这种方法也称为恰好一次处理。即使发生应用程序中断的情况(例如内部服务维护或用户发起的应用程序更新),该服务也将确保所有数据都得到处理,不会存在重复的数据。

有状态处理

此服务会在运行中的应用程序存储中存储以前和进行中的计算,也就是状态。比较任何时间周期的实时结果和历史结果,在发生应用程序中断时实现快速恢复。状态始终进行加密,并以增量的方式保存在运行中的应用程序存储中。

持久应用程序备份

通过简单的 API 调用创建和删除持久性的应用程序备份。在发生中断后从最新的备份还原应用程序,或者将应用程序还原至较早的版本。 

机器学习集成

适用于 Apache Flink 的亚马逊托管服务支持机器学习(ML)算法。您可以为分类、聚类、评估、特征工程建议、回归和统计创建实时应用程序。 

AWS Glue Schema Registry 兼容性

适用于 Apache Flink 的亚马逊托管服务与 AWS Glue Schema Registry 兼容。Schema Registry 可帮助您在作为源连接器或接收器连接器连接到 Apache Kafka、Amazon MSK 或 Amazon Kinesis Data Streams 的适用于 Apache Flink 的亚马逊托管服务工作负载上改善数据质量,并使用管理架构发展的兼容性检查来防止出现意外更改。

其他信息

有关服务控制、安全特征和功能的更多信息,包括有关存储、检索、修改、限制和删除数据的信息(如适用),请参阅 https://docs.thinkwithwp.com/index.html。 就 http://thinkwithwp.com/agreement 上的 AWS 客户协议或您与 AWS 之间签订的管理您使用 AWS 服务的其他协议而言,此信息不构成文档的一部分。