适用于 Apache Flink 的亚马逊托管服务的常见问题

登录适用于 Apache Flink 的亚马逊托管服务控制台并创建新的流处理应用程序。也可以使用 AWS CLI 和 AWS SDK。创建应用程序之后，选择首选的集成式开发环境，连接到 AWS，并安装使用您所选语言的开源 Apache Flink 库和 AWS SDK。Apache Flink 是一种处理数据流的开源框架和引擎，也是 AWS SDK。可扩展库包括超过 25 个预构建的流式处理运算符（如窗口和汇总）以及 AWS 服务集成（如 Amazon MSK、Amazon Kinesis Data Streams、Amazon DynamoDB 和 Amazon Kinesis Data Firehose）。构建完成后，将您的代码上传到适用于 Apache Flink 的亚马逊托管服务。然后，该服务会处理持续运行实时应用程序所需的任何事项，包括自动扩展以匹配传入数据的大小和吞吐量。

使用 Apache Beam 创建适用于 Apache Flink 应用程序的亚马逊托管服务的方法与开始使用 Apache Flink 的方法非常相似。可以按照上面问题中的说明进行操作。确保按照开发人员指南中的说明安装在 Apache Beam 上运行应用程序所需的所有组件。请注意，只有在 Apache Beam 上运行时，适用于 Apache Flink 的亚马逊托管服务才支持 Java SDK。

您可以从适用于 Apache Flink 的亚马逊托管服务控制台开始创建新的 Studio 笔记本。等您开启了笔记本后，便可以在 Apache Zeppelin 中打开，从而迅速以 SQL、Python 或 Scala 语言写代码了。您可以通过内置集成以及 Apache Flink 支持的具有自定义连接器的源和目标，通过 Amazon Kinesis Data Streams、Amazon MSK 和 Amazon S3 的笔记本界面以交互方式开发应用程序。您可以在 Flink SQL 和 Table API 中使用 Apache Flink 支持的所有运算符来执行数据流的临时查询，以及开发您的流处理应用程序。准备就绪后，只需几个步骤即可构建代码并将其提升为具有自动扩缩和持久状态的持续运行的流处理应用程序。 

适用于 Apache Flink 的亚马逊托管服务可对应用程序进行弹性扩展，以适应源流的数据吞吐量和大多数情况下的查询复杂性。有关 Apache Flink 应用程序服务限制的详细信息，请查看《适用于 Apache Flink 的亚马逊托管服务开发人员指南》中的“限制”部分。

是，通过使用 Apache Flink DataStream 连接器，适用于 Apache Flink 应用程序的亚马逊托管服务可以使用 AWS Glue Schema Registry，这是 AWS Glue 的一项无服务器功能。您可以将 Apache Kafka/Amazon MSK 和 Amazon Kinesis Data Streams 作为接收器和源与适用于 Apache Flink 的亚马逊托管服务工作负载集成。请访问《AWS Glue Schema Registry 开发人员指南》以开始使用并了解更多信息。

应用程序是您使用的适用于 Apache Flink 的亚马逊托管服务实体。适用于 Apache Flink 应用程序的亚马逊托管服务可以持续实时读取和处理串流数据。您可以使用 Apache Flink 支持的语言编写应用程序代码，以处理传入的串流数据并生成输出。然后，适用于 Apache Flink 的亚马逊托管服务将输出写入配置的目的地。

每个应用程序包括三个主要的组件：

1. 输入：输入是应用程序的串流源。在输入配置中，您需要将串流源映射到数据流。数据从您的数据来源流入您的数据流。您可以使用应用程序代码处理来自这些数据流的数据，然后将处理后的数据发送到后续的数据流或目的地。您可以在 Apache Flink 应用程序和 Studio 笔记本的应用程序代码中添加输入，也可以通过适用于 Apache Flink 的亚马逊托管服务应用程序的 API 添加输入。 
2. 应用程序代码：应用程序代码是一系列用于处理输入并生成输出的 Apache Flink 运算符。最简单的的应用程序代码可以是单个 Apache Flink 运算符，它从与串流源关联的数据流中读取数据，然后写入与输出关联的另一个数据流。对于 Studio 笔记本，这可以是一个简单的 Flink SQL 选择查询，结果将显示在笔记本的上下文中。您可以使用适用于 Apache Flink 的亚马逊托管服务应用程序或 Studio 笔记本支持的语言为其编写 Apache Flink 代码。
3. 输出：然后，您可以选择配置应用程序输出以将数据保存到外部目标。您可以将这些输出添加到适用于 Apache Flink 的亚马逊托管服务应用程序和 Studio 笔记本的应用程序代码中。 

适用于 Apache Flink 的亚马逊托管服务支持通过 Java、Scala 和 Python、使用开源 Apache Flink 库和您自己的自定义代码构建的应用程序。适用于 Apache Flink 的亚马逊托管服务还支持通过 Java、使用开源 Apache Beam 库和您自己的客户代码构建的应用程序。适用于 Apache Flink 的亚马逊托管服务支持使用兼容 Apache Flink 的 SQL、Python 和 Scala 构建的代码。

AWS 提供各种工具供您监控适用于 Apache Flink 应用程序的亚马逊托管服务，包括对适用于 Apache Flink 应用程序的 Flink 控制面板的访问。您可以配置其中的一些工具以便进行监控。有关如何监控应用程序的更多信息，请浏览以下开发人员指南： 

• 《适用于 Apache Flink 的亚马逊托管服务开发人员指南》中的监控适用于 Apache Flink 的亚马逊托管服务。
• 《适用于 Apache Flink Studio 的亚马逊托管服务开发人员指南》中的监控适用于 Apache Flink 的亚马逊托管服务。

适用于 Apache Flink 的亚马逊托管服务需要获取相应权限，才能从您在应用程序中指定的串流数据来源中读取记录。此外，适用于 Apache Flink 的亚马逊托管服务还需要获取相应权限，才能将应用程序输出写入您在应用程序输出配置中指定的目标位置。您可以通过创建适用于 Apache Flink 的亚马逊托管服务可以担任的 AWS Identity and Access Management（IAM）角色来授予这些权限。您授予该角色的权限决定了适用于 Apache Flink 的亚马逊托管服务在担任该角色时可以执行的操作。有关更多信息，请参阅以下开发人员指南：

• 《适用于 Apache Flink 的亚马逊托管服务开发人员指南》中的授予权限。
• 《适用于 Apache Flink Studio 的亚马逊托管服务开发人员指南》中的授予权限。

适用于 Apache Flink 的亚马逊托管服务可对应用程序进行弹性扩展，以适应源流的数据吞吐量和大多数情况下的查询复杂性。适用于 Apache Flink 的亚马逊托管服务以 Amazon KPU 的形式配置容量。一个 KPU 为您提供 1 个 vCPU 和 4GB 内存。 

对于 Apache Flink 应用程序以及 Studio 笔记本，适用于 Apache Flink 的亚马逊托管服务每 KPU 分配 50GB 的运行应用程序存储空间，您的应用程序将这些存储空间用于检查点，也可以通过临时磁盘使用它们。检查点是正在运行的应用程序的最新备份，应用程序中断时可立即使用检查点来恢复。您还可以使用 API 中的 Parallelism 和 ParallelismPerKPU 参数，控制适用于 Apache Flink 应用程序的亚马逊托管服务任务（例如从源中读取或执行运算符）的并行执行。Parallelism 定义任务并发实例的数量。所有运算符、源和接收器都按定义的并行数量运行，默认情况下是 1。Parallelism per KPU 定义应用程序每 KPU 可以调度的并行任务数量，默认情况下是 1。有关更多信息，请参阅《适用于 Apache Flink 的亚马逊托管服务开发人员指南》中的“扩展”。 

有关 Apache Flink 最佳实践的信息，请参阅《适用于 Apache Flink 的亚马逊托管服务开发人员指南》中的最佳实践部分。这部分将讨论容错能力、性能、日志记录、编码等方面的最佳实践。 

有关适用于 Apache Flink Studio 的亚马逊托管服务的最佳实践的信息，请参阅《适用于 Apache Flink Studio 的亚马逊托管服务开发人员指南》的“最佳实践”部分。除最佳实践外，该部分还包含 SQL、Python 和 Scala 应用程序的最佳实践、将您的代码部署为持续运行流处理应用程序的要求、性能、日志记录等更多信息。

符合。您可以访问 Amazon VPC 后端的资源。您可以在《Amazon Kinesis Data Analytics 开发人员指南》的使用 Amazon VPC 部分了解如何针对 VPC 访问配置应用程序。

不可以。如果指定多个子网，则所有子网都必须位于同一个 VPC 中。您可以通过在 VPC 之间建立对等连接来连接到其他 VPC。

在默认配置下，配置为可访问特定 VPC 中资源的适用于 Apache Flink 应用程序的亚马逊托管服务和适用于 Apache Flink Studio 笔记本的亚马逊托管服务无法访问互联网。您可以在《适用于 Apache Flink 的亚马逊托管服务开发人员指南》的互联网和服务访问部分了解如何为您的应用程序配置互联网访问权限。

使用适用于 Apache Flink 的亚马逊托管服务，您只需为实际使用量付费。使用适用于 Apache Flink 的亚马逊托管服务无需预置资源，也没有前期成本。 

我们根据用于运行串流应用程序的 Amazon KPU 的数量，按小时收取费用。一个 KPU 表示一个流处理容量单元，由 1 个 vCPU 计算和 4GB 内存组成。适用于 Apache Flink 的亚马逊托管服务会自动调整串流应用程序所需的 KPU 数量，因为内存和计算需求会因处理复杂性和处理串流数据的吞吐量而异。 

对于 Apache Flink 和 Apache Beam 应用程序，每个应用程序要为应用程序编排收取一个额外的 KPU 费用。Apache Flink 和 Apache Beam 应用程序会被收取运行应用程序存储和持久应用程序备份的费用。运行应用程序存储用于适用于 Apache Flink 的亚马逊托管服务中的有状态处理功能，并按每月每 GB 收费。持久应用程序备份是可选项，按每月每 GB 收费，并为应用程序提供基于时间点恢复功能。 

对于适用于 Apache Flink Studio 的亚马逊托管服务，在开发或交互模式下，您需要为应用程序编排所用的额外 KPU 付费，交互式开发也需要使用 1 个 KPU。您还需要为运营应用程序存储空间付费。对于持久应用程序备份，您无需承担费用。

有关更多定价信息，请参阅适用于 Apache Flink 的亚马逊托管服务的定价页面。

对于 Apache Flink 和 Apache Beam 应用程序，如果您的适用于 Apache Flink 应用程序的亚马逊托管服务处于运行状态，则您最低需要支付 2 个 KPU 和 50GB 运行应用程序存储的费用。

对于适用于 Apache Flink Studio 笔记本的亚马逊托管服务，如果您的应用程序处于运行状态，则您最低需要支付 3 个 KPU 和 50GB 运行应用程序存储的费用。

适用于 Apache Flink 的亚马逊托管服务是一个完全托管的流处理解决方案，独立于其从中读取数据的串流源和向其中写入处理数据的目标。对于在应用程序中读取和写入的服务，将另行收费。

不。适用于 Apache Flink 的亚马逊托管服务目前不在 AWS Free Tier 中提供。

Apache Flink 是一种开源框架和引擎，用于流和批量数据处理。由于它提供了功能强大的运算符，解决了核心串流问题，例如复制处理过程，因此能轻松构建串流应用程序。Apache Flink 为数据流上的分布式计算提供了数据分发、通信和容错能力。

首先下载开源库，包括 AWS SDK、Apache Flink 和 AWS 服务连接器。请参阅《适用于 Apache Flink 的亚马逊托管服务开发人员指南》，获取关于如何下载库并创建您的首个应用程序的说明。

使用数据流和流运算符编写 Apache Flink 代码。应用程序数据流是您使用代码执行处理所依据的数据结构。数据不断地从源流向应用程序数据流。一个或多个流运算符用于定义对应用程序数据流的处理，包括转换、分区、聚合、连接和输出。数据流和运算符可在串行和并行链中中连接。请参考下方所示的使用伪代码的简短示例。

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

运算符以应用程序数据流作为输入，将处理过的数据作为输出发送至应用程序数据流。运算符可以连接在一起，通过多个步骤构建应用程序，并且不需要具备丰富的分布式系统知识即可实现和运算。

适用于 Apache Flink 的亚马逊托管服务支持 Apache Flink 中的所有运算符，这些运算符可用于解决各种各样的使用案例问题，包括映射、KeyBy、聚合、Window Join 等。例如，映射运算符允许您执行任意处理，从传入的数据流中获取一个元素并生成另一个元素。KeyBy 使用指定的键有逻辑地组织数据，让您能够同时处理类似的数据点。聚合跨多个键（如 sum、min 和 max）进行处理。Window Join 在给定的键和窗口上将两个数据流连接在一起。 

如果这些运算符不能满足您的需求，您可以构建自定义运算符。更多示例请参阅《适用于 Apache Flink 的亚马逊托管服务开发人员指南》的“运算符”部分。您可以在 Apache Flink 文档中查看完整的 Apache Flink 运算符列表。 

您可以使用最少的代码设置 Apache Flink 提供的预构建集成，或者构建您自己的集成来连接几乎任何数据来源。基于 Apache Flink 的开源库支持流源和目标（或接收器）来处理数据交付。还包括通过异步 I/O 连接器来支持数据扩充。其中一些连接器包括：

• 串流数据来源：Amazon Managed Streaming for Apache Kafka（Amazon MSK）、Amazon Kinesis Data Streams 目标位置或接收器：Amazon Kinesis Data Streams
• Amazon Kinesis Data Firehose、Amazon DynamoDB、Amazon Elasticsearch Service 和 Amazon S3（通过文件接收器集成）

符合。您可以使用适用于 Apache Flink 应用程序的亚马逊托管服务在 Amazon Kinesis Data Streams、Amazon MSK 和其他系统之间复制数据。 我们的文档中提供的示例说明了如何从一个 Amazon MSK 主题读取数据，然后写入另一个主题。

您可以通过构建一组原语向应用程序添加源或目标，这些原语使您能够从文件、目录、套接字或通过网络访问的任何对象进行读写。Apache Flink 为数据来源和数据接收器提供这些原语。这些原语自带一些配置，例如，能够连续或一次、异步或同步读取和写入数据。例如，您可以通过扩展基于现有文件的源集成来设置一个应用程序，以连续从 Amazon S3 读取数据。

如果应用程序是使用幂等运算符（包括源和 sink）构建的，那么适用于 Apache Flink 的亚马逊托管服务中的 Apache Flink 应用程序将使用“仅一次”交付模型。这意味着处理后的数据只会对下游结果产生一次影响。

默认情况下，适用于 Apache Flink 应用程序的亚马逊托管服务使用 Apache Flink 的“仅一次”语义。如果您使用采用 Apache Flink 的仅一次语义的源、运算符和接收器来设计应用程序，那么您的应用程序将支持“仅一次”处理语义。

符合。适用于 Apache Flink 应用程序的亚马逊托管服务为您的应用程序提供每 KPU 50GB 的运行应用程序存储空间。适用于 Apache Flink 的亚马逊托管服务可根据您的应用程序扩展存储空间。运行应用程序存储使用检查点保存应用程序状态。也可以供您的应用程序代码访问以用作临时磁盘，用于缓存数据或用于任何其他目的。适用于 Apache Flink 的亚马逊托管服务可以随时从运行的应用程序存储中删除未通过检查点（例如操作员、源、接收器）保存的数据。所有存储在运行应用程序存储中的数据都会在闲置时加密。

适用于 Apache Flink 的亚马逊托管服务使用检查点和快照自动备份正在运行的应用程序的状态。检查点保存当前应用程序状态，并使适用于 Apache Flink 应用程序的亚马逊托管服务能够恢复应用程序的状态，从而提供与无故障执行相同的语义。检查点使用正在运行的应用程序存储。适用于 Apache Flink 应用程序的检查点通过 Apache Flink 的设置检查点功能提供。快照可以保存应用程序的时间点恢复点，并使用持久应用程序备份。快照与 Flink 保存点类似。

快照让您能够创建并将应用程序恢复到先前某个时间点的状态。您可以保留之前的应用程序状态并随时回滚应用程序。您可以控制控制拥有的快照数量，从 0 个到数千个不等。快照使用持久的应用程序备份，适用于 Apache Flink 的亚马逊托管服务根据其大小向您收费。默认情况下，适用于 Apache Flink 的亚马逊托管服务会加密快照中保存的数据。您可以通过 API 删除单个快照，通过删除应用程序删除所有快照。

要了解有关支持的 Apache Flink 版本的更多信息，请访问适用于 Apache Flink 的亚马逊托管服务发行说明页面。本页还包括适用于 Apache Flink 的亚马逊托管服务支持的 Apache Beam、Java、Scala、Python 和 AWS SDK 的版本。 

能，适用于 Apache Flink 的亚马逊托管服务支持使用 Apache Beam 构建的串流应用程序。您可以使用 Java 构建 Apache Beam 串流应用程序并在不同的引擎和服务中运行它们，包括在适用于 Apache Flink 的亚马逊托管服务上使用 Apache Flink。您可以在《适用于 Apache Flink 的亚马逊托管服务开发人员指南》中找到有关支持的 Apache Flink 和 Apache Beam 版本的信息。 

您可以从适用于 Apache Flink Studio 的亚马逊托管服务、Amazon Kinesis Data Streams 或 Amazon MSK 控制台开始，只需几步即可启动一个无服务器笔记本，从而迅速查询数据流并开展交互式数据分析。

交互式数据分析：您可以使用 SQL、Python 或 Scala 等语言在笔记本中编写代码，以同您的流式数据交互，查询将在数秒内响应。您可以使用内置的可视化功能在您的笔记本内部探索数据、查看流式数据的实时见解，并开发出由 Apache Flink 提供支持的流处理应用程序。

当您的代码已准备好作为生产应用程序运营时，只需一步，就能转化成流处理应用程序，每秒可处理数 GB 的数据，并且无需服务器。

流处理应用程序：准备好将代码推广到生产环境后，您可以通过单击笔记本界面中的“作为流处理应用程序部署”，或者在 CLI 中发出单个命令来构建代码。Studio 会处理大规模运行流处理应用程序所需的所有基础设施管理，并启用自动扩缩功能和持久状态，就像在适用于 Apache Flink 应用程序的亚马逊托管服务中一样。

您可以借助 Apache Flink 的 Table API，利用您偏好的语言（如 SQL、Python 或 Scala）在笔记本中编写代码。Table API 是一种高度抽象化、关系化的 API，能够支持 SQL 能力的超集。它将提供诸多熟悉的运营功能，例如选择、筛选、加入、按条件分组、整合等，此外还有窗口化等流式特定概念。您可以使用 % 来指定需要在笔记本部分中使用的语言，在不同语言之间切换。编译程序是 Apache Zeppelin 的插件，让您可以为笔记本的各个部分指定语言或数据处理引擎。您还可以打造由用户定义的功能，并引用这些功能来提升代码的功能。

您可以执行如下所示的 SQL 操作：

• 扫描和筛选（SELECT、WHERE） 
• 聚合（GROUP BY、GROUP BY WINDOW、HAVING） 
• 设置（UNION、UNIONALL、INTERSECT、IN、EXISTS） 
• 排序（ORDER BY、LIMIT） 
• 联接（INNER、OUTER、Timed Window — BETWEEN、AND、与暂存表联接 — 跟踪一段时间内的变化的表）
• 前 N 个
• 去重复
• 模式识别

其中某些查询功能，诸如 GROUP BY、OUTER JOIN 和 前 N 个均为串流数据的“结果更新”，意味着在处理串流数据时，这些结果将持续更新。此外，还支持 CREATE、ALTER 和 DROP 等其他 DDL 语句。有关查询和示例的完整列表，请参阅 Apache Flink 查询文档。

Apache Flink 的 Table API 能够采用 Python 语句和 Scala 表达通过语言整合为 Python 和 Scala 提供支持。其所支持的操作与 SQL 操作十分类似，包括选择、排序、分组、加入、筛选和窗口化。我们的开发人员指南中包含操作和示例的完整列表。

要了解有关支持的 Apache Flink 版本的更多信息，请访问适用于 Apache Flink 的亚马逊托管服务发行说明页面。本页还包括适用于 Apache Flink 的亚马逊托管服务支持的 Apache Zeppelin、Apache Beam、Java、Scala、Python 和 AWS SDK 的版本。

• 数据来源：Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon Kinesis Data Streams、Amazon S3 
• 目标位置，或 sink：Amazon MSK、Amazon Kinesis Data Streams 和 Amazon S3

您可以通过更多步骤和几行 Apache Flink 代码（Python、Scala 或 Java）来配置其他集成，以定义与所有 Apache Flink 支持的集成的连接。这包括 Amazon OpenSearch Service、Amazon ElastiCache for Redis、Amazon Aurora、Amazon Redshift、Amazon DynamoDB、Amazon Keyspaces 等目标。当您创建或配置适用于 Apache Flink 应用程序的亚马逊托管服务时，您可以为这些自定义的连接器附加可执行文件。

我们的服务水平协议（SLA）保证适用于 Apache Flink 的亚马逊托管服务的月度正常运行时间百分比至少达到 99.9%。

对于您运行任务所在的可用区，如果同一个 AWS 区域内有一个以上的可用区在任何月度账单周期内的月度正常运行时间百分比没有达到 99.9%，那么您就有资格获得适用于 Apache Flink 的亚马逊托管服务 SLA 规定的适用于 Apache Flink 的亚马逊托管服务的 SLA 服务抵扣金。如需所有 SLA 条款与条件的完整详细信息，以及如何提交索赔的详细信息，请访问适用于 Apache Flink 的亚马逊托管服务 SLA 详细信息页面。