使用 Amazon Data Firehose,您只需为通过该服务传输的数据量付费。无需支付设置费用,也无需预先承诺。Data Firehose 有四种按需使用类型:摄入、格式转换、VPC 传输和动态分区。可能会收取额外的数据传输费。

Direct PUT 和 KDS 作为源摄取

Firehose 流的基本功能是摄入和传输。摄入定价是分层的,按每 GB 以摄取 5KB 为增量计费(3KB 记录按 5KB 计费,12KB 记录按 15KB 计费,等等)。传输不收取额外的 Data Firehose 费用(除非使用可选功能)。

MSK 作为源摄取

Firehose 流的基本功能是摄入和传输。摄取定价采用分层计费,按摄取的 GB 计费,不以 5KB 为增量。定价采用分层形式,并根据摄取的字节和传送的字节之间的较高值按 GB 计费。计费基于数据量,不对记录大小进行舍入。

公开日志作为源摄取

对于源自公开日志的记录,摄取定价采用分层计费,按摄取的 GB 计费,不以 5 KB 为增量。

格式转换(可选)

可以启用 JSON 到 Apache Parquet 或 Apache ORC 的格式转换,基于以 5KB 为增量摄取的 GB 数按 GB 费率计费。

VPC 传输(可选)

对于目标位于 Amazon VPC 中的 Firehose 流,您需要按照传输到 VPC 中的目标的数据量以及 Firehose 流在每个可用区中处于活动状态的小时数付费。未满一小时按一小时计费。

Amazon S3 传输的动态分区(可选)

您可以启用动态分区,通过记录中的分区键(例如“customer_id”)对数据进行连续分组,并将按分区键分组的数据传送到相应的 Amazon S3 前缀。使用动态分区,您可以根据通过动态分区处理的数据量以及交付到 Amazon S3 的每个对象付费。如果您使用 JQ 解析器进行动态分区,则需要按 JQ 解析处理的小时数付费。

解压缩 CloudWatch Logs(可选)

对于源自 CloudWatch Logs 的记录,如果启用解压缩,则解压缩定价按每 GB 解压缩数据计费。

Snowflake 作为目的地

对于将 Snowflake 作为目的地配置的 Firehose 流,将按针对该目的地的已处理数据量付费。定价按每 GB 摄取数据计费,不以 5KB 为增量。定价基于摄取字节数和传送字节数之间的较高值。 

Apache Iceberg 表作为目的地

对于将 Apache Iceberg 表作为目的地配置的 Firehose 流,将按针对该目的地的已处理数据量付费。定价按每 GB 摄取数据计费,不以 5KB 为增量。如果由于自定义 Lambda 处理,交付前处理的数据字节数大于提取的字节数,那么额外的字节数也需要计费。额外的字节将按照与 Kinesis Data Streams 中所示的相同费率计费,作为 Apache Iceberg 表的源,作为所有提取源(包括 Direct PUT)的目的地。

  • Direct PUT
    • Apache Iceberg 表作为目的地
    • Snowflake 作为目的地
    • 其他目的地
  • Kinesis Data Stream 作为来源
    • Apache Iceberg 表作为目的地
    • Snowflake 作为目的地
    • 其他目的地
  • 公开日志作为来源
    • Apache Iceberg 表作为目的地
    • 其他目的地
  • MSK 作为来源
    • Apache Iceberg 表作为目的地
    • 其他目的地

定价示例

Direct PUT 和 KDS 作为源的摄入定价

3KB 记录大小向上取整至最近摄取的 5KB,即 5KB

每月前 500 TB 的价格 = 0.029 美元每 GB

摄取数据的计费数据量(GB)=(100 条记录/秒 * 5 KB/条记录)/ 1048576 KB/GB * 30 天/月 * 86400 秒/天 = 1235.96 GB

每月摄取费用 = 1,235.96 GB * 0.029 USD/GB = 35.84 USD

以 MSK 为来源的摄取定价

记录大小为 2KB(不以 5KB 为增量)

每月前 500TB 的价格 = 0.055 USD/GB

摄取数据的计费数据量(GB)(假设数据量与传输数据量相同)=(100 条记录/秒 * 2 KB/记录)/1048576 KB/GB * 30 天/月 * 86400 秒/天 = 494.38 GB

每月数据量费用 = 494.38 GB * 0.055 USD/GB = 27.19 USD

公开日志作为源的摄取定价

0.5KB(500 字节)记录大小 = 0.5KB(无 5KB 增量)

每月前 500TB 的价格 = 0.13 美元每 GB

摄取计费的 GB =(100 条记录/秒 * 0.5KB/条记录)/1048576 KB/GB * 30 天/月 * 86400 秒/天 = 123.59 GB

每月摄入费用 = 123.59 GB * 0.13 USD/GB = 16.06 USD

Snowflake 作为目的地的定价

0.5KB(500 字节)记录大小 = 0.5KB(无 5KB 增量)

传送到 Snowflake 的每 GB 数据的价格 = 每 GB 0.071 USD

摄取计费的 GB =(100 条记录/秒 * 0.5KB/条记录)/1048576KB/GB * 30 天/月 * 86400 秒/天 = 123.59GB

每月摄取费用 = 123.59GB * 0.13 USD/GB = 8.77 USD

Apache Iceberg 表作为目的地的定价

0.5KB(500 字节)记录大小 = 0.5KB(无 5KB 增量)

Kinesis Data Streams 作为来源向 Apache Iceberg Tables 交付的每 GB 价格 = 每 GB 0.045 USD

摄取计费的 GB =(100 条记录/秒 * 0.5KB/条记录)/1048576KB/GB * 30 天/月 * 86400 秒/天 = 123.59GB

每月摄取费用 = 123.59 GB * 0.045 USD/GB = 5.56 USD

格式转换定价:JSON 到 Parquet 或 ORC(可选)

0.5KB(500 字节)记录大小 = 0.5KB(无 5KB 增量)

每月前 500TB 的价格 = 0.13 美元每 GB

摄取计费的 GB =(100 条记录/秒 * 0.5KB/条记录)/1048576 KB/GB * 30 天/月 * 86400 秒/天 = 123.59 GB

每月摄入费用 = 123.59 GB * 0.13 USD/GB = 16.06 USD

数据格式转换是数据摄取的可选附加组件,并使用摄取计费的 GB 数来计算成本。 

摄取每 GB 转换的价格 = 0.018 美元

每月格式转换费用 = 1,235.96 GB * 0.018 美元/转换的 GB = 22.25 美元

VPC 传输定价(可选)

传输到 VPC 是数据摄取的一个可选附加组件,使用传输到 VPC 中目标的数据量(GB)来计算成本。

传输到 VPC 中的目标的每 GB 数据的价格 = 0.01 USD

每可用区小时 VPC 传输价格 = 0.01 USD

每月 VPC 处理费用 = 1235.96 GB * 0.01 USD/处理数据量(GB)= 12.35 USD

每月 VPC 小时费用 = 24 小时 * 30 天/月 * 3 个可用区 = 2,160 小时 * 0.01 / hour = 21.60 美元 每月 VPC 费用总额 = 33.95 美元

动态分区定价(可选)

动态分区是数据摄取的可选附加组件,使用通过动态分区处理的数据量(GB)、传输到 S3 的对象数量以及可选的 JQ 处理时间来计算成本。在本例中,我们假设因 Firehose 流缓冲区提示配置而传输了 64MB 对象。

如果您在 Firehose 流中使用可选功能(例如使用 Lambda 进行数据转换、格式转换或压缩),则通过动态分区处理的数据量可能与从源提取的数据量或传输到目标的数据量不同。动态分区之前和之后执行的那些额外的数据处理步骤可能会产生影响。

通过动态分区处理的每 GB 数据的价格 = 0.020 USD
每传输 1000 个 S3 对象的价格 0.005 USD = 0.005 USD
每 JQ 处理小时的价格 = 0.07 USD

通过动态分区处理的每月数据量(GB)= (3 KB * 100 条记录/秒) / 1048576 KB/GB * 86400 秒/天 * 30 天/月 = 741.58 GB

通过动态分区处理的每月数据量(GB)费用 = 741.58 GB(通过动态分区处理的每 GB 数据 0.02 USD) = 14.83 USD

传输的对象数 = 741.58 GB * 1024 MB/GB / 64MB 对象大小 = 11866 个对象

每月传输到 S3 的对象的费用 = 11,866 个对象 * 0.005 美元 / 1000 个对象 = 0.06 美元

每月 JQ 费用(如果启用)= 消耗 70 JQ 小时/月 * 0.07 USD / JQ 处理小时 = 4.90 USD

解压缩 CloudWatch Logs

CloudWatch Logs 以 gzip 压缩格式发送数据。Data Firehose 解压缩功能可解压缩数据,并按每 GB 解压缩数据收费。

每月使用量 = 10TB 解压缩 CloudWatch Logs 数据

每 GB 解压缩数据的价格 = 0.00325 USD/GB(IAD 区域)

每月解压缩费用 = 10240GB *0.00325 USD/GB = 33.28 USD
 

服务水平协议

访问我们的常见问题,了解 Amazon Data Firehose 服务等级协议。

发现更多 Amazon Data Firehose 资源

访问资源页面
准备好开始使用了吗?
注册
还有更多问题?
联系我们