Category: AWS Big Data

几周前，我们为 Amazon Kinesis Data Streams (KDS) 推出了两项重要的性能加强功能：增强扇出功能和 HTTP/2 数据检索 API。增强的扇出功能允许开发人员通过为每个数据流消费者提供其自己的读取吞吐量来扩增数据流消费者的数量（应用程序实时从数据流中读取数据）。与此同时，在常见情况下，HTTP/2 数据检索 API 允许在 70 毫秒或更短的时间内（提升了 65%）将数据从生产者传送给消费者。这些新功能可让开发人员依托 Kinesis Data Streams，构建速度更快、反应更灵敏、高度并行化且对延迟敏感的应用程序。

本文主要介绍 Amazon Redshift 数据仓库服务在用于常规 ETL 操作时，可以通过并行导入数据文件、配置 WLM 队列、执行清理命令或者借助 Amazon Spectrum 的功能等8个最佳实践方法来优化整个 ETL 的处理流程，实现对 AWS 资源的最大化利用。文末还通过一个典型的 ETL 过程向读者展示了这些技巧的实战用法。