发布于: Dec 19, 2022
现在,您可以在 Amazon Athena 中无缝查询 Delta Lake 表,从而提高操作效率、改善查询性能并降低成本。Delta Lake 是一种开源表格式,可帮助实现通常在 Amazon S3 上构建的现代数据湖架构。在该格式发布之前,在 Athena 中读取 Delta Lake 表需要一个复杂的过程来生成和管理额外的元数据文件。现在,您可以使用 Athena 直接查询 Delta Lake 表,无需额外步骤。
Athena 为 Delta Lake 格式的数据湖启用交互式分析和控制面板报告,现在,您的 Delta Lake 表更新一完成,即可在 Athena 中进行分析。Athena 使用 Delta Lake 文件中包含的元数据来优化查询,因此可以降低数据扫描成本,并将 Athena 查询的性能提高多达 40%。Athena 使用简单的 DDL 语句(例如 CREATE EXTERNAL TABLE 和 DESCRIBE TABLE),与 Athena 支持的其他表类型一致,使您可以更轻松地在 AWS Glue Data Catalog 中创建和管理 Delta Lake 表。您还可以使用 AWS Glue Crawler 发现 Delta Lake 表架构并为 Delta Lake 文件管理 Glue Data Catalog 中的架构更新,从而使新编目的数据可直接在 Athena 中进行分析。
Athena 引擎版本 3 中增强了对 Delta Lake 的读取支持,可与 Athena 驱动程序、API 或控制台一起使用,并且可在所有受支持的区域使用。要了解有关 Athena 中新的 Delta Lake 支持的更多信息,请参阅 Athena 用户文档中的查询 Delta Lake 表。