发布于: Mar 31, 2023
AWS Glue Studio 现在提供 10 种全新的视觉转换:连结、拆分字符串、将数组转换为列、添加当前时间戳、将行透视为列、将列逆透视为行、查找、打散、派生列和自动均衡处理。AWS Glue Studio 提供了可视化的抽取、转换和加载 (ETL) 界面,用于编写、运行和监控 AWS Glue ETL 作业。借助这些新组件,ETL 开发人员无需编写代码即可快速构建更复杂的数据管道。
这 10 种新转换可满足各种数据处理需求:使用连结功能将多个列合并在一起,或者使用分隔符和拆分字符串来分隔字符串。通过添加当前时间戳,您可以记录数据的处理时间。将行透视为列和将列逆透视为行,这有助于重组数据以进行聚合。查找是将另一个表中的列添加到数据集的简单方法。通过派生列,您可以使用数学表达式或 SQL 表达式基于其他列定义新列。打散功能可以解压缩嵌套的数据结构,最后,自动均衡处理是一项高级功能,当数据在工作节点之间分布不均时,它可以提高作业性能。所有这些新的转换都可以在基于视觉元素和基于代码的作业中使用。
这些新组件已在支持 AWS Glue 的所有 AWS 区域推出。
要了解更多信息,请访问 AWS Glue 文档。