Category: Analytics

本文为乐天玛特公司大数据分析师Sungoh Park撰写的客座文章。援引他的表述，“作为乐天有限公司下辖子公司，乐天玛特是韩国领先的零售商，销售各类日用百货、服装、玩具、电子产品及其他商品。”

2020年的种种变化，让我们再次意识到敏捷性的重要意义。随着新冠疫情的全面爆发，我们接触到的每家客户都着手推进自己的应对之策。部分公司决定努力提高运营效率，有些企业甚至在疫情期间获得了可观的业务增长。

对Amazon DynamoDB团队来说，2020年又是繁忙的一年。我们发布了多项对原有功能的更新以及全新功能，希望在可靠性、加密、速度、可扩展性与灵活性等方面为大家带来更出色的使用体验。

本文首先简单介绍了ClickHouse及其特性和使用场景，然后介绍了通过与Amazon S3存储的结合，可以为数据分析系统带来的优势：成本优化以及数据湖的应用。接下来，我们又介绍了ClickHouse和S3集成的三种方案，并通过具体示例来展示了各方案的具体实现方法和优劣势。

本文首先介绍了AWS Glue以及该服务的功能和使用场景，然后介绍了AWS Glue 中的Python Shell作业，可以基于Python完成一些基础的ETL操作。接下来，我们又介绍了Pandas on AWS – AWS Data Wrangler这款在AWS上进行数据分析的利器，并通过一个示例场景（CSV转换Parquet）来介绍了如何在Python Shell作业引入AWS Data Wrangler来简化在AWS平台上的无服务器化的ETL任务。

本文首先简单介绍了ClickHouse及其特性和使用场景，然后介绍了AWS Graviton2 Arm架构的优势，并演示了如何在AWS Graviton2的EC2实例上进行编译安装。接着，对AWS Graviton2和x86架构的EC2实例上的ClickHouse进行了性能比对，通过结果可以看到，AWS Graviton2不仅增强了数据分析的成本优势，还给客户带来了更丰富的计算架构选项。

使用Amazon Kinesis和Amazon EMR构建数据批处理分析架构，并和流式处理汇总到Redshift做集中数仓查询.

本文介绍了如何使用AWS DMS，将批处理方案转换为近实时解决方案。这套解决方案大大简化了将记录由Amazon S3迁移至Kinesis并加以分析的过程。Kinesis作为AWS DMS指定的目标，可为多种其他系统提供数据资源。这样一条近实时管道将帮助您快速了解系统内的各类变化，最终提升组织的实际决策能力。

在本文中，我们探讨了如何使用Lambda配置并使用Athena联合AmazonRedshift功能。现在，您无需等待从Amazon Redshift数据仓库到Amazon S3的数据转移流程，也不再需要负担查询的日常维护工作。

Amazon Redshift已经成为Cookpad公司为员工提供自助服务分析的关键基础。正如前文所述，我们使用AWS提供的种种新功能对集群容量进行了扩展，且全程未添加任何节点。