Category: AWS Big Data

互联网时代带来了数据量的海量增长，数据驱动业务决策成为大势所趋。分析人员迫切的希望能快速的交互式的从海量的数据中抓取有用的信息来辅助决策。在AWS上，Amazon S3对象存储服务由于其高可用性，高持久性，可扩展性和数据格式兼容性等特点成为建设存储海量数据的数据湖的首选。Amazon Athena可以轻松对Amazon S3中的数据进行交互式查询，是一款开箱即用、无需运维的全托管服务。

在本博文中，将通过在 Amazon EC2 实例上运行的 R/RStudio Server 与 Athena 相连接，之后通过浏览器连接RStudio Server执行SQL语句查询S3内的数据。

在本博文系列的第 1 部分中，您学习了如何使用 Lake Formation 来创建和探索数据湖。本博文将引导您使用控制台中的 Lake Formation 的元数据搜索功能来发现数据，并了解受列权限限制的元数据搜索结果

传统上，组织将数据保存在固化、单一用途的系统中，例如本地数据仓库设备。同样，他们使用单一方法来分析数据，例如预定义的 BI 报告。在数据库之间移动数据以使用不同方法（例如机器学习 (ML) 或即兴使用的 SQL 查询）来分析数据时，需要在分析之前进行“提取、转换、加载” (ETL) 处理。这些传统方法即便再好，也是效率低下且存在延迟的。最糟糕的是存在复杂的安全性。

基于AWS Lake Formation您可以轻松构建起安全的数据湖。 数据湖是一个集中的、有组织的、安全的数据存储环境，可以存储您的任意规模的结构化和非结构化数据。 您可以按原样存储数据，而无需先对其进行结构化。 您可以运行包括：仪表板、可视化、大数据处理、实时分析和机器学习等各种类型的分析和处理，以更好地指导决策制定。

许多客户已经在享受使用HBase on Amazon S3的众多好处，包括更低的成本、更好的数据持久性和更便捷的可扩展性。美国金融业监管局 (FINRA) 已通过迁移到 HBase on Amazon S3架构将成本降低了 60%，并通过将存储与计算解耦以及将 S3 用作存储层获得了众多运营优势。HBase on Amazon S3允许您启动集群并立即开始对 S3 中的数据进行查询，而不必执行冗长的快照还原过程。

从 Amazon EMR 5.2.0 开始，您可以选择基于 Amazon S3 上的 Apache HBase。在 S3 上运行 HBase 可为您额外带来多项优势，包括降低成本、数据持久性和更轻松地进行扩展。
HBase 提供了多个可用于迁移和备份 HBase 表的选项。迁移到 S3 上的 HBase 的步骤与适用于 Apache Hadoop 分布式文件系统 (HDFS) 上的 HBase 的步骤类似。但是，如果您知道一些细微差别和一些“技巧”，则迁移会更容易。
在本文中，我将介绍如何使用一些常用的 HBase 迁移选项开始使用 S3 上的 HBase。

本文将介绍Glue的DataCatalog，爬网程序，ETL，以及Demo展示。

Amazon EC2 Systems Manager可帮助您自动化各种管理任务，例如自动化AMI创建或跨数百个实例运行命令或脚本。 在本文中，我将展示如何使用Systems Manager Automation来自动创建用于EMR的自定义Amazon Linux AMI和为AMI打补丁。

在本博文中，我们将回顾可以提高查询性能的十大技巧。我们将着重关注对存储在Amazon S3上的数据的查询优化。Amazon Athena 使用 Presto 运行 SQL 查询，因此，如果您在 Amazon EMR 上运行 Presto，那么某些建议也行之有效。