Category: AWS Big Data

今天，我们很高兴地宣布 Amazon QuickSight 的一系列更新,仪表盘内容更丰富，常规和嵌入式控制面板中具有多个工作表。

在 Narrativ，我们已看到在过去 15 个月内，平台使用量产生巨大增长，而我们的产品所产生的数据也发生类似数量级的增长。此博文分享了我们使用 AWS 发展成为稳固、可扩展、高性能且具有成本效益的分析环境的内容，我们还讨论了一路来从数据仓库和数据湖分析中学习到的最佳实践。

欺诈者不断寻找新的技术和设计新的伎俩。这改变了欺诈方式使检测变得困难。企业通常使用基于规则的欺诈检测系统来应对。然而，一旦欺诈者意识到他们当前的伎俩或工具被识别出，他们很快就会找到破解方法。此外，在面临大量数据时，基于规则的检测系统往往会因为大量的数据显得吃力并且速度会下降。这使得难以检测欺诈行为并迅速采取行动，从而导致收入损失。

流处理有助于实时数据的收集、处理和分析，并能够持续生成见解和快速响应新出现的情况。当派生见解的值随时间减少时，此功能非常有用。因此，您对检测到的情况反应越快，反应就越有价值。例如，考虑一个可以在欺诈性信用卡交易发生时对其进行分析和阻止的流应用程序。将该应用程序与传统的面向批处理的方法相比较，该方法在每个工作日结束时识别欺诈性交易，并生成一份供您在次日早上读取的全面报告。

数据仓库是从您的数据中分析和提取可指导行动见解的关键组件。Amazon Redshift 是一种快速的可扩展数据仓库，可经济高效地分析您数据仓库和数据湖中的所有数据。
Amazon Redshift 控制台最近推出了查询编辑器。查询编辑器是浏览器内的界面，用于直接从 AWS 管理控制台中在 Amazon Redshift 集群上运行 SQL 查询。使用查询编辑器是在 Amazon Redshift 集群托管的数据仓库上运行查询的最高效方法。

在本博文中，我们演示了如何使用 Athena 来处理来自 Elastic Load Balancer 的日志（预先定义好的文本格式）。我们将演示如何创建表，按照 Athena 使用的格式将数据分区，然后转换为 Parquet 并比较查询性能。

在本文中，我们探索了流行的开源日志聚合解决方案的AWS对应解决方案，即 ELK 堆栈（Elasticsearch、Logstash 和 Kibana）：EKK 堆栈（Amazon Elasticsearch Service、Amazon Kinesis 和 Kibana）。借助 EKK 解决方案，不再需要进行重复的繁重工作，对日志聚合解决方案进行部署、管理和扩展等。使用 EKK 堆栈，您可以专注于分析日志和调试应用程序，而不是管理和扩展聚合日志的系统平台本身。

2019 年 2月，Amazon Web Services (AWS) 宣布了 Amazon Kinesis Data Firehose 的一项称为“Amazon S3 对象自定义前缀”新功能。它允许客户为传输数据记录的 Amazon S3 对象的前缀指定自定义表达式。 之前，Kinesis Data Firehose 仅允许指定部分文字前缀。新支持的前缀可以与静态日期格式的前缀结合使用，以创建固定格式的输出文件夹。

Amazon Kinesis 让您在云中轻松实现流数据处理。Amazon Kinesis 平台由三种不同的服务组成：Kinesis Streams 允许开发人员构建自己的流处理应用程序；Kinesis Firehose 简化了将流数据加载到 AWS 以进行存储和分析的过程；Kinesis Analytics 支持分析人员使用标准 SQL 查询分析流数据。

3M HIS 正在进行一项计划，以将安装在本地或其他云托管提供商处的应用程序迁移到 Amazon Web Services (AWS) 中。3M HIS 已开始迁移到 AWS 中，以利用计算、存储和网络弹性。我们希望建立在一个坚实的基础上，从而帮助我们把更多的精力放在为客户创造价值上，同时也能进行扩展，以支持我们在未来几年预期的业务增长