适用于通用企业的商业智能

亚马逊云科技的数据分析服务能构建几乎任何数据分析应用程序,可帮助客户收集、存储、处理、分析和可视化云中的数据,实现包括数据仓库、点击流分析、欺诈侦测、推荐引擎、事件驱动 ETL(抽取转换加载)、无服务器计算和物联网处理等多种典型应用。客户借助亚马逊云科技提供的数据分析服务,无需购买硬件,也无需维护和扩展基础设施,可将资源集中用于发掘新的洞察。

白皮书专区

十大数据驱动型成功案例

通过本电子书,您可以深入了解客户如何通过释放数据价值推动组织转型。我们将探讨领先的数字原生企业和软件组织如何使用亚马逊云科技释放其数据的力量,从而获得见解并做出以数据为导向的决策。

十大数据驱动型成功案例

游戏行业构建数据湖的最佳实践

本白皮书深入讨论了在亚马逊云科技上为游戏构建数据湖的最佳实践。它旨在帮助游戏开发人员最大化其玩家数据的价值,以实现更好的游戏设计、开发、变现见解和策略。

游戏行业构建数据湖的最佳实践

动手视频

应用场景

可在各种来自客户的数据集上进行分析,例如:

1、第三方调研数据  2、客户购买记录  3、社交媒体活动  4、计算机 Cookie  5、网页或移动端应用统计信息

通过分析可以了解客户偏好、网站上的热门页面、客户浏览时长、客户反馈以及与网站表单的交互等隐藏信息,并高效响应客户需求,提高客户满意度。

数据分析消除了市场营销、产品开发、内容创建和客户服务中的猜测,能够支持公司通过分析实时数据做出更精准的推测,并根据实时反馈进行改进。

数据分析还可提供有关营销活动执行情况的见解,让企业可以根据实时分析调整目标群体、消息内容和创意,从而优化市场营销,提高转化率并减少广告浪费。

数据分析可以帮助公司简化流程,减少损失并增加收入。例如预测性维护计划、经优化的工作小组和高效的供应链管理可以指数级提高业务绩效。

组织可使用数据分析来确定产品开发的新功能,并确定新功能的优先级;同时通过分析客户需求,还能在更短的时间内提供更多功能,并更快地推出新产品。

亚马逊云科技数据分析解决方案及参考架构

电商运营分析解决方案

行业属性:电商行业

客户场景:电商运营核心关注的三要素是用户、商品、平台。电商的商品品类 (SKU) 种类繁多,行业竞争白热化,重视优化以及精细化运营才有可能加速业务增长。综合客户端用户行为数据和电商平台数据库中的用户数据、订单数据和商品库数据,经过数据分析系统得到网站流量指标、销售转化指标、客户价值指标及其他指标为运营人员在决策中提供数据支撑。

方案概述:亚马逊云科技提供了数据收集、抽取转换加载 (ETL)、数仓分析、BI 展示等多种分析服务,可为不同数据源提供多种数据摄入的管道,存储于 Amazon S3,再通过 Amazon EMR 或其他工具进行ETL清洗后存储至 Amazon Redshift,供运营团队进行查询、生成报表,并借助 Amazon QuickSight 等工具提供可视化视图。

电商运营分析解决方案

游戏运营分析解决方案

行业属性:游戏行业

客户场景:游戏行业中的数据分析包括多个场景,对于游戏运营分析人员来说,主要工作是实时掌握游戏动态,全面评估运营活动效果。游戏运营分析系统需要满足以下要求:

1、埋点/日志数据需实时存入数据湖;  2、数据湖中能快速查询分析数据;  3、可对近期数据频繁查询、历史数据低频查询

方案概述:将 Amazon S3 作为数据中心,通过不同方式将结构化/非结构化数据导入 Amazon S3 中。Amazon Elastic Map Reduce 可根据业务需求对存储于 Amazon S3 中的数据进行抽取转换加载 (ETL),将数据处理成需要的格式,并将其落盘到相对应的位置。为优化成本,还可以将热数据放在 Amazon Redshift 上提供快速查询,历史数据则放在 Amazon S3 通过 Spectrum 查询。

游戏运营分析解决方案

日志通

Centralized Logging with OpenSearch(日志通)可帮助组织使用 Amazon OpenSearch Service 收集、查询以及可视化各种来源的日志数据,其主要功能如下

  • 一体化日志注入:使用 Web 控制台快速摄取 9 种亚马逊云科技服务日志以及 Amazon EC2,Amazon EKS 上的应用日志,快速搭建一个集中式日志管理平台。

  • 开箱即用的可视化报表:日志自动创建可视化分析报表,加速日志分析的流程,助力运维和故障排查。

  • 低代码日志富化:内置日志富化插件,无需任何代码即可根据日志内容增加地理位置,user agent 等信息,丰富日志分析维度。

日志通

点击流分析

帮助客户在亚马逊云科技上快速搭建一个灵活、高性价比、自主可控的埋点收集分析系统。该方案将数据管道的创建及配置自动化,并提供了 SDK(包括 JavaScript、iOS 及 Android)以帮助开发者将客户端数据采集至云端。其主要特点如下

  • 可视化数据管道配置:用户只需要鼠标点击即可创建一条满足您企业需求的数据管道,并通过内置的端到端监控仪表盘,实时提供数据收集和处理的状态,实现无忧运维。

  • 埋点专用 SDK:该方案配备采集用户行为的专用 SDK,能够自动采集多种用户行为事件,并且提供简单易用的 API,大幅简化数据采集过程,以极低延迟采集数据到云端。

  • 低代码日志富化:该方案完全开源,可免费用于商业用途,并且使用了多种无服务器架构的分析服务,资源自动弹性伸缩,企业只需要为实际的使用量付费,性价比高

点击流分析

通用参考架构

使用 Amazon Athena 实现即时查询

01  爬网程序通过扫描数据湖及关系型数据库来填充 Glue 数据目录

02  数据目录作为元数据供数据平台使用

03  Lake Formation 能够实现对编目数据表的精细化访问控制

04  数据目录作为元数据供数据平台使用

05  Athena 可以在不移动数据的情况下通过数据目录访问外表

06  Quicksight 中的报表开发人员可在 Athena 运行一个复杂查询,将数据保存至 SPICE 供后续快速访问

07  可以通过 Athena 数据及在 QuickSight 中创建报表大屏

即时查询

使用 Amazon Athena、Amazon Redshift 同时查询数据湖和数据仓库

01  业务数据存储在 Reshift,原始数据、时间数据存储在数据湖

02  爬网程序通过扫描数据湖及关系型数据库来填充 Glue 据目录

03  Lake Formation 能够实现对编目数据表的精细化访问控制

04  Athena 可以在不移动数据的情况下通过数据目录访问外表

05  QuickSight 中的报表开发人员可组合 Athena 及 Redshift 中的数据,保存至 SPICE 供后续快速访问

06  在数据移动量最小的情况下在 QuickSight 中创建报表大屏

数据湖和数据仓库同步查询

加载数据至数据仓库

01  将数据下载并存放至 S3

02  通过调度作业清洗并转换数据

03  通过关系型及非关系型数据集填充数据

04  方式加载数据至数仓

05  运行每日报表

加载数据至数据仓库

批处理

01  各种数据源的数据均可通过工具导出至 AmazonS3 集中存储

02  通过 Amazon Lambda 按照需要将 S3 中的数据处理任务分批提交至数据聚合及加载层

03  通过使用 Amazon EMR/Glue 执行数据聚合任务,并将结果加载至 Redshift。

批处理

流式处理

01  流式数据通过 SDK 等方式推送至 Amazon Kinesis 数据流

02  Kinesis Data Analytics 提供 Apache Flink 运行环境,从 Kinesis Data Streams 读取数据处理后推送至 Kinesis Data Firehose,然后再将数据最终存储至 S3。

03  Athena 通过 SQL 的方式直接查询存储至 S3 的数据

04  Amazon QuickSight 连接至 Athena 之后可对查询结果进行便捷的可视化

流式处理

亚马逊云科技 Marketplace 解决方案

客户案例