Category: Analytics

本篇博客介绍了亚马逊云科技 MSK 在生产中的可靠性最佳实践。Kafka 集群、生产者客户端，以及消费者客户端如何进行配置，以达到不同的保障性需求。

该博客介绍了将实时大数据系统从 CDH 迁移到亚马逊云科技 EMR 的项目。

亚马逊云科技提供两种托管 PostgreSQL 选项：适用于 PostgreSQL 的 Amazon Relational Database Service（Amazon RDS）和 Amazon Aurora PostgreSQL 兼容版，本文旨在说明 PostgreSQL 中的统计信息类型以及如何读取和理解它们。

本文介绍了一种利用亚马逊云科技 Lambda 自动将 Kinesis Data Stream 中的数据导入到 Kafka 的方案。所有的应用无需修改，便能平滑迁移到亚马逊云科技上，同时运维人力成本也基本不会增加。

数据编织与传统数据平台的核心差异就在于数据虚拟化（Data Virtualization）。几乎无需搬移或复制物理数据，即可通过逻辑层快速实现元数据的实时连接、整合、消费，赋能数据服务。本文详细剖析了数据虚拟化，并带您快速了解亚马逊云科技及合作伙伴 Denodo 领先的联合数据解决方案。

本文从大屏应用涉及的技术要点入手，详细论述了如何在亚马逊云科技上基于 Kinesis 和 Redshift stream ingestion 以及 Amazon 托管的 Grafana 来实现实时大屏，满足运维实时监控，物联网，APP 埋点实时分析，黑五、双 11、 618 等电商平台的实时数据可视化展示等场景。

Kafka Connect 是一种在 Apache Kafka 和其他数据系统之间实现可靠地流式传输数据的工具。本文介绍了使用 Kafka Connect/亚马逊云科技 MSK Connect 通过简单配置构建数据流管道的架构设计，并对典型场景服务器日志采集入湖 S3 进行了示例讲解。

本文提供了在亚马逊云科技使用完全无服务器的 AWS EKS on Fargate 容器服务及 Amazon Aurora Serverless PostgreSQL 数据库进行部署的方案，并给出了详细的部署步骤及维护指南。

如今，许多公司都在从中小型集中式 Apache Kafka 集群开始着手构建全球流式传输服务，随着时间的推移，他们会选择保留一个整体式集群。本文说明了集中式方法面临的一些挑战，并介绍了使用亚马逊云科技 Amazon MSK Serverless 实施去中心化方法的两种策略。

本文演示了如何配置亚马逊云科技 Glue DataBrew 以处理嵌套的 JSON 对象，以及如何使用 Amazon QuickSight 进行数据可视化。