亚马逊AWS官方博客

AWS Team

Author: AWS Team

5分钟快速上手 – 通过EMR引导脚本部署Alluxio并运行Spark任务

Apache Hadoop和Spark给大数据计算带来了重大革新，而AWS EMR为按需运行集群以处理计算工作负载提供了很好的选择，它管理各种Hadoop服务的部署，并提供挂钩对这些服务进行自定义开发。Alluxio是一个开源的基于内存的分布式存储系统，现在成为开源社区中成长最快的大数据开源项目之一。Alluxio可以运行在EMR上，在EMRFS之上当前提供功能特性。 除了缓存带来的性能优势之外，Alluxio还使用户能够针对on-premise存储或甚至不同的云提供商存储运行计算工作负载。在本文中，我们将通过AWS CLI快速通过Alluxio引导EMR，并运行PySpark进行文档内容筛选。

在 AWS 中国区搭建基于 Kubernetes 的动态扩展的 TiDB 集群

TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。 基于Kubernetes环境搭建TiDB具有易部署易调整、弹性、高可用等特点，越来越多的客户采用这种方式进行研发测试环境的TiDB集群搭建。

基于 jenkins 打造 kubernetes on aws 上的 CI/CD 管道

本博客将会利用jenkins pipeline实现对于存储在Github上的代码在kubernetes平台之上的CI/CD管道，其中会以云原生的方式，将jenkins master，jenkins slave全部部署于kubernetes之上，从而打造一个高可用，弹性伸缩的CI/CD管道。此外，项目中还会涉及到kubernetes on AWS的特有特性，AWS上的镜像仓库（ECR）等知识的介绍。

利用 Amazon Elastic Inference 设置工具在几分钟内快速加载 EI 加速器

Elastic Inference使得您可以将低成本的以GPU为动力的计算加速附加到 Amazon EC2 和 Amazon SageMaker 实例，从而将运行深度学习推理的成本降低多达 75%。如果您是第一次使用 EI，必须设置若干依赖项：Amazon Web Services (AWS) PrivateLink VPC 终端节点、IAM 策略和安全组规则。您可以使用 EI 设置工具来加速这一过程，它能够在几分钟内创建所需的资源帮助您启动 EI 加速器，使您快速上手。本文阐述了如何使用脚本、脚本的功能以及运行脚本时的情况。

AWS IoT 助力工业零件检测

在本文中，我们讲述如何利用MQTT Broker将 检测设备产生的数据通过IoT导入云上的数据湖。AWS IoT core是一个托管的物联网服务，可以轻松支持数十亿台设备和数万亿条消息，并且可以对这些消息进行处理并将其安全可靠地路由至 AWS 终端节点和其他设备。

← Older posts
Newer posts →