亚马逊AWS官方博客

AWS Localization

Author: AWS Localization

Amazon EMR 5.24 中的 Apache Spark 性能升级 — 性能比 Amazon EMR 5.16 最高提升 13 倍 | AWS 大数据博客

Amazon EMR 发行版 5.24.0 包含了多项 Spark 优化,提升了查询性能。为了评估性能的提升,我们使用了 3TB 级的 TPC-DS 基准查询,在一个 6 节点 c4.8xlarge EMR 集群上运行,数据存储在 Amazon S3 中。我们观察到,在以类似的配置运行时,EMR 5.24 上的查询性能要比 EMR 5.16 高 13 倍。

使用 AWS IoT 服务进行资产状况监控

工业物联网 (IIoT) 为每个行业提供了一个无与伦比的机会来应对核心业务挑战,例如减少停机时间、提高安全性、增加系统输出、降低运营成本,以及创建创新服务和业务模型。在本篇博文中,我将向您展示如何使用 AWS IoT 服务构建资产状况监控解决方案,捕获物理资产中的数据,以便您了解其状态和性能并采取相应措施。

使用 AWS IoT Core 即时预配置

在之前的一篇有关设备证书即时注册的博文中,我们讨论了如何使用即时预配置 (JITR) 激活设备证书及如何在自动注册设备后立即将策略附加到证书中。JITR 可触发注册事件。您必须创建 AWS IoT Core 规则来侦听注册事件主题,并且当确定注册事件时,会在机载设备中执行您的 Lambda 代码。
在此博文中,我将向您展示如何使用新功能即时预配置 (JITP) 来预置资源。JITP 使您可以登记自己的设备,无需创建 AWS IoT Core 规则和 Lambda 函数。您需要将预置模板与 IAM 角色一起附加到 CA 证书中。JITP 将基于预置模板创建、更新和附加资源。该角色将被输入,以授予 AWS IoT 权限来调用代表您进行预置所需的 API。

使用 Amazon Kinesis Data Firehose 和 Amazon EMR 中的 Apache Spark 优化流式数据处理

对于大多数公司而言,处理不断增加的数据量并整合新数据源充满挑战。 通常,AWS 客户会收到来自各种连接设备和传感器的海量消息,这些消息必须先经过有效注入和处理,之后才能执行进一步分析。 通常 Amazon S3 是适合保存所有类型数据的地点。 但是,数据在 Amazon S3 中的存储方式会对后续数据处理的效率和成本产生重大影响。 具体而言,如果 Apache Spark 处理的是大量小文件而不是较少的大文件,则可能会因文件操作量大而承受巨大负担。 在这些文件中,用于打开每个文件、读取元数据信息和关闭文件都会占用几毫秒时间。大量文件操作占用的总时间较多,这会导致处理缓慢。这篇博文将介绍如何使用 Amazon Kinesis Data Firehose 将传送到 Amazon S3 的大量小消息合并为较大消息。 这样可以加快运行 EMR 服务 中运行的 Spark 的的处理速度

通过 Amazon EMR 重新配置动态修改集群

如果您是使用长期运行的 Amazon EMR 集群的开发人员或数据科学家,您将面临快速变化的工作负载。这些变化通常需要不同的应用程序配置才能在集群上以最佳方式运行。
通过重新配置功能,现在可以更改正在运行的 EMR 集群上的配置。从 EMR 版本 emr-5.21.0 开始,该功能允许您在不创建新集群或通过 SSH 手动连接到每个节点的情况下修改配置。

通过 IoT 设备模拟器、AWS IoT Analytics、Amazon QuickSight、Microsoft Power BI 和 Tableau 了解商业结果 | AWS 上的物联网

本博客探索了如何将 AWS IoT Analytics 作为一个主动迭代式和交互式的平台使用,从而快速建立 IoT 解决方案的原型以及进行开发、部署和监控。通过使用 IoT 设备模拟器,消除了设备遥测方面的硬件依赖,并且可以借助从 Amazon QuickSight 到 Microsoft Power BI 和 Tableau 等多种报告工具可视化显示商业结果。

通过 AWS IoT Device Defender 检测异常设备行为防止非法入侵 | AWS 上的物联网

对于企业而言,管理好联网设备的安全绝非易事。尽管已经采取各种安全措施,像 Gilfoyle 这样下定决心的黑客仍可能成功侵入您的联网设备。要及时采取行动,关键是要检测到已被攻破的设备。AWS IoT Device Defender 与在您的设备上运行的代理结合,可以让您发现异常的设备行为并采取必要的行动。