亚马逊AWS官方博客
Amazon SageMaker 地理空间功能现已正式发布,其中包含安全更新和更多用例示例
在 AWS re:Invent 2022 上,我们预览了 Amazon SageMaker 地理空间功能,该功能使数据科学家和机器学习 (ML) 工程师能够利用地理空间数据构建、训练和部署 ML 模型。使用 Amazon SageMaker 的地理空间 ML 支持访问现成的地理空间数据、专门构建的处理操作和开源库、预先训练的 ML 模型以及具有 Amazon SageMaker 地理空间功能的内置可视化工具。
在预览期间,客户对我们产生了浓厚的兴趣并提出了很多反馈。今天,Amazon SageMaker 地理空间功能正式上线,其中包含新的安全更新和更多示例用例。
使用 SageMaker Studio 的地理空间 ML 功能简介
首先,使用快速设置在美国西部(俄勒冈州)区域启动 Amazon SageMaker Studio。在 Studio 中创建新用户时,请确保使用默认版本 Jupyter Lab 3。现在,您可以在 SageMaker Studio 中导航到主页。然后,选择数据菜单并单击地理空间。
以下是 Amazon SageMaker 三项关键地理空间功能的概述:
- Earth Observation jobs(地球观测任务)— 使用专门构建的地理空间操作或预先训练的 ML 模型采集、转换和可视化卫星图像数据,做出预测并获得有用的见解。
- Vector Enrichment jobs(矢量充实任务)— 通过操作丰富您的数据,例如将地理坐标转换为可读地址。
- Map Visualization(地图可视化)— 可视化从 CSV、JSON 或 GeoJSON 文件上传的卫星图像或地图数据。
您可以在 SageMaker Studio 笔记本中创建所有地球观测任务 (EOJ),使用专门构建的地理空间操作来处理卫星数据。以下是 SageMaker Studio 笔记本支持的专用地理空间操作列表:
- Band Stacking(波段堆叠)— 组合多个光谱特性创建单个图像。
- Cloud Masking(云遮蔽)— 识别有云和无云像素,获得清晰准确的卫星图像。
- Cloud Removal(移除云)— 从卫星图像中移除包含部分云的像素。
- Geomosaic(地球合并)— 合并多张图像提高保真度。
- Land Cover Segmentation(土地覆被分割)— 识别卫星图像中的土地覆被类型,例如植被和水。
- Resampling(再次取样)— 将图像缩放到不同的分辨率。
- Spectral Index(光谱指数)— 获得表示感兴趣特征丰度的光谱波段组合。
- Temporal Statistics(时态统计)— 计算同一区域内多个 GeoTIFF 的时间统计数据。
- Zonal Statistics(分区统计)— 计算用户定义区域的统计数据。
矢量充实任务 (VEJ) 通过专门构建的反向地理编码和地图匹配操作丰富您的位置数据。虽然您需要使用 SageMaker Studio 笔记本来执行 VEJ,但您可以使用用户界面来查看创建的所有任务。要在笔记本中使用可视化内容,首先需要将输出导出到 Amazon S3 存储桶。
- Reverse Geocoding(反向地理编码)— 将坐标(纬度和经度)转换为人类可读地址。
- Map Matching(地图匹配)— 将不准确的 GPS 坐标与路段相匹配。
使用地图可视化,您可以可视化地理空间数据、EOJ 或 VEJ 任务的输入以及从 Amazon Simple Storage Service (Amazon S3) 导出的输出。
安全更新
在正式版本中,我们发布了两项主要的安全更新:用于客户管理的 AWS KMS 密钥支持的 AWS Key Management Service(AWS KMS) 和用于客户 Amazon VPC 环境中的地理空间操作的 Amazon Virtual Private Cloud (Amazon VPC)。
AWS KMS 客户管理的密钥使客户能够使用自己的密钥加密地理空间工作负载,从而提高了灵活性和控制力。
您可以使用 KmsKeyId
在 StartEarthObservationJob
和 StartVectorEnrichmentJob
中指定您自己的密钥作为可选参数。如果客户没有提供 KmsKeyId
,则将使用服务拥有的密钥来加密客户内容。要了解更多信息,请参阅 AWS 文档中的 SageMaker 地理空间功能 AWS KMS 支持。
使用 Amazon VPC,您可以完全控制您的网络环境,并可以更安全地连接到 AWS 上的地理空间工作负载。你可以在 Amazon VPC 环境中使用 SageMaker Studio 或 Notebook 进行 SageMaker 地理空间操作,也可以通过 SageMaker 地理空间操作中的接口 VPC 端点执行 SageMaker 地理空间 API 操作。
要开始使用 Amazon VPC 支持,请在 SageMaker Studio 域上配置 Amazon VPC,然后在 Amazon VPC 控制台的 VPC 中创建 SageMaker 地理空间 VPC 端点。选择 com.amazonaws.us-west-2.sagemaker-geospatial
作为服务名称,然后选择要在其中创建 VPC 端点的 VPC。
在 EOJ 和 VEJ 操作中用于输入或输出的所有 Amazon S3 资源都应启用互联网访问权限。如果您无法通过互联网直接访问这些 Amazon S3 资源,则可以通过更改相应的 S3 存储桶策略来授予 SageMaker 地理空间 VPC 端点 ID 访问权限。要了解更多信息,请参阅 AWS 文档中的 SageMaker 地理空间功能 Amazon VPC 支持。
地理空间 ML 的示例用例
各行各业的客户都将 Amazon SageMaker 地理空间功能应用于实际场景。
最大限度地提高收成产量和粮食安全
数字农业包括应用数字解决方案,通过使用高级分析和机器学习来帮助农民优化农业作物产量。数字农业应用需要处理地理空间数据,包括农民耕种区域的卫星图像。
您可以使用 SageMaker 通过预先训练的土地覆被分类模型来识别卫星图像中的农田边界。在 AWS 机器学习博客中了解 Xarvio 如何使用 Amazon SageMaker 地理空间功能加速处理用于数字农业的空间数据。你可以通过 GitHub 存储库找到端到端的数字农业示例笔记本。
损害评测
随着自然灾害的频率和严重程度增加,为决策者和急救人员提供快速准确的损害评测非常重要。您可以使用地理空间图像来预测自然灾害造成的损害,并在自然灾害发生后立即使用地理空间数据来快速识别其对建筑物、道路或其他关键基础设施的损害。
通过示例笔记本,您可以训练、部署和预测 2022 年 10 月中旬澳大利亚罗切斯特洪水造成的自然灾害损害。我们将灾害发生前后的图像作为输入,使用经过训练的 ML 模型进行处理。下图显示了罗切斯特洪水分割掩码的结果。在图中我们可以看到,该模型已将洪水淹没区域内的位置确定为可能受损的地点。
您可以通过 GitHub 存储库,使用多时态 Sentinel-2 卫星数据训练和部署地理空间分割模型来评测山火损害。本示例关注的地区位于加利福尼亚北部,是受 2021 年迪克西山火影响的区域。
监测气候变化
地球的气候变化增加了全球变暖导致的干旱风险。您可以以美国最大的水库米德湖为例,了解如何使用 SageMaker 地理空间功能采集数据、进行分析并直观显示变化,从而监测因气候变化导致的海岸线萎缩。
您可以在 GitHub 存储库中找到这个示例的笔记本代码。
预测零售需求
新的笔记本示例演示了如何使用 SageMaker 地理空间功能执行基于矢量的地图匹配操作并直观显示结果。地图匹配允许您将“嘈杂”的 GPS 坐标与路段相匹配。借助 Amazon SageMaker 的地理空间功能,可以执行 VEJ 以进行地图匹配。这种类型的任务将包含路径信息(例如 GPS 测量值的经度、纬度和时间戳)的 CSV 文件作为输入,并生成包含预测路线的 GeoJSON 文件。
支持可持续城市发展
我们的客户之一 Arup 采用机器学习等数字技术来探索高温对城市地区的影响以及影响当地温度的因素,以提供更好的城市设计并助力可持续的结果。城市热岛以及由此带来的风险和不适是当今城市面临的最大挑战之一。
Arup 使用 Amazon SageMaker 地理空间功能,利用地球观测数据来识别和测量城市热因子,极大地提高了他们为客户提供咨询的能力。该公司通过提供对更多数量、更多类型的数据的访问权限以及对更大型数据集进行分析的功能,使其工程团队能够执行以前无法进行的分析。要了解更多信息,请参阅 AWS 客户案例中的 Amazon SageMaker 与 Arup 一起促进可持续的城市设计。
现已推出
Amazon SageMaker 地理空间功能现已在美国西部(俄勒冈州)地区正式推出。作为 AWS Free Tier 的一部分,您可以免费开始使用 SageMaker 地理空间功能。Free Tier 持续 30 天,包括 10 小时的免费 ml.geospatial.interactive 计算、高达 10GB 的免费存储空间,不含每月 150 美元的用户费。
30 天免费试用期结束后,或者如果您超过了上述定义的 Free Tier 限制,则需要为定价页面上列出的组件付费。
要了解更多信息,请参阅 Amazon SageMaker 地理空间功能和开发人员指南。不妨尝试一下,并将反馈发送给 AWS re:Post for Amazon SageMaker 或通过常见的 AWS Support 联系人发送。
– Channy