Tag: Amazon SageMaker

基于深度学习的图像分类的研究与应用已经进行的如火如荼，对大部分的业务场景来说，更是有着深刻的现实意义 – 基于图片的互联网分享社交应用，如何借助深度学习在第一时间对用户分享的图片进行实时监测，分类是一个比较典型的应用场景；又例如，电商运营可能希望对所有的产品照片按照产品属性进行自动化分类，减少人工分类的工作；另外，在工业生产线的良品率基于产品图片的自动筛检，以及辅助医疗领域对病理图片的分类等等场景都有着十分广泛的应用前景和实用价值。

今天,随着电子商务规模的不断扩大，商品种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关信息和产品的过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台，以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。区别于传统的规则推荐，个性化推荐算法通常使用机器学习甚至深度学习算法，对于用户信息与其行为信息充分挖掘，进而进行有效的推荐。

利用业内数据构建知识图谱是很多客户正在面临的问题，其中中文命名实体识别（Named Entity Recognition，简称NER）是构建知识图谱的一个重要环节。我们在与客户的交流中发现，现有的NER工具（比如Jiagu）对于特定领域的中文命名实体识别效果难以满足业务需求，而且这些工具很难使用自定义数据集训练。因此客户迫切想使用业内最先进的算法在行业内数据集上进行训练，以改进现有NER工具的不足。本文将介绍如何使用Amazon SageMaker运行基于TensorFlow的中文命名实体识别。

机器学习 (ML) 已经常态化应用于各个行业，但除了简单的预测场景之外，还有更为复杂的决策制定场景，为了支持长期的战略性目标，人们有时会选择，甚至必须作出非最优的短期决策。利用一种叫做强化学习 (RL) 的 ML 模型，可以学习如何优化策略，从而根据长期目标制定系列决策。

开发人员需要不断对机器学习 (ML) 模型进行反复训练，才能够持续优化模型预测效果。模型训练时间在数分钟至数小时不等，也可能会花费多天才能完成，具体时长根据数据集大小而定。ML 开发是一个复杂、成本高的迭代过程。使用低成本的方式开展计算密集型工作对 ML 开发来说至关重要，这也是实现规模化的关键因素。

此解决方案使用 Amazon SageMaker，它可以帮助开发人员和数据科学家构建、训练和部署 ML 模型。Amazon SageMaker 是一项完全托管的服务，涵盖了 ML 的整个工作流，可以标记和准备数据、选择算法、训练模型、调整和优化模型以便部署、预测和执行操作。
可以使用Amazon SageMaker Jupyter Notebook 端到端应用此解决方案。有关更多信息，请参阅 GitHub 存储库。

本博文将引导您完成构建数据管道所需的全部步骤—从使用 AWS Glue，为您在 Amazon S3 中的数据创建元数据爬取程序，进行数据发现与编目；到使用 Amazon Athena 检索表数据，以及通过 Amazon SageMaker Notebooks查询 Athena 表。

创建一个可靠、高效的机器学习推理服务需要做很多的投入。拿一个基于 XGBoost 模型的服务来说，开发人员需要创建一个完善的应用程序，例如通过 Flask 来加载模型，然后运行终端节点。创建这个应用程序，开发人员需要考虑队列管理、无故障部署以及重新加载新训练的模型等等事宜。应用开发好后被打包成容器镜像，然后推送到镜像仓库。Kubernetes 从镜像仓库拉取该镜像在集群上进行部署，部署好后才可以对外提供服务。这些步骤需要您的数据科学家从事与提高模型准确性无关的任务，或引进devops工程师来做这些工作。这些过程加到开发计划中，必然会需要更多的时间进行服务迭代。

TensorFlow 是广泛被用于开发大型深度神经网络 (DNN) 的开源机器学习 (ML) 库，此类 DNN 经常会在多个主机上使用多个 GPU进行分布式训练。Amazon SageMaker 是一项托管服务，能够简化 ML 的工作流程，包括集成了主动学习的数据标记、超参数优化、模型分布式训练、监控训练进展、部署模型并提供自动扩展的 RESTful 服务集群、以及对并发 的ML 多项实验进行集中式管理等。
本文将重点讨论如何使用 Amazon SageMaker 进行基于TensorFlow的分布式训练。

本博文介绍了 Amazon SageMaker 多模型终端节点，并演示了如何应用这项新功能通过 XGBoost 来预测各个细分市场的房屋价格。本博文演示了在多模型终端节点上同时部署10个模型，也演示了在 10 个独立的终端节点上分别部署 10 个模型，并对这两种使用情形进行了对比。如下图所示，前者相比后者每月节省了 3000 美金的成本。