亚马逊AWS官方博客
REA Group 如何利用 Amazon Rekognition 实现自动化图像合规审查
Amazon Rekognition是一项基于机器学习(ML)技术的图像与视觉分析服务,可帮助用户识别图像及视频中的对象、人物、文本、场景及活动,并同步检测出是否存在不当内容。Amazon Rekognition文本检测功能则能够从图像及视频中识别并提取出文本内容。例如,在图像共享与社交媒体应用中,我们可以使用图像内文本所包含的关键字实现图像索引以及可视化搜索。在媒体与娱乐类应用中,大家还可以根据屏幕上的文本,例如广告、新闻、体育赛事比分以及字幕等等,对视频内容进行分类。
以下截屏,展示了一个提取图像内文本的具体示例。
在本文中,我们将展示REA Group如何通过使用Amazon Rekognition Text in Image功能的DetectText API,为其房地产列表建立起自动化图像合规审查解决方案。
REA Group简介
REA Group是一家专门面向房地产与实业资产的跨国数字广告公司。该公司已经拥有20多年市场发展历史,业务遍布澳大利亚、马来西亚、香港、泰国、印度尼西亚、新加坡以及中国。REA Group在亚洲的业务包括多个领先门户网站品牌,如iproperty.com.my、squarefoot.com.hk、thinkofliving.com,同时在新加坡与印度尼西亚持有99 Group的大量股份。REA Group还在印度持有Move, Inc与PropTiger公司的可观股份。他们主要为消费者提供房地产购买、出售与租赁服务,同时发布各类房产新闻、装修技巧以及生活方式层面的内容。每一天,都有数百万消费者访问REA Group网站。
图像合规难题
REA Group提供基于搜索的门户网站,房地产销售商通过该门户上传在售的房地产图片,从而向消费者提供广泛的可搜索选择。但REA Group发现,经销商上传的图像往往不符合使用条款要求。其中部分图片包含商标或联系方式,这可能导致潜在的客户流失问题。为此,他们曾建立起专门的审核小组,以人工方式处理图像中的不当内容。但由于每日图像上传量过大,增加的审核过程往往令房产资料的发布时间延后达数天之久。
图像合规解决方案
为此,REA团队开发出一套图像合规性系统,可自动检测图像中存在的各类不合规情况并及时通知卖方。最初,他们在Amazon Elastic Compute Cloud(Amazon EC2)上训练了自己的ML模型,检测商标与联系方式。但这套模型出现大量误报,特别是在联系方式细节检测方面表现不佳。为了进一步提高模型的准确率,他们需要在模型训练与优化方面投入大量精力。为了满足项目目标并以及时间要求,该团队需要一套易于实施的解决方案,为业务提供必要的准确率支持。
考虑到这一目标,他们决定扩展现有ML模型,并在工作流程中引入Amazon Rekognition Text in Image,以此提高检测准确率并减少误报。他们还添加了更多业务规则,分解到自研模型和Amazon Rekognition的各种预测,从而实现决策自动化。
为了进一步优化推理基础设施的运营成本,REA团队还采用一个基于事件驱动的架构来管理商标和联系方式检测模型中的推理引擎,这是利用AWS Lambda来实现的。这种方式不仅提高了其基础设施资源的使用效率,也在满足业务目标的同时显著节约了运营成本。
具体工作原理
这套解决方案以无服务器栈为基础,如下图所示。其中图像上传经Amazon API Gateway到面向Amazon Simple Storage Service(Amazon S3)的上传API,上传事件会触发以Lambda函数实现的工作流,运行一系列用于自动决策的机器学习模型和业务规则。
整个事件驱动工作流如下所示:
- 卖方通过API Gateway向门户网站提交带有图像的房产列表。
- 图像被上传至Amazon S3,继而触发Amazon S3事件。
- 包含Amazon S3对象相关元数据的事件,被进一步发布至分布式队列Amazon Simple Queue Service(Amazon SQS)当中。
- 将Amazon SQS与Lambda相集成,Lambda会轮询该队列直到发现新的可用事件调用Lambda函数。随着发送至Amazon SQS事件的持续增加,Lambda还会自动调用更多函数来应对。
- 当函数被调用时,函数内的图像审核业务逻辑将被执行,并通过商标及联系信息模型与Amazon Rekognition共同推理图像是否存在违规。
- 将模型输出组合起来,即可根据业务规则完成进一步处理,决定后续操作——通知代理、转发至审核人员团队以进行检查或自动批准。
业务结果
数据科学与工程负责人Mohammad Alauddin表示,“随着业务的增长,提升效率已经成为影响我们扩展规模的重要因素。我们的团队也开始集思广益,思考如何在更好地服务于客户的同时,保持团队的高效率。通过AWS Lambda与Amazon Rekognition在AWS应用机器学习,我们增加了平台上高质量合规列表的数量,同时减少了列表的审核时间与成本。此外,我们不仅在规定的时间表内完成项目,并将误报数量减少了超过56%。”
总结
大家可以在Amazon Rekognition控制台上,根据你的业务要求测试Amazon Rekognition的图像文本识别效果。关于Amazon Rekognition文本检测API的更多详细信息,请参阅Amazon Rekognition说明文档。