通过光学字符识别(OCR)彻底改变文档处理方式
本指南演示了如何促进智能文档处理,以加快您的业务流程并降低与文档工作流相关的总体成本。该过程从将文档上传到存储桶开始,触发异步 Amazon Textract 检测作业。然后使用人工智能和机器学习(AI/ML)技术对提取的文本进行分类和扩充,并将结果存储在存储桶中。接下来执行自动验证和审查步骤,并在必要时通过 Amazon Augmented AI(A2I)进行人工审查。最后,经过验证的数据存储在完全托管的 NoSQL 数据库服务中,可随时供下游应用程序使用。
架构图
[架构图描述]
第 1 步
将文档上传到 Amazon Simple Storage Service(Amazon S3),后者将调用 AWS Lambda 函数。
第 2 步
Lambda 函数启动 Amazon Textract 异步检测任务。
第 3 步
Amazon Textract 向 Amazon Simple Notification Service(Amazon SNS)发送完成通知。Amazon SNS 主题将完成消息发送到 Amazon Simple Queue Service(Amazon SQS)队列。
第 4 步
Amazon SQS 队列调用 Lambda 函数来处理和读取 Amazon Textract 输出。
第 5 步
Lambda 函数使用包含文档文本以及如何对文档进行分类的说明的分类提示来调用 Amazon Bedrock。
第 6 步
Lambda 函数将原始光学字符识别(OCR)文本以及分类提示结果保存到 Amazon S3。
第 7 步
包含分类文档的 Amazon S3 存储桶调用 Lambda 函数,以根据分类处理文档内容。
第 8 步
Lambda 函数使用包含文档文本和如何扩充内容和规范化内容的说明的扩充提示来调用 Amazon Bedrock。
第 9 步
来自 Amazon Bedrock 的数据和任何丰富文档都保存在 Amazon S3 存储桶位置。
第 10 步
从 Amazon S3 存储桶调用 Lambda 函数。该函数使用预定义规则对数据进行审查和验证。它还会检查准确性分数,如果未达到阈值分数,则会发送该信息以进行人工审查。
第 11 步
人工完成审查并使用 Amazon Augmented AI(Amazon A2I)将相应信息更新到 Amazon S3 位置,后者使用 Lambda 函数启动另一项验证。
第 12 步
Lambda 函数将提取且经过验证的数据存储在 Amazon DynamoDB 表中。
第 13 步
Lambda 发送通知,告知所有规则均已正确验证,或者是否有任何信息需要进一步人工审核。
开始使用
Well-Architected 支柱
当您在云中构建系统时,AWS Well-Architected Framework 可以帮助您了解所做决策的利弊。框架的六大支柱使您能够学习设计和操作可靠、安全、高效、经济高效且可持续的系统的架构最佳实践。使用 AWS 管理控制台中免费提供的 AWS Well-Architected Tool,您可以通过回答每个支柱的一组问题,根据这些最佳实践来检查您的工作负载。
上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构,您应该遵循尽可能多的 Well-Architected 最佳实践。
-
卓越运营
智能文档处理架构可以使用基础设施即代码(IaC)方法进行全面部署。可以使用下面的 AWS Cloud Development Kit(CDK)配置无服务器基础设施组件,并通过低代码可视化工作流服务 AWS Step Functions 进行编排。这种自动化可以无缝集成到您的开发管道中,从而实现快速迭代和一致部署。本指南的可观测性通过使用 Amazon CloudWatch 日志实现,该日志可从所使用的 AWS AI 服务(例如 Amazon Textract 和 Amazon Comprehend)捕获遥测数据。
-
安全性
本指南中的 AI 服务支持静态数据和过渡数据的安全性。Amazon Textract、Amazon Comprehend 和 Amazon Comprehend Medical 支持使用 Amazon S3 存储桶和 AWS Key Management Service(AWS KMS)进行静态加密。 此外,Amazon Textract 还提供异步 API,Amazon Comprehend Medical 服务支持内存数据处理。
此外,智能文档处理可以通过无服务器后端进行编排,并使用 AWS Identity and Access Management(IAM)进行身份验证和安全验证。您还可以定义每个用户角色的访问控制分离。例如,您可以授予所有者对所有文档的完全访问权限,但允许操作员仅访问已去识别的文档。
最后,此架构包括使用 Amazon Comprehend 检测个人身份信息(PII)来准确对文档进行分类的功能。此外,当您想要检测受保护的健康信息(PHI)时,请使用 Amazon Comprehend Medical PHI 识别和编辑选项来扫描临床文本。
-
可靠性
智能文档处理架构使用 AWS 提供的托管区域 AI 服务。这些服务在所选 AWS 区域内的可靠性和可用性由 AWS 维护。托管 AI 服务的固有特性有助于确保对故障的恢复能力和高可用性。如果您选择使用 Amazon S3 作为可扩展数据存储,建议考虑启用 Amazon S3 跨区域复制。这项额外措施可以进一步提高可靠性,并且提供了灾难恢复选项。
-
性能效率
本指南的无服务器和事件驱动架构可提高效率,因为不会在未处理文档时浪费资源。它可以增加 AI 服务和 Lambda 的调用率,从而在特定区域扩展以满足大规模文档处理的要求。您还可以使用 Amazon SNS 和 Amazon SQS 设计无服务器解耦架构,以并发处理多个文档。最后,可以根据您的特定要求,将智能文档处理配置为实时运行,提供秒级响应速度,也可以将其配置为异步模式。
-
成本优化
智能文档处理通过使用无服务器、事件驱动型架构来最大限度地降低成本,您只需为文档处理期间消耗的时间和资源付费。除了利用预定义的实体提取功能外,Amazon Comprehend 还提供训练自定义模型的选项。对于紧急的实时文档处理要求,可将 Amazon Comprehend 资源端点用于自定义模型。但是,如果您的使用案例可以适应异步或批处理,则建议对 Amazon Comprehend 自定义模型使用异步作业,以优化成本。
-
可持续性
通过广泛使用托管服务和动态扩展功能,可以最大程度地降低支持本指南的后端基础设施对环境的影响。AWS 托管服务可处理底层计算、存储和联网资源的预置、扩展和维护,从而减轻您和您的团队的运营开销。此外,托管服务和无服务器架构固有的动态扩展功能有助于确保仅在需要处理传入工作负载时才配置和使用资源,从而防止过度预置并优化支持本指南的后端服务的环境足迹。
相关内容
Intelligent document processing with AWS AI services: Part 1
免责声明
示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。
本指南中提及第三方服务或组织并不意味着 Amazon 或 AWS 与第三方之间存在认可、赞助或从属关系。AWS 的指南是一个技术起点,您可以在部署架构时自定义与第三方服务的集成。