本指南介绍如何根据社交媒体帖子、客户评论或其他简短内容获取见解,例如情绪、实体、位置和主题。通过随附的示例代码,您将获得一个作为信息提取系统的代码库。该系统使用大型语言模型(LLM)从各种社交媒体平台(包括 X、Facebook 和 Instagram)中提取信息,为您提供有关产品和服务的可行见解。
架构图
第 1 步
Amazon Elastic Container Service(Amazon ECS)任务在 AWS Fargate 管理的无服务器基础设施上运行,并维护与社交媒体的开放连接。
第 2 步
社交媒体访问令牌安全地存储在 AWS Systems Manager Parameter Store 中,容器映像托管在 Amazon Elastic Container Registry(Amazon ECR)上。
第 3 步
当新的社交媒体帖子到达时,它会被放入 Amazon Simple Queue Service(SQS)队列中。
第 4 步
该指南的逻辑驻留在 AWS Lambda 函数微服务中,由 AWS Step Functions 协调。
第 5 步
该帖子由 Amazon Bedrock 支持的大型语言模型(LLM)之一实时处理。
第 6 步
Amazon Location Service 将位置名称转换为坐标。
第 7 步
帖子和元数据(见解)被发送到 Amazon Simple Storage Service(Amazon S3)。
第 8 步
Amazon Athena 使用标准 SQL 查询已处理的推文。
第 9 步
Amazon Lookout for Metrics 会查找每个类别提及量的异常情况。当检测到异常时,Amazon Simple Notification Service(Amazon SNS)会向用户发送警报。
第 10 步
我们建议设置 Amazon QuickSight 控制面板,以便用户可以轻松可视化见解。
开始使用
Well-Architected 支柱
当您在云中构建系统时,AWS Well-Architected Framework 可以帮助您了解所做决策的利弊。框架的六大支柱使您能够学习设计和操作可靠、安全、高效、经济高效且可持续的系统的架构最佳实践。使用 AWS 管理控制台中免费提供的 AWS Well-Architected Tool,您可以通过回答每个支柱的一组问题,根据这些最佳实践来检查您的工作负载。
上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构,您应该遵循尽可能多的 Well-Architected 最佳实践。
-
卓越运营
Amazon CloudWatch 会记录文本处理工作流中执行的操作,从而高效地监控应用程序的状态。Amazon CloudFormation 可以实现部署的可重复性,如果部署失败,还可以回滚到稳定状态。此外,Amazon Bedrock 是一项托管服务,可通过简单的界面使用 LLM。这种监控、可重复部署和 AWS 托管 LLM 的使用组合可提供强大的自然语言处理功能,无需管理底层基础设施。
-
安全性
存储在 Amazon S3 中的数据使用 AWS Key Management Service(AWS KMS)密钥进行静态加密,并使用 AWS Identity and Access Management(IAM)来控制对数据的访问。具体而言,AWS KMS 可协助创建和管理用于安全加密存储在 Amazon S3 中的数据的加密密钥。IAM 则提供根据角色配置细粒度权限的功能,以实现对该数据的最低权限访问控制。
-
可靠性
数据存储在 Amazon S3 中,这是一种提供 99.999999999%(11 个 9)持久性的对象存储服务。LLM 使用 Amazon Bedrock 通过简单高效的 API 接口调用,该接口可以自动纵向扩展和缩减。Athena、QuickSight 和 AWS Glue 用于大规模查询和可视化数据,而无需配置基础设施。
-
性能效率
本指南旨在通过使用各种无服务器托管式 AWS 服务,让您的工作负载实现高性能效率,自动扩展资源以满足工作负载的需求,并为您提供无缝体验,让您能够从社交媒体平台获取见解。例如,Lambda 是一项无服务器计算服务,可根据需求自动纵向扩展和缩减,确保计算容量针对工作负载进行优化。使用 Amazon Bedrock,您可以从广泛的目录中调用 LLM,而无需配置和管理底层服务器。
-
成本优化
此架构使用 Lambda 来处理事件并启动批量转换分析,无需持续运行服务器。此外,AWS Glue 作业用于对批量用户数据(而不是单个记录)执行提取、转换、加载(ETL)。通过聚合数据并以更大的块进行处理,总体计算和存储要求降低,与单独处理每条记录相比,成本更低。最后,Amazon Bedrock 允许使用最适合您预算要求的 LLN,这样您就不会因使用功能更强大但可能过度配置的模型而产生不必要的费用。
-
可持续性
Lambda、AWS Glue、Athena 和 QuickSight 都是按需运行的无服务器服务,可根据当前工作负载调整资源使用。这有助于确保最大限度地提高性能和资源利用率,因为服务可以自动纵向扩展和缩减以满足必要需求。通过使用这些无服务器产品/服务,该架构可以高效利用必要的资源,避免计算、存储和其他基础设施组件过度预置或利用不足。
相关内容
使用 Twitter、Amazon SageMaker 和 Hugging Face 构建基于新闻的实时警报系统
免责声明
示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。