AWS 上的 Pinterest
Pinterest 是一个视觉发现引擎,托管着数十亿张图像,供超过 4.5 亿用户浏览、保存并作为“Pin 图”分享到个性化的数字灵感板。Pinterest 创办伊始就采用了 Amazon Web Services(AWS)云,借助其来扩展自身对快速增长的数据的处理、存储和分析,同时减少基础设施管理并专注于创新。Pinterest 利用 AWS 的计算解决方案,将其 iOS 持续集成和持续交付(CI/CD)管道移离本地,从而将构建失败率降低了 80% 以上。Pinterest 还将机器学习(ML)引入到其视觉搜索工具 Pinterest Lens 中,该工具可以识别超过 25 亿个对象,并将其与产品进行匹配。如今,Pinterest 的 EB 级数据平台完全在 AWS 上运行,将日志搜索和分析容量扩展到了 1.7 TB 以上,同时将运营成本降低了 30%。
-
Pinterest re:Invent 2023 回顾
-
存储
-
数据解决方案
-
机器学习
-
迁移
-
成本优化
-
安全性
-
可持续性
-
Pinterest re:Invent 2023 回顾
-
2023 年
AWS Graviton:为您的 AWS 工作负载提供最佳性价比
基于 AWS Graviton 的 Amazon EC2 实例可以为 Amazon EC2 中的工作负载提供最佳性价比。在本次会议中,探索 AWS Graviton 处理器并查看工作负载性能、AWS 客户成功案例、能源效率和软件产品。了解优化 AWS Graviton 上各种应用程序工作负载的最佳实践,以及如何开始您的 AWS Graviton 之旅。
2023 年在 AWS 深度学习 AMI 和 PyTorch 上进行大型模型训练,嘉宾为Pinterest
加入此会议,深入了解 Pinterest 用于训练大型模型的基础设施。内容涵盖训练硬件、计算编排和 ML 应用程序开发 SDK,以及基础设施选择如何加速开发和提高模型训练效率。了解 Pinterest 如何集成 AWS 服务(例如 Amazon EC2 UltraClusters 和 AWS Deep Learning AMI)来降低 ML 基础设施的总拥有成本。
2023 年Pinterest 通过生成式人工智能扩展现有的数据湖
Pinterest 是一个视觉灵感平台,人们可以在这里搜索、保存和购买来自全世界的优秀创意。聆听 Pinterest 数据工程副总裁 Dave Burgess 介绍他们的 EB 级数据湖以及他们如何将这些数据与生成式人工智能结合使用。
-
存储
-
2024 年
Amazon EKS 联网上的 Spark — 第 1 部分
在这篇文章中,我们向您介绍了 Pinterest 和 AWS 如何收集需求并形成网络设计项目原则,以支持大规模的实际部署。该流程对于定义问题范围、建立操作边界、与利益相关者协调要求以及建立跨团队合作以实现目标的流程至关重要。
2024 年Amazon EKS 联网上的 Spark — 第 2 部分
在这篇文章中,我们向您介绍了一种迭代和协作的方法,它不仅为 Pinterest 的新数据平台奠定了坚实的基础,也为 Pinterest 云端的未来奠定了坚实的基础。这是一个时间点,这种设计对我们很有帮助,但我们可以,而且将会根据新技术、不同工作负载和新规模而进行迭代。
2023 年解决 Pinterest 的科技债务和关键数据备份
了解 Pinterest 的技术主管兼工程经理 Ambud Sharma 如何发掘自己对技术的热情,以及他对分销商系统的研究最终如何引导他从头开始构建这类系统。Ambud 还解释了 Pinterest 如何以 Amazon Simple Storage Service(Amazon S3)为根基来推进部分工作,称 Amazon S3 对他们正在开展的工作带来了变革性的影响。
2022 年与我一起构建 — Pinterest 与 AWS 强强联合
了解 Pinterest 的技术主管兼工程经理 Ambud Sharma 如何发掘自己对技术的热情,以及他对分销商系统的研究最终如何引导他从头开始构建这类系统。Ambud 还解释了 Pinterest 如何以 Amazon Simple Storage Service(Amazon S3)为根基来推进部分工作,称 Amazon S3 对他们正在开展的工作带来了变革性的影响。
2022 年Pinterest 如何利用 AWS 创建系统以加快开发速度
为了在部署分析工具时为用户赋能,Pinterest 确定这些用户应该拥有访问数据的权限。Pinterest 使用 Amazon S3 和 AWS Identity and Access Management(IAM)构建了一个细颗粒访问控制系统,以确保内部用户拥有正确的用户权限,从而加快产品开发速度。
2021 年Pinterest 如何与 AWS 携手合作,另辟蹊径来管理数据访问权限
由于平台上有成千上万的工程师和开发人员,Pinterest 需要限制对特定用户和流程的数据访问权限,因此求助 AWS 来构建解决方案。了解 Pinterest 如何与 AWS 携手合作,基于 Amazon S3 开发可扩展且安全的细颗粒访问控制(FGAC)系统来保护 Pinterest 的数据,以及 FGAC 如何帮助 Pinterest 扩大代表性不足的创作者的规模。
2021 年Pinterest 如何利用 Amazon S3 Glacier Deep Archive 管理其视觉发现引擎的存储
作为大规模采用 Amazon S3 的企业,Pinterest 在多个 AWS 区域共存储了数十亿个对象和近 1 EB 的数据。了解 Pinterest 如何利用 Amazon S3 Lifecycle 将数据分配给最优的 Amazon S3 存储类分配,从而实现大规模成本目标并最大限度地提高存储效率。
2021 年从 Pinterest 和 AWS 的合作中总结出的有效创新合作技巧
Pinterest 工程经理 Keith Regier 和 AWS 高级解决方案架构师 Doug Youd 分享了他们从共同构建 Pinterest FGAC 系统的经验中,总结出的六个合作技巧。探索切实可行的见解,包括如何明确定义问题、为什么即使是“坏主意”也可能有用,以及 AWS 可以做些什么来帮助像 Pinterest 这样的客户开发解决方案,以应对严峻的技术挑战。
作为视觉驱动的平台,Pinterest 在很大程度上依赖于图像的速度和质量。但是,这些图像背后的文字同样重要,因为它提供了背景信息,并让 Pin 图能够为我们的 2 亿活跃“Pin 图用户”所用。 利用 Amazon Rekognition 图像文本识别功能,我们可以更好地从存储在 Amazon S3 中的数百万张 Pin 图中,大规模、低延迟地提取在图像中捕获的富文本。
Vanja Josifovski
Pinterest 首席技术官
-
数据解决方案
-
2022 年
Pinterest 如何与 AWS Proserve 合作以确保 Pin 图用户能够随时访问其平台
由于数据量十分庞大且增长迅速,Pinterest 明确了建立灾难恢复计划的必要性。由于现有解决方案已在 AWS 上运行,Pinterest 引入 AWS Professional Services 并在这些解决方案的基础上进行构建。他们获取了近 1 EB 的数据,然后对其进行版本控制并在区域内分发。
-
机器学习
-
2022 年
Pinterest Lens 帮助用户寻找并买到完美的产品
Pinterest 基于 AWS 存储和计算解决方案,为其应用程序 Lens 相机功能背后的机器学习引擎提供动力,该功能每月会进行数亿次的视觉搜索。了解如何将 Lens 用作数字购物助手,帮助用户在几分钟内找到并购买商品。
Pinterest 持续投资开发机器学习系统,以检测视觉搜索和审核用例中的对象。为此,我们需要标注数百万张图像,以生成所需的训练数据集。Pinterest 现在拥有一个标注平台,该平台集成了 Amazon 的服务,例如 Amazon Mechanical Turk。我们非常兴奋,努力探索了可以如何借助 SageMaker Ground Truth 来扩展这个平台,支持边界框标注任务。我们发现 SageMaker Ground Truth 提供了一个简单、简化的界面来启动标注作业。”
Veronica Mapes
Pinterest 技术项目经理
2018 年深入了解 Amazon Rekognition 如何为 Pinterest 助力
了解 Pinterest 如何利用 Amazon Rekognition 轻松向应用程序添加智能图像和视频分析功能,以实现手工流程自动化、增强创造力并提供更加个性化的客户体验。
-
迁移
-
2021 年
Pinterest 使用 Amazon EC2 Mac 实例将 iOS 构建管道的可靠性提高了 80.5%
在本案例研究中,了解 Pinterest 如何将 iOS 应用程序的持续集成和持续交付(CI/CD)管道从本地计算机迁移到 Amazon Elastic Compute Cloud(Amazon EC2)Mac 实例。在 AWS 上,Pinterest 开发人员现在可以在云端无缝配置对 macOS 计算环境的访问权限,从而将与计算机相关的构建失败率降低 80.5%,并将开发速度提高 18.4%。
-
成本优化
-
2023 年
Pinterest 利用 AWS 实施经济高效的策略
了解 Pinterest 如何应对与可用性和成本效益相关的计算占用空间方面的挑战。Pinterest 基础设施治理技术项目经理 Molly Junck 分享了与 Amazon Web Services(AWS)客户团队的密切合作如何帮助 Pinterest 学习满足其在成长和扩展过程中不断变化的技术需求。
2020 年Pinterest 将每日日志搜索和分析容量从 500 GB 扩展到 1.7 TB,将 Amazon OpenSearch Service 的成本降低了 30%
了解 Pinterest 如何将其日志和搜索分析工作负载从自管理和第三方 Elasticsearch 工具迁移到 Amazon OpenSearch Service。迁移之后,Pinterest 短短 1 年内就将其每日数据摄取容量从 500 GB 扩展到 1.7 TB,同时将运营成本降低了 30%、增强了数据安全性,并提高了工程师的工作效率。
-
安全性
-
2024 年
使用 Istio 在 Amazon EKS 上实现零信任安全
在本文中,我们介绍了 Istio 的安全机制,该机制使我们能够在 Amazon EKS 上实施真正的零信任安全架构。除了请求身份验证、对等身份验证和入口安全的内置安全功能之外,我们还学习了如何利用 Keycloak 和 OPA 等附加工具。
2022 年Pinterest 如何与 AWS Proserve 合作以确保 Pin 图用户能够随时访问其平台
Pinterest 如何与 AWS Proserve 合作以确保 Pin 图用户能够随时访问其平台。
2022 年通过 STS 令牌售卖实现可扩展的访问控制
在这段视频中,Pinterest 工程经理 Keith Regier 介绍了一款可扩展的访问控制解决方案,该产品适用于需要访问 Amazon S3 中的数据的 Amazon EC2 实例集群。了解 Pinterest 如何利用 AWS Secure Token Service(STS)构建令牌售卖服务,帮助将其内部用户和身份验证概念与托管策略和 AWS Identity and Access Management(IAM)联系起来。
在 Pinterest,我们使用 Amazon Elastic Container Registry(Amazon ECR)来管理 Docker 容器映像。我们使用 Amazon ECR 的映像扫描功能来增强容器映像的安全性。Amazon ECR 会扫描映像以查找各种操作系统漏洞,帮助我们构建工具来根据结果采取行动。”
Cedric Staub
Pinterest 工程经理
-
可持续性
-
2023 年
Pinterest 和 AWS Graviton:更高的性能和更少的碳足迹
Pinterest 激发数百万 Pinners 的灵感,助力他们打造理想生活。为此,Pinterest 致力于向 Pinners 提供最新的创新体验,同时更加积极地承担可持续发展的责任。通过采用 AWS Graviton,Pinterest 能够以更少的资源做更多的事情。Pinterest 基于 AWS 构建,因此可以灵活地使用最新技术,获得卓越顶尖团队的支持,并且无所畏惧地应对任何挑战。
2024 年通过基于 AWS Graviton 的 Pinterest 实例提高可持续性和性价比
了解 Pinterest 如何使用基于 AWS Graviton 的实例来提高基础设施成本效益和环境可持续性。
2022 年可持续性和 AWS 硅芯片
了解可持续性如何融入到 Pinterest 的 AWS 架构决策,以及 AWS 如何在芯片设计方面继续创新,以实现 Amazon 到 2040 年实现净零碳排放的目标。
关于 Pinterest
Pinterest 是一个视觉发现平台和社交商务网络,以激发灵感为使命。Pinterest 基于 AWS 存储和计算解决方案,使用复杂的机器学习引擎为其用户提供个性化内容。