Pinterest sur AWS
Pinterest est un moteur de découverte visuelle qui héberge des milliards d’images que plus de 450 millions d’utilisateurs peuvent explorer, enregistrer et partager sous forme d’épingles sur des tableaux d’inspiration numériques personnalisés. Né dans le cloud Amazon Web Services (AWS), Pinterest peut faire évoluer le traitement, le stockage et l’analyse de ses données en croissance rapide, tout en réduisant la gestion de l’infrastructure et en mettant l’accent sur l’innovation. À l’aide des solutions informatiques d’AWS, Pinterest a migré son pipeline d’intégration et de diffusion continues (CI/CD) iOS depuis ses installations sur site afin de réduire les échecs de compilation de plus de 80 %. Pinterest utilise également le machine learning (ML) pour alimenter son outil de recherche visuelle Pinterest Lens, capable de reconnaître plus de 2,5 milliards d’objets et de les associer à des produits. Aujourd’hui, la plateforme de données exaoctets de Pinterest fonctionne entièrement sur AWS, ce qui permet d’étendre la recherche et l’analytique des journaux à plus de 1,7 To tout en réduisant les coûts d’exploitation de 30 %.
-
Récapitulatif de Pinterest re:Invent 2023
-
Stockage
-
Solutions de données
-
Machine Learning
-
Migration
-
Optimisation des coûts
-
Sécurité
-
Développement durable
-
Récapitulatif de Pinterest re:Invent 2023
-
2023
AWS Graviton : le meilleur rapport prix/performance pour vos charges de travail AWS
AWS Graviton – Les instances Amazon EC2 offrent le meilleur rapport prix/performance pour les charges de travail dans Amazon EC2. Au cours de cette session, découvrez le processeur AWS Graviton et passez en revue les performances de la charge de travail, les témoignages de clients AWS, l'efficacité énergétique et les offres logicielles. Découvrez les meilleures pratiques pour optimiser les charges de travail sur AWS Graviton dans diverses applications et comment vous pouvez démarrer votre transition avec AWS Graviton.
2023Modèle de formation à grande échelle sur les AMI AWS Deep Learning et PyTorch, ft. Pinterest
Participez à cette session pour découvrir en profondeur l'infrastructure utilisée pour former de grands mannequins sur Pinterest. Il couvre le matériel de formation, l'orchestration des calculs et les SDK de développement d'applications de machine learning, ainsi que la manière dont les choix d'infrastructure accélèrent le développement et améliorent l'efficacité de la formation des modèles. Découvrez comment Pinterest intègre les services AWS tels qu'Amazon EC2 UltraClusters et les AMI AWS Deep Learning afin de réduire le coût total de possession de l'infrastructure ML.
2023Pinterest étend son lac de données existant grâce à l'IA générative
Pinterest est la plateforme d'inspiration visuelle qui permet aux internautes de rechercher, d'enregistrer et d'acheter les meilleures idées du monde. Écoutez Dave Burgess, vice-président de l'ingénierie des données chez Pinterest, parler de leur lac de données à l'échelle de l'exaoctet et de la manière dont ils exploitent ces données avec l'IA générative.
-
Stockage
-
2024
Spark sur la mise en réseau Amazon EKS — Partie 1
Dans cet article, nous vous expliquons comment Pinterest et AWS ont collecté les exigences et défini les principes d'un projet de conception réseau destiné à prendre en charge des déploiements à grande échelle dans le monde réel. Le processus a été essentiel pour définir l'ampleur du problème, établir les limites dans lesquelles opérer, s'aligner sur les exigences avec les parties prenantes et établir un processus de collaboration entre les équipes pour atteindre nos objectifs.
2024Spark sur le réseau Amazon EKS — Partie 2
Dans cet article, nous vous présentons une approche itérative et collaborative qui constitue une base solide pour la nouvelle plateforme de données de Pinterest, mais également pour l'avenir de Pinterest sur le cloud. C'est un moment, et cette conception nous est très utile, mais nous pouvons et allons l'itérer avec de nouvelles technologies, des charges de travail différentes et une nouvelle échelle.
2023Aborder la dette technologique et sauvegarder des données critiques sur Pinterest
Découvrez comment Ambud Sharma, responsable technique et responsable de l’ingénierie chez Pinterest, a découvert sa passion pour la technologie et comment ses recherches sur les systèmes de distribution l’ont finalement amené à les développer à partir de zéro. Ambud explique également comment Amazon Simple Storage Service (Amazon S3) a joué un rôle fondamental dans certains travaux de Pinterest, le décrivant comme un outil qui a changé la donne dans le cadre de ses activités en cours.
2022Créez avec moi – Pinterest et AWS
Découvrez comment Ambud Sharma, responsable technique et responsable de l’ingénierie chez Pinterest, a découvert sa passion pour la technologie et comment ses recherches sur les systèmes de distribution l’ont finalement amené à les développer à partir de zéro. Ambud explique également comment Amazon Simple Storage Service (Amazon S3) a joué un rôle fondamental dans certains travaux de Pinterest, le décrivant comme un outil qui a changé la donne dans le cadre de ses activités en cours.
2022Comment Pinterest utilise AWS pour créer un système permettant d’accélérer les temps de développement
Afin de permettre à ses utilisateurs de déployer des outils d’analytique, Pinterest a déterminé que ces utilisateurs devaient être autorisés à accéder aux données. Pinterest a utilisé Amazon S3 et AWS Identity and Access Management (IAM) pour créer un système de contrôle d’accès précis afin de garantir que les autorisations utilisateur appropriées étaient en place, ce qui a permis de réduire le temps de développement des utilisateurs internes.
2021Comment Pinterest a collaboré avec AWS pour créer une nouvelle méthode de gestion de l’accès aux données
Alors que des milliers d’ingénieurs et de développeurs travaillaient sur sa plateforme, Pinterest devait restreindre l’accès aux données à des utilisateurs et à des processus spécifiques, et s’est tourné vers AWS pour l’aider à créer une solution. Découvrez la collaboration entre Pinterest et AWS pour développer le système évolutif et sécurisé Fine Grain Access Control (FGAC) pour les données de Pinterest sur Amazon S3 et comment FGAC aide Pinterest à amplifier les créateurs sous-représentés.
2021Comment Pinterest utilise Amazon S3 Glacier Deep Archive pour gérer le stockage de son moteur de découverte visuelle
En tant qu’utilisateur à grande échelle d’Amazon S3, Pinterest stocke des milliards d’objets et près d’un exaoctet de données dans plusieurs Régions AWS. Découvrez comment Pinterest utilise Amazon S3 Lifecycle pour attribuer les données aux classes de stockage Amazon S3 optimales, permettant ainsi d’atteindre les objectifs de coûts à grande échelle et de maximiser l’efficacité du stockage.
2021Conseils de Pinterest et AWS pour une collaboration efficace en matière d’innovation
Keith Regier, responsable de l’ingénierie de Pinterest, et Doug Youd, architecte solutions senior chez AWS, partagent six conseils de collaboration tirés de leur expérience pour créer le système FGAC de Pinterest. Découvrez des informations exploitables, notamment comment définir clairement un problème, pourquoi même les « mauvaises » idées peuvent être utiles et ce qu’AWS peut faire pour aider des clients tels que Pinterest à développer des solutions pour relever des défis techniques complexes.
Lisez le blog consacré aux conseils en matière d’innovation »
En tant que plateforme axée sur le visuel, Pinterest mise beaucoup sur la rapidité et la qualité des images. Mais le texte qui sous-tend ces images est tout aussi important, car il fournit un contexte et permet aux Épingles d’être exploitables pour nos 200 millions de « Pinners » (utilisateurs de Pinterest) actifs. En intégrant la fonctionnalité Amazon Rekognition Text in Image, nous parvenons à mieux extraire le texte enrichi capturé dans les images à grande échelle, et ce, avec une faible latence pour les millions d’épingles stockées dans Amazon S3. »
Vanja Josifovski
Chief Technology Officer, Pinterest
-
Solutions de données
-
2022
Comment Pinterest s’est associé à AWS Proserve pour garantir aux utilisateurs de Pinterest un accès permanent à sa plateforme
En pleine croissance avec de grandes quantités de données, Pinterest a identifié la nécessité d’établir un plan de reprise après sinistre. Les solutions existantes étant déjà présentes sur AWS, Pinterest a fait appel à AWS Professional Services pour exploiter ces solutions et récupérer près d’un exaoctet de données, les versionner et les distribuer au niveau régional.
-
Machine Learning
-
2022
Pinterest Lens aide les utilisateurs à trouver et à acheter l’article parfait
Pinterest s’appuie sur les solutions de stockage et de calcul d’AWS pour alimenter les moteurs de ML qui sous-tendent la fonctionnalité de caméra Lens de son application, qui est utilisée pour effectuer des centaines de millions de recherches visuelles chaque mois. Découvrez comment Lens peut être utilisé en tant que concierge numérique pour aider les utilisateurs à trouver et à acheter des articles en quelques minutes.
Pinterest développe en permanence des systèmes de machine learning pour détecter des objets à des fins de recherche visuelle et de modération. Pour ce faire, nous devons étiqueter des millions d’images afin de générer les jeux de données d’entraînement requis. Pinterest possède déjà une plateforme d’étiquetage disposant de services Amazon intégrés tels qu’Amazon Mechanical Turk. Nous étions ravis d’explorer l’utilisation de SageMaker Ground Truth pour étendre cette plateforme afin de prendre en charge les tâches d’étiquetage des zones de délimitation. Nous avons découvert que SageMaker Ground Truth fournit une interface simple et rationalisée pour démarrer les tâches d’étiquetage. »
Veronica Mapes
Technical Program Manager, Pinterest
2018Découvrez en profondeur Amazon Rekognition, avec Pinterest
Découvrez comment Pinterest peut facilement ajouter une analyse intelligente des images et des vidéos aux applications à l’aide d’Amazon Rekognition afin d’automatiser les flux de travail manuels, de renforcer la créativité et de proposer des expériences client plus personnalisées.
-
Migration
-
2021
Pinterest améliore de 80,5 % la fiabilité de son pipeline de développement iOS en utilisant des instances Mac Amazon EC2
Dans cette étude de cas, découvrez comment Pinterest a migré son pipeline d’intégration et de diffusion continues (CI/CD) pour les applications iOS depuis des ordinateurs locaux vers des instances Mac Amazon Elastic Compute Cloud (Amazon EC2). Sur AWS, les développeurs de Pinterest peuvent désormais facilement fournir l’accès aux environnements informatiques macOS dans le cloud, réduisant ainsi les échecs de compilation liés aux machines de 80,5 % et améliorant les vitesses de développement de 18,4 %.
-
Optimisation des coûts
-
2023
Pinterest met en œuvre une stratégie rentable en s'appuyant sur AWS
Découvrez comment Pinterest relève les défis liés à son empreinte informatique en termes de disponibilité et de rentabilité. Molly Junck, responsable du programme technique de gouvernance de l'infrastructure chez Pinterest, explique comment le fait de travailler en étroite collaboration avec l'équipe chargée des comptes Amazon Web Services (AWS) a permis à Pinterest d'apprendre à répondre à l'évolution de ses besoins technologiques au fur et à mesure de sa croissance.
2020Pinterest fait passer la capacité de recherche et d’analytique des journaux quotidiens de 500 Go à 1,7 To et réduit les coûts de 30 % sur Amazon OpenSearch Service
Découvrez comment Pinterest a migré ses charges de travail d’analytique de journaux et de recherches depuis des outils Elasticsearch tiers et autogérés vers Amazon OpenSearch Service. À la suite de la migration, Pinterest a augmenté ses capacités d’ingestion de données quotidiennes de 500 Go à 1,7 To en un an seulement, tout en réduisant les coûts opérationnels de 30 %, en améliorant la sécurité des données et en augmentant la productivité des ingénieurs.
-
Sécurité
-
2024
Atteindre la sécurité Zero Trust sur Amazon EKS avec Istio
Dans cet article, nous abordons les mécanismes de sécurité d'Istio, qui nous permettent de mettre en œuvre une véritable architecture de sécurité Zero Trust sur Amazon EKS. Outre les fonctionnalités de sécurité intégrées pour l'authentification des demandes, l'authentification par les pairs et la sécurité des entrées, nous avons appris à tirer parti d'outils complémentaires tels que Keycloak et OPA.
2022Comment Pinterest a collaboré avec AWS Proserve pour garantir aux utilisateurs de Pinterest un accès permanent à leur plateforme
Comment Pinterest s'est engagé avec AWS Proserve pour garantir aux utilisateurs de Pinterest un accès permanent à leur plateforme.
2022Contrôle d’accès évolutif avec STS Token Vending
Dans cette vidéo, Keith Regier, responsable de l’ingénierie chez Pinterest, parle de la solution de contrôle d’accès évolutive pour les clusters d’instances Amazon EC2 qui ont besoin d’accéder aux données d’Amazon S3. Découvrez comment Pinterest a créé un service de distribution automatique de jetons à l’aide d’AWS Secure Token Service (STS), qui permet de relier son concept interne d’utilisateurs et d’authentification aux politiques gérées et à AWS Identity and Access Management (IAM).
Chez Pinterest, nous utilisons Amazon Elastic Container Registry (Amazon ECR) pour gérer nos images de conteneurs Docker. Nous utilisons la fonction de scanner de vulnérabilité d’images Amazon ECR pour nous aider à améliorer la sécurité de nos images de conteneurs. Amazon ECR scanne les images à la recherche d’un large éventail de vulnérabilités du système d’exploitation et nous permet de créer des outils pour les corriger. »
Cédric Staub
Engineering Manager, Pinterest
-
Développement durable
-
2023
Pinterest et AWS Graviton : des performances accrues et une empreinte carbone réduite
Pinterest est une source d'inspiration pour des millions de personnes qui souhaitent créer la vie qu'ils aiment. Pour ce faire, Pinterest souhaite proposer les dernières innovations aux utilisateurs de Pinterest tout en devenant plus responsable en matière de développement durable. Grâce à l'adoption d'AWS Graviton, Pinterest est en mesure de faire plus avec moins. S'appuyer sur AWS a donné à Pinterest la flexibilité nécessaire pour bénéficier des dernières technologies, du soutien d'une formidable équipe de premier plan et de l'audace de relever tous les défis ensemble.
2024Améliorer la durabilité et la performance des prix en utilisant les instances basées sur AWS Graviton avec Pinterest
Découvrez comment Pinterest a amélioré la rentabilité de l'infrastructure et la durabilité environnementale en utilisant des instances basées sur AWS Graviton.
2022Durabilité et AWS Silicon
Découvrez comment la durabilité est intégrée aux décisions d’architecture AWS de Pinterest et comment AWS continue d’innover en matière de conception de puces alors que l’organisation s’efforce d’atteindre l’objectif d’Amazon d’atteindre la neutralité carbone d’ici 2040.
À propos de Pinterest
Pinterest est une plateforme de découverte visuelle et un réseau de commerce social dont la mission est d’inspirer. S’appuyant sur les solutions de stockage et de calcul d’AWS, Pinterest utilise des moteurs de machine learning sophistiqués pour proposer du contenu personnalisé à ses utilisateurs.