Pinterest na AWS
O Pinterest é um mecanismo de descoberta visual que hospeda bilhões de imagens para mais de 450 milhões de usuários explorarem, salvarem e compartilharem como “Pins” em painéis personalizados de inspiração digital. Nascido na Nuvem Amazon Web Services (AWS), o Pinterest pode escalar o processamento, o armazenamento e a análise de seus dados em rápido crescimento, ao mesmo tempo em que reduz o gerenciamento da infraestrutura e se concentra na inovação. Usando soluções de computação da AWS, o Pinterest migrou seu pipeline de integração contínua e entrega contínua (CI/CD) do iOS no ambiente on-premises para reduzir falhas de compilação em mais de 80%. O Pinterest também usa machine learning (ML) para potencializar sua ferramenta de pesquisa visual, o Pinterest Lens, que é capaz de reconhecer mais de 2,5 bilhões de objetos e correspondê-los a produtos. Atualmente, a plataforma de dados de exabytes do Pinterest é executada inteiramente na AWS, escalando analytics e pesquisas de logs para mais de 1,7 TB e, ao mesmo tempo, reduzindo os custos operacionais em 30%.
-
Recapitulação do re:Invent 2023 sobre o Pinterest
-
Armazenamento
-
Soluções de dados
-
Machine Learning
-
Migração
-
Otimização de custos
-
Segurança
-
Sustentabilidade
-
Recapitulação do re:Invent 2023 sobre o Pinterest
-
2023
AWS Graviton: a melhor relação custo-benefício para suas workloads da AWS
As instâncias do Amazon EC2 baseadas no AWS Graviton oferecem a melhor relação custo-benefício para workloads no Amazon EC2. Nessa sessão, explore os processadores AWS Graviton e analise a performance da workload, as histórias de sucesso de clientes da AWS, a eficiência energética e as ofertas de software. Saiba mais sobre as práticas recomendadas para otimizar workloads no AWS Graviton em várias aplicações e como você pode começar sua jornada no AWS Graviton.
2023Treinamento de grandes modelos em AMIs do AWS Deep Learning e PyTorch com participação do Pinterest
Participe desta sessão para se aprofundar na infraestrutura usada para treinar grandes modelos no Pinterest. Ele abrange hardware de treinamento, orquestração computacional e SDKs de desenvolvimento de aplicações de ML, além de como as opções de infraestrutura aceleram o desenvolvimento e melhoram a eficiência do treinamento de modelos. Veja como o Pinterest integra serviços da AWS, como o Amazon EC2 UltraClusters e as AMIs do AWS Deep Learning, para reduzir o custo total de propriedade da infraestrutura de ML.
2023O Pinterest amplia o data lake existente com IA generativa
O Pinterest é a plataforma de inspiração visual que as pessoas acessam para pesquisar, salvar e comprar as melhores ideias do mundo. Ouça o que Dave Burgess, vice-presidente de engenharia de dados do Pinterest, tem a dizer sobre seu data lake em escala de exabytes e como eles estão colocando esses dados em prática com a IA generativa.
-
Armazenamento
-
2024
Spark na rede Amazon EKS – Parte 1
Neste post, mostramos como o Pinterest e a AWS reuniram requisitos e formaram princípios para um projeto de design de rede para apoiar implantações em grande escala no mundo real. O processo foi fundamental para definir o escopo do problema, estabelecer os limites dentro dos quais operar, alinhar os requisitos com as partes interessadas e estabelecer um processo de colaboração entre as equipes para atingir nossas metas.
2024Spark na rede Amazon EKS – Parte 2
Neste post, mostramos uma abordagem iterativa e colaborativa como uma base sólida para a nova plataforma de dados do Pinterest, mas também para o futuro do Pinterest na nuvem. Esse é um ponto no tempo, e esse design nos serve bem, mas podemos e vamos iterar com novas tecnologias, workloads diferentes e nova escala.
2023Como lidar com a dívida tecnológica e o backup de dados críticos no Pinterest
Saiba como Ambud Sharma, líder de tecnologia e gerente de engenharia do Pinterest, descobriu sua paixão pela tecnologia e como suas pesquisas em sistemas de distribuição acabou levando-o a criá-los do zero. Ambud também explica como o Amazon Simple Storage Service (Amazon S3) tem sido fundamental para alguns dos trabalhos do Pinterest, descrevendo-o como um divisor de águas por seu trabalho contínuo.
2022Build With Me – Pinterest e AWS
Saiba como Ambud Sharma, líder de tecnologia e gerente de engenharia do Pinterest, descobriu sua paixão pela tecnologia e como suas pesquisas em sistemas de distribuição acabou levando-o a criá-los do zero. Ambud também explica como o Amazon Simple Storage Service (Amazon S3) tem sido fundamental para alguns dos trabalhos do Pinterest, descrevendo-o como um divisor de águas por seu trabalho contínuo.
2022Como o Pinterest usa a AWS para criar um sistema para acelerar os tempos de desenvolvimento
Com o objetivo de capacitar seus usuários e, ao mesmo tempo, implantar ferramentas analíticas, o Pinterest identificou que esses usuários deveriam ter permissão para acessar os dados. O Pinterest usou o Amazon S3 e o AWS Identity and Access Management (IAM) para criar um sistema de controle de acesso granular a fim de garantir que as permissões de usuários corretas estivessem em vigor, o que, por sua vez, melhorou o tempo de desenvolvimento dos usuários internos.
2021Como o Pinterest trabalhou com a AWS para criar uma nova maneira de gerenciar o acesso aos dados
Com milhares de engenheiros e desenvolvedores trabalhando em sua plataforma, o Pinterest precisava restringir o acesso aos dados a usuários e processos específicos, recorrendo à AWS para obter ajuda com a construção de uma solução. Saiba mais sobre a colaboração entre o Pinterest e a AWS para desenvolver um sistema escalável e seguro de controle de acesso granular (FGAC) para os dados do Pinterest no Amazon S3 e como o FGAC ajuda o Pinterest a promover criadores sub-representados.
2021Como o Pinterest usa a Amazon S3 Glacier Deep Archive para gerenciar o armazenamento do seu mecanismo de descoberta visual
Como usuário em grande escala do Amazon S3, o Pinterest armazena bilhões de objetos e quase um exabyte de dados em várias regiões da AWS. Saiba como o Pinterest usa o Amazon S3 Lifecycle para atribuir dados a classes de armazenamento ideais do Amazon S3, ajudando a atingir metas de custo em grande escala e a maximizar a eficiência do armazenamento.
2021Dicas para uma colaboração eficaz em inovação do Pinterest e da AWS
Keith Regier, gerente de engenharia do Pinterest, e Doug Youd, arquiteto sênior de soluções da AWS, compartilham seis dicas de colaboração obtidas com a experiência de trabalhar em conjunto para construir o sistema FGAC do Pinterest. Descubra insights práticos, incluindo como definir claramente um problema, por que até mesmo ideias “ruins” podem ser úteis e o que a AWS pode fazer para ajudar clientes como o Pinterest a desenvolver soluções para difíceis desafios técnicos.
Como uma plataforma visual, o Pinterest depende muito da velocidade e da qualidade das imagens. Porém, o texto por detrás dessas imagens é igualmente importante, pois fornece contexto e torna os Pins úteis para nossos 200 milhões de usuários ativos. Trabalhando com o recurso Text in Image do Amazon Rekognition, podemos extrair melhor o texto formatado capturado em imagens em grande escala e com baixa latência para os milhões de Pins armazenados no Amazon S3."
Vanja Josifovski
Diretora de tecnologia do Pinterest
-
Soluções de dados
-
2022
Como o Pinterest envolveu-se com a AWS Proserve para garantir que os usuários tenham acesso contínuo à sua plataforma
Crescendo rapidamente com grandes quantidades de dados, o Pinterest identificou a necessidade de estabelecer um plano de recuperação de desastres. Com suas soluções existentes já implantadas na AWS, o Pinterest envolveu-se com a AWS Professional Services para desenvolver com base nessas soluções, trabalhar com seus quase exabytes de dados, criar versões desses dados e distribuí-los regionalmente.
-
Machine Learning
-
2022
Pinterest Lens ajuda usuários a encontrar e comprar o item perfeito
O Pinterest se baseia nas soluções de armazenamento e computação da AWS para potencializar os mecanismos de ML por detrás do Lens, o recurso de câmera em sua aplicação que é usado para realizar centenas de milhões de pesquisas visuais todos os meses. Saiba como o Lens pode ser usado como assistente de compras digitais para ajudar os usuários a encontrar e comprar itens em poucos minutos.
O Pinterest está desenvolvendo continuamente sistemas de machine learning a fim de detectar objetos para casos de uso de pesquisa visual e moderação. Para isso, precisamos rotular milhões de imagens para gerar os conjuntos de dados de treinamento necessários. O Pinterest tem uma plataforma de rotulagem existente que integrou os serviços da Amazon, como o Amazon Mechanical Turk. Ficamos entusiasmados em explorar o uso do SageMaker Ground Truth com o objetivo de ampliar essa plataforma para oferecer suporte a tarefas de rotulagem de caixas delimitadoras. Descobrimos que o SageMaker Ground Truth fornece uma interface simples e direta para iniciar trabalhos de rotulagem.”
Veronica Mapes
Gerente técnica de programas do Pinterest
2018Um mergulho profundo no Amazon Rekognition, com a participação do Pinterest
Saiba como o Pinterest pode adicionar facilmente análises inteligentes de imagens e vídeos a aplicações usando o Amazon Rekognition para automatizar fluxos de trabalho manuais, aumentar a criatividade e proporcionar experiências mais personalizadas para os clientes.
-
Migração
-
2021
Pinterest reforça confiabilidade do pipeline de compilação do iOS em 80,5% usando instâncias Mac do Amazon EC2
Neste estudo de caso, saiba como o Pinterest migrou seu pipeline de integração contínua e entrega contínua (CI/CD) para aplicações iOS de computadores on-premises para instâncias Mac do Amazon Elastic Compute Cloud (Amazon EC2). Na AWS, os desenvolvedores do Pinterest agora podem provisionar acesso facilmente a ambientes de computação macOS na nuvem, reduzindo em 80,5% as falhas de compilação relacionadas a máquinas e aumentando em 18,4% as velocidades de desenvolvimento.
-
Otimização de custos
-
2023
O Pinterest implementa uma estratégia econômica ao aproveitar a AWS
Entenda como o Pinterest está enfrentando os desafios relacionados à sua pegada computacional relacionados à disponibilidade e à relação custo-benefício. Molly Junck, gerente do programa técnico de governança de infraestrutura do Pinterest, compartilha como trabalhar em estreita colaboração com a equipe de contas da Amazon Web Services (AWS) contribuiu para a forma como o Pinterest aprende a lidar com suas necessidades tecnológicas em evolução à medida que cresce e se expande.
2020Pinterest escala análises e pesquisas de log diárias de 500 GB para 1,7 TB e reduz custos em 30% no Amazon OpenSearch Service
Leia como o Pinterest migrou suas workloads de análises e pesquisas de log de ferramentas Elasticsearch autogerenciadas e de terceiros para o Amazon OpenSearch Service. Após a migração, o Pinterest expandiu seus recursos diários de ingestão de dados de 500 GB para 1,7 TB em apenas 1 ano e, ao mesmo tempo, reduziu os custos operacionais em 30%, reforçando a segurança dos dados e aumentando a produtividade dos engenheiros.
-
Segurança
-
2024
Como alcançar a segurança Zero Trust no Amazon EKS com o Istio
Neste post, abordamos os mecanismos de segurança do Istio, que nos permitem implementar uma verdadeira arquitetura de segurança de confiança zero no Amazon EKS. Além dos recursos de segurança integrados para autenticação de solicitações, autenticação por pares e segurança de entrada, aprendemos a aproveitar ferramentas complementares, como Keycloak e OPA.
2022Como o Pinterest se envolveu com a AWS Proserve para garantir que os usuários tenham acesso contínuo à sua plataforma
Como o Pinterest se envolveu com a AWS Proserve para garantir que os usuários tenham acesso contínuo à sua plataforma.
2022Controle de acesso escalável com fornecimento de tokens do STS
Neste vídeo, Keith Regier, gerente de engenharia do Pinterest, fala sobre a solução escalável de controle de acesso para clusters de instâncias do Amazon EC2 que precisam acessar dados no Amazon S3. Saiba como o Pinterest criou um serviço de fornecimento de tokens usando o AWS Secure Token Service (STS) que ajuda a combinar seu conceito interno de usuários e autenticação a políticas gerenciadas e ao AWS Identity and Access Management (IAM).
No Pinterest, usamos o Amazon Elastic Container Registry (Amazon ECR) para gerenciar nossas imagens de contêineres do Docker. Usamos o recurso de verificação de imagens do Amazon ECR para nos ajudar a reforçar a segurança das nossas imagens de contêineres. O Amazon ECR verifica as imagens em busca de uma ampla gama de vulnerabilidades do sistema operacional e nos permite construir ferramentas para agir de acordo com os resultados.”
Cedric Staub
Gerente de engenharia do Pinterest
-
Sustentabilidade
-
2023
Pinterest e AWS Graviton: mais performance e menos pegada de carbono
O Pinterest fornece inspiração para milhões de usuários criarem uma vida que eles amam. Para fazer isso, o Pinterest quer fornecer as inovações mais recentes aos usuários e, ao mesmo tempo, se tornar mais responsável pela sustentabilidade. Com a adoção do AWS Graviton, o Pinterest é capaz de fazer mais com menos. O desenvolvimento na AWS deu ao Pinterest a flexibilidade de ter a tecnologia mais recente, o suporte de uma equipe maravilhosa e a melhor da categoria e a coragem de enfrentar qualquer desafio juntos.
2024Melhorar a sustentabilidade e a performance de preços usando instâncias baseadas em AWS Graviton com o Pinterest
Saiba como o Pinterest melhorou a eficiência de custos da infraestrutura e a sustentabilidade ambiental usando instâncias baseadas no AWS Graviton.
2022Sustentabilidade e o AWS Silicon
Saiba como a sustentabilidade é integrada às decisões de arquitetura da AWS do Pinterest e como a AWS continua inovando no design de chips à medida que a organização trabalha em direção à meta da Amazon de eliminar totalmente as emissões de carbono até 2040.
Sobre o Pinterest
O Pinterest é uma plataforma de descoberta visual e uma rede de comércio social cuja missão é inspirar. Por meio de desenvolvimentos em soluções de armazenamento e computação da AWS, o Pinterest utiliza mecanismos sofisticados de machine learning para entregar conteúdo personalizado aos seus usuários.