Dropbox economiza milhões criando um armazenamento de metadados escalável no Amazon DynamoDB e no Amazon S3

Fundada em 2007 por dois estudantes do Massachusetts Institute of Technology, a Dropbox é uma ferramenta de colaboração global e um serviço de compartilhamento de arquivos. Ele se tornou uma das startups mais bem-sucedidas do mundo, com mais de 600 milhões de usuários enviando mais de 400 bilhões de conteúdos.

Os armazenamentos de metadados da Dropbox estavam originalmente alojados exclusivamente no principal armazenamento de dados da empresa, o Edgestore, hospedado em um banco de dados distribuído on-premises, construído sobre clusters do MySQL fragmentados. Em meados de 2018, os metadados inativos em rápido crescimento (dados acessados com pouca frequência, mas que precisam ser armazenados de forma durável e estar disponíveis instantaneamente) estavam a menos de dois anos de sobrecarregar o Edgestore. No entanto, aumentar a capacidade do banco de dados on-premises exigiria a divisão das partições existentes e a compra de novas máquinas para hospedá-las, o que dobraria o custo do Edgestore ao adicionar milhões de dólares por ano. Além disso, não fazia mais sentido armazenar metadados inativos no mesmo banco de dados que os metadados ativos, ou usados com frequência. “Se você está escrevendo dados não destinados para leitura frequente, é extremamente caro usá-los (além de inútil armazená-los) em mídias otimizadas para velocidade de recuperação”, diz Jonathan Lee, líder técnico da equipe Alki da Dropbox.

Como resultado, dois funcionários se separaram da equipe de banco de dados para criar o Alki, a solução que armazenaria metadados de maneira econômica. Eles se concentraram particularmente em dados de log de auditoria, o principal caso de uso de metadados inativos do Edgestore. Como a pequena equipe do Alki enfrentava um prazo apertado que, se não cumprido, poderia levar à perda de metadados dos usuários, ela decidiu implementar serviços gerenciados da AWS. Usando o Amazon DynamoDB e o Amazon S3, a Dropbox rapidamente gerou o protótipo e implantou um armazenamento de metadados inativos na AWS em apenas um ano. Os arquitetos de soluções da AWS funcionaram como uma extensão da equipe do Alki da Dropbox, fornecendo orientação prescritiva e ajuda na implementação.

“Ao criar um sistema de armazenamento, você precisa pensar em vários componentes, incluindo replicação, backups e gerenciamento de capacidade. O Amazon DynamoDB e o Amazon S3 atendem bem a essa necessidade: são padrões do setor”, diz Lee. “Esses são problemas que equipes grandes levam vários anos para resolver. Porém, ao usar o Amazon DynamoDB e o Amazon S3, simplificamos esses problemas porque a AWS lida com muitas das tarefas complexas, como replicação de dados, gerenciamento de durabilidade dos dados e provisionamento de hardware. Tanto o Amazon DynamoDB quanto o Amazon S3 crescem automaticamente de acordo com as nossas necessidades de capacidade. Não precisamos mais planejar a capacidade e o orçamento on-premises para compras de hardware e depois ficar presos às nossas decisões por quatro anos.”

A equipe do Alki, auxiliada por arquitetos de soluções da AWS, construiu um sistema de armazenamento de metadados baseado em árvore de mesclagem estruturada em log (árvore LSM), que tem duas camadas de armazenamento de dados: uma superior para metadados ativos e outra inferior para metadados inativos. O Amazon DynamoDB atua como uma camada de armazenamento ativo, ingerindo dados de registro de auditoria em seis tabelas do DynamoDB com 4.000 a 6.000 gravações por segundo por tabela. Cada uma dessas tabelas armazena de 50 a 80 GB diariamente. No final de cada dia, a equipe transfere os metadados dessas tabelas ao Amazon S3 para armazenamento permanente. Em seguida, as tabelas no Amazon DynamoDB são excluídas.

No início de 2019, menos de 6 meses após a equipe do Alki escolher o Amazon DynamoDB e o Amazon S3, o Alki estava em sua fase beta de produção, ingerindo todos os dados e fornecendo um subconjunto das leituras. Em outubro de 2019, cerca de 300 TB de dados de log de auditoria, representando um quarto de todos os dados armazenados no Edgestore, haviam sido migrados para o Alki, que agora estava em plena produção.

A escalabilidade do Amazon DynamoDB e do Amazon S3 ajudou a equipe da Dropbox a concluir a migração de dados em menos de duas semanas. “Normalmente, você pode projetar um sistema para 10 vezes a escala esperada em estado estacionário”, explica Lee. “Porém, pudemos escalar de 100 a 1.000 vezes na AWS sem projetar o sistema com antecedência.” A equipe do Alki esperava que o estado estável fosse de 4.000 consultas por segundo, mas conseguiu provisionar o Amazon DynamoDB para 600.000 consultas por segundo durante a migração.

De acordo com Lee, os arquitetos de soluções da AWS forneceram suporte premium à equipe do Alki durante toda a migração. “Não temos nada além de coisas positivas a dizer sobre nossa interação com a equipe da AWS que trabalha no Alki. Ela sempre foi muito proativa em nos ajudar a encontrar problemas, apontando como podemos agilizar as coisas ou identificar áreas em que talvez convém sermos mais cuidadosos operacionalmente”, diz Lee. A equipe do Alki e os arquitetos de soluções da AWS conseguiram manter uma comunicação constante por meio de canais em tempo real. E a equipe do Alki continuará colhendo os benefícios dessa colaboração por meio dos serviços gerenciados da AWS. “Administrar um sistema de maneira duradoura exige experiência, e não tínhamos essa experiência”, diz Stas Ilinskiy, engenheiro de software da equipe do Alki. “Mas, ao usar o Amazon DynamoDB, também conquistamos pessoas com a experiência necessária para executá-lo.”

Com o Alki, a Dropbox economizou milhões de dólares em custos de expansão e reduziu significativamente os custos de gigabytes por usuário com o Amazon DynamoDB e o Amazon S3. O Edgestore da Dropbox custaria aos usuários 5,5 vezes mais do que o Alki por usuário/gigabyte por ano.