A mudança é uma constante na primeira página do site, conhecido como Woot.com. A Woot, o site original de ofertas diárias fundado em 2004 e adquirido pela Amazon em 2010, tem novas ofertas especiais de eletrônicos, roupas e equipamentos para atividades ao ar livre, equipamentos esportivos, utilidades domésticas e outros produtos disponibilizadas todos os dias e, às vezes, a cada 30 minutos.
Em 2018, a empresa decidiu que também era hora de mudar o back-end do site. Especificamente, a Woot queria descontinuar seu data warehouse herdado, baseado no Amazon Relational Database Service (RDS) for Oracle Database, e mudar para uma solução de data warehousing nativa da nuvem na Amazon Web Services (AWS).
Os desafios que o warehouse herdado apresentava para a empresa incluíam a necessidade de novos pipelines personalizados sempre que as fontes de dados eram adicionadas, o que às vezes levava semanas para ser construído; um processo de consulta complicado que impedia fazer tentativas de algumas consultas potencialmente valiosas; e a necessidade de restringir fortemente o acesso do usuário ao data warehouse, pois ele residia na conta de produção da AWS da empresa.
Hoje, a Woot está executando um data warehouse sem servidor com base no Amazon Kinesis Data Firehose e no Amazon Simple Storage Service (Amazon S3) para ingestão e armazenamento de dados. Ela usa o AWS Lambda para orquestrar o AWS Glue para as tarefas de agendamento de trabalhos de ETL e gerenciamento de metadados. O Amazon Athena e o Amazon QuickSight oferecem consultas e visualização de dados poderosas e fáceis de usar, mesmo para usuários sem conhecimento de SQL. E tudo isso fica em uma conta separada de data warehouse, totalmente segregada da conta de produção da empresa.
Considerando a variedade de opções disponíveis na AWS para obter, gerenciar e ter insights sobre os dados, como exatamente a Woot se decidiu pela solução selecionada? Em resumo, ouvindo os clientes e, neste caso, as muitas categorias de funcionários que dependem do data warehouse para garantir ótimas experiências para os clientes da Woot.
“Queria que esse projeto fosse uma força definitiva dentro da Woot”, conta Chaya Carey, engenheira de dados da Woot e única funcionária responsável pelo gerenciamento do data warehouse da empresa. “Com o prazo apertado que enfrentamos, era tentador obter uma lista de requisitos, executá-la e se preocupar com as dívidas técnicas posteriormente. Em vez disso, passamos muito tempo conversando sobre quem usava o data warehouse, quais desafios estavam enfrentando e para o que precisavam usar os dados.”
Por meio dessas conversas, um objetivo que Carey desenvolveu para o novo data warehouse foi mudar para um modelo de responsabilidade compartilhada por dados que eliminaria a necessidade de criar ou alterar pipelines personalizados para cada novo serviço ou alteração de serviço. “Eu queria que os serviços enviassem dados para o data warehouse e os aceitassem com o mínimo de intervenção”, conta ela. “Mas eu precisava encontrar uma maneira fácil de enviar dados que se ajustassem ao conjunto de habilidades existente dos desenvolvedores.”
Carey encontrou uma solução pronta fazendo com que os desenvolvedores usassem AWS Software Development Kits (SDKs) para as diversas linguagens de programação e plataformas usadas na Woot para enviar dados ao stream de entrega do Kinesis Data Firehose do warehouse.
“Em vez de criar um trabalho em lotes para enviar dados de um serviço, tudo que os desenvolvedores precisam fazer agora é adicionar uma chamada à API que envia dados para o endpoint do Firehose”, afirma Carey. “O Kinesis Data Firehose tornou o modelo de responsabilidade compartilhada uma razão convincente mais fácil para nossos desenvolvedores. Essa foi uma grande vitória para a migração, porque eliminamos o tempo de atraso que costumamos ter para adicionar novos serviços ou adaptar-nos às mudanças nos serviços existentes.”
Ao escolher o Amazon Athena e o QuickSight para consulta e visualização de dados, a Woot facilitou a vida de muitos funcionários — incluindo contadores, analistas financeiros, analistas de inventário, gerentes de fornecedores e representantes de atendimento ao cliente — que precisam de informações do data warehouse da Woot para fazer seus trabalhos, mas carecem de conjuntos de habilidades em ciência de dados ou inteligência de negócios.
“As consultas na solução anterior exigiam a abertura de um tíquete, a obtenção da aprovação do gerente, o recebimento de uma senha válida apenas por 90 dias e, além disso, você precisava entender o SQL para escrever sua consulta”, conta Carey. “Agora, usando o Amazon QuickSight, qualquer pessoa pode criar gráficos e outras visualizações simplesmente arrastando e soltando, sem precisar de experiência com SQL. Para os funcionários que desejam mais personalização, há uma opção de consulta no console do Athena; e, novamente, nenhum conhecimento de SQL é necessário.”
O processo de executar consultas não só ficou mais simples, como também as consultas demoram muito menos tempo para serem concluídas. “Todos os usuários com quem conversamos nos disseram o quanto as consultas ficaram mais rápidas no Amazon Athena”, afirma Carey. “Também estamos ouvindo que consultas que antes eram muito complexas estão agora sendo executadas sem problemas no Athena, o que significa que as pessoas são capazes de responder a mais perguntas do que antes.”
Como as ferramentas da AWS na nova solução são muito fáceis de usar, um número cada vez maior de funcionários está adotando uma abordagem de autoatendimento para responder a perguntas. “As pessoas ficam tão impressionadas com as visualizações que podem criar no QuickSight que procuram mais e mais maneiras de usá-lo”, conta Carey. “Temos apenas quatro funcionários de inteligência de negócios e, tradicionalmente, eles sempre tiveram mais solicitações do que podiam receber. Agora, os funcionários não técnicos podem usar o Amazon QuickSight para obter informações por conta própria e, com isso, os recursos de inteligência de negócios da Woot podem dedicar mais tempo a projetos estratégicos.”
Carey diz que a migração não só eliminou os desafios da solução anterior, como também possibilitou que a Woot começasse a experimentar as muitas outras ferramentas e serviços disponíveis na AWS, além de economizar em tudo isso. “Ao mudarmos para a solução de data warehouse da AWS sem servidor, reduzimos o custo de operação de nosso data warehouse em quase 90%”, afirma Carey. Ela também tem o prazer de informar que, como resultado da arquitetura sem servidor da nova solução, finalmente conseguiu tirar férias de três semanas sem ser contatada nenhuma vez.
Carey acrescenta: “O fato de o data warehouse agora funcionar por conta própria e armazenar tudo no Amazon S3 permite que eu e nossos engenheiros de inteligência de negócios nos integremos e exploremos outras tecnologias, como o Amazon Elastic MapReduce, o Amazon SageMaker e o Amazon Redshift Spectrum. Estamos realmente empolgados para ver aonde podemos chegar.”
Para saber mais, acesse thinkwithwp.com/what-is/data-warehouse/.