Discover acelera análise e tempo para insights com a AWS

A Discover Financial Services oferece produtos bancários e de crédito para ajudar os clientes a atingir objetivos financeiros, obter um bom crédito, pagar matricula universitária e quitar dívidas. Para cumprir esse compromisso e se destacar em um setor ultracompetitivo, a empresa depende profundamente de dados e análise, tanto interna como externamente. “Temos muitos dados de clientes”, afirma Brandon Harris, diretor de tecnologia de ciência de dados da Discover Financial Services. “Precisamos usar esses dados como diferencial para oferecer uma experiência melhor aos clientes continuamente.”

Ao longo dos anos, surgiram práticas de análise individual nas equipes e unidades de negócios da Discover. No total, havia cerca de oito a dez conjuntos de ferramentas em 12 equipes. Cada prática necessitava de diferentes conjuntos de competências e ferramentas diversificadas. A equipe de liderança da Discover acreditava que aliar essas práticas e equipes poderia melhorar a análise e criar ferramentas consistentes por toda a organização.

A equipe de tecnologia da Discover costuma desenvolver novas soluções internamente, preferindo controlar as tecnologias do início ao fim e gerenciar seus próprios datacenters. Harris e sua equipe ficaram encarregados de criar uma plataforma centralizada que permitiria que os cientistas de dados da empresa trabalhassem juntos no mesmo ambiente: uma bancada de trabalho de ciência de dados interna chamada Air9.

Um dos primeiros princípios de design que a equipe de Harris concordou em aplicar ao Air9 foi a força na diversidade. “Não apenas na diversidade das equipes e de suas experiências, mas também na variedade de metodologias e ferramentas”, diz Harris. “Não ofereceríamos uma metodologia única de ciência de dados para essa comunidade de análise consolidada.”

A equipe de Harris definiu que o Kubernetes era uma boa opção para hospedar o Air9, pois muitas das ferramentas de ciência de dados que a empresa já usava naturalmente serviam para conteinerização. Ter contêineres dedicados permitiria workloads isoladas e possibilitaria que os usuários instalassem pacotes personalizados e fizessem alterações em seus ambientes que seriam difíceis de gerenciar em um ambiente multilocatário. Como a Discover é cliente de longa data da Amazon Web Services (AWS) e usuária do Amazon Simple Storage Service (Amazon S3), a equipe também decidiu implantar instâncias do Amazon Elastic Compute Cloud (Amazon EC2). Com essa abordagem, 883 cientistas de dados de vários países agora podem escolher o tamanho, o tipo e a quantidade de instâncias do Amazon EC2 e fazer com que a aplicação monte automaticamente essa instância para seus conjuntos de dados.

Outro componente crítico do Air9 foi um recurso de armazenamento compartilhado com armazenamento de arquivos nativo da nuvem totalmente gerenciado. “Se você conta com todos esses diferentes ambientes em execução, deve haver uma forma em comum de salvar dados e trabalhar em conjunto”, afirma Harris.

Porém, o projeto encontrou um obstáculo quando a equipe da Discover começou a projetar a camada de armazenamento. “Nossas equipes de análise tinham alguns conjuntos de dados enormes em nosso data warehouse em nuvem, mas foi necessário planejar para que elas tivessem armazenamento local para realizar seu próprio trabalho, bem como um mecanismo para compartilhar dados entre equipes”, conta Harris. “Essa camada de armazenamento também precisava ser muito resiliente e oferecer suporte a um crescimento considerável ao longo do tempo.”

Harris e sua equipe decidiram utilizar uma solução de armazenamento distribuído de código aberto como a camada de armazenamento da plataforma de ciência de dados, mas a execução e o gerenciamento logo começaram a consumir muito tempo e dinheiro. “Quando percebemos que os custos mensais associados à execução de nossa plataforma de armazenamento excediam os custos de computação, ficou claro que algo de errado estava acontecendo”, diz Harris. “Por fim, o custo excedente foi atribuído ao fator de replicação para armazenamento distribuído, mas a compensação pela redução de custo (diminuir o fator de replicação) estava nos incomodando.”

Por causa do sucesso da equipe com o Amazon EC2 no lado da computação da plataforma, ela analisou os serviços gerenciados da AWS para armazenamento e escolheu implantar o Amazon Elastic File System (Amazon EFS). Segundo Harris, “o Amazon EFS atendeu bem à demanda em termos de escalabilidade e custos e, graças a um excelente trabalho da comunidade Kubernetes, já havia recursos de classe de armazenamento em torno do serviço.” A AWS também nos possibilitou usar diferentes ambientes para diferentes tipos de dados a fim de proteger melhor os dados mais sigilosos.”

Antes, cada equipe contava com um diretório inicial e um diretório de equipe. Ao aproveitar as vantagens do Amazon EFS, a empresa pode facilmente fornecer acesso compartilhado entre ferramentas de ciência de dados, projetos e conjuntos de dados, permitindo um trabalho em conjunto mais integrado. Com os recursos de arquivamento de dados de longo prazo, além dos baixos custos indiretos do Amazon S3, a Discover também conseguiu personalizar os processos de backup para obter uma segunda cópia dos dados disponível para segurança.

“Usamos o Amazon EFS como camada de colaboração, mas também temos um arquivo e uma camada histórica para diferentes conjuntos de dados ou para fins de gerenciamento de ciclo de vida”, afirma Harris. “Precisamos manter certos conjuntos de dados por um número de anos específico. O Amazon S3 e a classe de armazenamento do Amazon S3 Glacier ajudam a garantir que possamos armazenar, com um bom custo-benefício, todos os dados que nossos cientistas de dados estão criando e usando.”

Atualmente, a Air9 aumenta a produtividade e a eficiência dos cientistas de dados da Discover, permitindo executar aplicações de análise em um local central na AWS, trabalhar em parceria em um ambiente de armazenamento compartilhado, utilizando fontes de dados estruturadas e não estruturadas, e processar e armazenar dados de diversas fontes. Isso permite que os cientistas de dados da Discover analisem os dados para obter insights de modo mais rápido e fácil.

A plataforma de dados anterior levava semanas para atualizar, principalmente por causa das restrições de armazenamento e da necessidade de redimensionar e aumentar os clusters de armazenamento antigos quando era necessário obter mais armazenamento. Como o Amazon EFS faz tudo isso nos bastidores, agora a equipe consegue atualizar a plataforma de dados em horas. A plataforma também permite o autoatendimento, ajudando a manter a produtividade dos cientistas de dados sem afetar a experiência dos colegas. “Com nosso ambiente on-premises anterior, não havia mecanismo para promover essas conversas e interações entre nossos cientistas de dados”, observa Harris.

Com a solução da AWS, Harris estima que sua equipe reduziu em 90% o tempo que gasta para gerenciar o armazenamento. Além disso, ao contar com a AWS para gerenciar o serviço e fornecer a capacidade de redundância, em vez de precisar arquitetar e desenvolver internamente, a Discover reduziu os custos em 50% a 60%.

Essas mudanças também ajudam a avançar os esforços gerais de transformação digital da Discover. “Levava semanas para que os usuários tivessem as ferramentas necessárias para fazer seu trabalho”, diz Harris. “Agora, conseguimos fazer isso em horas para que possam começar a coletar ideias e gerar valor para nossos clientes quase imediatamente.”

Para saber mais, acesse thinkwithwp.com/efs.