Guru descobre novas oportunidades de negócios usando o Amazon OpenSearch Service

A Guru Technologies (Guru), uma startup que fornece software de gerenciamento do conhecimento, simplifica o acesso das empresas às informações internas delas sempre que for necessário, não importa onde estejam armazenadas. Resultados de consulta rápidos e relevantes sempre foram essenciais para a Guru e sua base de clientes, que inclui empresas como Slack, Noom, Nubank, Zoom Video Communications, Shopify e Spotify. Porém, como a Guru percebeu um crescimento significativo, especificamente um crescimento anual dimensionável em usuários mensalmente ativos, ela descobriu que sua solução autogerenciada do Elasticsearch não tinha a escalabilidade, a velocidade ou a confiabilidade de que a empresa precisava para continuar inovando em escala. 

Como já utilizava a Amazon Web Services (AWS) desde sua fundação em 2014, a Guru procurou a AWS novamente para chegar a uma solução. Usando o Amazon OpenSearch Service, um serviço gerenciado que facilita a execução de análises interativas de log, o monitoramento de aplicações em tempo real, pesquisas em sites e muito mais

Buscando implementar uma solução baseada na nuvem, a Guru construiu sua infraestrutura de tecnologia com base na AWS desde o princípio. A empresa sabia que a nuvem poderia atender a suas necessidades de armazenamento, escalabilidade e elasticidade, considerando que a execução de sua infraestrutura em um centro de colocalização exigiria um esforço significativo para o gerenciamento e a expansão da capacidade. “Quando começamos na AWS, a meta era ter infraestrutura como código, assim poderíamos desenvolver nossos ambientes automaticamente”, diz Mitchell Stewart, diretor de tecnologia e cofundador da Guru.

Inicialmente, a empresa utilizou o AWS CloudFormation, que oferece uma forma fácil de modelar uma coleção de recursos relacionados da AWS e de terceiros, provisioná-la com rapidez e consistência e gerenciar todo o seu ciclo de vida mediante o tratamento da infraestrutura como código. A Guru também utilizou o Amazon Elastic Block Store (Amazon EBS), um serviço de armazenamento de blocos de alta performance e fácil de usar projetado para uso com o Amazon Elastic Compute Cloud (Amazon EC2), tanto para workloads com alta taxa de transferência quanto com intenso consumo de transações em qualquer escala. “Começamos com uma estrutura muito simples”, diz Stewart. “Desde então, continuamos adotando todos esses itens de tecnologia que a AWS lançou nos últimos sete anos. Nossa arquitetura ficou muito mais complexa, mas o princípio é o mesmo: a AWS continua a fornecer serviços totalmente gerenciados que solucionam vários problemas de escalabilidade elástica e dinâmica para que não tenhamos que resolvê-los por conta própria.”

Para a Guru, um desses problemas de escalabilidade estava centralizado no Elasticsearch. Inicialmente, a empresa hospedava seu próprio cluster do Elasticsearch usando o Amazon EC2 para computação. “O Elasticsearch é uma parte fundamental do nosso produto”, diz Stewart. “Concentramos muitos recursos e atenção nisso porque buscamos ativamente melhorar a performance geral da pesquisa fornecendo resultados de pesquisa relevantes e de baixa latência para nossos usuários.” A decisão de migrar para o Amazon OpenSearch Service foi baseada em recursos. “Nos perguntamos: “Queremos ter funcionários dedicados se preocupando com nosso cluster do Elasticsearch”, continua Stewart, “ou seria melhor ter um serviço do Elasticsearch fornecendo gerenciamento especializado?””

A Guru iniciou sua migração para o Amazon OpenSearch Service em meados de 2020 e a concluiu alguns meses depois. Em um curto período, a empresa percebeu vários benefícios resultantes da migração. Por exemplo, a empresa pôde usar o Amazon EMR, um serviço de big data da nuvem líder do setor para processar grandes quantidades de dados usando ferramentas de código-fonte aberto, para desenvolver um framework de experimentação para melhorar a relevância dos resultados da pesquisa em seu mecanismo de busca. Em última análise, isso ajudaria os usuários a localizar as informações que estão procurando mais rapidamente.

Com esse framework, a Guru pode executar muitos testes rápidos e úteis. Por exemplo, a empresa pode desenvolver um novo cluster do Elasticsearch com as alterações propostas no algoritmo e determinar se a relevância dos resultados da pesquisa do novo cluster é melhor ou pior que a do cluster de produção original. A Guru pôde mensurar e comparar a relevância dos resultados da pesquisa, em parte porque o Amazon OpenSearch Service permite que a empresa registre consultas de pesquisa em tempo real. “Se não tivéssemos [o Amazon OpenSearch Service], o Amazon EMR e todas aquelas ferramentas prontamente disponíveis para experimentar com iterações de algoritmos, não teríamos largura de banda nem para considerar a possibilidade de fazer isso”, diz Stewart.

Os experimentos que a Guru havia testado anteriormente levavam semanas ou meses. Contudo, após a migração para o ambiente da AWS, a empresa pôde executar experimentos em horas, até mesmo em minutos. “Antes, sempre que precisávamos executar um experimento, tínhamos um recurso de DevOps que passava de cinco a seis horas só para aumentar a escala na vertical para que realmente pudéssemos executar o experimento”, diz Nabin Mulepati, principal engenheiro de machine learning na Guru. “Agora podemos apenas dizer: “Ei, me dê 30 nós” e, em uma hora, teremos um cluster pronto para executar experimentos. E, quando terminamos, podemos reduzir a escala na vertical para não termos custos desnecessários.”

Entre a conclusão de sua migração no último trimestre de 2020 e o início de 2021, a Guru executou experimentos que envolviam a reprodução de quase meio bilhão de consultas. Como resultado desses experimentos, a empresa percebeu um aumento de 10% na performance da pesquisa.

Mesmo quando a Guru não está executando experimentos ativamente, o ambiente gerenciado do Amazon OpenSearch Service torna os upgrades muito mais simples para a empresa. “No passado, não podíamos nos beneficiar dos novos recursos que o Elasticsearch estava lançando, o que significava que não conseguíamos solucionar os problemas de nossos clientes”, diz Jeff Plater, principal engenheiro na Guru. “Agora que migramos para o [Amazon OpenSearch Service], podemos permanecer atualizados e obter esses recursos. Basicamente, isso nos permitirá melhorar o serviço de pesquisa mais rapidamente para nossos usuários.” Com até um milhão de solicitações de pesquisa, a Guru não pode se dar ao luxo de desacelerar.

Migrando de clusters autogerenciados do Elasticsearch para o Amazon OpenSearch Service, a Guru pôde passar mais tempo se concentrando na experimentação e na inovação. Com esse framework ativo, a Guru tem um caminho escalável para experimentação com machine learning e aprendizado profundo, incluindo a implementação de algoritmo de k-ésimo vizinho mais próximo e aprendizado de classificação. A empresa também planeja começar a usar o Amazon SageMaker, que ajuda cientistas e desenvolvedores de dados a preparar, criar, treinar e implantar modelos de machine learning de alta qualidade rapidamente reunindo um amplo conjunto de funcionalidades de propósito específico para machine learning.

Como uma startup que busca crescer rapidamente ao mesmo tempo em que lança novos recursos, a Guru descobriu que a AWS poderia fornecer a confiabilidade, a escalabilidade e a elasticidade de que a empresa precisava para continuar a inovar. “Algo excelente da AWS é ser um autosserviço: você pode se movimentar na velocidade que quiser no próprio ambiente”, diz Steve Mayernick, diretor de marketing de produtos na Guru. “Você pode acessar muito rapidamente, usar os sistemas que forem necessários para usa startup e então iterar e iterar e iterar. É possível construir tudo sem precisar de permissão para envolver um terceiro fornecedor que possa desacelerar você.”