Análises sem limites: Arquitetura de big data escalável e segura da FINRA

Por Equipe do blog de setor público da AWS

Uma postagem de convidado por John Brady, CISSP, Vice-presidente de segurança cibernética/CISO, Financial Industry Regulatory Authority

A Financial Industry Regulatory Authority (FINRA) supervisiona mais de 3.900 empresas de valores mobiliários com aproximadamente 640.000 corretores. Todos os dias, assistimos a mais de 6 bilhões de ações negociadas nos mercados de ações dos EUA — usando tecnologias poderosas o suficiente para ajudar a detectar fraudes, abusos e insider trading. Na verdade, a FINRA processa aproximadamente 6 terabytes de dados e 37 bilhões de registros em um dia médio para construir uma imagem completa e holística da negociação de mercado nos EUA. Em dias agitados, os mercados de ações podem gerar mais de 75 bilhões de registros.

A FINRA foi capaz de habilitar análises flexíveis, escaláveis e seguras na nuvem com uma arquitetura de análise utilizando o Amazon Simple Storage Service (Amazon S3). Estendemos o padrão de data lake com o EMR, o Hbase e o Amazon S3 para permitir consultas interativas de acesso aleatório em trilhões de registros que abrangem mais de 600 terabytes de dados.

Antes da nuvem, a capacidade fixa e os tempos de processamento de provisionamento estavam atrapalhando as análises. Com a AWS, agora podemos expandir o armazenamento online perfeitamente e dimensionar a computação dinamicamente para atender às demandas de nossos analistas e cientistas de dados e acompanhar o ritmo quando os volumes de mercado aumentam. Mantemos uma cópia de arquivo de cada conjunto de dados no Amazon S3, protegemos os dados com políticas de criptografia e acesso, processamos diretamente contra dados no Amazon S3 sempre que possível e transformamos ou extraímos dados para obter desempenho extra quando necessário.

Porém, manter o controle de mais de 300 milhões de objetos no Amazon S3 pode ser um desafio. Que dados nós temos? Onde esses dados são usados? Quantas versões desses dados existem? Qual é a fonte desses dados? Qual é a política de retenção?

Entre no herd, nosso catálogo de dados de código aberto e ferramenta de orquestração. Com o herd, podemos rastrear e catalogar dados de forma eficiente em um repositório de dados unificado, capturar informações de auditoria e linhagem de dados para nosso ambiente altamente regulamentado e acessar esses dados de maneira programática. Tudo isso nos permite separar a computação do armazenamento na AWS, possibilitando uma escalabilidade quase ilimitada.

A arquitetura de data lake do Amazon S3 aliada ao herd nos permite:

• Aproveitar o armazenamento infinito seguro e econômico com o Amazon S3
• Expandir e reduzir a computação independentemente do armazenamento de dados
• Executar várias cargas de trabalho analíticas simultâneas contra a mesma cópia de dados
• Fornecer um conjunto de dados centralizado para diversas plataformas analíticas
• Otimizar os custos aproveitando a definição de preço Spot da AWS

O data lake removeu obstáculos e reduziu o custo da curiosidade. Isso permite que os analistas obtenham rapidamente uma imagem completa de um pedido ao longo do tempo, ajudando a determinar se ocorreu uma violação de regra. Os analistas da FINRA são capazes de otimizar cargas de trabalho interativas e em lote sem comprometer e analisar anos de dados históricos do mercado em minutos ou horas, em vez de semanas ou meses.

Além dos casos de uso de big data e data lake, a FINRA moverá aproximadamente 200 bancos de dados relacionais para a nuvem. Ao usar o Amazon RDS for PostgreSQL, colocamos o controle de volta nas mãos de nossos desenvolvedores. Agora, eles são capazes de lançar instâncias para experimentar e testar coisas novas em vez de terem que provisionar uma nova instância de banco de dados. Ele nos permite solucionar problemas com mais rapidez, bem como experimentar versões mais recentes e tecnologias de banco de dados, como o Amazon Aurora.

Este artigo foi traduzido do Blog da AWS em Inglês.

Equipe do blog de setor público da AWS

Com sede em Arlington, Virgínia, a equipe do blog de setor público da AWS escreve sobre o setor público, educação e ONGs em todo o mundo. Para saber mais sobre a AWS para o setor público, visite nosso site (https://thinkwithwp.com/government-education/) ou siga-nos no Twitter (@AWS_gov, @AWS_edu e @AWS_Nonprofits).