Escolher um serviço de análise da AWS

Determine os requisitos de processamento de dados sobre como os dados são ingeridos, transformados, limpos e preparados para análise. As principais considerações incluem:

• Transformação de dados: determine as transformações específicas necessárias para tornar os dados brutos adequados para análise. Isso envolve tarefas como agregação, normalização, filtragem e enriquecimento de dados.
• Limpeza de dados: avalie a qualidade dos dados e defina processos para lidar com dados ausentes, imprecisos ou inconsistentes. Implemente técnicas de limpeza dos dados para garantir dados de alta qualidade que produzem insights confiáveis.
• Frequência do processamento: determine se o processamento em tempo real, quase em tempo real ou em lote é necessário com base nas necessidades analíticas. O processamento em tempo real permite insights imediatos, enquanto o processamento em lote pode ser suficiente para análises periódicas.
• Escalabilidade e throughput: avalie os requisitos de escalabilidade para lidar com volumes de dados, velocidade de processamento e número de solicitações de dados simultâneas. Garanta que a abordagem de processamento escolhida possa acomodar o crescimento futuro.
• Latência: considere a latência aceitável para o processamento de dados e o tempo que leva desde a ingestão de dados até os resultados da análise. Isso é importante principalmente para as análises em tempo real ou urgentes.

Determine as necessidades de armazenamento determinando como e onde os dados são armazenados em todo o pipeline de análise. Considerações importantes incluem:

• Volume de dados: avalie a quantidade de dados gerados e coletados e estime o crescimento futuro dos dados para planejar a capacidade de armazenamento suficiente.
• Retenção de dados: defina por quanto tempo os dados devem ser retidos para fins de análise histórica ou conformidade. Determine as políticas de retenção de dados apropriadas.
• Padrões de acesso a dados: entenda como os dados serão acessados e consultados para escolher a solução de armazenamento mais adequada. Considere as operações de leitura e gravação, a frequência de acesso aos dados e a localidade dos dados.
• Segurança de dados: priorize a segurança dos dados avaliando as opções de criptografia, controles de acesso e mecanismos de proteção de dados para proteger informações confidenciais.
• Otimização de custos: otimize os custos de armazenamento selecionando as soluções de armazenamento mais econômicas com base nos padrões de acesso e uso dos dados.
• Integração com serviços de análise: garanta uma integração perfeita entre a solução de armazenamento escolhida e as ferramentas de processamento e análise de dados no pipeline.

Ao decidir sobre os serviços de análise para a coleta e a ingestão de dados, considere vários tipos de dados que sejam relevantes para as necessidades e objetivos da sua organização. Os tipos comuns de dados que talvez você precise considerar incluem:

• Dados transacionais: incluem informações sobre interações ou transações individuais, como compras de clientes, transações financeiras, pedidos on-line e logs de atividades do usuário.
• Dados baseados em arquivos: referem-se a dados estruturados ou não estruturados que são armazenados em arquivos, como arquivos de log, planilhas, documentos, imagens, arquivos de áudio e arquivos de vídeo. Os serviços de análise devem oferecer suporte à ingestão de diferentes formatos de arquivo/
• Dados de eventos: captura ocorrências ou incidentes significativos, como ações do usuário, eventos do sistema, eventos da máquina ou eventos comerciais. Os eventos podem incluir qualquer dado que esteja chegando em alta velocidade e que seja capturado para processamento contínuo ou posterior.

A responsabilidade operacional é compartilhada entre você e a AWS, com a divisão de responsabilidade variando em diferentes níveis de modernização. Você tem a opção de autogerenciar sua infraestrutura de análise na AWS ou aproveitar os vários serviços de análise sem servidor para reduzir a workload de infraestrutura.

As opções autogerenciadas oferecem aos usuários maior controle sobre a infraestrutura e as configurações, mas exigem maior esforço operacional.

As opções sem servidor eliminam grande parte da carga operacional, fornecendo escalabilidade automática, alta disponibilidade e atributos de segurança robustos, permitindo que os usuários se concentrem mais na criação de soluções analíticas e na geração de insights, em vez de gerenciar tarefas operacionais e de infraestrutura. Considere esses benefícios das soluções de análise sem servidor:

• Abstração da infraestrutura: os serviços sem servidor abstraem o gerenciamento da infraestrutura, dispensando os usuários das tarefas de provisionamento, dimensionamento e manutenção. A AWS lida com esses aspectos operacionais, reduzindo a sobrecarga do gerenciamento.
• Escalabilidade automática e desempenho: os serviços sem servidor escalam automaticamente os recursos com base nas demandas da workload, garantindo o desempenho ideal sem intervenção manual.
• Alta disponibilidade e recuperação de desastres: a AWS fornece alta disponibilidade para serviços sem servidor. A AWS gerencia a redundância de dados, a replicação e a recuperação de desastres para melhorar a disponibilidade e a confiabilidade dos dados.
• Segurança e conformidade: a AWS gerencia medidas de segurança, criptografia de dados e conformidade para serviços sem servidor, seguindo os padrões e as práticas recomendadas do setor.
• Monitoramento e registro: a AWS oferece recursos integrados de monitoramento, registro em log e alerta para serviços sem servidor. Os usuários podem acessar métricas e logs detalhados por meio do AWS CloudWatch.

Workload em lote

• Volume e frequência de dados: o processamento em lote é adequado para grandes volumes de dados com atualizações periódicas.
• Latência de dados: o processamento em lote pode causar algum atraso na entrega de insights em comparação com o processamento em tempo real.

Análise interativa

• Complexidade da consulta de dados: a análise interativa exige respostas de baixa latência para um feedback rápido.
• Visualização de dados: avalie a necessidade de ferramentas interativas de visualização de dados para permitir que os usuários corporativos explorem os dados visualmente.

Workloads de streaming

• Velocidade e volume de dados: as workloads de streaming exigem processamento em tempo real para lidar com dados de alta velocidade.
• Janela de dados: defina janelas de dados e agregações baseadas em tempo para streaming de dados a fim de extrair insights relevantes.

Defina claramente os objetivos de negócios e os insights que você pretende obter da análise. Diferentes tipos de análise servem a propósitos diferentes. Por exemplo:

• A análise descritiva é ideal para obter uma visão geral histórica
• A análise de diagnóstico ajuda a entender os motivos por trás de eventos passados
• A análise preditiva prevê resultados futuros
• A análise prescritiva fornece recomendações para ações ideais

Combine suas metas de negócios com os tipos relevantes de análise. Aqui estão alguns dos principais critérios de decisão para ajudar você a escolher os tipos certos de análise:

• Disponibilidade e qualidade dos dados: a análise descritiva e diagnóstica depende de dados históricos, enquanto as análises preditiva e prescritiva exigem dados históricos suficientes e dados de alta qualidade para criar modelos precisos.
• Volume e complexidade dos dados: as análises preditiva e prescritiva exigem recursos computacionais e de processamento de dados substanciais. Garanta que sua infraestrutura e ferramentas possam lidar com o volume e a complexidade dos dados.
• Complexidade da decisão: se as decisões envolverem várias variáveis, restrições e objetivos, a análise prescritiva pode ser mais adequada para orientar as ações ideais.
  
• Tolerância a riscos: a análise prescritiva pode fornecer recomendações, mas vem com incertezas associadas. Garanta que os responsáveis pela decisão entendam os riscos associados aos resultados da análise.

Avalie as necessidades de escalabilidade e desempenho da arquitetura. O design deve lidar com volumes crescentes de dados, demandas de usuários e workloads analíticas. Os principais fatores de decisão a serem considerados incluem:

• Volume e crescimento de dados: avalie o volume de dados atual e antecipe o crescimento futuro. 
• Velocidade de dados e requisitos em tempo real: determine se os dados precisam ser processados e analisados em tempo real ou quase em tempo real.
• Complexidade do processamento de dados: analise a complexidade de suas tarefas de processamento e análise de dados. Para tarefas computacionalmente intensivas, serviços como o Amazon EMR fornecem um ambiente escalável e gerenciado para processamento de big data.
• Simultaneidade e carga do usuário: considere o número de usuários simultâneos e o nível de carga do usuário no sistema. 
• Recursos de escalabilidade automática: considere serviços que ofereçam recursos de escalabilidade automática, permitindo que os recursos aumentem ou diminuam automaticamente com base na demanda. Isso garante a utilização eficiente dos recursos e a otimização dos custos.
• Distribuição geográfica: considere serviços com replicação global e acesso a dados de baixa latência se sua arquitetura de dados precisar ser distribuída em várias regiões ou locais.
• Compromisso entre custo e desempenho: equilibre as necessidades de desempenho com as considerações de custo. Serviços com alto desempenho podem ter um custo maior.
  
• Acordos de serviço (SLAs): verifique os SLAs fornecidos pelos serviços da AWS para garantir que eles atendam às suas expectativas de escalabilidade e desempenho.

A governança de dados é o conjunto de processos, políticas e controles que você precisa implementar para garantir o gerenciamento, a qualidade, a segurança e a conformidade eficazes de seus ativos de dados. Os principais pontos de decisão a serem considerados incluem:

• Políticas de retenção de dados: defina as políticas de retenção de dados com base nos requisitos normativos e nas necessidades comerciais e estabeleça processos para o descarte seguro de dados quando não forem mais necessários.
  
• Trilha de auditoria e registro: decida sobre os mecanismos de registro em log e auditoria para monitorar o acesso e o uso dos dados. Implemente trilhas de auditoria abrangentes para rastrear alterações de dados, tentativas de acesso e atividades do usuário para monitoramento de conformidade e segurança.
• Requisitos de conformidade: entenda os regulamentos de conformidade de dados geográficos e específicos do setor que se aplicam à sua organização. Garanta que a arquitetura de dados esteja alinhada com esses regulamentos e diretrizes.
• Classificação de dados: classifique os dados com base em sua sensibilidade e defina os controles de segurança apropriados para cada classe de dados. 
  
• Recuperação de desastres e continuidade dos negócios: planeje a recuperação de desastres e a continuidade dos negócios para garantir a disponibilidade e a resiliência dos dados em caso de eventos inesperados ou falhas no sistema.
• Compartilhamento de dados de terceiros: se estiver compartilhando dados com entidades terceirizadas, implemente protocolos e acordos seguros de compartilhamento de dados para proteger a confidencialidade dos dados e evitar o uso indevido de dados.

A segurança dos dados no pipeline de análise envolve a proteção dos dados em todas as etapas do pipeline para garantir sua confidencialidade, integridade e disponibilidade. Os principais pontos de decisão a serem considerados incluem:

• Controle de acesso e autorização: implemente protocolos robustos de autenticação e autorização para garantir que somente usuários autorizados possam acessar os recursos de dados específicos.
• Criptografia de dados: escolha métodos de criptografia apropriados para dados armazenados em bancos de dados, data lakes e durante a movimentação de dados entre diferentes componentes da arquitetura.
• Mascaramento e anonimização de dados: considere a necessidade de mascaramento ou anonimização de dados para proteger dados confidenciais, como PII ou dados comerciais confidenciais, permitindo que certos processos analíticos continuem.
• Integração segura de dados: estabeleça práticas seguras de integração de dados para garantir que os dados fluam com segurança entre os diferentes componentes da arquitetura, evitando vazamentos de dados ou acesso não autorizado durante a movimentação de dados.
• Isolamento da rede: considere serviços que ofereçam suporte aos endpoints da VPC da AWS para evitar a exposição de recursos à Internet pública.

Defina os pontos de integração e os fluxos de dados entre os vários componentes do pipeline de análise para garantir um fluxo de dados e interoperabilidade contínuos. Os principais pontos de decisão a serem considerados incluem:

• Integração de fontes de dados: identifique as fontes de dados das quais os dados serão coletados, como bancos de dados, aplicações, arquivos ou APIs externas. Escolha os métodos de ingestão de dados (em lote, em tempo real, com base em eventos) para levar os dados para o pipeline de forma eficiente e com latência mínima.
• Transformação de dados: determine as transformações necessárias para preparar os dados para análise. Escolha as ferramentas e os processos para limpar, agregar, normalizar ou enriquecer os dados à medida que eles se movem pelo pipeline.
• Arquitetura da movimentação de dados: escolha a arquitetura apropriada para a movimentação de dados entre os componentes do pipeline. Considere o processamento em lote, o processamento em fluxo ou uma combinação de ambos com base nos requisitos em tempo real e no volume de dados.
• Replicação e sincronização de dados: escolha os mecanismos de replicação e sincronização de dados para manter os dados atualizados em todos os componentes. Considere soluções de replicação em tempo real ou sincronizações periódicas de dados, dependendo dos requisitos de atualização dos dados.
  
• Qualidade e validação de dados: implemente verificações de qualidade de dados e etapas de validação para garantir a integridade dos dados à medida que eles se movem pelo pipeline. Decida as ações a serem tomadas quando os dados falharem na validação, como alertas ou tratamento de erros.
• Segurança e criptografia de dados: determine como os dados serão protegidos durante o trânsito e em repouso. Decida sobre os métodos de criptografia para proteger dados confidenciais em todo o pipeline, considerando o nível de segurança necessário com base no sigilo dos dados.
• Escalabilidade e resiliência: garanta que o design do fluxo de dados permita escalabilidade horizontal e possa lidar com maiores volumes de dados e tráfego.

Criar seu pipeline de análise na AWS oferece várias oportunidades de otimização de custos. Para garantir a eficiência de custos, considere as seguintes estratégias:

• Dimensionamento e seleção de recursos: dimensione corretamente seus recursos com base nos requisitos reais da workload. Escolha serviços e tipos de instância da AWS que atendam às necessidades de desempenho das workloads, evitando o provisionamento excessivo.
• Escalabilidade automática: implemente a escalabilidade automática para serviços que experimentam workloads variadas. A escalabilidade automática ajusta dinamicamente o número de instâncias com base na demanda, reduzindo os custos durante os períodos de baixo tráfego.
• Instâncias spot: utilize instâncias spot do AWS EC2 para workloads não críticas e tolerantes a falhas. As instâncias spot podem reduzir significativamente os custos em comparação com as instâncias sob demanda.
• Instâncias reservadas: considere comprar instâncias reservadas da AWS para obter economias significativas em relação aos preços sob demanda para workloads estáveis com uso previsível.
• Classificação por níveis de armazenamento de dados: otimize os custos de armazenamento de dados usando diferentes classes de armazenamento com base na frequência de acesso aos dados.
• Políticas de ciclo de vida de dados: configure políticas de ciclo de vida de dados para mover ou excluir dados automaticamente com base na idade e nos padrões de uso dos dados. Isso ajuda a gerenciar os custos de armazenamento e mantém o armazenamento de dados alinhado com seu valor.