O que é gerenciamento de dados?

A prática de gerenciamento de dados abrange a coleta e a distribuição de dados de alta qualidade, além da governança de dados, para controlar o acesso aos dados.

Gerenciamento da qualidade dos dados

Os usuários de dados esperam que os dados sejam suficientemente confiáveis e consistentes para cada caso de uso.

Gerentes de qualidade de dados medem e melhoram a qualidade dos dados de uma organização. Eles analisam dados novos e existentes e verificam se eles atendem aos padrões. Também podem configurar processos de gerenciamento de dados que impedem a entrada de dados de baixa qualidade no sistema. Os padrões de qualidade de dados geralmente medem o seguinte:

• Informações-chave estão faltando, ou os dados estão completos? (por exemplo, o cliente omite informações-chave de contato)
• Os dados atendem às regras básicas de verificação de dados? (Por exemplo, um número de telefone deve ter 10 dígitos.)
• Com que frequência os mesmos dados aparecem no sistema? (Por exemplo, entradas de dados duplicadas do mesmo cliente.)
• Os dados são precisos? (Por exemplo, o cliente insere o endereço de e-mail errado.)
• A qualidade dos dados é consistente em todo o sistema? (Por exemplo, a data de nascimento está no formato dd/mm/aaaa em um conjunto de dados, mas no formato mm/dd/aaaa em outro conjunto de dados.)

Distribuição e consistência de dados

Endpoints para distribuição dos dados

Para a maioria das organizações, os dados precisam ser distribuídos para os (ou perto dos) vários endpoints onde eles são necessários. Isso inclui sistemas operacionais, data lakes e data warehouses. A distribuição de dados é necessária devido a latências de rede. Quando dados são necessários para uso operacional, a latência de rede pode não ser suficiente para entregá-los em tempo hábil. Armazenar uma cópia desses dados em um banco de dados local resolve o problema de latência de rede.

A distribuição de dados também é necessária para a consolidação de dados. Data warehouses e data lakes consolidam dados de várias fontes para apresentar uma visão consolidada das informações. Os data warehouses são usados para análises e tomada de decisão, enquanto os data lakes são um hub consolidado do qual os dados podem ser extraídos para vários casos de uso.

Mecanismos de replicação de dados e seu impacto na consistência

Os mecanismos de distribuição de dados têm um impacto potencial na consistência de dados, e essa é uma consideração importante no gerenciamento de dados.

Uma consistência forte é resultante da replicação síncrona dos dados. Nessa abordagem, quando um valor de dados for alterado, todas as aplicações e usuários verão essa alteração. Se o novo valor dos dados ainda não tiver sido replicado, o acesso aos dados será bloqueado até que todas as cópias sejam atualizadas. A replicação síncrona prioriza a consistência sobre a performance e o acesso aos dados. A replicação síncrona é usada com mais frequência para dados financeiros.

A consistência final é resultante da replicação assíncrona dos dados. Quando os dados são alterados, as cópias são eventualmente atualizadas (geralmente em alguns segundos), mas o acesso às cópias desatualizadas não é bloqueado. Para muitos casos de uso, isso não é um problema. Por exemplo, postagens, curtidas e comentários em mídias sociais não exigem consistência forte. Como outro exemplo, se um cliente alterar seu número de telefone em uma aplicação, essa alteração poderá ser cascateada de maneira assíncrona.

Comparação entre streaming e atualizações em lote

Fluxos de dados cascateiam alterações de dados à medida que elas ocorrem. Essa é a abordagem preferencial quando o acesso aos dados quase em tempo real é necessário. Os dados são extraídos, transformados e entregues ao seu destino assim que são alterados.

Atualizações em lote são mais apropriadas quando os dados precisam ser processados em lotes antes da entrega. Resumir ou realizar análises estatísticas dos dados e entregar apenas o resultado é um exemplo disso. Atualizações em lote também podem preservar a consistência interna e pontual dos dados quando todos os dados são extraídos em um ponto específico no tempo. Atualizações em lote por meio de um processo de extração, transformação e carregamento (ETL ou ELT) são normalmente usadas para data lakes, data warehousing e análises.

Gerenciamento de big data

Big data são os grandes volumes de dados que uma organização coleta em alta velocidade ao longo de um curto período de tempo. Feeds de notícias em vídeo nas mídias sociais e fluxos de dados de sensores inteligentes são exemplos de big data. Tanto a escala quanto a complexidade das operações criam desafios no gerenciamento de big data. Por exemplo, um sistema de big data armazena dados como:

• Dados estruturados que são bem representados em formato tabular
• Dados não estruturados, como documentos, imagens e vídeos
• Dados semiestruturados, que combinam os dois tipos anteriores

As ferramentas de gerenciamento de big data precisam processar e preparar todos esses dados para análise. As ferramentas e técnicas necessárias para big data normalmente executam as seguintes funções: integração de dados, armazenamento de dados e análise de dados.

Arquitetura de dados e modelagem de dados

Arquitetura de dados

Arquitetura de dados descreve os ativos de dados de uma organização e fornece um esquema para criar e gerenciar o fluxo de dados. O plano de gerenciamento de dados inclui detalhes técnicos, como bancos de dados operacionais, data lakes, data warehouses e servidores, que são os mais adequados para implementar a estratégia de gerenciamento de dados.

Modelagem de dados

Modelagem de dados é o processo de criação de modelos de dados conceituais e lógicos que visualizam os fluxos de trabalho e as relações entre diferentes tipos de dados. A modelagem de dados geralmente começa representando conceitualmente os dados e, em seguida, representando-os novamente no contexto das tecnologias escolhidas. Gerentes de dados criam vários tipos diferentes de modelos de dados durante o estágio de concepção de dados.

Governança de dados

A governança de dados inclui as políticas e os procedimentos que uma organização implementa para gerenciar a segurança, a integridade e o uso responsável dos dados. Ele define a estratégia de gerenciamento de dados e determina quem pode acessar quais dados. Políticas de governança de dados também estabelecem responsabilidade na forma como equipes e indivíduos acessam e usam os dados. Funções de governança de dados geralmente incluem:

Conformidade regulatória

Políticas de governança de dados reduzem o risco de multas ou ações regulatórias. Elas se concentram no treinamento dos funcionários para que a adesão às leis aconteça em todos os níveis. Por exemplo, uma organização colabora com uma equipe de desenvolvimento externa para melhorar seus sistemas de dados. Os gerentes de governança de dados verificam se todos os dados pessoais foram removidos antes de transmiti-los para a equipe externa para uso em testes.

Segurança de dados e controle de acesso

A governança de dados impede o acesso não autorizado aos dados e os protege contra corrupção. Ela inclui todos os aspectos da proteção, como os seguintes:

• Evitar a movimentação ou a exclusão acidental dos dados
• Proteger o acesso à rede para reduzir o risco de ataques à rede
• Verificar se os datacenters físicos que armazenam dados atendem aos requisitos de segurança
• Manter os dados seguros, mesmo quando os funcionários os acessam de dispositivos pessoais
• Autenticação do usuário, autorização e configuração e aplicação de permissões de acesso a dados
• Garantir que os dados armazenados estejam em conformidade com as leis do país onde os dados estão armazenados
   

As práticas recomendadas de gerenciamento de dados formam a base de uma estratégia de dados bem-sucedida. Veja a seguir algumas práticas recomendadas comuns.

Colaboração em equipe

Os usuários empresariais e as equipes técnicas devem colaborar para garantir que os requisitos de dados de uma organização sejam atendidos. Todo processamento e análise de dados deve priorizar requisitos de business intelligence. Caso contrário, os dados coletados permanecerão sem uso, com recursos desperdiçados em projetos de gerenciamento de dados mal planejados.

Automação

Uma estratégia de gerenciamento de dados bem-sucedida incorpora automação na maioria das tarefas de processamento e preparação de dados. Executar tarefas manuais de transformação de dados é entediante e também introduz erros no sistema. Mesmo um número limitado de tarefas manuais, como a execução de trabalhos em lote semanais, pode causar afunilamentos no sistema. Um software de gerenciamento de dados pode oferecer suporte a uma escalabilidade mais rápida e eficiente.

Computação em nuvem

As empresas precisam de soluções modernas de gerenciamento de dados que lhes forneçam um amplo conjunto de recursos. Uma solução de nuvem pode administrar todos os aspectos do gerenciamento de dados em grande escala e sem comprometer a performance. Por exemplo, a AWS oferece uma ampla variedade de funcionalidades, como bancos de dados, data lakes, análises, acessibilidade de dados, governança de dados e segurança, em uma única conta.