O que é um data mart?

As empresas usam vários tipos diferentes de sistemas de armazenamento de dados para gerenciamento e análise de dados. Vejamos alguns tipos comuns de armazenamento de dados para entender o contexto em que as empresas usam data marts.

Banco de dados

Um banco de dados é um armazenamento organizado que os sistemas de computador usam para armazenar, pesquisar, recuperar e analisar informações. Existem vários tipos de bancos de dados, como bancos de dados relacionais. Um banco de dados relacional armazena informações em tabelas que consistem em linhas e colunas. Os dados em tabelas diferentes são conectados por um identificador exclusivo conhecido como chave. As chaves são os valores não repetitivos em colunas específicas.

Data mart versus banco de dados

Um data mart serve como elemento de frente para os dados de um departamento.  Você pode usar um data mart para recuperar e analisar informações. Enquanto isso, um banco de dados coleta, gerencia e armazena informações. Em seguida, você pode usar ferramentas para processar, formatar e transferir as informações armazenadas para um data mart. 

Data warehouse  

Um data warehouse é um extenso sistema de banco de dados que armazena informações de uma empresa inteira. Ele coleta informações brutas de várias fontes, como software comercial e feeds de mídia social, e as processa em dados estruturados armazenados em formato tabular. As empresas podem conectar um data warehouse corporativo a ferramentas de business intelligence para tomar decisões mais inteligentes. 

Comparação entre data marts e data warehouses

Um data mart compartilha muitas das qualidades de um data warehouse. A diferença é que um data warehouse contém dados de toda a empresa sobre vários tópicos. Enquanto isso, um data mart armazena informações intimamente relacionadas a um assunto específico. Por exemplo, um data warehouse pode armazenar informações para os departamentos de marketing, recursos humanos, compras e suporte ao cliente. No entanto, um data mart pode armazenar apenas dados transacionais relevantes para um único departamento. O apelo da construção de um data mart é que os departamentos que gerenciam seus data marts tenham controle total sobre o carregamento e o gerenciamento de seus dados. 

Muitas organizações estão usando tecnologias como compartilhamento de dados para publicar seus data marts em um data warehouse central.  Ao fazer isso, eles podem ser mais ágeis distribuindo a propriedade e isolando as workloads.  Da mesma forma, o compartilhamento de dados permite que os data marts departamentais consumam dados compartilhados de um data warehouse ou de outros data marts.

Data lake 

Um data lake é o armazenamento de dados que contém informações brutas e não estruturadas. Ele não armazena informações em arquivos e pastas. Em vez disso, ele armazena informações não processadas em uma hierarquia plana em um armazenamento massivo. Os data lakes armazenam diferentes tipos de informações brutas, incluindo documentos de texto, imagens, vídeos e áudio. 

Os analistas de dados usam data lakes para conduzir análises preditivas a partir de dados não estruturados. Por exemplo, um data lake pode armazenar textos de avaliações de mídias sociais que as empresas podem usar para análise de sentimentos. Os analistas de dados podem usar a análise de sentimento para detectar tendências de opinião negativas para uma empresa. 

Data mart versus data lake

Como os data lakes armazenam dados não processados, algumas das informações podem ser duplicadas ou podem não ser significativas para a empresa. Enquanto isso, um data mart armazena dados processados que atendem a uma necessidade específica. Um data lake pode ser a fonte de um data mart. As empresas determinam tendências de dados analisando dados históricos em data marts, mas usam data lakes para analisar profundamente as informações armazenadas. 

OLAP

O Online Analytical Processing (OLAP – Processamento analítico online) é um método para representar dados em várias dimensões. Por exemplo, os analistas de dados usam um cubo OLAP para mostrar simultaneamente a receita de vendas com base em meses, cidades e produtos. As estruturas de dados OLAP são amplas, com campos classificados como fatos ou dimensões e resultam em duplicação de dados.  Isso contrasta com bancos de dados relacionais convencionais, que favorecem estruturas estreitas e pouca duplicação de dados.

Comparação entre data mart e cubo OLAP

O OLAP é uma estratégia específica de armazenamento de informações que desnormaliza os dados em tabelas amplas. O OLAP simplifica representações complexas de dados multidimensionais. Alguns data marts podem usar o OLAP para estruturar suas informações, mas outros usam estruturas convencionais e normalizadas. Os analistas de negócios se beneficiam das estruturas OLAP para visualizar informações de um data mart. 

Armazenamento de dados operacional

Um armazenamento de dados operacional (ODS) é o armazenamento de informações que atua como intermediário entre as fontes de dados e o data warehouse. Os analistas de dados usam o ODS para fornecer relatórios quase em tempo real sobre dados transacionais. O ODS oferece suporte a consultas simples e fornece apenas uma quantidade limitada de informações. Por exemplo, o ODS pode armazenar registros de vendas somente nas últimas 12 horas. 

Comparação entre data mart e ODS 

Um data mart extrai informações orientadas ao assunto de um data warehouse, mas um ODS envia informações para o data warehouse para processamento. Os data marts oferecem informações históricas que você pode analisar, mas um ODS fornece uma visão atualizada das operações atuais. Por exemplo, você pode usar um data mart para identificar padrões de vendas do último trimestre, mas receber atualizações de números de vendas por hora do ODS. 

Um data mart transforma informações brutas em conteúdo estruturado e significativo para um departamento de negócios específico. Para fazer isso, os engenheiros de dados configuram um data mart para receber informações de um data warehouse ou diretamente de fontes de dados externas. 

Quando está conectado a um data warehouse, o data mart recupera uma seleção de informações relevantes para uma unidade de negócios. Muitas vezes, as informações contêm dados resumidos e excluem dados desnecessários ou detalhados. 

ETL 

A extração, transformação e carregamento (ETL) é um processo para integrar e transferir informações de várias fontes de dados em um único banco de dados físico. Os data marts usam ETL para recuperar informações de fontes externas quando elas não vêm de um data warehouse. O processo envolve as seguintes etapas.

• Extrair: coletar informações brutas de várias fontes
• Transformar: estruture as informações em um formato comum
• Carregar: transfira os dados processados para o banco de dados

As ferramentas de ETL copiam informações de fontes externas, como planilhas, aplicações e documentos de texto. Em seguida, o data mart processa, organiza e armazena as informações de forma estruturada. 

Análises

Os analistas de negócios usam ferramentas de software para recuperar, analisar e representar dados do data mart. Por exemplo, eles usam as informações armazenadas em data marts para análises de business intelligence, painéis de relatórios e aplicações em nuvem. 

Cada data mart atende a um pequeno número de usuários. Por exemplo, o gerente de marketing e os profissionais de marketing sênior têm acesso a um data mart, portanto, leva menos tempo para gerar relatórios e gráficos ou realizar análises preditivas.

Os data marts usam essas estruturas para armazenar e representar informações. 

Estrela

A estrutura da estrela tem uma tabela de fatos no centro e se ramifica para várias tabelas de dimensão. Isso resulta em uma conexão em forma de estrela. A tabela de fatos é uma tabela de dados que contém dados resumidos que você pode usar para fins analíticos. Enquanto isso, as tabelas de dimensão contêm informações descritivas em uma tabela de fatos. Cada tabela de dimensão é vinculada à tabela de fatos com uma chave estrangeira. Uma chave estrangeira é um identificador exclusivo, como um ID do produto ou ID do fornecedor. 

Por exemplo, uma tabela de fatos para transações de vendas tem as seguintes colunas:

• ID de vendas
• ID do produto
• ID do fornecedor
• Valor das vendas

Uma tabela de dimensões para produtos armazena as seguintes informações:

• ID do produto
• Nome do produto
• Custo do produto

A tabela de dimensões do fornecedor tem as seguintes colunas:

• ID do fornecedor
• Nome do fornecedor
• Cidade

Benefícios

Em uma estrutura em estrela, a tabela de dimensão é desnormalizada para não se estender a tabelas adicionais. Isso significa que a tabela de dimensões pode conter dados redundantes, mas melhora a velocidade de pesquisa e recuperação. Também ocupa menos espaço para armazenar tabelas de dimensão.

Os analistas de negócios podem usar um data mart estruturado em estrelas para simplificar consultas complexas. Quando eles pesquisam um registro de vendas específico, o sistema de gerenciamento de dados pesquisa na tabela de fatos. Quando o sistema de data mart encontra o registro correto, ele usa o ID do produto e o ID do fornecedor para consultar dados das respectivas tabelas de dimensão. 

Desnormalizado

Uma estrutura desnormalizada armazena todos os dados relacionados em uma única tabela. Ele não tem junções complexas entre tabelas de fatos e tabelas de dimensão. Os analistas de dados usam um data mart desnormalizado porque ele melhora a velocidade da consulta. Por exemplo, uma pesquisa por um registro de vendas ocorre em uma única tabela desnormalizada da seguinte forma:

• ID de vendas
• Produto 
• Nome do produto
• Custo do produto
• Nome do modelo
• Peso 
• Tamanho
• Fornecedor 
• Nome do fornecedor
• Cidade
• Valor das vendas

Um data mart desnormalizado é adequado para relatórios em tempo real devido à sua abordagem de tabela única. No entanto, a desnormalização do data mart leva à redundância de dados. Por exemplo, o mesmo nome de produto pode aparecer em vários registros. Isso resulta em espaço de armazenamento adicional e custos de implementação dispendiosos.

As empresas precisam processar volumes de dados cada vez maiores que estendem o armazenamento convencional de data mart até o limite. Os data marts instalados em servidores on-premises são difíceis de dimensionar. A arquitetura de nuvem oferece uma integração de nível empresarial mais barata, mais escalável e mais gerenciável para data marts.

O Amazon Redshift é uma solução de data warehousing que você pode usar para implementar data marts na nuvem. Você pode obter insights integrados executando análises preditivas e em tempo real em dados complexos e escalados em seus bancos de dados operacionais, data lake, data warehouse e milhares de conjuntos de dados de terceiros. Você pode criar, treinar e implantar automaticamente modelos de machine learning (ML) com facilidade. Você pode criar data marts no Amazon Redshift e usá-los para tomar decisões mais inteligentes. 

O Amazon Redshift tem alguns recursos importantes que o tornam uma ótima solução para o seu data mart:

• Com o Amazon Redshift Serverless, as considerações sobre o tamanho e a escala do cluster são tratadas para você. 
• Devido ao compartilhamento de dados nativos, os dados em seu data mart podem acessar dados em seu data warehouse ou podem ser compartilhados com seu data warehouse.

Comece a usar data marts criando uma conta da AWS hoje mesmo.