Visão geral
A transferência de dados de cofres do Amazon S3 Glacier para o Amazon S3 restaura, copia e transfere arquivos armazenados em um cofre do Amazon Simple Storage Service Glacier (Amazon S3 Glacier) para um bucket do S3 e uma classe de armazenamento de sua escolha, incluindo as classes de armazenamento do S3 Glacier. Esta solução da AWS simplifica o uso de seus dados ao automatizar o processo de transferência, tornando os dados arquivados mais acessíveis e econômicos.
Nota:
As classes de armazenamento do Amazon S3 Glacier, incluindo Glacier Deep Archive, Glacier Flexible Retrieval e Glacier Instant Retrieval, são diferentes das classes de armazenamento do S3. Acesse esta página web para saber mais sobre essas classes de armazenamento.
Benefícios
A automação economiza tempo e minimiza a probabilidade de erro humano durante o processo de transferência de dados, ajudando a garantir uma operação mais confiável e consistente.
A transferência de dados dos cofres do Amazon S3 Glacier para buckets do S3 facilita a análise e a utilização dos dados. Os dados são mais facilmente acessíveis para aplicações e ferramentas de análise, sem tempos de restauração prolongados.
As classes de armazenamento do Amazon S3 permitem a marcação e o acesso mais rápido aos seus dados. Os benefícios da marcação incluem classificação de dados, controle de acesso refinado, gerenciamento do ciclo de vida e alocação de custos.
Para dados que raramente são acessados, a classe de armazenamento Amazon S3 Glacier Deep Archive pode economizar quase 75% em custos de armazenamento na região Leste dos EUA (Ohio) da AWS em comparação com um cofre do S3 Glacier.
Detalhes técnicos
Você pode implantar essa arquitetura automaticamente usando o Guia de Implementação e o modelo que acompanha o AWS CloudFormation.
Etapa 1
Invoque um fluxo de trabalho de transferência usando um documento do AWS Systems Manager (documento SSM).
Etapa 2
O documento SSM inicia o fluxo de trabalho do orquestrador do AWS Step Functions.
Etapa 3
O fluxo de trabalho do orquestrador do Step Functions inicia um fluxo de trabalho Get Inventory aninhado do Step Functions para recuperar o arquivo de inventário.
Etapa 4
Após a conclusão da recuperação do inventário, a solução invoca o fluxo de trabalho Initiate Retrieval aninhado do Step Functions.
Etapa 5
Quando um trabalho está pronto, o Amazon S3 Glacier envia uma notificação para um tópico do Amazon Simple Notification Service (Amazon SNS) indicando a conclusão do trabalho.
Etapa 6
A solução armazena todas as notificações de conclusão do trabalho na fila Notifications do Amazon Simple Queue Service (Amazon SQS).
Etapa 7
Quando um trabalho de arquivamento está pronto, a fila Notifications do Amazon SQS invoca a função Notifications Processor do AWS Lambda. Esta função do Lambda prepara as etapas iniciais para a recuperação do arquivo.
Etapa 8
A função Notifications Processor do Lambda coloca mensagens de recuperação de fragmentos na fila Chunks Retrieval do Amazon SQS para processamento de fragmentos.
Etapa 9
A fila Chunks Retrieval do Amazon SQS invoca a função Chunks Retrieval do Lambda para processar cada bloco.
Etapa 10
A função Chunk Retrieval do Lambda baixa o fragmento do cofre do Amazon S3 Glacier.
Etapa 11
A função Chunk Retrieval do Lambda carrega uma parte do upload de várias partes para o Amazon Simple Storage Service (Amazon S3).
Etapa 12
Depois que um novo fragmento é baixado, a solução armazena os metadados do fragmento no Amazon DynamoDB (etag, checksum_sha_256, tree_checksum).
Etapa 13
A função Chunk Retrieval do Lambda verifica se todos os fragmentos desse arquivamento foram processados. Se sim, ele insere um evento na fila Validation do Amazon SQS para invocar a função Validate do Lambda.
Etapa 14
A função Validate do Lambda executa uma verificação de integridade e, em seguida, fecha o upload de várias partes do Amazon S3.
Etapa 15
Um fluxo do DynamoDB invoca a função Metrics Processor do Lambda para atualizar as métricas do processo de transferência noDynamoDB.
Etapa 16
O fluxo de trabalho do orquestrador do Step Functions entra em uma espera assíncrona, pausando até que o fluxo de trabalho de recuperação do arquivamento seja concluído antes de iniciar o fluxo de trabalho Cleanup do Step Functions.
Etapa 17
O fluxo do DynamoDB invoca a função Async Facilitator do Lambda, que desbloqueia esperas assíncronas no Step Functions.
Etapa 18
As regras do Amazon EventBridge iniciam periodicamente os fluxos de trabalho Extend Download Window e Update Amazon CloudWatch Dashboard do Step Functions.
Etapa 19
Monitore o progresso da transferência usando o painel do CloudWatch.
Etapa 1
Invoque um fluxo de trabalho de transferência usando um documento do AWS Systems Manager (documento SSM).
Etapa 2
O documento SSM inicia o fluxo de trabalho do orquestrador do AWS Step Functions.
Etapa 3
O fluxo de trabalho do orquestrador do Step Functions inicia um fluxo de trabalho Get Inventory aninhado do Step Functions para recuperar o arquivo de inventário.
Etapa 4
Após a conclusão da recuperação do inventário, a solução invoca o fluxo de trabalho Initiate Retrieval aninhado do Step Functions.
Etapa 5
Quando um trabalho está pronto, o Amazon S3 Glacier envia uma notificação para um tópico do Amazon Simple Notification Service (Amazon SNS) indicando a conclusão do trabalho.
Etapa 6
A solução armazena todas as notificações de conclusão do trabalho na fila Notifications do Amazon Simple Queue Service (Amazon SQS).
Etapa 7
Quando um trabalho de arquivamento está pronto, a fila Notifications do Amazon SQS invoca a função Notifications Processor do AWS Lambda. Esta função do Lambda prepara as etapas iniciais para a recuperação do arquivo.
Etapa 8
A função Notifications Processor do Lambda coloca mensagens de recuperação de fragmentos na fila Chunks Retrieval do Amazon SQS para processamento de fragmentos.
Etapa 9
A fila Chunks Retrieval do Amazon SQS invoca a função Chunks Retrieval do Lambda para processar cada bloco.
Etapa 10
A função Chunk Retrieval do Lambda baixa o fragmento do cofre do Amazon S3 Glacier.
Etapa 11
A função Chunk Retrieval do Lambda carrega uma parte do upload de várias partes para o Amazon Simple Storage Service (Amazon S3).
Etapa 12
Depois que um novo fragmento é baixado, a solução armazena os metadados do fragmento no Amazon DynamoDB (etag, checksum_sha_256, tree_checksum).
Etapa 13
A função Chunk Retrieval do Lambda verifica se todos os fragmentos desse arquivamento foram processados. Se sim, ele insere um evento na fila Validation do Amazon SQS para invocar a função Validate do Lambda.
Etapa 14
A função Validate do Lambda executa uma verificação de integridade e, em seguida, fecha o upload de várias partes do Amazon S3.
Etapa 15
Um fluxo do DynamoDB invoca a função Metrics Processor do Lambda para atualizar as métricas do processo de transferência noDynamoDB.
Etapa 16
O fluxo de trabalho do orquestrador do Step Functions entra em uma espera assíncrona, pausando até que o fluxo de trabalho de recuperação do arquivamento seja concluído antes de iniciar o fluxo de trabalho Cleanup do Step Functions.
Etapa 17
O fluxo do DynamoDB invoca a função Async Facilitator do Lambda, que desbloqueia esperas assíncronas no Step Functions.
Etapa 18
As regras do Amazon EventBridge iniciam periodicamente os fluxos de trabalho Extend Download Window e Update Amazon CloudWatch Dashboard do Step Functions.
Etapa 19
Monitore o progresso da transferência usando o painel do CloudWatch.
Conteúdo relacionado
O S3 Glacier é um serviço seguro e durável para arquivamento de dados de baixo custo e backup de longo prazo usando cofres.
Este workshop individualizado fornece um guia passo a passo para a execução da solução da AWS, Transferência de dados de cofres do Amazon S3 Glacier para o Amazon S3, em sua conta da AWS.
- Data de publicação