概觀
資料從 Amazon S3 Glacier 保存庫傳輸至 Amazon S3 中會將存放在 Amazon Simple Storage Service Glacier (Amazon S3 Glacier) 保存庫中的封存還原、複製並傳輸至您選擇的 S3 儲存貯體和儲存類別,包括 S3 Glacier 儲存類別。此 AWS 解決方案透過自動化傳輸程序簡化資料的使用,讓封存的資料更易於存取且更具成本效益。
注意:
Amazon S3 Glacier 儲存類別包括 Glacier Deep Archive、Glacier Flexible Retrieval 和 Glacier Instant Retrieval,與 S3 儲存類別不同。瀏覽此網頁以進一步了解這些儲存類別。
優勢
自動化可節省時間,並最大限度地減少資料傳輸過程中出現人為錯誤的可能性,從而協助確保操作更可靠、更一致。
將資料從 Amazon S3 Glacier 保存庫傳輸至 S3 儲存貯體,可以更輕鬆地進行資料分析和利用。應用程式和分析工具可以更輕鬆地存取資料,而無需延長還原時間。
Amazon S3 儲存類別方便標記和更快地存取您的資料。標記的優勢包括資料分類、精細分級的存取控制、生命週期管理和成本分配。
對於很少存取的資料,與 S3 Glacier 保存庫相比,Amazon S3 Glacier Deep Archive 儲存類別可以在 AWS 美國東部 (俄亥俄) 區域節省近 75% 的儲存成本。
技術詳細資訊
您可以使用實作指南和隨附的 AWS CloudFormation 範本自動部署此架構。
步驟 1
使用 AWS Systems Manager 文件 (SSM 文件) 來調用傳輸工作流程。
步驟 2
SSM 文件啟動 AWS Step Functions 協調器工作流程。
步驟 3
Step Functions 協調器工作流程會啟動巢狀 Step Functions Get Inventory 工作流程來擷取庫存檔案。
步驟 4
庫存擷取完成後,解決方案會調用「啟動擷取巢狀 Step Functions」工作流程。
步驟 5
作業就緒時,Amazon S3 Glacier 會向 Amazon Simple Notification Service (Amazon SNS) 主題傳送通知,指示作業完成。
步驟 6
此解決方案將所有作業完成通知儲存在 Amazon Simple Queue Service (Amazon SQS) 通知佇列中。
步驟 7
存檔作業就緒時,Amazon SQS 通知佇列會調用 AWS Lambda 通知處理器函數。此 Lambda 函數會準備存檔擷取的初始步驟。
步驟 8
Lambda 通知處理器函數將區塊擷取訊息放在 Amazon SQS 區塊擷取佇列中,以進行區塊處理。
步驟 9
Amazon SQS 區塊擷取佇列調用 Lambda 區塊擷取函數來處理每個區塊。
步驟 10
Lambda 區塊擷取函數從 Amazon S3 Glacier 保存庫下載區塊。
步驟 11
Lambda 區塊擷取函數將分段上傳部分上傳至 Amazon Simple Storage Service (Amazon S3)。
步驟 12
下載新區塊後,解決方案會將區塊中繼資料儲存在 Amazon DynamoDB (etag、checksum_sha_256、tree_checksum) 中。
步驟 13
Lambda 區塊擷取函數會驗證該存檔的所有區塊是否已處理。如果是,則會將事件插入到 Amazon SQS 驗證佇列中,以調用 Lambda 驗證函數。
步驟 14
Lambda 驗證函數會執行完整性檢查,然後關閉 Amazon S3 分段上傳。
步驟 15
DynamoDB 串流會調用 Lambda 指標處理器函數,以更新 DynamoDB 中的傳輸程序指標。
步驟 16
Step Functions 協調器工作流程會進入非同步等待,暫停直到存檔擷取工作流程結束,然後再啟動 Step Functions 清理工作流程。
步驟 17
DynamoDB 串流會調用 Lambda 非同步協助器函數,該函數會解鎖 Step Functions 中的非同步等待。
步驟 18
Amazon EventBridge 規則會定期啟動 Step Functions「延期下載視窗和更新 Amazon CloudWatch 儀表板」工作流程。
步驟 19
使用 CloudWatch 儀表板監控傳輸進度。