選擇 AWS 分析服務

確定資料如何擷取、轉換、清除和準備進行分析的資料處理要求。關鍵考量包括：

• 資料轉換：確定讓原始資料適合分析所需的特定轉換。這涉及資料彙總、標準化、篩選和擴充等任務。
• 資料清除：評估資料品質並定義處理遺失、不準確或不一致資料的程序。實作資料清除技術，確保高品質的資料，以獲得可靠的洞察。
• 處理頻率：根據分析需求，確定是需要即時處理、近乎即時處理，還是批次處理。即時處理可實現即時洞察，而批次處理可能足以進行定期分析。
• 可擴展性和輸送量：評估處理資料量、處理速度，以及並行資料請求數目的可擴展性要求。確保選擇的處理方法可適應未來增長。
• 延遲：考慮可接受的資料處理延遲，以及從資料擷取到分析結果所需的時間。這對於即時分析或時效性分析特別重要。

確定整個分析管道中資料的儲存方式和位置，來判斷儲存需求。重要考量包括：

• 資料量：評估產生和收集的資料量，並預估未來的資料增長，以規劃足夠的儲存容量。
• 資料保留：定義用於歷史分析或合規用途而保留資料的持續時間。確定適當的資料保留政策。
• 資料存取模式：了解如何存取和查詢資料，以選擇最合適的儲存解決方案。考慮讀取和寫入操作、資料存取頻率和資料位置。
• 資料安全：評估加密選項、存取控制和資料保護機制，來保護敏感資訊，藉此優先考量資料安全。
• 成本優化：根據資料存取模式和用量，選擇最符合成本效益的儲存解決方案，藉以優化儲存成本。
• 與分析服務整合：確保選擇的儲存解決方案與管道中的資料處理和分析工具順暢整合。

決定用於收集和擷取資料的分析服務時，考慮與組織需求和目標相關的各種資料類型。您可能需要考慮的常見資料類型包括：

• 交易資料：包括個別互動或交易相關資訊，例如客戶購買、財務交易、線上訂單及使用者活動記錄。
• 以檔案為基礎的資料：指存放在檔案中的結構化或非結構化資料，例如日誌檔案、試算表、文件、影像、音訊檔和影片檔案。分析服務應支援擷取不同的檔案格式/
• 事件資料：擷取重大事件或事故，例如使用者動作、系統事件、機器事件或商業事件。事件可以包括任何以高速傳送的資料，並擷取該資料供串流或下游處理。

您與 AWS 之間具有共同的營運責任，責任分配因不同的現代化層級而異。您可以選擇自行管理 AWS 上的分析基礎設施，或利用眾多無伺服器分析服務來減緩基礎設施管理負擔。

自我管理選項授予使用者更大的控制權來管理基礎設施和組態，但這些選項需要更多操作性工作。

無伺服器選項可減少大部分營運負擔，提供自動可擴展性、高可用性和強大的安全功能，讓使用者更專注於建置分析解決方案和推進洞察，而不是管理基礎設施和營運任務。考慮無伺服器分析解決方案的以下優勢：

• 基礎設施抽象化：無伺服器服務可抽象化基礎設施管理，讓使用者免於佈建、擴展和維護任務。AWS 可處理這些營運方面的事務，從而降低管理開銷。
• 自動擴展和效能：無伺服器服務可根據工作負載需求自動擴展資源，無需手動干預即可確保最佳效能。
• 高可用性和災難復原：AWS 為無伺服器服務提供高可用性。AWS 可管理資料備援、複寫和災難復原，以提升資料可用性和可靠性。
• 安全性與合規性：AWS 可管理無伺服器服務的安全措施、資料加密與合規性，並遵守產業標準和最佳實務。
• 監控和日誌記錄：AWS 為無伺服器服務提供內建的監控、日誌記錄和提醒功能。使用者可透過 AWS CloudWatch 存取詳細的指標和日誌。

批次工作負載

• 資料量和頻率：批次處理適用於定期更新的大量資料。
• 資料延遲：相較於即時處理，批次處理可能會導致提供洞察出現一些延遲。

互動式分析

• 資料查詢複雜度：互動式分析需要低延遲回應才能快速回饋。
• 資料視覺化：評估互動式資料視覺化工具的需求，讓企業使用者能夠以視覺化方式探索資料。

串流工作負載

• 資料速度和資料量：串流工作負載需要即時處理才能處理高速資料。
• 資料視窗：針對串流資料定義資料視窗和基於時間的彙總，以擷取相關洞察。

清楚地定義您希望從分析中衍生的商業目標和洞察。不同類型的分析服務具有不同的用途。例如：

• 描述性分析是獲取歷史概觀的理想選擇
• 診斷分析有助於了解過去事件背後的原因
• 預測性分析會預測未來的結果
• 規範性分析會提供最佳動作的建議

將您的商業目標與相關分析類型進行比對。以下是一些關鍵決策準則，可協助您選擇適當的分析類型：

• 資料可用性和品質：描述性和診斷分析依賴於歷史資料，而預測性和規範性分析需要足夠的歷史資料和高品質資料，才能建置準確的模型。
• 資料量和複雜性：預測性和規範性分析需要大量的資料處理和運算資源。確保您的基礎設施和工具能夠處理資料量和複雜性。
• 決策複雜性：如果決策涉及多個變數、限制和目標，則規範性分析可能更適合指導最佳動作。
  
• 風險承受性：規範性分析可能會提供建議，但會帶來關聯的不確定性。確保決策者能夠了解與分析輸出關聯的風險。

評估架構的可擴展性和效能需求。設計必須處理不斷增加的資料量、使用者需求和分析工作負載。需要考慮的關鍵決策因素包括：

• 資料量和增長：評估目前的資料量並預測未來增長。 
• 資料速度和即時要求：確定資料是否需要即時或近乎即時處理和分析資料。
• 資料處理複雜性：分析資料處理和分析任務的複雜性。針對運算密集型任務，Amazon EMR 等服務可為大數據處理提供可擴展和受管環境。
• 並行和使用者負載：考慮並行使用者的數目及系統上的使用者負載層級。 
• 自動擴展功能：考慮提供自動擴展功能的服務，允許資源根據需求自動擴展或縮減。這可確保高效的資源使用率和成本優化。
• 地理分佈：如果您的資料架構需要分散到多個區域或位置，考慮具有全域複寫和低延遲資料存取的服務。
• 成本效能平衡：平衡效能需求與成本考量。高效能服務可能會產生更高的成本。
  
• 服務水準協議 (SLA)：檢查 AWS 服務提供的 SLA，以確保其符合您的可擴展性和效能期望值。

資料控管是您需要實作的一組程序、政策和控制項，以確保資料資產的有效管理、品質、安全與合規。需要考慮的關鍵決策點包括：

• 資料保留政策：根據法規要求和商業需求來定義資料保留政策，並建立不再需要資料時對其進行安全處理的程序。
  
• 稽核記錄和日誌記錄：決定日誌記錄和稽核機制，以監控資料存取和用量。實作全面的稽核記錄，以追蹤資料變更、存取嘗試及使用者活動，從而進行合規與安全監控。
• 合規要求：了解適用於您組織的產業特定及地區性資料合規法規。確保資料架構符合這些法規和指導方針。
• 資料分類：根據資料的敏感度對其進行分類，並針對每個資料類別定義適當的安全控制。 
  
• 災難復原和業務持續性：針對災難復原和業務持續性做出規劃，以確保在發生非預期事件或系統故障時的資料可用性和恢復能力。
• 第三方資料共用：如果與第三方實體共用資料，請實施安全的資料共用協議和協議，以保護資料機密性並防止資料濫用。

分析管道中資料安全涉及在管道的各個階段為資料提供保護，以確保資料的機密性、完整性和可用性。需要考慮的關鍵決策點包括：

• 存取控制和授權：實作強大的身分驗證和授權通訊協定，以確保只有經授權的使用者才能存取特定資料資源。
• 資料加密：針對存放在資料庫、資料湖中的資料，以及資料在架構的不同元件之間移動期間，選擇適當的加密方法。
• 資料遮罩和匿名化：考慮是否需要資料遮罩或匿名化，以保護敏感性資料 (例如 PII 或敏感性商業資料)，同時允許某些分析程序繼續執行。
• 安全資料整合：建立安全的資料整合實務，以確保資料在架構的不同元件之間安全流動，避免資料洩漏，或在資料移動期間未經授權存取。
• 網路隔離：考慮支援 AWS VPC 端點的服務，以避免將資源開放給公有網際網路。

定義分析管道各個元件之間的整合點和資料流程，以確保無縫的資料流程和互通性。需要考慮的關鍵決策點包括：

• 資料來源整合：識別要從中收集資料的資料來源，例如資料庫、應用程式、檔案或外部 API。決定資料擷取方法 (批次、即時、以事件為基礎)，以高效地將資料傳送至管道，最大限度地減少延遲。
• 資料轉換：確定準備資料進行分析所需的轉換。決定在管道中移動時清除、彙總、標準化或擴充資料的工具和程序。
• 資料移動架構：選擇適當的架構，以便在管道元件之間移動資料。根據即時需求和資料量，考量批次處理、串流處理或兩者的組合。
• 資料複寫與同步：決定資料複寫和同步機制，讓所有元件的資料保持最新狀態。視乎資料新鮮度要求，考量即時複寫解決方案或定期資料同步。
  
• 資料品質與驗證：實作資料品質檢查和驗證步驟，以確保資料在管道中移動時的完整性。決定資料驗證失敗時要採取的動作，例如提醒或錯誤處理。
• 資料安全與加密：確定如何保護傳輸中的資料和靜態資料。決定保護整個管道中敏感資料加密方法，根據資料敏感性來考慮所需的安全層級。
• 可擴展性和彈性：確保資料流程設計允許水平可擴展性，並且可處理增加的資料量和流量。

在 AWS 上建置分析管道可提供各種成本優化機會。為確保成本效益，考慮以下策略：

• 資源大小和選擇：根據實際工作負載要求來調整資源大小。選擇符合工作負載效能需求的 AWS 服務和執行個體類型，同時避免過度佈建。
• 自動擴展：針對處理不同工作負載的服務來實作自動擴展。自動擴展會根據需求動態調整執行個體數目，從而在低流量期間降低成本。
• Spot 執行個體：利用 AWS EC2 Spot 執行個體來處理非關鍵且容錯的工作負載。相較於隨需執行個體，Spot 執行個體可顯著降低成本。
• 預留執行個體：考慮購買 AWS 預留執行個體，相較於適合穩定工作負載與可預測用量的隨需定價，可實現顯著的成本節省。
• 資料儲存層級：根據資料存取頻率，使用不同的儲存類別來優化資料儲存成本。
• 資料生命週期原則：設定資料生命週期政策，以根據資料的存留時間和用量模式來自動移動或刪除資料。這有助於管理儲存成本，並確保資料儲存與其價值保持一致。