현대적 데이터 아키텍처를 지원할

데이터 수집, 변환, 정리 및 분석 준비 방법과 관련한 데이터 처리 요구 사항을 결정합니다. 주요 고려 사항은 다음과 같습니다.

• 데이터 변환: 원시 데이터를 분석에 적합한 형식으로 만드는 데 필요한 특정 변환 방식을 결정합니다. 여기에는 데이터 집계, 정규화, 필터링 및 보강과 같은 작업이 포함됩니다.
• 데이터 정리: 데이터 품질을 평가하고 누락되거나 부정확하거나 일관되지 않은 데이터를 처리하기 위한 프로세스를 정의합니다. 데이터 정리 기술을 구현하여 신뢰할 수 있는 인사이트를 위한 고품질 데이터를 확보합니다.
• 처리 빈도: 분석 요구 사항에 따라 실시간 처리, 실시간에 가까운 처리 또는 배치 처리가 필요한지 여부를 결정합니다. 실시간 처리를 통해 즉각적인 인사이트를 얻을 수 있는 반면, 주기적인 분석에는 일괄 처리만으로도 충분할 수 있습니다.
• 확장성 및 처리량: 데이터 볼륨, 처리 속도, 동시 데이터 요청 수에 따른 확장성 요구 사항을 평가합니다. 선택한 처리 방식이 향후 데이터 증가를 수용할 수 있는지 확인합니다.
• 지연 시간: 데이터 처리에 허용되는 지연 시간과 데이터 모으기에서 분석 결과까지 걸리는 시간을 고려합니다. 이는 실시간 분석 또는 시간에 민감한 분석에 특히 중요합니다.

분석 파이프라인 전반에서 데이터가 저장되는 방식과 위치를 결정하여 스토리지 요구 사항을 판단합니다. 중요한 고려 사항은 다음과 같습니다.

• 데이터 볼륨: 생성 및 수집되는 데이터의 양을 평가하고 향후 데이터 증가량을 예측하여 충분한 스토리지 용량을 계획합니다.
• 데이터 보존: 기록 분석 또는 규정 준수를 위해 데이터를 보존해야 하는 기간을 정의합니다. 적절한 데이터 보존 정책을 결정합니다.
• 데이터 액세스 패턴: 데이터 액세스 및 쿼리 방식을 파악하여 가장 적합한 스토리지 솔루션을 선택합니다. 읽기 및 쓰기 작업, 데이터 액세스 빈도, 데이터 로컬리티를 고려합니다.
• 데이터 보안: 민감한 정보를 보호하기 위한 암호화 옵션, 액세스 제어 및 데이터 보호 메커니즘을 평가하여 데이터 보안의 우선순위를 정합니다.
• 비용 최적화: 데이터 액세스 패턴 및 사용량을 기준으로 가장 비용 효율적인 스토리지 솔루션을 선택하여 스토리지 비용을 최적화합니다.
• 분석 서비스와의 통합: 선택한 스토리지 솔루션과 파이프라인의 데이터 처리 및 분석 도구 간의 원활한 통합을 보장합니다.

데이터 수집 및 데이터 모으기를 위한 분석 서비스를 결정할 때는 조직의 요구 사항 및 목표와 관련된 다양한 유형의 데이터를 고려합니다. 고려해야 하는 일반적인 데이터 유형은 다음과 같습니다.

• 거래 데이터: 고객 구매, 금융 거래, 온라인 주문, 사용자 활동 로그 등 개별 상호 작용 또는 거래에 대한 정보를 포함합니다.
• 파일 기반 데이터: 로그 파일, 스프레드시트, 문서, 이미지, 오디오 파일, 비디오 파일 등, 파일에 저장된 정형 또는 비정형 데이터를 말합니다. 분석 서비스는 다양한 파일 형식의 수집을 지원해야 합니다.
• 이벤트 데이터: 사용자 작업, 시스템 이벤트, 기계 이벤트 또는 비즈니스 이벤트와 같은 중요한 사건이나 사고를 캡처합니다. 이벤트에는 빠른 속도로 도달하여 온스트림 또는 다운스트림 처리를 위해 캡처되는 모든 데이터가 포함될 수 있습니다.

운영 책임은 고객과 AWS가 공동으로 맡게 되며, 현대화 수준에 따라 책임 분담이 달라집니다. AWS에서 분석 인프라를 자체적으로 관리하거나, 수많은 서버리스 분석 서비스를 활용하여 인프라 관리 부담을 덜 수 있습니다.

자체 관리 옵션을 사용하면 사용자가 인프라 및 구성을 보다 효과적으로 제어할 수 있지만 운영 작업량이 늘어납니다.

서버리스 옵션은 자동 확장성, 고가용성 및 강력한 보안 기능을 제공하여 운영 부담을 상당 부분 덜어 주므로 사용자가 인프라 및 운영 작업을 관리하는 것이 아니라 분석 솔루션을 구축하고 인사이트를 도출하는 데 더 집중할 수 있습니다. 서버리스 분석 솔루션의 다음과 같은 이점을 고려합니다.

• 인프라 추상화: 서버리스 서비스는 인프라 관리를 추상화하여 사용자가 프로비저닝, 확장 및 유지 관리 작업에서 벗어나도록 합니다. AWS가 이러한 운영 측면을 처리하여 관리 오버헤드를 줄여 줍니다.
• 오토 스케일링 및 성능: 서버리스 서비스는 워크로드 수요에 따라 리소스의 규모를 자동으로 조정하여 수동 개입 없이 최적의 성능을 보장합니다.
• 고가용성 및 재해 복구: AWS가 서버리스 서비스에 고가용성을 제공합니다. AWS가 데이터 이중화, 복제 및 재해 복구를 관리하여 데이터 가용성과 신뢰성을 높입니다.
• 보안 및 규정 준수: AWS가 산업 표준 및 모범 사례를 준수하면서 서버리스 서비스의 보안 조치, 데이터 암호화 및 규정 준수를 관리합니다.
• 모니터링 및 로깅: AWS가 서버리스 서비스를 위한 내장 모니터링, 로깅 및 알림 기능을 제공합니다. 사용자는 AWS CloudWatch를 통해 자세한 지표와 로그에 액세스할 수 있습니다.

배치 워크로드

• 데이터 볼륨 및 빈도: 배치 처리는 정기적으로 업데이트되는 대용량 데이터에 적합합니다.
• 데이터 지연: 배치 처리는 실시간 처리에 비해 인사이트를 제공하는 데 약간의 지연이 발생할 수 있습니다.

대화식 분석

• 데이터 쿼리 복잡성: 대화식 분석을 위해서는 지연 시간이 짧은 응답을 통해 빠른 피드백을 제공해야 합니다.
• 데이터 시각화: 비즈니스 사용자가 데이터를 시각적으로 탐색할 수 있도록 하는 대화식 데이터 시각화 도구의 필요성을 평가합니다.

스트리밍 워크로드

• 데이터 속도 및 볼륨: 스트리밍 워크로드에는 고속 데이터를 처리하기 위한 실시간 처리 성능이 요구됩니다.
• 데이터 윈도잉: 스트리밍 데이터에 대한 데이터 윈도잉 및 시간 기반 집계를 정의하여 관련 인사이트를 추출합니다.

분석을 통해 도출하려는 비즈니스 목표와 인사이트를 명확하게 정의합니다. 분석 유형마다 용도가 다릅니다. 예:

• 기술 분석은 기록 데이터의 개요를 파악하는 데 적합합니다.
• 진단 분석은 과거 이벤트의 원인을 파악하는 데 도움이 됩니다.
• 예측 분석에서는 미래 결과를 예측합니다.
• 처방 분석은 최적의 조치를 위한 권장 사항을 제공합니다.

비즈니스 목표에 해당하는 관련 분석 유형을 선택하세요. 올바른 분석 유형을 선택하는 데 도움이 되는 몇 가지 주요 결정 기준은 다음과 같습니다.

• 데이터 가용성 및 품질: 설명 및 진단 분석은 기록 데이터를 기반으로 하는 반면, 예측 및 처방 분석에는 정확한 모델을 구축하기에 충분한 기록 데이터와 고품질 데이터가 필요합니다.
• 데이터 볼륨 및 복잡성: 예측 분석과 처방 분석에는 상당한 데이터 처리 및 계산 리소스가 필요합니다. 인프라와 도구가 데이터 볼륨 및 복잡성을 처리하기에 충분한지 확인하세요.
• 의사 결정의 복잡성: 의사 결정에 여러 변수, 제약 조건 및 목표가 연관되어 있는 경우 최적의 처리 방법을 파악하는 데 처방 분석이 적합할 수 있습니다.
  
• 위험 허용 범위: 처방 분석은 권장 사항을 제공할 수 있지만 관련된 불확실성이 수반될 수 있습니다. 의사 결정권자가 분석 결과와 관련된 위험성을 이해하도록 하세요.

아키텍처의 확장성 및 성능 요구 사항을 평가합니다. 증가하는 데이터 볼륨, 사용자 수요 및 분석 워크로드를 처리할 수 있도록 설계해야 합니다. 고려해야 할 주요 결정 요인은 다음과 같습니다.

• 데이터 볼륨 및 성장: 현재 데이터 볼륨을 평가하고 향후 성장을 예측합니다. 
• 데이터 속도 및 실시간 요구 사항: 데이터를 실시간 또는 거의 실시간으로 처리하고 분석해야 하는지 판단합니다.
• 데이터 처리 복잡성: 데이터 처리 및 분석 작업의 복잡성을 분석합니다. 컴퓨팅 집약적인 작업의 경우, Amazon EMR과 같은 서비스를 활용하면 빅 데이터 처리를 위한 확장 가능하고 관리되는 환경을 이용할 수 있습니다.
• 동시성 및 사용자 부하: 동시 사용자 수와 시스템의 사용자 부하 수준을 고려합니다. 
• 오토 스케일링 기능: 수요에 따라 리소스를 자동으로 스케일 업 또는 스케일 다운할 수 있는 오토 스케일링 기능을 제공하는 서비스를 고려해 봅니다. 이를 통해 효율적인 리소스 활용과 비용 최적화를 보장할 수 있습니다.
• 지리적 분포: 데이터 아키텍처를 여러 지역 또는 위치에 분산해야 하는 경우 글로벌 복제 기능과 지연 시간이 짧은 데이터 액세스 기능을 갖춘 서비스를 고려해 봅니다.
• 비용 대비 성능: 성능 요구 사항과 비용 고려 사항의 균형을 맞춥니다. 고성능 서비스는 비용이 더 많이 들 수 있습니다.
  
• 서비스 수준에 관한 계약(SLA): AWS 서비스에서 제공하는 SLA가 확장성과 성능 기대치를 충족하는지 확인합니다.

데이터 거버넌스는 데이터 자산의 효과적인 관리, 품질, 보안 및 규정 준수를 보장하기 위해 구현해야 하는 일련의 프로세스, 정책 및 제어 기능입니다. 고려해야 할 주요 결정 사항은 다음과 같습니다.

• 데이터 보존 정책: 규제 요건 및 비즈니스 요구 사항에 따라 데이터 보존 정책을 정의하고 더 이상 필요하지 않을 경우 데이터를 안전하게 폐기하기 위한 프로세스를 수립합니다.
  
• 감사 추적 및 로깅: 데이터 액세스 및 사용을 모니터링하기 위한 로깅 및 감사 메커니즘을 결정합니다. 포괄적인 감사 추적을 구현하여 규정 준수 및 보안 모니터링을 위해 데이터 변경, 액세스 시도, 사용자 활동을 추적합니다.
• 규정 준수 요구 사항: 조직에 적용되는 산업별/지역별 데이터 규정을 파악합니다. 데이터 아키텍처가 이러한 규정과 지침에 부합하도록 해야 합니다.
• 데이터 분류: 민감도를 기준으로 데이터를 분류하고 각 데이터 클래스에 적합한 보안 제어 방식을 정의합니다. 
  
• 재해 복구 및 비즈니스 연속성: 재해 복구 및 비즈니스 연속성을 계획하여 예기치 않은 이벤트 또는 시스템 장애 발생 시 데이터 가용성과 복원력을 보장합니다.
• 서드 파티 데이터 공유: 서드 파티 주체와 데이터를 공유하는 경우 안전한 데이터 공유 프로토콜 및 계약을 수립하여 데이터 기밀을 보호하고 데이터 오용을 방지합니다.

분석 파이프라인의 데이터 보안을 유지하려면 파이프라인의 모든 단계에서 데이터를 보호하여 기밀성, 무결성 및 가용성을 보장해야 합니다. 고려해야 할 주요 결정 사항은 다음과 같습니다.

• 액세스 제어 및 권한 부여: 강력한 인증 및 권한 부여 프로토콜을 구현하여 승인된 사용자만 특정 데이터 리소스에 액세스할 수 있게 합니다.
• 데이터 암호화: 데이터베이스, 데이터 레이크에 저장된 데이터 및 아키텍처의 여러 구성 요소 간 데이터 이동 중에 적합한 암호화 방법을 선택합니다.
• 데이터 마스킹 및 익명화: PII 또는 민감한 비즈니스 데이터와 같은 민감한 데이터를 보호하는 동시에 특정 분석 프로세스를 계속 실행하는 데 있어서 데이터 마스킹 또는 익명화의 필요성을 고려합니다.
• 안전한 데이터 통합: 안전한 데이터 통합 방식을 확립하여 아키텍처의 여러 구성 요소 간에 데이터가 안전하게 흐르도록 하고 데이터 이동 중에 데이터 유출이나 무단 액세스를 방지합니다.
• 네트워크 격리: 리소스가 공용 인터넷에 노출되지 않도록 AWS VPC 엔드포인트를 지원하는 서비스를 고려합니다.

분석 파이프라인의 다양한 구성 요소 간 통합 지점과 데이터 흐름을 정의하여 원활한 데이터 흐름과 상호 운용성을 보장합니다. 고려해야 할 주요 결정 사항은 다음과 같습니다.

• 데이터 소스 통합: 데이터베이스, 애플리케이션, 파일, 외부 API 등, 데이터를 수집할 데이터 소스를 식별합니다. 데이터를 파이프라인으로 효율적으로 가져올 수 있는 데이터 모으기 방법(배치, 실시간, 이벤트 기반)을 결정하여 지연 시간을 최소화합니다.
• 데이터 변환: 분석을 위해 데이터를 준비하는 데 필요한 변환 방식을 결정합니다. 파이프라인을 통해 이동하는 데이터를 정리, 집계, 정규화 또는 보강하기 위한 도구와 프로세스를 결정합니다.
• 데이터 이동 아키텍처: 파이프라인 구성 요소 간의 데이터 이동에 적합한 아키텍처를 선택합니다. 실시간 요구 사항과 데이터 볼륨에 따라 배치 처리, 스트림 처리 또는 이 둘의 조합을 고려해 봅니다.
• 데이터 복제 및 동기화: 모든 구성 요소에서 데이터를 최신 상태로 유지하기 위한 데이터 복제 및 동기화 메커니즘을 결정합니다. 데이터 최신성 요구 사항에 따라 실시간 복제 솔루션 또는 주기적 데이터 동기화를 고려합니다.
  
• 데이터 품질 및 검증: 데이터 품질 검사 및 검증 단계를 구현하여 파이프라인을 통해 이동하는 데이터의 무결성을 보장합니다. 알림, 오류 처리 등, 데이터 검증이 실패할 경우 취해야 할 조치를 결정합니다.
• 데이터 보안 및 암호화: 전송 중인 데이터와 저장 데이터를 보호하는 방법을 결정합니다. 데이터 민감도에 따라, 필요한 보안 수준을 고려하여 파이프라인 전체에서 민감한 데이터를 보호할 암호화 방법을 결정합니다.
• 확장성 및 복원력: 데이터 흐름 설계에서 수평적 확장이 허용되고, 증가한 데이터 볼륨 및 트래픽을 처리할 수 있는지 확인합니다.

AWS를 기반으로 분석 파이프라인을 구축하면 다양한 측면에서 비용을 최적화할 수 있습니다. 비용 효율성을 보장하려면 다음 전략을 고려하세요.

• 리소스 규모 조정 및 선택: 실제 워크로드 요구 사항에 따라 리소스 크기를 적절하게 조정합니다. 오버프로비저닝을 피하면서 워크로드 성능 요구 사항에 맞는 AWS 서비스 및 인스턴스 유형을 선택합니다.
• 오토 스케일링: 다양한 워크로드를 처리하는 서비스에 대해 오토 스케일링을 구현합니다. 오토 스케일링은 수요에 따라 인스턴스 수를 동적으로 조정하여 트래픽이 적은 기간에 비용을 절감해 주는 기능입니다.
• 스팟 인스턴스: 중요도가 낮고 내결함성이 있는 워크로드에 AWS EC2 스팟 인스턴스를 활용합니다. 스팟 인스턴스를 사용하면 온디맨드 인스턴스를 사용할 때에 비해 비용을 크게 절감할 수 있습니다.
• 예약형 인스턴스: 사용량을 예측할 수 있고 안정적인 워크로드에 대해 온디맨드 인스턴스를 사용할 때보다 요금을 크게 절감하려면 AWS 예약형 인스턴스를 구매하는 것이 좋습니다.
• 데이터 스토리지 계층화: 데이터 액세스 빈도에 따라 다양한 스토리지 클래스를 사용하여 데이터 스토리지 비용을 최적화합니다.
• 데이터 수명 주기 정책: 사용 기간 및 사용 패턴에 따라 데이터를 자동으로 이동 또는 삭제하도록 데이터 수명 주기 정책을 설정합니다. 이를 통해 스토리지 비용을 관리하고 데이터의 가치에 따라 데이터 스토리지가 조정되도록 할 수 있습니다.