Amazon CloudWatch 및 Amazon OpenSearch Service, 통합 분석 경험 출시

오늘 Amazon Web Services(AWS)는 Amazon CloudWatch와 Amazon OpenSearch Service 간의 새로운 통합 분석 경험과 제로 ETL 통합을 발표했습니다. 이러한 통합은 데이터 중복 없이 로그 데이터 분석 및 시각화를 단순화하여 로그 관리를 간소화하는 동시에 기술 오버헤드와 운영 비용을 절감합니다. CloudWatch Logs 고객은 이제 CloudWatch Logs Insights QL 외에도 두 가지 추가 쿼리 언어에 액세스할 수 있으며, OpenSearch 고객은 별도의 추출, 전환, 적재(ETL) 파이프라인을 생성하지 않고도 CloudWatch 로그를 해당 위치에서 쿼리할 수 있습니다.

조직에서는 로그 데이터에 대해 다양한 분석 기능을 필요로 하는 경우가 많습니다. 일부 팀은 모든 시스템, 애플리케이션 및 AWS 서비스의 로그를 중앙 집중화할 수 있는 확장성과 단순성 때문에 CloudWatch Logs를 선호합니다. 고급 분석 및 시각화를 위해 OpenSearch Service가 필요한 경우도 있습니다. 이전에는 이러한 서비스 간에 통합하려면 별도의 통합 파이프라인을 유지 관리하거나 ETL 프로세스를 만들어야 했습니다. 이 새로운 통합을 통해 고객은 데이터 사본 없이 OpenSearch 분석 기능을 CloudWatch Logs에 직접 제공하여 이러한 복잡성을 제거함으로써 두 서비스를 모두 최대한 활용할 수 있습니다.

이제 Amazon CloudWatch Logs는 CloudWatch Logs Insights 콘솔 내에서 OpenSearch Piped Processing Language(PPL) 및 OpenSearch SQL을 직접 지원합니다. SQL을 사용하여 데이터를 분석하고 JOIN을 사용하여 로그를 상호 연관시킬 수 있습니다. 직관적인 로그 분석을 위해 SQL 함수(예: JSON, 수학, 날짜/시간, 문자열 함수)를 사용할 수 있습니다. 또한 OpenSearch PPL을 사용하여 데이터를 필터링, 집계 및 분석할 수도 있습니다. 클릭 몇 번으로 Amazon Virtual Private Cloud(VPC), AWS CloudTrail 및 AWS WAF와 같은 vended 로그를 보여주는 사전 구축되고 바로 사용할 수 있는 대시보드에 액세스할 수 있습니다. 이러한 대시보드를 사용하면 개별 위젯을 구성하거나 특정 쿼리를 작성할 필요 없이 시간 경과에 따른 흐름, 주요 트래픽 출처, 메가바이트, 시간 경과에 따라 전송된 패킷 분석 등 시각화를 통해 더 빠르게 모니터링하고 문제를 해결할 수 있습니다. 시간 경과에 따른 VPC 흐름을 분석하고, 주요 트래픽 출처를 식별하고, 네트워크 트래픽 지표를 추적하고, AWS WAF에서 웹 요청 추세를 모니터링하거나, AWS CloudTrail에서 API 활동 패턴을 분석할 수 있습니다.

또한 OpenSearch Service 사용자는 이제 Amazon Simple Storage(Amazon S3)에서 데이터를 분석하는 방식과 유사하게 OpenSearch Discover를 사용하여 CloudWatch 로그를 분석하고 SQL 및 PPL을 실행할 수 있으며, ETL 작업이나 별도의 수집 파이프라인 없이 직접 인덱스를 빌드하고 대시보드를 생성할 수 있습니다.

이 통합이 어떻게 작동하는지 살펴보겠습니다.
CloudWatch의 새로운 OpenSearch SQL 및 PPL 쿼리 기능을 시연하기 위해 먼저 CloudWatch 콘솔에서 시작하겠습니다. 탐색 창에서 로그를 선택한 다음 Logs Insights를 선택합니다. 쿼리에 사용할 로그 그룹을 선택하고 나면 이제 추가 설정이나 필요한 통합 없이 CloudWatch Logs Insights에서 직접 OpenSearch PPL 또는 OpenSearch SQL 쿼리 언어를 사용할 수 있습니다. 이 새로운 기능을 사용하여 익숙한 SQL 구문 또는 OpenSearch PPL로 복잡한 쿼리를 작성할 수 있어 로그 분석을 보다 직관적이고 효율적으로 수행할 수 있습니다. 시작하는 데 도움이 되는 샘플 쿼리를 쿼리 명령 메뉴에서 찾을 수 있습니다.

이 예제에서는 SQL JOIN을 사용하여 두 로그 그룹(예: 애완동물 입양 및 애완동물 가용성)의 데이터를 결합하는 방법을 보여줍니다. 특정 고객 ID를 필터링하여 문제 해결을 위한 관련 로그 레코드 및 추적 ID를 분석할 수 있습니다.

CloudWatch Logs 고객을 위한 이 통합의 강력한 기능 중 하나는 Amazon VPC Flows, AWS CloudTrail 및 AWS WAF 로그에 대해 사전 구축된 대시보드를 생성할 수 있다는 것입니다. AWS WAF 로그에 대한 대시보드를 생성하여 이 기능을 살펴보겠습니다. OpenSearch로 분석 탭에서 설정을 선택하고 단계를 따릅니다.

몇 분 후 통합이 준비되고 OpenSearch 대시보드 생성으로 이동합니다. 자동 대시보드 유형 선택 옵션에서 AWS WAF 로그를 선택합니다.

대시보드 데이터 구성 탭에서 15분마다 데이터 동기화 빈도가 발생하도록 선택할 수 있습니다. 로그 그룹을 선택하고 선택한 로그 그룹의 로그 샘플을 확인합니다. 마지막으로 대시보드 생성을 선택합니다.

대시보드를 생성한 후 로그를 탐색할 수 있습니다. AWS WAF 로그 대시보드는 보안 패턴을 모니터링하고 분석하는 데 도움이 되는 자동 구성된 시각화를 통해 웹 애플리케이션 방화벽 지표 및 이벤트에 대한 포괄적인 가시성을 제공합니다.

마찬가지로 CloudTrail 대시보드는 AWS 환경 전반의 API 활동에 대한 심층적인 인사이트를 제공합니다. CloudTrail 대시보드는 API 활동을 모니터링하고, 작업을 감사하고, 잠재적 보안 또는 규정 준수 문제를 식별하는 데 유용합니다.

VPC Flow Logs 대시보드는 네트워크 트래픽 분석을 위해 로그의 주요 지표를 상세하게 시각화합니다. 네트워크 트래픽을 분석하고, 비정상적인 패턴을 탐지하고, 리소스 사용을 모니터링할 수 있습니다. 대시보드는 현재 VPC v2 필드(기본 형식)만 지원합니다. 사용자 지정 서식 필드는 지원되지 않습니다.

OpenSearch Services에서 CloudWatch 데이터에 액세스할 수 있는 제로 ETL을 사용하면 ETL 프로세스를 구축하고 유지 관리할 필요 없이 OpenSearch Service 콘솔에서 OpenSearch 대시보드를 구축할 수도 있습니다. 이를 위해 중앙 관리로 이동한 다음 새로운 연결된 데이터 소스 메뉴를 선택하고 연결 선택을 클릭하여 새 연결된 데이터 소스를 생성하고 CloudWatch Logs를 선택합니다.

다음 단계에서는 데이터 소스의 이름을 지정하고 새 역할 만들기를 선택합니다. 새 역할에는 OpenSearch Service에서 작업을 실행하는 데 필요한 권한이 있어야 합니다. 샘플 사용자 지정 정책에서 확인할 수 있습니다.

OpenSearch 설정 단계에서 새 컬렉션 생성을 선택하여 CloudWatch Logs에 대한 OpenSearch 데이터 연결을 구성합니다. CloudWatch Logs 소스 설정의 일환으로 새로운 OpenSearch Service 서버리스 컬렉션 및 OpenSearch UI 애플리케이션이 생성되어 인덱싱된 뷰를 저장하고 CloudWatch Logs 데이터를 분석하기 위한 사용자 인터페이스를 제공합니다. 새 컬렉션을 생성하고 이름을 지정한 다음 애플리케이션 내에서 OpenSearch 애플리케이션과 워크스페이스를 구성합니다. 데이터 보존 기간(일)을 설정한 후 다음을 선택하고 검토 및 연결을 마칩니다.

CloudWatch와의 통합이 준비되면 데이터 인덱싱 없이 로그 살펴보기 중 하나를 선택할 수 있습니다. 그러면 Amazon VPC Flows, CloudTrail 및 AWS WAF 로그에 대한 대시보드를 생성하여 vended 로그 살펴보기 또는 Discover에서 쿼리 인터페이스로 이동할 수 있습니다.

로그 살펴보기를 선택하면 OpenSearch UI에서 데이터 소스 설정 중에 생성한 애플리케이션 워크스페이스의 Discover로 이동합니다. Discover에서 데이터 선택기를 선택하고 사용 가능한 모든 데이터 보기를 선택하여 CloudWatch Logs 데이터 소스 및 로그 그룹에 액세스합니다.

로그 그룹을 선택하고 나면 애플리케이션 간에 전환할 필요 없이 Discover에서 직접 OpenSearch SQL 및 PPL을 사용하여 CloudWatch 로그를 분석할 수 있습니다.

대시보드를 만들려면 콘솔의 연결된 데이터 소스 개요 페이지로 돌아갑니다. 여기서 대시보드 생성을 선택합니다. 그러면 이전에 CloudWatch 콘솔에서 했던 것처럼 쿼리를 정의하거나 시각화를 빌드할 필요 없이 CloudWatch 데이터를 시각적으로 분석할 수 있습니다.

대시보드를 생성한 후 OpenSearch 리소스로 이동하면 새로 생성된 인덱스가 컬렉션의 데이터로 채워지는 것을 볼 수 있습니다. 데이터를 수집한 후 구성에서 선택한 CloudWatch 로그의 데이터를 사용하여 대시보드로 이동할 수 있습니다. 더 많은 데이터가 들어오면 OpenSearch 대시보드에 거의 실시간으로 표시됩니다.

이 제로 ETL 통합을 통해 데이터 일관성을 유지하고 운영 오버헤드를 줄이면서 강력한 쿼리 기능 및 시각화 기능을 사용하여 OpenSearch로 직접 데이터를 수집할 수 있습니다.

통합 주요 특징
CloudWatch 고객의 경우:

• 쿼리 기능 – CloudWatch Logs Insights 콘솔 내에서 직접 OpenSearch SQL 및 PPL 쿼리를 사용하여 로그 조사를 간소화합니다.
• 분석 기능 – 몇 번의 클릭만으로 VPC, AWS WAF, CloudTrail 로그와 같은 vended 로그를 보여주는 사전 구축되고 바로 사용할 수 있는 대시보드에 액세스할 수 있습니다. 이러한 대시보드를 사용하면 개별 위젯을 구성하거나 특정 쿼리를 작성할 필요 없이 시간 경과에 따른 흐름, 주요 트래픽 출처, 메가바이트 및 시간 경과에 따라 전송된 패킷을 분석하기 위한 시각화를 통해 더 빠르게 모니터링하고 문제를 해결할 수 있습니다.
• CloudWatch 사용자를 위한 시작하기 – CloudWatch Logs에서 OpenSearch Service로의 통합을 구성합니다. 자세한 내용은 Amazon CloudWatch Logs 쿼리 기능 및 Amazon CloudWatch Logs vended 대시보드 설명서를 참조하세요.

OpenSearch Service 고객의 경우:

• 제로 ETL 통합 – ETL 프로세스를 구축하거나 유지 관리할 필요 없이 OpenSearch Service에서 직접 CloudWatch 데이터에 액세스하고 분석할 수 있습니다. 이러한 통합을 통해 별도의 수집 파이프라인을 없애고 간소화된 데이터 관리와 제로 데이터 이중화를 통해 스토리지 비용과 운영 오버헤드를 줄일 수 있습니다.
• OpenSearch 사용자를 위한 시작하기 – OpenSearch Service에서 CloudWatch를 데이터 소스로 선택하여 데이터 연결을 생성합니다. 자세한 내용은 Amazon OpenSearch Service 개발자 안내서를 참조하세요.

리전별 가용성 및 요금
이제 Amazon OpenSearch Service 직접 쿼리를 사용할 수 있는 AWS 리전에서 이 통합을 사용할 수 있습니다. 요금 세부 정보 및 무료 평가판 정보는 Amazon CloudWatch 요금 및 Amazon OpenSearch Service 요금 페이지를 참조하세요.

PS: 게시물 제목 아래에 이름이 하나만 표시되더라도 AWS 블로그 게시물은 항상 팀의 노력을 통해 작성됩니다. 여기서는 이 통합 개요를 알차게 작성할 수 있도록 스크린샷, 기술 지침, 두 가지 서비스에 대한 전문 지식을 공유해 주신 Joshua Bright, Ashok Swaminathan, Abeetha Bala, Calvin Weng, Ronil Prasad에게 감사의 말씀을 전합니다.

— Eli