Category: Analytics

이 글에서는 관계형 데이터베이스를 기반으로 구축된 기존 데이터 웨어하우스를 대체할 클라우드 네이티브 데이터 웨어하우스를 설계하는 방법에 대해 Woot.com의 사례를 소개합니다. (Woot는 2004 년에 설립되어 2010년 Amazon에 의해 인수된 최초의 일일 거래 사이트입니다. 원래 Woot는 매진 할 때까지 하루에 단 하나의 제품만을 제공했으나, 최근에는 7 가지 카테고리에 걸쳐 특별 일일 거래 및 기타 기간 한정 상품을 […]

Amazon Redshift는 엑사바이트 규모까지 확장이 가능한 데이터 웨어하우스입니다. 현재 NTT DOCOMO, Finra 및 Johnson & Johnson을 비롯한 수많은 AWS 고객이 Redshift를 사용하여 미션 크리티컬 BI 대시보드를 실행하고 실시간 스트리밍 데이터를 분석하고 예측 분석 작업을 실행합니다. 그런데, 문제는 사용자 피크 시간에 동시 쿼리의 수가 증가할 때 발생합니다. 다수의 비즈니스 분석가가 모두 BI 대시보드로 이동하거나 오래 실행되는 […]

구조화된 데이터는 여전히 많은 데이터 플랫폼의 근간을 이루고 있지만, 갈수록 더 많은 비구조화 또는 반구조화 데이터가 기존 정보를 강화하거나 새로운 통찰력을 창출하는 데 사용되고 있습니다. Amazon Athena는 매우 다양한 데이터에 대한 분석을 지원합니다. 이러한 데이터에는 쉼표로 분리된 값(CSV) 또는 Apache Parquet 파일을 포함된 테이블형 데이터, 정규표현식을 사용하여 로그 파일에서 추출된 데이터 및 JSON 형식의 데이터가 포함됩니다. […]

짧은 시간 안에 (예시: 수 초 이내) 크게 달라질 수 있는 사물인터넷(IoT) 데이터를 시각화하는 것은 패턴 탐색, 추세 및 주기성 분석, 잠재적 상관 관계 및 이상 징후 관찰 등을 위해 중요합니다. 시계열 시각화 기능은 이상 징후를 식별하고, 이를 기반으로 알림을 발생시키고, 여러 이해 당사자 간의(특히 데이터 소비자와 엔지니어링) 커뮤니케이션을 개선하는 데 유용합니다. 이 글에서는 시계열 […]

Elasticsearch는 분산형 문서 지향 검색 및 분석 엔진으로서, 정형 및 비정형 쿼리를 지원하고 사전에 스키마를 정의할 필요가 없습니다. Elasticsearch는 검색 엔진으로 사용될 수 있으며, 종종 웹 규모의 로그 분석, 실시간 애플리케이션 모니터링 및 클릭스트림 분석에 사용됩니다. Elasticsearch는 처음에는 순수한 오픈 소스 프로젝트로 시작되었으나 최근에 추가된 일부 내용에는 독점 기술이 적용되었습니다. 제 동료인 Adrian이 작성한 Keeping […]

Amazon EMR 버전 5.2.0 이상에서는 Amazon S3기반 Apache HBase를 실행할 수 있습니다. Amazon S3을 Apache HBase용 데이터 스토어로 사용하면 클러스터의 스토리지와 컴퓨팅 노드를 분리할 수 있습니다. 이는 클러스터의 크기를 컴퓨팅 요구 사항에 따라 조정하므로 비용이 절감됩니다. 더이상 전체 데이터세트를 클러스터상의 HDFS에 3벌 복제 저장하는 형태로 비용을 지불하지 않아도 됩니다. 많은 고객들이 데이터 스토리지를 위한 Amazon […]

Amazon EMR과 같은 관리형 Apache 하둡 환경에서는 클러스터의 스토리지 용량이 가득 찬 경우 손쉽게 대응할 수 있는 솔루션이 없습니다. 이 상황은 고객이 클러스터를 시작할 때 Amazon Elastic Block Store(Amazon EBS) 볼륨을 설정하고 마운트 지점을 구성했기 때문에 발생합니다. 따라서 클러스터가 실행된 후에는 스토리지 용량을 수정하기 어렵습니다. 이를 위한 솔루션은 일반적으로 클러스터에 노드를 추가하고 데이터를 데이터 레이크로 […]

네트워크 로그 분석은 많은 조직에서 일반적으로 수행하는 작업 중 하나입니다.  네트워크 로그를 캡처 및 분석하면 네트워크상의 디바이스가 어떻게 서로간에 그리고 인터넷과 통신하는지를 알 수 있습니다.  조직은 감사 및 규정 준수, 시스템 문제 해결 또는 보안 포렌직 등 다양한 이유로 인해 로그 분석을 수행합니다. Amazon Virtual Private Cloud(VPC)에서는 VPC Flow Logs를 통해 네트워크 플로우를 캡처할 수 […]

오늘은 Amazon Kinesis Video Streams Inference Template(KIT) for Amazon SageMaker의 기능에 대해 소개합니다. 이 기능은 고객이 Kinesis 비디오 스트림을 Amazon SageMaker 엔드포인트에 몇 분 만에 연결할 수 있습니다. 따라서 서비스를 통합하기 위해 다른 라이브러리를 사용하거나 맞춤형 소프트웨어를 작성하지 않고도 실시간 추론이 가능합니다. KIT는 Docker 컨테이너로 패키징된 Kinesis Video Client Library 소프트웨어와 필요한 모든 AWS 리소스의 […]

AWS 고객은 Amazon Kinesis를 사용하여 실시간 스트리밍 데이터를 수집하고 처리하고 분석하여, 비즈니스나 인프라 또는 고객으로부터 얻은 새로운 정보에 빠르게 대처할 수 있습니다. 예를 들어, Epic Games는 인기 있는 온라인 게임, Fornite에서 초당 150만 이상의 게임 이벤트를 소화합니다. Amazon Kinesis Data Analytics를 사용하면 표준 SQL을 사용하여 실시간으로 데이터를 처리할 수 있습니다. SQL에서는 새로운 프레임워크나 언어를 배우지 않고도 […]