Category: Analytics

(과거 1.44MB 플로피 디스크를 썼던 경험이 무색하게) 매일 우리는 매우 빠른 데이터량 성장에 놀라게 됩니다. 일상적으로 대량의 로그를 쌓고 질의하는 작업과 정형 혹은 반정형 데이터의 크기는 이미 페타바이트 규모입니다. 우리는 데이터의 위치를 찾아 로딩한 후 인덱싱을 통해 검색하는 일련의 과정을 빠르게 작업할 수 있는 방법을 찾고 있습니다. 이를 위해 높은 수준의 클라우드 솔루션을 가지고 있으며 […]

Amazon EMR 팀은 최근 신규 버전을 계속 출시하면서, 이번 분기에만 다양한 기능을 추가하였습니다. 9월 – Apache Spark, Tez, Hadoop MapReduce 데이터 암호화. 9월 – Apache Hive를 위한 오픈 소스 EMR-DynamoDB Connector 지원. 11월 – Apache Flink에서 실시간 스트리밍 처리. 11월 – 클러스터 태그를 활용한 세부 관리 기능. 오늘부터 Amazon EMR 클러스터에 대한 자동 확장 기능을 […]

스타트업부터 엔터프라이즈 기업까지 1,500여 AWS고객이 베타 테스트를 진행해 왔던 Amazon QuickSight를 오늘 정식 출시하였습니다. 작년 미리 보기 출시를 하면서 아래와 같이 소개하였습니다. “과거에는 비지니스 인텔리전스(Business Intelligence)를 구성하려면 매우 복잡하고 다양한 이슈를 가지고 있었을 뿐 아니라 인프라 및 소프트웨어를 구성하고 설정하고 확장성을 고려하고, 여러분의 모델을 만들어줄 컨설턴트를 고용하는데 많은 비용이 들었습니다. 또한, 사용자들은 데이터를 탐색하는데 복잡한 […]

AWS 고객 중에는 Amazon EMR(Apache Hadoop 및 Apache Spark 관련 도구 포함)를 사용하여 다양한 유형의 중요한 업무에 대한 빅 데이터 분석 사례를 가지고 있습니다. 아래 업체들은 바로 대표적인 예입니다. Yelp 매일 테라 바이트 이상의 로그 파일과 사진 데이터 처리 Expedia 사용자 클릭 스트림 및 행동 관련 데이터 처리 FINRA 매일 수십억 건의 증권 거래 기록 […]

Amazon Kinesis 클라우드 내 실시간 데이터 처리를 위한 강력한 도구로서 Kinesis Stream 및 Kinesis Firehose를 통해 손쉽게 대량 실시간 데이터를 처리 및 저장하고 이를 분석할 수 있습니다. 이들 서비스로 상대적으로 쉽게 스트리밍 데이터에 대한 처리가 간편해졌지만, 개발자 및 데이터 과학자 또는 SQL을 잘아는 분석가들이 웹 애플리케이션의 클릭 데이터나 인터넷 연결 기기에서 오는 센서 데이터, 서버 […]

Amazon EMR 팀은 올해 새로운 버전을 무서운 기세로 출시하고 있습니다. 올해 출시를 되돌아 봅시다. EMR 4.7.0 – Apache Tez, Apache Phoenix, Presto, HBase, Mahout (6월) EMR 4.6.0 – 대량 데이터에 대한 실시간 접근를 위해 HBase 추가 (4월) EMR 4.5.0 – Hadoop, Presto, Spark와 EMRFS 추가 (4월) EMR 4.4.0 – Sqoop, HCatalog, Java 8 등 (3월) […]

Amazon Kinesis는 대용량 스트리밍 데이터를 클라우드에서 손쉽게 처리할 수 있도록 도와 줍니다. Amazon Kinesis 플랫폼은 3개의 서비스로 구성되어 있습니다: Kinesis Streams은 개발자가 자신의 스트리밍 데이터 처리 애플리케이션을 구현할 수 있습니다; Kinesis Firehose를 통해 스트리밍 데이터를 저장하고 분석하기 위해 AWS에 저장하는 기능에 초점을 맞추었습니다; Kinesis Analytics 를 통해 스트리밍 데이터를 표준 SQL을 통해 분석 할 수 […]

Amazon Elasticsearch Service (Amazon ES) 및 Amazon CloudSearch 서비스가 AWS Asia Pacific (Seoul) 리전에 출시 되었습니다. Amazon ES는 Elasticsearch 서비스를 좀 더 쉽게 개발, 배포 운영할 수 있는 매니지드 서비스이며, Amazon CloudSearch 역시 웹 애플리케이션에 대한 간편한 검색 서비스를 가능하게 해주는 클라우드 서비스입니다. 서울 리전에 대한 서비스 가격은 Amazon ES 요금표 및 Amazon CloudSearch 요금표를 […]

Amazon QuickSight – 빅데이터를 위한 비지니스 인텔리전스 솔루션 수년 전 부터 AWS에서 데이터 수집, 업로드 및 저장 및 처리는 더 빠르고 간편하도록 진화해 왔습니다. 저희는 고객들의 다양한 요구 사항에 맞출 수 있는 매우 폭넓은 데이터 중심 서비스를 공개해 왔습니다. DB 운영의 애로점 해결 Amazon RDS를 통해 RDB 운영의 불편한 점을 해소 SQL DB의 확장성 문제 […]

2년 전 Amazon Kinesis을 소개하였고 이제 Amazon Kinesis Streams이라 부르며 고대역폭의 스트리밍 데이터를 수집, 처리 및 분석할 수 있는 애플리케이션을 만들 수 있습니다. 더 이상 데이터 수집 서버를 만들 필요가 없고 모니터링 및 확장성 및 신뢰성 있는 배포를 걱정할 필요가 없습니다. Amazon Kinesis Firehose는 AWS에서 스트리밍 데이터를 좀 더 쉽게 처리하기 위해 만들어졌습니다. 간단히 Amazon […]