Category: Analytics

Amazon S3에 데이터를 저장하면 규모 조정, 신뢰성 및 비용 효율 면에서 많은 이점이 있습니다. 그 뿐 아니라, Amazon EMR을 활용할 수 있으므로 Apache Spark, Hive 및 Presto와 같은 오픈 소스 도구를 사용하여 데이터를 처리 및 분석할 수 있습니다. 이러한 도구는 강력한 성능을 제공하지만 점진적 데이터 프로세싱과 레코드 수준의 삽입, 업데이트 및 삭제가 필요한 사용 사례를 처리하기에는 여전히 […]

우리는 데이터 집약적이고 데이터가 중심인 세상에 살고 있습니다. 모든 유형의 조직은 데이터를 수집, 저장, 처리, 분석하고 데이터를 사용해 의사 결정 프로세스에 정보를 제공하고 이를 개선합니다. AWS 클라우드는 이러한 모든 활동에 적합합니다. AWS 클라우드는 방대한 양의 스토리지, 가능한 모든 규모의 컴퓨팅 성능에 대한 액세스 및 다양한 유형의 분석 도구를 제공합니다. 많은 조직이 내부적으로 데이터를 생성하고 사용할 […]

Amazon QuickSight는 기업내 모든 구성원들이 다양한 데이터 소스를 통한 시각적 분석 및 통찰력을 손쉽게 제공할 수 있게 지원하는 클라우드 기반 비즈니스 인텔리전스(Business Intelligence) 서비스입니다.  이제 서울 리전에도 정식 출시하였습니다. 신규 사용자는 서울 리전을 기본으로 QuickSight에 가입할 수 있으며, 해당 리전에서 AWS 및 온프레미스 데이터 소스를 활용할 수 있습니다. 기존 Amazon QuickSight 사용자는 사용자 인터페이스의 리전 […]

AWS 고객은 Amazon EMR의 클러스터 탄력성을 활용하여 작업량에 따라 사용 인스턴스 수를 조정해서 비용을 절감할 수 있습니다. 특히, EC2 스팟 인스턴스를 사용하면, 빠르게 끝나는 작업에 대해서 80-90%의 저렴한 비용으로 작업을 할 수 있습니다. 또한, Amazon EMR의 오토 스케일링 기능을 통해 고객은 클러스터 사용이나 기타 작업 관련 지표에 따라 클러스터를 동적으로 확장 및 축소 할 수 […]

EMRFS S3 최적화 커미터는 Amazon EMR 5.19.0부터 Apache Spark 작업에 사용할 수 있는 새로운 출력 커미터입니다. 이 커미터는 EMRFS(EMR 파일 시스템)을 사용하는 Amazon S3에 Apache Parquet 파일을 쓸 때의 성능을 개선합니다. 이 게시물에서는 최근 성능 벤치마크를 실행하여 신규 최적화된 커미터를 기존 커미터 알고리즘(FileOutputCommitter 알고리즘 버전 1 및 2)과 비교하여 어떻게 Spark 쓰기 성능이 개선되었는지 알아봅니다. […]

Amazon Managed Streaming for Apache Kafka (Amazon MSK) 서비스가 Apache Kafka 버전 2.2.1 지원과 함께 서울 리전에도 정식 출시하였습니다. Apache Kafka(Kafka)는 클릭스트림 이벤트, 트랜잭션, IoT 이벤트, 애플리케이션 및 머신 로그 같은 스트리밍 데이터를 캡처하는 기능과 실시간 분석을 수행하고, 지속적인 변환을 실행하고, 이 데이터를 데이터 레이크 및 데이터베이스에 실시간으로 배포하는 애플리케이션을 제공하는 오픈 소스 플랫폼입니다 Amazon […]

최신 분산 애플리케이션들은 매일 기가바이트 수준의 로그 데이터를 생산해 낼 수 있는데, Amazon S3에서 Elasticsearch에 이르는 수많은 솔루션을 활용하면 이에 대한 분석과 스토리지 처리는 비교적 어렵지 않게 구현할 수 있지만 로그를 안정적으로 집계하고 최종 대상까지 전송하는 것은 여전히 어려운 영역에 속합니다. 이 게시물에서는 AWS Fargate, Amazon Kinesis Data Firehose 및 Fluentd를 사용하여 로그 집계기를 구축하는 […]

빅데이터 세상에서 가장 일반적인 활용 사례는 다양한 데이터 원본으로 부터 방대한 양의 데이터를 수집, 변환, 분석 하는 것입니다. 여러분은 또한 그 데이터를 분석하여 통찰력을 얻어 낼 수도 있습니다. 이러한 대규모의 데이터와 관련된 작업을 하기 위한 가장 대표적인 클라우드 기반의 솔루션이 Amazon EMR입니다. Amazon EMR은 AWS에서 Apache Hadoop 및 Apache Spark 같은 빅 데이터 프레임워크의 실행을 […]

최근처럼 데이터가 폭주하는 시대에 실시간 데이터 처리는 기본적인 요구 사항이 되었습니다. AWS 고객 중에도 전 세계적으로 신뢰도가 가장 높은 기업 및 전문가를 위한 뉴스 업체인 Thomson Reuters에서는 제품 팀이 사용자 경험을 지속적으로 개선하는 데 도움이 되는 분석 데이터를 캡처, 분석 및 시각화하는 솔루션을 구축했습니다. 헤이데이, 클래시 오브 클랜 및 붐비치 같은 게임을 제공하는 소셜 게임사인 Supercell은 […]

오늘 MongoDB 호환 문서 데이터베이스인 Amazon DocumentDB 및 실시간 스트리밍 데이터 분석 서비스인 Kinesis Analytics가 동시에 서울 리전에 출시되었습니다. Amazon DocumentDB는 MongoDB 호환 워크로드를 지원하는 빠르고, 확장 가능하며, 가용성이 높은 완전관리형 문서 데이터베이스 서비스입니다. Apache 2.0 오픈 소스 MongoDB 3.6 API를 구현하여 MongoDB 클라이언트가 MongoDB 서버로부터 기대하는 응답을 에뮬레이션 해주기 때문에 DocumentDB에 기존 MongoDB 드라이버 […]