Amazon Web Services 한국 블로그
Category: Analytics
새로운 기능 – Amazon QuickSight Q가 비즈니스 데이터에 대한 자연어 질문에 답변
세션별 지불 요금제의 첫 번째 BI(비즈니스 인텔리전스) 서비스로 Amazon QuickSight가 출시되었습니다. 오늘 AWS는 기계 학습(ML)을 기반으로 하는 자연어 쿼리(NLQ) 기능인 Amazon QuickSight Q의 preview를 발표하게 되었습니다. 이제 비즈니스 사용자는 Q를 통해 QuickSight를 사용하여 일상 언어로 데이터에 대해 질문하고 몇 초 만에 정확한 답변을 받을 수 있습니다. 예를 들어, “전년 대비 연간 매출 성잘률은 얼마지?” 또는 […]
Amazon DynamoDB 테이블 S3 내보내기 기능 출시 – 코드 없는 데이터 레이크 분석 제공
2012년 출시 이래 수십만의 AWS 고객이 미션 크리티컬 워크로드를 지원할 솔루션으로 Amazon DynamoDB를 선택했습니다. DynamoDB는 비관계형 관리형 데이터베이스로, 사실상 무한한 양의 데이터를 저장하며 규모에 관계없이 1밀리초 단위로 데이터를 검색할 수 있습니다. 이 데이터를 최대한 활용하려면 고객은 AWS Data Pipeline, Amazon EMR 또는 DynamoDB 스트림 기반의 기타 솔루션을 사용해야 했습니다. 이러한 솔루션은 일반적으로 읽기 처리량이 높은 […]
Amazon CloudFront 실시간 로그 기능을 통한 대시 보드 생성하기
Amazon CloudFront 는 글로벌 엣지 로케이션 네트워크를 사용하여 짧은 지연 시간과 빠른 전송 속도로 정적 및 동적 웹 콘텐츠를 안전하게 전송하는 콘텐츠 전송 네트워크 (CDN) 서비스입니다. 오늘 부터 CloudFront에서 실시간 로그를 제공하는 새로운 기능을 발표했습니다. CloudFront 실시간 로그에는 수신하는 모든 요청에 대한 자세한 정보를 포함할 수 있기 때문에 운영 시 생기는 문제에 대해 신속하게 대응할 […]
Amazon EMR 6.0.0을 사용하여 Docker로 Spark 애플리케이션 실행하기
지난 4월 Amazon EMR 6.0.0 버전을 정식 출시했습니다. Amazon EMR 6.0.0을 사용하면, Spark 사용자가 Docker Hub 및 Amazon Elastic Container Registry(Amazon ECR)의 Docker 이미지를 사용하여 환경 및 라이브러리 종속성을 정의할 수 있습니다. 사용자는 Docker를 사용하여 종속성을 손쉽게 정의하고 개별 작업에 사용할 수 있으므로 개별 클러스터 호스트에 종속성을 설치할 필요가 없습니다. 이 글에서는 EMR 6.0.0에서 Docker를 […]
Amazon EMR에서 spark-submit를 사용하여 사용자 애플리케이션 제출하기
빅 데이터로의 전환을 시작하는 고객은 종종 사용자 애플리케이션을 Amazon EMR에서 실행되는 Spark에 제출하는 방법에 대한 지침을 요청합니다. 예를 들어, 고객은 애플리케이션에 사용할 수 있는 메모리 및 계산 리소스의 크기를 조정하는 방법이나 사용 사례에 가장 적합한 리소스 할당 모델에 대한 지침에 대해 문의합니다. 이 게시물에서는 EMR에서 실행 중인 Spark에 제출된 애플리케이션에서 사용할 수 있는 메모리 및 […]
AWS Glue 버전 2.0 정식 출시 – Spark ETL 작업 시간 1/10로 단축 가능 (서울 리전 포함)
AWS Glue는 분석을 위한 데이터를 준비하고 로드할 때 사용할 수 있는 완전관리형 ETL(추출, 변환 및 로드) 서비스입니다. Glue는 “서버리스”이므로 리소스를 프로비저닝하거나 관리할 필요 없이 Glue가 실행될 때의 리소스 요금만 지불하면 됩니다. 이제, Spark ETL 작업을 10배 더 빠르게 시작할 수 있는 AWS Glue 버전 2.0이 정식 출시되었습니다. 시작 지연 시간이 감소함에 따라 전체 작업 완료 […]
Amazon EMR에서 Apache Ranger를 사용하여 권한 부여 및 감사 구현
업데이트 날짜: 2020년 2월 14일: EMR 최신 버전 및 Apache Ranger 2.0을 지원하도록 업데이트 되었습니다. Apache Ranger 2.0을 필요로하는 Ranger Presto 플러그인에 대한 지원 추가됨. 참고: Ranger Presto 플러그인은 EMR 5.29 에서만 테스트 되었음. 업데이트 날짜: 2018년 9월 26일: EMR 및 Apache Ranger의 최신 버전을 지원하도록 업데이트 되었습니다. ————————————————– RBAC(역할 기반 액세스 제어)는 멀티 테넌트 […]
Amazon EMR에서 Apache Knox를 사용하여 경계 보안 구현
경계 보안은 클러스터 외부에서 액세스하는 사용자에게 안전한 Apache 하둡 클러스터 리소스를 제공하는 데 도움이 됩니다. Apache 하둡 클러스터와의 모든 REST 및 HTTP 상호 작용을 위한 단일 액세스 지점을 제공하여 클라이언트와 클러스터의 상호 작용을 간소화합니다. 예를 들어 클라이언트 애플리케이션에서 Kerberos가 활성화된 클러스터의 서비스와 상호 작용하려면 Kinit 또는 SPNEGO를 사용하여 Kerberos 티켓을 받아야 합니다. 이 게시물에서는 Apache […]
Amazon QuickSight ML Insights을 통한 인공 지능 대시보드 활용 하기
AWS 고객이 생성하는 데이터의 양이 날마다 증가함에 따라, 비즈니스 통찰력을 얻기 위해 이러한 데이터를 활용하는 데 따르는 어려움도 갈수록 커져 가고 있습니다. Amazon QuickSight를 통해 고객은 숨겨진 데이터 추세를 발견하고, 주요 비즈니스 동인을 식별하고, 미래의 결과를 예측하고, 데이터를 읽기 쉬운 자연어 문장의 서술 형태로 요약하고, 분석 및 조사를 위한 수작업에 소요되는 시간을 대폭 절감할 수 […]
Amazon Athena 및 Amazon QuickSight를 활용한 2백년간 글로벌 기후 데이터 시각화
전 세계 기후 변화는 우리의 삶의 질에 심각한 영향을 미치고 있습니다. 이 때문에 향후 지속 가능성에 대한 조사도 증가하고 있습니다. 공공 및 민간 부문의 연구원은 기록된 기후의 역사를 연구하고 기후 예측 모델을 사용하여 미래를 계획하고 있습니다. 이 글은 기후 변화와 그 개념에 대한 설명을 돕기 위해 Global Historical Climatology Network Daily(GHCN-D)를 소개합니다. 그리고, Amazon Web […]