Category: AWS re:Invent

Amazon SageMaker Autopilot은 높은 품질의 분류 및 회귀 기계 학습 모델을 자동으로 생성하면서도, 완벽한 제어 및 가시성을 제공하는 AutoML 서비스입니다. 1959년에 Arthur Samuel은 기계 학습을 명시적 프로그래밍 없이 학습할 수 있는 컴퓨터의 기능이라고 정의했습니다. 그러나, 현실적으로 기존 데이터 세트에서 패턴을 추출하고 이러한 패턴을 사용하여 새 데이터에 일반화되는 예측 모델을 구축할 수 있는 알고리즘을 찾는 것을 […]

Amazon SageMaker Model Monitor는 정식 서비스 환경에서 기계 학습(ML) 모델을 모니터링하고, 데이터 품질 문제가 발생했을 때 이를 알려주는 새로운 서비스입니다. 데이터 작업을 시작하면서 때 처음 깨달은 것은 데이터 품질에 아무리 주의를 기울여도 부족하다는 것입니다. 데이터베이스 중 하나에서 예기치 않은 NULL 값이나 복잡한 문자 인코딩 때문에 발생한 문제를 해결하기 위해 수많은 시간을 보낸 경험을 여러분 모두 […]

Amazon SageMaker Experiments는 반복적인 기계 학습(Machine Learning, ML) 모델 버전을 구성, 추적, 비교 및 평가하는 데 사용되는 새로운 기능입니다. 기계 학습 워크로드는 매우 반복적인 과정입니다. 프로젝트 한 건을 진행하는 동안 데이터 과학자와 ML 엔지니어가 최대한의 정확성을 찾기 위해 학습하는 모델의 수는 수천 개에 달합니다. 실제로, 알고리즘, 데이터 세트 및 학습 파라미터(일명 하이퍼파라미터)의 조합은 무한대이며 이 […]

Amazon SageMaker의 새로운 기능인  SageMaker Processing은 사전 처리, 사후 처리 및 모델 평가 워크로드를 쉽게 실행할 수 있습니다. 정확한 ML(기계 학습) 모델 학습을 위해서는 여러 가지 단계가 필요하지만 다음과 같은 데이터 세트 사전 처리보다 더 중요한 단계는 없습니다. 사용 중인 ML 알고리즘에 사용되는 입력 형식으로 데이터 세트 변환 기존 기능을 더욱 강력한 표현 방식으로 변환(예: […]

지난 2017년 Amazon SageMaker를 출시한 이후, 기계 학습(ML) 워크로드에 사용하는 AWS 고객이 점점 늘어나고 있습니다. 많은 고객들이 ML 개발 워크플로는 여전히 매우 반복적이며 상대적으로 고도화되지 못한 ML 도구로 인해 관리가 어렵다는 피드백을 전해 주었습니다. 예를 들어, 기존 소프트웨어(디버거, 프로젝트 관리, 협업, 모니터링 등)를 구축할 때, 개발자가 당연하게 여기는 수많은 도구들이 아직 ML용으로는 개발되지 않았습니다. 만약 […]

Amazon EBS 스냅샷은 EC2 인스턴스의 볼륨을 간편하게 백업하는데 매우 유용합니다.  AWS 관리 콘솔 뿐만 아니라, CLI 명령줄(create-snapshot)을 사용하거나 CreateSnapshot 함수를 호출하여 생성할 수 있으며 DLM(데이터 수명 주기 관리자)를 사용하여 자동화된 스냅샷 관리를 설정할 수 있습니다. 스냅샷에 대한 모든 것 스냅샷은 Amazon Simple Storage Service(S3)에 저장되며 스냅샷을 사용하면 새 EBS 볼륨을 필요에 따라 빠르게 생성할 수 […]

Amazon Elasticsearch Service를 위한 저비용의 완전 관리형 웜(warm) 스토리지 티어인 UltraWarm을 미리보기로 출시합니다. UltraWarm은 Amazon Elasticsearch Service에 핫/웜 티어 스토리지 기능을 제공하는 새로운 접근 방식을 채택했으며, 최대 900TB의 스토리지와 기존 옵션에 비해 최대 90%의 비용 절감 효과를 제공합니다. UltraWarm은 Amazon Elasticsearch Service 환경을 원활하게 확장하므로 사용자는 익숙한 Kibana 인터페이스에서 핫 데이터와 UlltraWarm 데이터 모두 쿼리하고 […]

대규모 데이터베이스를 관리하기란 결코 쉽지 않습니다. 키-값 및 테이블 형식과 같은 대량의 구조화된 데이터를 저장하고 검색하고 관리할 때 사용할 수 있는 옵션 중 하나는 Apache Cassandra입니다. Cassandra에서는 명시적 CQL(Cassandra Query Language)을 사용하여 애플리케이션을 빠르게 구축할 수 있습니다. 그러나, 대규모 Cassandra 클러스터를 관리하기가 어렵고 많은 시간이 소모될 수 있습니다. 기반 인프라를 설정, 구성 및 유지 관리하는 […]

데이터 웨어하우스는 트랜잭션 시스템 및 업무용 애플리케이션에서 생성되는 관계형 데이터를 분석하는 데 최적화된 데이터베이스입니다. Amazon Redshift는 표준 SQL과 기존 BI(비즈니스 인텔리전스) 도구를 사용하여 데이터를 간편하고 비용 효율적으로 분석할 수 있는 완전 관리형 데이터 웨어하우스입니다. 데이터 웨어하우스에 맞지 않는 구조화되지 않은 데이터로부터 정보를 얻으려면 데이터 레이크를 빌드할 수 있습니다. 데이터 레이크는 구조화된 데이터와 구조화되지 않은 데이터 모두 […]

Amazon Redshift는 2012년에 출시된 전 세계에서 가장 인기 있는 클라우드 기반 데이터 웨어하우스입니다. 빠른 성능, 복잡한 쿼리에 대한 지원 및 트랜잭션 기능을 업계 최고의 가성비로 제공하여 꾸준한 사랑을 받고 있습니다. 원래 Redshift 모델은 컴퓨팅 파워와 스토리지 용량이 꽤 긴밀하게 연결됩니다. 특정 수의 인스턴스로 클러스터를 생성하면 각 인스턴스가 제공하는 로컬 스토리지의 양을 약정에 따라 사용하게 됩니다(경우에 […]