차세대 Amazon SageMaker 소개: 모든 데이터, 분석 및 AI를 위한 중심 서비스

오늘 데이터, 분석 및 AI를 위한 통합 플랫폼인 차세대 Amazon SageMaker를 발표하겠습니다. 완전히 새로운 SageMaker에는 데이터 탐색, 준비 및 통합, 빅 데이터 처리, 빠른 SQL 분석, 기계 학습(ML) 모델 개발 및 훈련, 생성형 AI 애플리케이션 개발에 필요한 거의 모든 구성 요소가 포함되어 있습니다.

현재 Amazon SageMaker는 Amazon SageMaker AI로 이름이 변경되었습니다. SageMaker AI는 차세대 SageMaker 내에 통합되며 특히 AI 및 ML 모델을 대규모로 구축, 훈련 및 배포하는 데 집중하고자 하는 사용자를 위한 독립형 서비스로도 사용 가능합니다.

새로운 Amazon SageMaker의 하이라이트
핵심은 단일 데이터 및 AI 개발 환경인 SageMaker Unified Studio(평가판)입니다. 여기에는 현재 Amazon Athena, Amazon EMR, AWS Glue, Amazon Redshift, Amazon Managed Workflows for Apache Airflow (MWAA), 기존 SageMaker Studio에 있는 다양한 독립형 “스튜디오”, 쿼리 편집기 및 시각적 도구의 기능과 도구가 통합되어 있습니다. 생성형 AI 애플리케이션을 구축하고 사용자 지정하기 위해 Amazon Bedrock Studio의 업데이트된 버전인 Amazon Bedrock IDE(평가판)도 통합했습니다. 또한 Amazon Q는 SageMaker의 워크플로 전반에 걸쳐 AI 지원을 제공합니다.

주요 기능 목록은 다음과 같습니다.

• Amazon SageMaker Unified Studio(평가판) — 단일 환경에서 분석 및 AI를 위한 모든 데이터와 도구를 사용하여 구축합니다.
• Amazon SageMaker Lakehouse – Amazon Simple Storage Service(Amazon S3) 데이터 레이크, Amazon Redshift 데이터 웨어하우스, 타사 및 페더레이션 데이터 소스 전반의 데이터를 Amazon SageMaker Lakehouse와 통합합니다.
• 데이터 및 AI 거버넌스 — Amazon DataZone에 구축된 Amazon SageMaker 카탈로그를 사용하여 데이터 및 AI를 안전하게 검색, 관리 및 협업할 수 있습니다.
• 데이터 처리 — Amazon Athena, Amazon EMR 및 AWS Glue의 오픈 소스 프레임워크를 사용하여 분석 및 AI용 데이터를 분석, 준비 및 통합합니다.
• 모델 개발 — Amazon SageMaker AI를 사용하여 완전 관리형 인프라, 도구 및 워크플로로 ML 및 파운데이션 모델(FM)을 구축, 훈련 및 배포합니다.
• 생성형 AI 앱 개발 — Amazon Bedrock을 사용하여 생성형 AI 애플리케이션을 구축 및 확장합니다.
• SQL 분석 — 가격 대비 성능이 가장 뛰어난 SQL 엔진인 Amazon Redshift를 통해 통찰력을 얻습니다.

이 게시물에서는 새로운 SageMaker Unified Studio 환경을 간략하게 살펴보고 데이터 처리, 모델 개발 및 생성형 AI 앱 개발을 시작하는 방법을 알아보겠습니다.

Amazon SageMaker Unified Studio(평가판) 작업하기
SageMaker Unified Studio를 사용하여 익숙한 AWS 도구를 사용하여 데이터를 검색하고 활용함으로써 단일 관리형 환경에서 데이터 분석, 데이터 처리, 모델 훈련, 생성형 AI 앱 구축을 비롯한 엔드 투 엔드 개발 워크플로를 완료할 수 있습니다.

통합된 SQL 편집기를 사용하면 여러 소스에서 데이터를 쿼리할 수 있으며 시각적 추출, 전환 및 적재(ETL) 도구를 통해 데이터 통합 및 변환 워크플로 생성을 간소화할 수 있습니다. 새로운 통합 Jupyter 노트북을 통해 다양한 컴퓨팅 서비스 및 클러스터에서 원활하게 작업할 수 있습니다. 새로운 내장 데이터 카탈로그 기능을 사용하여 조직 전체에서 데이터 및 AI 자산을 찾고 액세스하고 쿼리할 수 있습니다. Amazon Q가 통합되어 개발 수명 주기 전반에서 작업을 간소화합니다.

개별 기능을 보다 자세히 살펴보겠습니다.

데이터 처리
SageMaker가 SageMaker Lakehouse와 통합되어 통합 환경에서 데이터를 분석, 준비, 통합 및 오케스트레이션할 수 있습니다. 제공된 연결 옵션을 사용하여 다양한 소스의 데이터를 통합하고 처리할 수 있습니다.

먼저 SageMaker Unified Studio에서 프로젝트를 생성하고 SQL 분석 또는 데이터 분석 및 AI-ML 모델 개발 프로젝트 프로필을 선택합니다. 프로젝트는 동료와 협업하고, 데이터를 공유하고, 도구를 사용하여 안전한 방식으로 데이터를 작업할 수 있는 위치입니다. SageMaker의 프로젝트 프로필은 새 프로젝트를 생성할 때 프로비전되는 사전 구성된 리소스 및 도구 세트를 정의합니다. 프로젝트의 왼쪽 메뉴에서 데이터를 선택하고 데이터 소스 추가를 시작합니다.

내장된 SQL 쿼리 편집기를 사용하여 SageMaker Unified Studio 내에서 직접 데이터 레이크, 데이터 웨어하우스, 데이터베이스 및 애플리케이션에 저장된 데이터를 쿼리할 수 있습니다. SageMaker Unified Studio의 상단 메뉴에서 구축을 선택하고 쿼리 편집기를 선택하여 시작합니다. 또한, Amazon Q에서 자연어를 사용하여 SQL 쿼리를 생성해 보세요.

또한 내장된 시각적 ETL 도구를 탐색하여 시각적 드래그 앤 드롭 인터페이스를 사용하여 데이터 통합 및 변환 워크플로를 생성해야 합니다. 상단 메뉴에서 구축을 선택하고 시각적 ETL 흐름을 선택하여 시작합니다.

Amazon Q가 활성화된 경우 다른 흐름에 대해 생성형 AI를 사용할 수도 있습니다. 시각적 ETL은 광범위한 데이터 커넥터, 사전 구축된 변환, 스케줄링, 모니터링, 데이터 미리 보기와 같은 기능이 제공되어 데이터 워크플로를 간소화합니다.

모델 개발
SageMaker Unified Studio에는 전체 ML 수명 주기를 위한 인프라, 도구 및 워크플로를 제공하는 SageMaker AI의 기능이 포함되어 있습니다. 상단 메뉴에서 구축을 선택하여 데이터 준비, 모델 훈련, 실험 추적, 파이프라인 생성, 오케스트레이션을 위한 도구에 액세스합니다. 또한 모델 배포 및 추론, 기계 학습 운영(MLOP) 구현, 모델 모니터링 및 평가, 그리고 거버넌스 및 규정 준수에 이러한 도구를 사용할 수도 있습니다.

모델 개발을 시작하려면 SageMaker Unified Studio에서 데이터 분석 및 AI-ML 모델 개발 프로젝트 프로필을 사용하여 프로젝트를 생성하고 새로운 통합 Jupyter 노트북을 살펴보세요. 상단 메뉴에서 구축을 선택하고 JupyterLab을 선택합니다. 새로운 통합 노트북을 사용하여 다양한 컴퓨팅 서비스 및 클러스터 전반에서 원활하게 작업할 수 있습니다. 이러한 노트북을 사용하여 작업 공간을 벗어나지 않고도 환경 간에 전환할 수 있으므로 모델 개발 프로세스가 간소화됩니다.

또한 Amazon Q Developer를 사용하여 모델 개발 프로세스 전반에서 코드 생성, 디버깅 및 최적화와 같은 작업을 지원할 수도 있습니다.

생성형 AI 앱 개발
새로운 Amazon Bedrock IDE를 사용하여 Amazon SageMaker Unified Studio 내에서 생성형 AI 애플리케이션을 개발합니다. Amazon Bedrock IDE에는 Amazon Bedrock Knowledge Bases, Amazon Bedrock Guardrails, Amazon Bedrock Agents, Amazon Bedrock Flows와 같은 고급 기능과 FM을 사용하여 생성형 AI 애플리케이션을 구축 및 사용자 지정하여 요구 사항 및 책임 있는 AI 지침에 맞는 맞춤형 솔루션을 생성할 수 있는 도구가 포함되어 있습니다.

SageMaker Unified Studio의 상단 메뉴에서 검색을 선택하여 Amazon Bedrock 모델을 찾아보거나 모델 플레이그라운드로 실험해 보세요.

GenAI Application Development 프로필을 사용하여 프로젝트를 생성하여 생성형 AI 애플리케이션 구축을 시작합니다. SageMaker Unified Studio의 상단 메뉴에서 구축을 선택하고 채팅 에이전트를 선택합니다.

Amazon Bedrock IDE를 사용하면 단 몇 번의 클릭으로 채팅 에이전트를 구축하고 독점 데이터 소스에서 기술 자료를 작성하여 검색 증강 생성(RAG)을 활성화할 수 있습니다. 가드레일을 추가하여 안전한 AI 상호 작용을 촉진하고 어떤 시스템과도 통합할 수 있는 함수를 생성할 수 있습니다. 내장된 모델 평가 기능을 통해 팀과 협업하면서 AI 애플리케이션의 성능을 테스트하고 최적화할 수 있습니다. 일관적적 GenAI 기반 워크플로를 위한 흐름을 설계하고, 준비가 되면 프로젝트 및 도메인 자산에 대한 제어를 유지하면서 도메인 내에서 애플리케이션 또는 프롬프트를 공유하거나 어디서나 배포하기 위해 내보낼 수 있습니다.

모든 Amazon SageMaker 기능에 대한 자세한 설명은 SageMaker Unified Studio 사용 설명서를 참조하세요.

시작하기
SageMaker Unified Studio 사용을 시작하려면 관리자가 몇 가지 설정 단계를 완료해야 합니다. 여기에는 AWS IAM Identity Center 설정, 필요한 가상 프라이빗 클라우드(VPC) 및 AWS Identity and Access Management(IAM) 역할 구성, SageMaker 도메인 생성, Amazon Q Developer Pro 활성화가 포함됩니다. IAM Identity Center 대신, 사용자 관리를 위해 IAM 페더레이션을 통해 SAML을 구성할 수도 있습니다.

환경을 구성한 후 사용자는 제공된 SageMaker Unified Studio 도메인 URL을 통해 Single Sign-On(SSO)으로 로그인합니다. 프로젝트를 생성하여 팀 구성원과 협업하고 다양한 사용 사례에 대해 사전 구성된 프로젝트 프로필 중에서 선택할 수 있습니다. 각 프로젝트는 버전 제어를 위해 Git 리포지토리에 연결되고 시작하는 데 도움이 되는 통합 Jupyter Notebook 예제가 포함되어 있습니다.

자세한 설정 지침은 SageMaker Unified Studio 관리자 안내서를 참조하세요.

정식 출시
차세대 Amazon SageMaker는 현재 미국 동부(버지니아 북부, 오하이오), 미국 서부(오리건), 아시아 태평양(도쿄) 및 유럽(아일랜드) AWS 리전에서 오늘 정식 출시되었습니다. Amazon SageMaker Unified Studio와 Amazon Bedrock IDE를 오늘 해당 AWS 리전에서 미리 볼 수 있습니다. 향후 업데이트 여부는 전체 리전 목록을 확인하세요.

요금 정보는 Amazon SageMaker 요금 및 Amazon Bedrock 요금을 참조하세요. 자세히 알아보려면 Amazon SageMaker, SageMaker Unified Studio 및 Amazon Bedrock IDE를 참조하세요.

기존 Amazon Bedrock Studio 평가판 도메인은 2025년 2월 28일까지 사용할 수 있지만, 새 워크스페이스를 생성할 수는 없습니다. Bedrock IDE의 고급 기능을 경험하려면 관리자 안내서의 지침에 따라 새 SageMaker 도메인을 생성하세요.

오늘 콘솔에서 새로운 Amazon SageMaker를 사용해 보시고 여러분의 생각을 알려주세요! Amazon SageMaker용 AWS re:Post 또는 일반 AWS Support 문의로 피드백을 보내주세요.

– Antje