Amazon Redshift를 사용하여 ETL 시간을 70% 이상 단축한 Magellan Rx

Magellan Health Inc.의 사업부 중 하나인 Magellan Rx Management(Magellan Rx)는 서비스를 이용하는 고객들에게 의미 있는 솔루션을 제공하는 차세대 약국 조직입니다. Magellan Rx의 고객으로는 건강 보험 기관, 고용주, 서드 파티 관리자, 노동 단체, 정부 기관 등이 있습니다. 날로 높아지는 데이터 요구 사항을 지원하고 서비스 수준 계약을 충족하기 위해, 이 조직은 온프레미스 데이터 웨어하우스에서 고성능 데이터 호스팅 솔루션으로 서비스를 마이그레이션해야 했습니다. 

이에 Magellan Rx는 2020년, Amazon Web Services(AWS)로 마이그레이션했습니다. 이제 이 조직은 클라우드에서 페타바이트 규모의 완전관리형 데이터 웨어하우스 서비스인 Amazon Redshift를 사용하여 데이터를 호스팅합니다. 이 서비스는 사용자가 표준 구조적 쿼리 언어(SQL)를 사용하여 데이터 웨어하우스, 운영 데이터베이스 및 데이터 레이크에서 엑사바이트 규모의 정형 데이터와 반정형 데이터를 쿼리하고 결합할 수 있도록 해줍니다. Magellan Rx는 AWS 서비스를 사용하여 운영 비용을 절감하고, 추출, 전환, 적재(ETL) 시간을 단축했으며 운영을 확장했습니다.

Magellan Rx는 AWS 서비스가 다른 클라우드 기반 도구와 완벽하게 호환된다는 점을 들어 AWS로 조직의 서비스를 마이그레이션하기로 결정했습니다. 또한 클라우드 기반 아키텍처는 Magellan Rx가 라이선스 및 지원 비용을 크게 절감하고, 지속적으로 수요를 충족하거나 뛰어넘을 수 있도록 확장하며, 보다 복원력 있는 데이터 환경을 조성할 수 있게 해줄 것입니다. 아울러 클라우드의 얼리 어답터였던 Magellan Rx의 데이터 엔지니어 팀은 많은 교육을 받지 않아도 마이그레이션을 실행하는 데 문제가 없었습니다. Magellan Rx는 2020년 1월에 AWS로의 마이그레이션에 착수했고 12월에 운영을 시작했습니다. 

AWS에서 Magellan Rx는 고객이 기대하는 서비스 수준을 유지할 수 있습니다. 이 솔루션은 멀티 테넌트 아키텍처를 사용하며 사용자가 전적으로 구성할 수 있습니다. 때문에 Magellan Rx는 1시간 이내에 새로운 고객 데이터를 온보딩할 수 있습니다. 업계 최고의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 객체 스토리지 서비스인 Amazon Simple Storage Service(S3)는 Amazon Redshift 웨어하우스에 데이터를 보관합니다. Magellan Rx는 Amazon S3 버킷에 저장된 모든 객체의 모든 버전을 보존, 검색 및 복원할 수 있습니다. 이는 재해 복구 요구 사항을 충족하는 것입니다. Magellan Rx의 Information Technology 부문 Vice President, Vinesh Kolpe는 “저희는 현대적 컴퓨팅의 기반을 구축했습니다. 그 덕분에 서비스 수준 계약을 초과 달성할 뿐만 아니라, 서비스 수준에 영향을 미치지 않으면서 규모를 확장하고 있습니다”라고 전했습니다.

Magellan Rx는 AWS 서비스를 사용하여 중앙 집중식 데이터 솔루션을 구축하고 데이터베이스 환경의 총 소유 비용을 30% 절감했습니다. 클라우드의 트랜잭션 시스템에서 실시간에 가까운 데이터에 액세스할 수 있게 되면서, 이 조직은 더 빠른 데이터 검색과 고급 분석을 위해 필요한 토대를 마련했습니다. Magellan Rx는 Amazon Redshift의 한 위치에 데이터를 저장할 수 있습니다. 때문에 조직 전체에서 건전한 데이터 위생 상태를 유지할 수 있습니다. 따라서 이해 관계자들은 관련 정보에 쉽게 액세스할 수 있으며, 데이터에 입각한 의사 결정을 통해 프로세스를 개선할 수 있습니다. Magellan Rx의 Information Technology 부문 Director인 Srini Ponnada는 “새로운 아키텍처에서는 원시 데이터와 큐레이트된 데이터를 더 잘 파악할 수 있습니다. 이 시스템 덕분에 온라인 거래 처리 시스템의 부하를 줄이고 사용자에게 적시에 정보를 제공할 수 있게 되었습니다”라고 전했습니다. 

Amazon Redshift는 표준 SQL을 사용하여 작동하기 때문에 Magellan Rx 직원은 데이터를 쿼리하기 위해 새로운 기술을 배울 필요가 없습니다. 가용성과 확장성이 뛰어난 클라우드 도메인 이름 시스템 웹 서비스인 Amazon Route 53은 ETL 작업을 실행하는 쿼리를 수행하도록 고객을 이 시스템으로 라우팅할 수 있게 도움을 줍니다. Magellan Rx는 이 서비스를 사용하여 ETL 시간을 11시간에서 3시간으로, 70% 이상 단축했습니다. 

Magellan Rx는 온프레미스 라이선스 및 지원 비용을 줄이는 한편, 다른 비즈니스 영역에서도 비용을 절감했습니다. Kolpe는 “Amazon Redshift를 사용하면서 운영 비용을 20% 절감했습니다. 이는 이전 스택과 비교했을 때 커다란 성과입니다“라고 전했습니다.

AWS로 마이그레이션한 Magellan Rx는 운영 비용을 줄이고 ETL 및 분석 쿼리 시간을 단축했으며 새로운 고객 데이터를 더 빠르게 온보딩할 수 있게 되었습니다. 이제 Magellan Rx는 AWS 도구를 활용하여 파이프라인에 기계 학습과 인공 지능을 구현할 수 있게 되었습니다.

앞으로 Magellan Rx는 AWS 도구 및 서비스를 활용하여 솔루션을 계속 구축해 나갈 계획입니다. 예컨대 개발자가 거의 모든 사용 사례에 맞게 기계 학습 모델을 구축, 훈련 및 배포할 수 있게 해주는 서비스인 Amazon SageMaker, 데이터 분석가 및 데이터베이스 개발자가 Amazon Redshift 데이터 웨어하우스에서 익숙한 SQL 명령을 사용하여 기계 학습 모델을 간편하게 생성, 훈련 및 적용할 수 있게 해주는 Amazon Redshift ML 등이 사용될 예정입니다. 이러한 솔루션을 사용하면 Magellan Rx가 고객을 지원하고 비즈니스 인텔리전스 기능을 확장하는 데 도움이 될 것입니다. 

Magellan Rx의 Information Technology 부문 Senior Director, Deepti Bhanti는 “이 프로젝트는 Magellan Rx의 미래에 대한 로드맵인 데이터 전략의 토대를 마련해주었습니다. 원시 데이터와 실시간에 가까운 데이터에 액세스하면 분석을 효과적으로 활용하고 대규모로 기계 학습을 수행할 수 있게 됩니다”라고 전했습니다.