Mercado Libre, 데이터베이스 5,000개를 Amazon DynamoDB로 마이그레이션하여 비즈니스를 확장하고 신뢰성을 개선

Mercado Libre는 1999년에 아르헨티나에서 설립되었으며, 전자 상거래와 핀테크라는 2개 부문에서 사업을 운영합니다. 이 부문 내에서 회사는 온라인 마켓플레이스, 디지털 결제 시스템, 광고, 물류 및 신용 거래 관련 서비스와 같은 다수의 서비스를 제공합니다. 기본적인 목표는 상거래, 결제 및 돈과 관련된 서비스를 대중화하여 라틴아메리카 내 수백만 시민의 삶의 질을 개선하는 것입니다.

처음에 Mercado Libre의 솔루션은 가상 프라이빗 클라우드에 구축되었고, 내부 팀에서 각각 인프라, 애플리케이션 및 유지 보수를 처리했습니다. 사용할 데이터베이스 유형과 같은 것들을 개별 팀에서 결정했습니다. 이 방법은 처음에는 빠른 성장의 열쇠가 되었지만 팀 수가 늘어나고 트래픽이 증가하면서 다양한 기술 스택으로 인해 성장을 지속하기가 어려워졌습니다. 따라서 이 회사는 팀에 독점적 소프트웨어 개발 키트와 사용자 지정 API가 포함된 새 솔루션을 구축해 주었습니다. NoSQL 데이터베이스의 경우 솔루션에 대한 직접 액세스를 제공하는 대신 추상화 계층을 구축하여 모든 팀에서 동일한 언어를 사용하도록 했습니다. 처음에 Mercado Libre는 자체 관리형 오픈 소스 데이터베이스 엔진을 기반으로 키-값 기본 데이터베이스 추상화를 구축했고 이 솔루션은 데이터베이스 5,000개로 증가했습니다.

시간이 지나면서 회사는 선택한 엔진이 필요한 모든 기능을 제공하지 않는다는 것을 알게 되었습니다. 게다가 30개가 넘는 클러스터를 관리하려면 잦은 유지 보수가 필요했는데, 그 과정에서 시간 초과, 오류 및 가동 중단 인시던트가 발생했습니다. 2019년 초반에 Mercado Libre는 Amazon DynamoDB로의 마이그레이션을 시작했습니다. Mercado Libre의 IT 부문 이사이자 코어 서비스, 사이트 신뢰성 엔지니어링 및 데이터베이스 관리 책임자인 Oscar Mullin은 “Amazon DynamoDB는 신뢰성이 뛰어나기 때문에 가동 중단으로 인한 비용을 방지할 수 있다”고 말합니다. 공통 추상화를 장점으로 활용하여 회사는 코드 변경이나 비즈니스 로드맵 조정 없이 데이터베이스 5,000개를 마이그레이션했습니다.

Mercado Libre는 Amazon DynamoDB와 함께 다른 AWS 서비스도 사용했는데, 예를 들어 미션 크리티컬 및 비즈니스 크리티컬 애플리케이션을 실행할 때는 클라우드에서 안전하고 크기 변경이 가능한 컴퓨팅 용량을 제공하는 Amazon Elastic Compute Cloud(Amazon EC2)와 업계 최고 수준의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 Amazon Simple Storage Service(S3)를 사용했습니다.

Mercado Libre는 AWS 솔루션의 여러 기능을 함께 사용하여 성능에 영향을 주지 않고 모든 크기 조정 요구 사항을 처리할 수 있었습니다. 이전에는 연휴와 같은 크기 조정 이벤트를 준비할 때 상당한 비용이 들었을 뿐 아니라 조정 프로세스도 복잡했습니다. 게다가 코로나19 팬데믹과 같은 예기치 않은 이벤트의 결과로 전자 상거래 및 디지털 결제로 전환하는 사람들이 늘어났고 그 결과 Mercado Libre의 트래픽은 대폭 증가했습니다. 포용이라는 회사 사명의 일부로 Mercado Libre는 AWS를 사용하여 제품 및 서비스를 소규모 비즈니스로 확대하겠다는 목표를 세웠습니다. Mullin은 “코어 애플리케이션에서 Amazon DynamoDB 기반의 추상화를 사용하는 것이 중요했다”면서 “그렇지 않았다면 트래픽 증가를 감당하면서 가용성 수준을 유지하는 것이 극도로 복잡했을 것”이라고 말합니다. Amazon DynamoDB의 자동 크기 조정 기능은 축소 시에도 유용했습니다. 미사용 용량을 방지하여 낭비를 줄이고 비용을 절감하는 데 도움이 되었기 때문입니다. Mullin은 “이전 솔루션과 달리 Amazon DynamoDB에서는 축소가 아주 간단하다”고 말합니다.

Amazon DynamoDB가 지원하는 다중 AWS 리전 아키텍처는 Mercado Libre의 가용성 문제도 해결해줍니다. 개별 테이블의 데이터를 전송하지 않고 Amazon DynamoDB 글로벌 테이블을 사용하여 선택한 리전에 테이블을 자동으로 복제하여 다중 리전 내결함성을 달성할 수 있습니다. 이 완전관리형의 다중 리전 다중 활성 데이터베이스는 전 세계에 분산되어 있는 수백만 명의 고객에게 빠른 로컬 읽기/쓰기 성능을 제공하는 데 도움이 됩니다. Mullin은 “클릭 한 번으로 다중 리전으로 전환할 수 있다”면서 “모든 기록 데이터가 자동으로 다른 리전으로 이동한다”고 말합니다. 테이블이 변경되면 다른 리전으로 원활하게 전파되므로 시간이 절약됩니다. 사용자는 어느 위치에 있든 짧은 지연 시간으로 데이터에 액세스할 수 있습니다. 실제로 읽기 요청과 관련해 API와 Amazon DynamoDB 읽기에 대한 총 지연 시간의 99퍼센타일은 단 6ms에 불과합니다. 심지어 분당 3억 개의 속도로 요청이 도달하므로 지연 시간은 영향을 받지 않습니다. 게다가 Mercado Libre는 복잡한 프로세스 없이 일일 백업을 완료할 수 있습니다. Amazon DynamoDB의 특정 시점 복구를 사용하여 연속 자동 백업을 수행할 수 있기 때문입니다.

Mercado Libre의 서비스 접근 방식에는 개발자에게 최대한 단순하고 투명한 통합 기능을 제공하는 상호 관련된 서비스를 구축하는 것이 포함됩니다. 키-값 스토어로 이 통합을 달성하기 위해 Mercado Libre는 Amazon DynamoDB Streams로 방향을 틀었습니다. 이 서비스는 모든 Amazon DynamoDB 테이블에서 시간순으로 정렬된 항목 수준 수정 시퀀스를 캡처하고 이 정보를 로그에 24시간 동안 저장합니다. 또한 DynamoDB Streams를 Amazon DynamoDB에 사용할 경우 관련이 없는 정보가 테이블에서 자동으로 제거됩니다. 추가 비용은 없습니다. Mercado Libre는 Amazon DynamoDB에서 Time-to-Live(TTL) 만료를 사용하여 만료된 항목을 삭제할 수 있습니다. 불필요하거나 무관한 항목을 제거하는 이 기능은 백그라운드에서 작동하므로 쓰기 처리량(throughput)을 소비하지 않습니다. 또한 DynamoDB Streams를 사용하면 이 삭제를 캡처하여 백업하거나 다른 방식으로 만료된 데이터를 처리할 수 있습니다. Mullin은 “DynamoDB Streams는 강력한 기능”이라면서 “자동화된 기능을 사용하면 복잡하고 오류가 많은 태스크를 직접 수행하지 않아도 된다”고 말합니다.

Mercado Libre는 원래 운영 오버헤드를 넘기고 방대한 규모를 지원할 방법으로 Amazon DynamoDB를 선택했지만 회사의 개발자들은 이 서비스 안에서 새로운 기능을 찾아내고 회사의 혁신과 라틴아메리카 내 성장을 지속할 방법으로 활용하고 있습니다. Mullin은 “필요한 것에 대해, 이전 설정에 대한 대안을 분석했을 때 Amazon DynamoDB가 확실한 승자였다”면서 “앞으로도 보조 인덱스나 보안 기능과 같은 새로운 추상화를 구축하여 계속해서 가치를 얻을 수 있다”고 말합니다.