Amazon SageMaker를 사용하여 iOS 14 이상을 위한 예측 분석 솔루션을 구축하는 AppsFlyer

AppsFlyer는 전자상거래, 금융 서비스, 게임 등의 분야에 걸쳐 전 세계 1만 2,000곳 이상의 고객을 보유하고 있으며 이 회사의 서비스는 8만 9,000개 이상의 모바일 앱에 사용되고 있습니다. PredictSK는 ML을 사용하여 SKAdNetwork 신호를 기반으로 하는 마케팅 캠페인에서 IOS 14 이상 모바일 앱 사용자의 LTV를 예측합니다. 이 회사는 2019년 4분기에 초기 솔루션을 구축하기 시작했습니다. AppsFlyer의 Predictive Analytics 담당 Senior Product Marketing Manager인 Michel Hayet는 “마케터는 PredictSK를 사용하여 대폭으로 비용을 절감하고 캠페인을 최적화할 수 있습니다”라면서 “이 제품은 캠페인이 효과가 있는지 확인하는 데 몇 주 또는 몇 달이 걸릴 수 있는 기존의 LTV 평가 주기보다 훨씬 빠르게 캠페인 성과에 대한 많은 지식을 고객에게 제공해 줍니다”고 말합니다.

2018년부터 유럽 연합과 미국의 데이터 개인 정보 보호 규정에는 수집, 공유 및 마케팅에 사용할 수 있는 개인 정보의 유형을 제한하는 새로운 지침이 제공되었습니다. 주요 브라우저에서는 데이터 추적, 타겟팅 및 측정에 사용되는 서드 파티 쿠키의 사용을 중단했습니다. 2021년 6월에 Apple은 iOS 14를 출시했는데, 여기에는 개인 정보 보호 모바일 설치 어트리뷰션 프레임워크인 SKAdNetwork와 소비자의 디바이스 식별자가 소비자의 동의 없이 광고 추적 및 타겟팅에 사용되지 않도록 하는 프레임워크인 App Tracking Transparency가 포함되어 있습니다. PredictSK의 Product Team Lead인 Elena Levi는 “iOS 14에서는 약 24시간 안에 각 사용자의 행동을 살펴보고 해당 사용자가 가치가 있을지, 해당 사용자를 제공한 미디어 소스에 투자할지 여부를 결정해야 합니다.”라면서 “하지만 예측 분석을 사용하면 24시간 안에 필요한 장기적 인사이트를 얻을 수 있습니다”라고 설명합니다.

AppsFlyer는 AWS를 사용하여 새로운 업계 요구 사항에 맞게 예측 분석 솔루션을 조정했습니다. 이 솔루션은 6~8개월 안에 초기 아이디어에서 실제 제품으로 완성되었습니다. AppsFlyer는 AWS에서 직원 수를 그대로 유지하면서 프로덕션 시간을 66% 단축했고, App Tracking Transparency가 시행된 지 1개월, SKAdNetwork가 구현된 지 1주 후인 2021년 6월에 첫 번째 고객을 PredictSK에 온보딩할 준비를 마쳤습니다. AppsFlyer는 모바일 어트리뷰션 솔루션 제공업체 중에서 최초로 예측 분석 기능을 제공하는 업체입니다.

새로운 솔루션을 구축하기 위해 AppsFlyer는 Amazon SageMaker와 다양한 AWS 서버리스 서비스를 사용하여 연구부터 프로덕션까지의 경로를 단축했습니다. 예를 들어 AWS Lambda는 서버를 프로비저닝하거나 관리할 필요 없이 코드를 실행할 수 있는 서버리스 컴퓨팅 서비스입니다. AppsFlyer의 Senior Software Developer인 Benjamin Winestein은 “AWS의 서버리스 아키텍처는 개발 시간과 유지 관리 작업을 줄여줍니다.”라면서 “처음에는 소규모로 시작하더라도 모든 것이 제대로 작동할 것이라는 확신을 가지고 규모를 늘릴 수 있습니다.”라고 말합니다.

PredictSK는 모바일 앱 사용자에게 1에서 9까지의 척도로 예측 점수를 지정합니다. 이 솔루션은 데이터 세트에서 다수의 훈련 작업을 실행하여 최적의 모델 버전을 찾는 Amazon SageMaker 자동 모델 튜닝을 사용하는데, 이렇게 하면 알고리즘 파라미터의 수천 가지 조합을 자동으로 조정하여 예측 ML 모델의 정확도를 빠르게 개선할 수 있습니다. 그런 다음에는 각 모델을 배포합니다. 추가 훈련이 필요한 경우에는 AWS Step Functions를 사용하여 훈련 흐름을 반복합니다. AWS Step Functions는 AWS Lambda 함수 및 여러 AWS 서비스를 비즈니스 크리티컬 애플리케이션으로 간단하게 시퀀싱할 수 있는 서버리스 함수 오케스트레이터입니다. 정확도를 유지하기 위해 매월 수십 기가바이트의 데이터를 사용하여 각 모델을 재훈련합니다.

AppsFlyer는 PredictSK를 시작하는 모든 앱을 위한 사용자 지정 ML 모델을 생성합니다. 그 이유는 보안 및 사용자 개인 정보 보호 때문이며 어떤 정보도 앱 간에 공유되지 않습니다. 또한 AppsFlyer는 다양한 사용 사례에 맞게 다양한 ML 모델을 훈련해야 하는데 앱 유형에 따라 사용자 행동이 달라지기 때문입니다. 예를 들어 의료 앱을 사용할 때 사용자는 게임 앱에서와 같은 행동을 하지 않습니다. 이 요구 사항을 충족하기 위해 AppsFlyer는 Amazon SageMaker 다중 모델 엔드포인트를 많이 사용하는데, 이 모델을 사용하면 확장 가능하고 비용 효율적인 방법으로 다수의 사용자 지정 ML 모델을 배포할 수 있습니다. AppsFlyer는 NVIDIA V100 Tensor Core GPU를 기반으로 클라우드에서 고성능 컴퓨팅을 제공하는 Amazon Elastic Compute Cloud(Amazon EC2) P3 인스턴스에서 Amazon SageMaker를 실행하며 p3.2xlarge 인스턴스를 사용합니다.

일정이 정해진 예측 흐름에서는 Amazon SageMaker 배치 변환에서 간단한 API를 사용하여 대규모 배치 데이터 세트에 대해 1~24시간마다 추론을 실행합니다. 그런 다음 예측 결과를 데이터베이스에 저장하여 고객에게 제공합니다. Hayet는 “예측이나 고급 인사이트를 전혀 사용하지 않는 일반 광고주의 경우 사용자에 대한 모든 종류의 LTV 통계를 받는 데 약 30일이 걸립니다”라면서 “그러나 PredictSK를 사용하면 이 기간이 몇 시간으로 단축됩니다”라고 말합니다.

PredictSK의 실시간에 가까운 예측 흐름은 서버리스 아키텍처에서 작동하며 AppsFlyer 고객에게 거의 즉시 예측 사용자의 이점 점수를 제공합니다. 추론당 10~30밀리초 내에 요청부터 반환까지의 작업이 완료됩니다. PredictSK는 초당 수만 개의 이벤트를 처리하는 속도로 매일 수백 기가바이트의 사용자 데이터를 처리하며 초당 수십만 개의 이벤트로 확장됩니다. 이 솔루션은 그날의 관련 이벤트를 소비하고 그 데이터를 키-값 및 도큐먼트 데이터베이스인 Amazon DynamoDB에 저장합니다. 그런 다음 AWS Lambda를 사용하여 추론에 사용할 데이터를 준비하고 Amazon SageMaker 다중 모델 엔드포인트로 전송합니다. 추론 결과는 Amazon DynamoDB의 다른 테이블에 기록되어 고객에게 전송됩니다.

AppsFlyer의 다음 계획은 User Acquisition Manager가 PredictSK의 인사이트를 사용하여 캠페인을 최적화하는 방법을 간소화하고 잠재적으로 완전히 자동화하는 것입니다. 또한 Amazon SageMaker를 사용한 분산 훈련을 살펴보는 중인데, 이 방식의 훈련은 훈련 시간을 단축하고 대규모 데이터 세트를 지원하도록 확장하는 데 도움이 됩니다.

AppsFlyer는 AWS에서 기존의 다른 솔루션보다 먼저 유용한 인사이트를 제공하는 동시에 캠페인 성과의 정확성을 개선하고 소비자의 개인 정보를 보호하는 솔루션을 통해 업계의 전면적인 변화에 신속하게 대응했습니다. Hayet는 “현재 경쟁업체 중 누구도 고객에게 제공하지 않는 서비스를 제공하게 되어 기쁩니다.”라면서 “지금 확보한 입지도 놀랄 만한 수준이지만, 우리는 여기서 그치지 않을 것입니다. 이 솔루션을 계속 발전시키고 개선하기 위한 작업을 하고 있습니다.”라고 말합니다. Levi는 “예측 분석은 여러 가지 중요한 방식으로 모바일 마케팅의 판도를 변화시키고 있는데, 앞으로 우리가 이 생태계에 더 많은 혁신을 제공할 수 있기를 기대합니다”라고 덧붙입니다.