Perplexity, Amazon SageMaker HyperPod를 통해 파운데이션 모델 훈련 시간 40% 단축

관련성 있는 결과보다 광고와 특정 키워드를 중점적으로 노출시키는 기존 검색 엔진과 달리 Perplexity의 솔루션은 사용자가 원하는 지식과 연결하도록 최적화되어 있습니다. 매달 약 1,000만 명의 활성 사용자가 Perplexity를 사용하여 새로운 개념을 배우고, 문제를 해결하고, 답을 찾고 있습니다.

“대규모 언어 모델을 사용하면 인간의 언어 이해 및 추론 능력을 하나의 모델에 담아낼 수 있습니다. 이것이 인터넷의 사실 정보와 결합되어 답변 엔진을 구축하는 데 도움이 되었습니다”라고 Perplexity의 CEO이자 공동 창립자인 Aravind Srinivas는 말합니다. “본질적으로 우리는 기존의 검색 인덱스(사실 정보 엔진)와 추론 엔진(대규모 언어 모델)을 함께 조율하여 세계 최초의 대화형 답변 엔진을 구축했습니다.”

Perplexity는 2022년에 출시된 이후 거의 모든 워크로드에 대해 안전하고 규모 조정이 가능한 컴퓨팅 용량을 제공하는 Amazon Elastic Compute Cloud(Amazon EC2) 같은 핵심 AWS 서비스를 사용하여 제품의 백엔드, 프런트엔드 및 검색 구성 요소를 운용해 왔습니다. Perplexity가 성숙하고 ML 모델 수가 늘어남에 따라 사용자에게 서비스를 제공하기 위해 엄청난 컴퓨팅 파워가 필요했습니다.

Perplexity는 AWS 전문가와 이야기를 나누면서 대규모 분산 훈련 용도로 특별히 구축된 인프라인 Amazon SageMaker HyperPod로 대규모 모델 훈련을 위한 요구 사항을 충족할 수 있다는 사실을 알게 되었습니다. Amazon SageMaker 분산 훈련 라이브러리로 사전 구성되어 있는 Amazon SageMaker HyperPod는 확장성 높고 비용 효율적인 사용자 지정 데이터 병렬 및 모델 병렬 딥 러닝 훈련 작업을 1,600Gbps 이상의 상호 연결 속도에서 실행하도록 최적화되어 있습니다. 또한 Amazon SageMaker HyperPod는 체크포인트를 주기적으로 저장하여 파운데이션 모델 훈련이 중단되는 것을 방지합니다. 훈련 중에 하드웨어 장애가 발생하면 AWS 서비스는 자동으로 장애를 감지하여 결함이 있는 인스턴스를 복구하거나 교체하고 마지막으로 저장한 체크포인트에서 훈련을 재개합니다. 이로써 분산된 환경에서 몇 주나 몇 달 동안 중단 없이 모델을 훈련할 수 있습니다.

AWS는 분산 훈련 기능을 시연하기 위해 Perplexity에 1개월 평가판을 제공했는데, 이 기간 동안 회사는 AWS를 이용하는 데 따르는 이점들을 발견했습니다. 예를 들어 Perplexity는 특정 작업에 맞춰 조정된 다양한 Amazon EC2 인스턴스 유형과 GPU를 사용하는 등의 방법으로 리소스를 더 유연하게 할당할 수 있게 되었습니다.

ML 모델을 훈련시키기 위해서는 대량의 데이터를 실행하고 다양한 그래디언트를 저장할 수 있도록 많은 양의 메모리가 필요합니다. 훈련 작업을 실행하고 메모리 및 대역폭 요구 사항을 달성하기 위해 Perplexity는 ML 훈련 및 고성능 컴퓨팅 애플리케이션에 최고의 성능을 제공하는 Amazon EC2 P4de 인스턴스를 선택했습니다. Perplexity는 Amazon SageMaker HyperPod를 사용하여 여러 GPU 간에 데이터를 훨씬 빠르게 전송함으로써 ML 모델 훈련 시간을 최대 40% 단축했습니다.

Srinivas는 이렇게 말했습니다. “Amazon SageMaker HyperPod의 내장 데이터 및 모델 병렬 라이브러리는 GPU의 훈련 시간을 최적화하고 훈련 처리량을 두 배로 높이는 데 도움이 되었습니다. 그에 따라 이제 훈련 실험 속도가 두 배나 빨라져서 개발자가 더 빠르게 반복 작업을 수행하고 고객을 위한 새로운 생성형 AI 경험 개발을 가속할 수 있게 되었습니다. Amazon SageMaker HyperPod는 클러스터 상태를 자동으로 모니터링하고 GPU 장애를 해결하기 때문에 개발자는 기본 인프라를 관리하고 최적화하는 데 시간을 소비하는 대신 모델 구축에 집중할 수 있습니다.”

Perplexity는 사용자 쿼리에 빠르고 정확한 응답을 제공하는 것을 목표로 하며, 이를 위해 실시간에 가까운 추론 능력이 필요합니다. Perplexity는 딥 러닝 애플리케이션을 위해 가장 높은 성능의 GPU 기반 인스턴스를 제공하는 Amazon EC2 P5 인스턴스를 사용하면서 이전보다 훨씬 높은 처리량으로 답변을 생성할 수 있게 되었습니다. 실제로 지연 시간이 늘어나거나 사용자 경험에 영향을 주지 않으면서 1만 명의 동시 사용자와 시간당 10만 개 이상의 쿼리가 발생하는 사용량 급증 기간에 대처할 수 있습니다. 또한 Perplexity는 공개적으로 이용할 수 있는 Llama 2 모델을 Amazon EC2 P5 인스턴스에서 호스팅하고 Amazon SageMaker HyperPod를 사용하여 회사의 자체 데이터로 오픈 소스 모델을 미세 조정하고 있습니다. 모델을 미세 조정하면 Perplexity가 운영하는 답변 엔진의 필요에 맞춰 모델이 조정되어 응답의 정확성과 관련성을 높이는 데 도움이 됩니다.