AWS와 함께 생성형 AI 리더십을 추구하는 Adobe

Adobe는 오픈 소스 모델에 의존하는 대신 크리에이티브 사용 사례에 맞게 조정된 자체 생성형 AI 파운데이션 모델을 훈련하기로 결정했습니다. Costin은 “우리는 모델에 요구되는 품질과 기능을 직접 제어하고 싶었습니다.”라고 설명합니다. 주요 차별화 요소는 Adobe Stock 이미지와 같은 라이선스가 적용되는 콘텐츠와 저작권이 만료된 퍼블릭 도메인 콘텐츠를 기반으로 Firefly 생성형 AI 모델을 훈련하는 것이었습니다.

Adobe는 불과 9개월 만에 Firefly 생성형 AI 모델 제품군을 출시했습니다. 이러한 모델은 Photoshop, Illustrator, Substance 3D, Adobe Express 등 Adobe의 주력 크리에이티브 소프트웨어 제품에 빠르게 통합되었습니다. Costin은 “Firefly로 구동되는 Photoshop의 생성형 채우기 기능은 현재 가장 많이 사용되는 기능입니다.”라고 강조합니다. AWS를 기반으로 구축함으로써 Adobe는 AI 훈련을 처음부터 새로 구축할 필요 없이 빠르게 구현하여 번거로운 작업 대신 차별화 요소에 집중할 수 있었습니다.

Adobe는 모델을 빠르게 반복할 수 있는 AI 훈련 플랫폼 및 데이터 파이프라인을 구현하기 위해 AWS에 AI 초고속도로를 구축했습니다. Adobe는 NVIDIA GPU로 구동되는 Amazon Elastic Compute Cloud(Amazon EC2) P5 및 P4d 인스턴스, Amazon Elastic Kubernetes Service(Amazon EKS), Amazon Elastic Block Store(Amazon EBS), Amazon Elastic Fabric Adapter(EFA)를 사용하여 솔루션을 구축했습니다. 또한 Adobe는 방대한 데이터를 위한 데이터 레이크 및 기본 리포지토리로 Amazon Simple Storage Service(Amazon S3)를 사용했습니다. Adobe는 데이터에 빠르게 액세스하고 GPU 리소스가 절대 유휴 상태가 되지 않도록 하기 위해 Amazon FSx for Lustre 고성능 파일 스토리지를 사용했습니다. Adobe는 여러 소스의 데이터를 지속적으로 모니터링하고 동기화하여 가장 최신의 관련 정보를 기반으로 모델이 훈련되도록 합니다. Adobe는 Firefly로 지속적인 테스트를 실시하면서 유해한 편향을 완화하고, 실시간으로 문제를 해결할 수 있는 사용자 피드백 메커니즘을 제공하여 투명성과 책임성을 높입니다.

AI와 데이터가 Adobe의 크리에이티브 작업에서 중추적인 역할을 하기는 하지만, Adobe는 진정한 혁신이 인간의 손길에서 비롯되는 경우가 많다는 점을 잘 알고 있습니다. Adobe는 기계 학습과 인간의 창의성 간의 격차를 해소하기 위해 인간 피드백을 통한 강화 학습(RLHF)이라는 획기적인 기술을 도입했습니다. Adobe는 RLHF를 통해 방대한 사용자로부터 귀중한 피드백을 수집하여 다양한 애플리케이션에서 좋아요, 싫어요, 다운로드 및 기타 상호 작용을 캡처합니다. 인간이 생성한 이 풍부한 데이터는 훈련 프로세스에 다시 반영되어 Adobe의 AI 모델이 학습하고 적응하는 데 도움을 주며 고객의 기호와 욕구에 맞는 자산을 생성하는 능력을 지속적으로 개선합니다. 그 결과 인간의 창의성과 기계 학습이 서로 유기적으로 작용하여 서로에게 정보를 제공하고 함께 향상되는 지속적인 개선이 이루어집니다. Adobe의 모델이 인간의 취향과 미학의 미묘한 차이에 보다 효과적으로 적응하게 되면서, 모델이 생성하는 자산은 갈수록 더 설득력 있고 매력적인 자산으로 바뀌고 다양한 사용자 기반의 요구에 맞게 조정되고 있습니다.

수요가 급증하자 Adobe는 Amazon EC2 예약 인스턴스를 활용하여 6개월 만에 훈련 규모를 20배 늘렸습니다. 텐서 코어를 효율적으로 활용하기 위해 파이프라인 병렬 처리와 같은 분산 훈련 기술을 구현했습니다. 훈련 외에도, Adobe는 AWS에서 추론을 위한 Firefly 모델을 배포하여 여러 리전에 걸쳐 무상태 시스템을 구현했습니다. AWS Inferentia2 칩과 같은 옵션을 테스트하면서 추론 성능과 비용을 최적화했습니다. Adobe는 하드웨어를 빠르게 확장하고 전환하여 최적의 가격 대비 성능을 실현할 수 있는 능력을 입증했습니다.