A jornada da Adobe rumo à liderança em IA generativa usando a AWS

Em vez de recorrer a modelos de código aberto, a Adobe decidiu treinar seus próprios modelos de base de IA generativa adaptados para casos de uso criativo. “Queremos controlar a qualidade e os recursos que nossos modelos precisam ter”, explicou Costin. Um diferencial importante foi treinar modelos do Firefly de IA generativa em conteúdo licenciado, como imagens do Adobe Stock, e conteúdo de domínio público cujos direitos autorais expiraram.

Em apenas nove meses, a Adobe lançou a família Firefly de modelos de IA generativa. Esses modelos foram rapidamente integrados aos principais produtos de software criativo da Adobe, como Photoshop, Illustrator, Substance 3D e Adobe Express. “O recurso Preenchimento generativo no Photoshop desenvolvido pelo Firefly agora é o mais usado”, destacou Costin. Ao desenvolver na AWS, a Adobe pôde acelerar o treinamento de IA em vez de criar do zero, o que permitiu que a empresa se concentrasse em seus diferenciais e não no trabalho pesado.

A Adobe criou uma supervia de IA na AWS para desenvolver uma plataforma de treinamento de IA e pipelines de dados para iterar modelos rapidamente. A Adobe desenvolveu sua solução com instâncias P5 e P4d do Amazon Elastic Compute Cloud (Amazon EC2), com GPUs NVIDIA, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Block Store (Amazon EBS) e Amazon Elastic Fabric Adapter (EFA). A Adobe também usou o Amazon Simple Storage Service (Amazon S3) para servir como data lake e repositório primário para os grandes volumes de dados. A Adobe usou o Amazon FSx para Lustre para armazenamento de arquivos de alta performance, para acesso rápido aos dados e para garantir que os recursos de GPU nunca ficassem ociosos. A Adobe monitora e sincroniza continuamente os dados em várias fontes, garantindo que seus modelos sejam treinados com as informações mais atualizadas e relevantes. Com o Firefly, a Adobe realiza testes contínuos para mitigar quaisquer vieses prejudiciais e fornece mecanismos de feedback aos usuários para remediar problemas em tempo real, promovendo transparência e responsabilidade.

Embora a IA e os dados desempenhem um papel fundamental nos esforços criativos da Adobe, a empresa reconhece que a verdadeira inovação geralmente provém do toque humano. Para preencher a lacuna entre o machine learning e a criatividade humana, a Adobe adotou uma técnica inovadora conhecida como Aprendizado por reforço com feedback humano (RLHF). Por meio do RLHF, a Adobe coleta feedback inestimável de sua vasta base de usuários, capturando preferências, desinteresses, downloads e outras interações de suas várias aplicações. Essa riqueza de dados gerados por humanos é então fornecida ao processo de treinamento, ajudando os modelos de IA da Adobe a aprender e se adaptar, refinando continuamente sua capacidade de gerar ativos que correspondam às preferências e aos desejos dos clientes. O resultado é um ciclo de melhoria contínua, em que a criatividade humana e o machine learning trabalham em conjunto, cada um informando e aprimorando o outro. À medida que os modelos da Adobe se tornam mais sintonizados com as nuances de estética e preferências humanas, os ativos que os modelos geram tornam-se cada vez mais atraentes, cativantes e adaptados às necessidades da vasta base de usuários.

Com o aumento da demanda, a Adobe aumentou a escala verticalmente do treinamento em 20 vezes em seis meses, auxiliada pelas instâncias reservadas do Amazon EC2. Ela implementou técnicas de treinamento distribuído, como paralelismo de pipelines, para utilizar com eficiência os núcleos tensores. Além do treinamento, a Adobe implantou os modelos do Firefly para inferência na AWS, implementando sistemas sem estado nas várias regiões. Ela otimizou a performance e o custo da inferência, explorando opções como os chips AWS Inferentia2. A Adobe demonstrou a capacidade de escalar e mudar rapidamente o hardware para otimizar o preço e a performance