Perplexity acelera el entrenamiento de modelos fundacionales en un 40 % con Amazon SageMaker HyperPod

A diferencia de los motores de búsqueda tradicionales, que suelen priorizar los anuncios y palabras clave específicas por encima de los resultados relevantes, la solución de Perplexity está optimizada para conectar a los usuarios con la información que buscan. Aproximadamente 10 millones de usuarios activos al mes confían en Perplexity para aprender nuevos conceptos, resolver desafíos y encontrar respuestas.

“Al utilizar modelos de lenguaje grandes, podemos capturar las capacidades de comprensión y razonamiento del lenguaje humano en un solo modelo. Esto, combinado con los datos disponibles en Internet, nos ha ayudado a crear nuestro motor de respuestas”, afirma Aravind Srinivas, director ejecutivo y cofundador de Perplexity. “Básicamente, organizamos un índice de búsqueda tradicional (motor de datos) y un motor de razonamiento (modelo de lenguaje grande) en conjunto para crear el primer motor de respuestas conversacionales del mundo”.

Desde su lanzamiento en 2022, Perplexity ha utilizado los principales servicios de AWS, como Amazon Elastic Compute Cloud (Amazon EC2), que proporciona una capacidad de computación segura y de tamaño ajustable para prácticamente cualquier carga de trabajo, para alimentar los componentes de backend, front-end y búsqueda de su producto. A medida que Perplexity maduraba y su cantidad de modelos de ML crecía, necesitaba una enorme potencia de computación para atender a los usuarios.

Perplexity habló con expertos de AWS y descubrió que Amazon SageMaker HyperPod, una infraestructura diseñada específicamente para el entrenamiento distribuido a escala, puede satisfacer sus necesidades de entrenamiento de modelos a gran escala. Amazon SageMaker HyperPod está preconfigurado con bibliotecas de entrenamiento distribuido de Amazon SageMaker que están optimizadas para ejecutar tareas personalizadas de entrenamiento de aprendizaje profundo de datos y modelos en paralelo de alta escalabilidad y rentabilidad a velocidades de interconexión que superan los 1600 Gbps. Amazon SageMaker HyperPod también evita las interrupciones en el entrenamiento de modelos fundacionales al guardar periódicamente los puntos de control. Cuando se produce una falla de hardware durante el entrenamiento, el servicio de AWS detecta automáticamente la falla, repara o reemplaza la instancia defectuosa y reanuda el entrenamiento desde el último punto de control guardado. Esto facilita el entrenamiento ininterrumpido de modelos durante semanas o meses en un entorno distribuido.

AWS ofreció a Perplexity una prueba de un mes para demostrar las capacidades de entrenamiento distribuido, durante la cual la empresa descubrió las ventajas de usar AWS. Por ejemplo, Perplexity obtuvo una mayor flexibilidad en la asignación de recursos; utiliza diferentes tipos de instancias de Amazon EC2 y GPU diseñadas para tareas específicas.

Para entrenar modelos de ML, Perplexity requiere grandes cantidades de memoria para poder ejecutar enormes cantidades de datos y almacenar diferentes gradientes. Para ello, eligieron las instancias P4de de Amazon EC2, que proporcionan el máximo rendimiento para el entrenamiento de ML y las aplicaciones de computación de alto rendimiento, para ejecutar las tareas de entrenamiento y cumplir con los requisitos de memoria y ancho de banda. Al usar Amazon SageMaker HyperPod, Perplexity transfiere datos entre diferentes GPU mucho más rápido, lo que ha reducido el tiempo de entrenamiento de modelos de ML hasta en un 40 por ciento.

Las bibliotecas integradas de modelos y datos en paralelo de Amazon SageMaker HyperPod nos ayudaron a optimizar el tiempo de entrenamiento en las GPU y a duplicar el rendimiento del entrenamiento”, asegura Srinivas. “Como resultado, nuestros experimentos de entrenamiento ahora pueden ejecutarse dos veces más rápido, lo que significa que nuestros desarrolladores pueden iterar con mayor rapidez y así acelerar el desarrollo de nuevas experiencias de IA generativa para nuestros clientes”. Como Amazon SageMaker HyperPod supervisa de forma automática el estado del clúster y corrige los fallos de la GPU, nuestros desarrolladores pueden centrarse en la creación de modelos en lugar de dedicar tiempo a administrar y optimizar la infraestructura subyacente”.

El objetivo de Perplexity es proporcionar respuestas rápidas y precisas a las consultas de los usuarios, lo que requiere capacidades de inferencia casi en tiempo real. Al utilizar las instancias P5 de Amazon EC2, que ofrecen las instancias basadas en GPU de mayor rendimiento para aplicaciones de aprendizaje profundo, Perplexity puede generar respuestas con un rendimiento mucho mayor que antes. De hecho, la empresa puede administrar periodos de alta actividad con 10 000 usuarios simultáneos y más de 100 000 consultas por hora sin comprometer la latencia ni afectar a la experiencia de los usuarios. Perplexity también aloja el modelo Llama 2, disponible al público, en las instancias P5 de Amazon EC2 y utiliza Amazon SageMaker HyperPod para ajustar el modelo de código abierto con sus propios datos. El ajuste de los modelos ayuda a mejorar la precisión y la relevancia de las respuestas, lo que adapta el modelo a las necesidades del motor de respuestas de Perplexity.