Tirez parti d'un traitement du langage naturel de pointe avec Hugging Face et Amazon SageMaker

Nous présentons aujourd'hui de nouvelles intégrations Hugging Face avec Amazon SageMaker pour aider les scientifiques des données à développer, entraîner et ajuster des modèles de pointe de traitement du langage naturel (NLP) plus rapidement et plus facilement.

Le domaine du traitement du langage naturel, qui est le fondement de cas d'utilisation tels que les chatbots, l'analyse des sentiments, les questions-réponses et la recherche, connaît une renaissance ces dernières années. En particulier, l'architecture de deep learning Transformer est à l'origine de certains des plus grands modèles de pointe à ce jour, tels que T5 et GPT-3. Toutefois, compte tenu de leur taille, le processus d'entraînement et d'optimisation des modèles NLP nécessite du temps, des ressources et des compétences. Depuis 2016, Hugging Face est un leader de la communauté NLP grâce à sa bibliothèque de transformateurs qui propose plus de 7 000 modèles pré-entraînés dans 164 langues, facilitant ainsi le travail de mise en route des développeurs. Avec plus de 41 000 étoiles GitHub et plus de 25 millions de téléchargements, la bibliothèque de transformateurs est devenue de facto la référence pour les développeurs et les scientifiques des données qui recherchent des modèles NLP.  

L'AWS Deep Learning Container (DLC) Hugging Face et l'estimateur Hugging Face du kit SDK Python d'Amazon SageMaker permettent aux développeurs et aux scientifiques des données de se lancer encore plus facilement dans le NLP sur AWS. Le DLC Hugging Face contient les transformateurs Hugging Face, les ensembles de données et les bibliothèques de segmenteurs optimisés pour SageMaker afin de tirer parti des bibliothèques d'entraînement distribué de SageMaker. En outre, l'estimateur Hugging Face permet aux développeurs et aux scientifiques des données d'exécuter des scripts NLP en tant que tâches d'entraînement SageMaker avec un minimum de code supplémentaire. Les développeurs Hugging Face peuvent désormais développer plus facilement sur Amazon SageMaker et bénéficier de ses avantages, notamment la rentabilité, l'évolutivité, la préparation à la production et un niveau de sécurité élevé.  

Le DCL Hugging Face et le kit SDK de SageMaker sont disponibles dans toutes les régions où Amazon SageMaker est disponible, sans coût supplémentaire. Lisez le blog de lancement ou la documentation pour en savoir plus, ou accédez aux exemples de blocs-notes pour tester les nouvelles intégrations.