Discover accélère l'analytique et les délais d'obtention des informations avec AWS

Discover Financial Services fournit des produits bancaires et de crédit aux clients pour les aider à atteindre leurs objectifs financiers, notamment l'élaboration de bons dossiers de crédit, le paiement des frais de scolarité et la consolidation de la dette. L'entreprise mise largement sur les données et l'analytique, sur le plan tant interne qu'externe, pour concrétiser cet engagement et se démarquer dans un secteur hautement concurrentiel. « Nous avons beaucoup de données clients », déclare Brandon Harris, directeur de la technologie de la science des données chez Discover Financial Services. « Nous devons utiliser ces données en tant que facteur de différenciation pour fournir continuellement une meilleure expérience aux clients. »

Au fil des années, des pratiques d'analytique individuelles ont vu le jour au sein des équipes et des unités opérationnelles de Discover. Au total, 8 à 10 ensembles d'outils étaient en place dans les 12 équipes. Chaque pratique nécessitait des compétences et des outils différents. L'équipe dirigeante de Discover a estimé que le regroupement de ces pratiques et équipes pouvait améliorer l'analytique et permettre de créer des outils cohérents au sein de l'entreprise.

Les membres de l'équipe technologique de Discover travaillent ensemble pour créer des solutions en interne, préférant contrôler les technologies de bout en bout et gérer leurs centres de données en propre. Harris et son équipe ont été chargés de créer une plateforme centralisée pour permettre aux scientifiques des données de l'entreprise de collaborer dans un environnement commun. Un espace de travail de science de données interne dénommé Air9.

L'un des premiers principes de conception que l'équipe de Harris a adoptés pour Air9 est la force de la diversité. « Diversité autant dans les équipes et leurs expériences que dans les approches et outils », déclare Harris. « Nous n'entendions pas fournir à cette communauté de l'analytique bien établie une approche universelle de la science des données. »

L'équipe de Harris a déterminé que Kubernetes était parfaitement adaptée pour héberger Air9, car de nombreux outils de science des données que l'entreprise utilisait déjà étaient par nature propices à la conteneurisation. Disposer de conteneurs dédiés permettrait non seulement d'isoler les applications, mais aussi aux utilisateurs d'installer des packages personnalisés et d'apporter à leurs environnements des modifications qui auraient été difficiles à gérer dans un environnement à plusieurs locataires. Discover étant un client de longue date d'Amazon Web Services (AWS) et un utilisateur historique d'Amazon Simple Storage Service (Amazon S3), l'équipe a également décidé de déployer des instances Amazon Elastic Compute Cloud (Amazon EC2). Avec cette approche, quelque 883 scientifiques des données dans de nombreux pays peuvent désormais choisir la taille, le type et la quantité de leurs instances Amazon EC2, et voir l'application les monter automatiquement pour leurs jeux de données.

Un autre composant essentiel d'Air9 est une fonctionnalité de stockage partagé avec un stockage de fichiers natif cloud entièrement géré. « Si tous ces différents environnements sont en cours d'exécution, il faut un moyen commun d'enregistrer les données et de collaborer », déclare Harris.

Cependant, le projet a connu un revers lorsque l'équipe de Discover a démarré la conception de la couche de stockage. « Nos équipes d'analytique avaient d'énormes jeux de données dans notre entrepôt de données dans le cloud. Or nous devions prendre des dispositions de sorte que ces équipes aient non seulement un stockage local pour leurs propres tâches, mais aussi un mécanisme de partage des données au sein et entre les équipes », déclare Harris. « Cette couche de stockage devait également être très résiliente et soutenir une croissance significative au fil du temps. »

Harris et son équipe ont décidé de s'appuyer sur une solution de stockage distribuée open source en tant que couche de stockage de leur plateforme de science des données, mais son exécution et sa gestion sont vite devenus onéreuses et chronophages. « Lorsque nous avons constaté que les coûts mensuels liés à l'exécution de notre propre plateforme de stockage étaient supérieurs aux coûts de calcul, nous avons compris que quelque chose n'allait pas », déclare Harris. « En fin de compte, les excédents de coûts ont été imputés au facteur de réplication du stockage distribué, mais le compromis pour la baisse des prix (à savoir réduire le facteur de réplication) n'était pas, à nos yeux, une décision confortable. »

Forte de son succès avec Amazon EC2 côté calcul de la plateforme, l'équipe a passé en revue les services gérés AWS, et choisi de déployer Amazon Elastic File System (Amazon EFS). Pour Harrys, « Amazon EFS est parfaitement adaptée en ce qui concerne la capacité de mise à l'échelle et les coûts. Par ailleurs, en raison d'une contribution exceptionnelle de la communauté Kubernetes, le service est déjà doté de capacités de classes de stockage intégrées. AWS nous a également permis d'utiliser divers types d'environnement pour différents types de données, de sorte que nous puissions mieux protéger les types de données sensibles. »

Auparavant, chaque équipe disposait d'un répertoire de base et d'un répertoire d'équipe. Avec Amazon EFS, l'entreprise pouvait facilement donner un accès partagé sur les outils de science des données, les projets et les jeux de données, pour une collaboration plus fluide. Les fonctionnalités d'archivage des données sur le long terme, couplées aux frais généraux modiques d'Amazon S3, donnaient aussi à Discover la possibilité de personnaliser ses processus de sauvegarde, de manière à avoir une seconde copie des données disponibles à des fins d'archivage.

« Nous utilisons Amazon EFS en tant que couche de collaboration. Cependant, nous avons aussi une archive et une couche d'historique pour différents jeux de données ou à des fins de gestion du cycle de vie », déclare Harris. « Nous devons conserver certains jeux de données pendant un nombre d'années bien précis. Les classes de stockage Amazon S3 et Amazon S3 Glacier ont été très utiles pour garantir un stockage économique de toutes les données créées et utilisées par nos scientifiques des données. »

Aujourd'hui, Air9 booste la productivité et l'efficacité des scientifiques de données de Discover, en leur permettant d'exécuter les applications d'analytique dans un emplacement centralisé dans AWS, de collaborer dans un environnement de stockage partagé, s'appuyant pour ce faire sur des sources de données structurées et non structurées, ainsi que de traiter et de stocker des données provenant de sources multiples. Ainsi, les scientifiques des données de Discover peuvent analyser les données afin d'en tirer des informations plus rapidement et plus facilement.

Mettre à jour la plateforme de données précédente nécessitait des semaines, en raison surtout de contraintes de stockage et de la nécessité de redimensionner et d'augmenter les anciens clusters de stockage lorsqu'un stockage supplémentaire est requis. Étant donné qu'Amazon EFS accomplit toutes ces tâches en arrière-plan, l'équipe peut désormais mettre à jour la plateforme de données en quelques heures seulement. La plateforme offre également une fonction libre-service, ce qui permet aux scientifiques des données de rester productifs sans impacter l'expérience de leurs collègues. « Notre environnement sur site n'offrait aucun mécanisme pour faciliter ces conversations et interactions entre nos scientifiques des données », déclare Harris.

Harris pense qu'avec la solution AWS, son équipe réduit de 90 % les délais de gestion du stockage. En s'appuyant sur AWS pour gérer le service et fournir des fonctionnalités de redondance plutôt que de concevoir et créer celles-ci en interne, Discover a réduit les coûts de 50 à 60 %.

Ces changements ont également permis à Discover de faire progresser ses efforts globaux de transformation numérique. « D'habitude, cela prenait des semaines pour fournir aux utilisateurs les outils dont ils avaient besoin pour remplir leurs tâches », déclare Harris. « Désormais, nous pouvons le faire en quelques heures, de façon qu'ils puissent commencer à obtenir des informations et à créer de la valeur pour nos clients quasi immédiatement. »

Pour en savoir plus, consultez le site thinkwithwp.com/efs.