Publié le: Feb 10, 2022
Amazon Redshift lance le support de l’ingestion en streaming pour les flux de données Kinesis (KDS). L’ingestion en streaming Amazon Redshift évite l’organisation des données dans Amazon S3 avant leur ingestion dans Amazon Redshift, ce qui permet aux clients d’atteindre une faible latence en quelques secondes tout en ingérant des centaines de mégaoctets de données en streaming par seconde dans leur entrepôt des données.
Les ingénieurs de données, analystes de données et développeurs en big data font évoluer leurs analyses du mode par lot au temps réel, en adoptant les moteurs en streaming comme Amazon Kinesis, pour implémenter une logique et des analyses responsables, proches du temps réel sur des données d’application en streaming. Actuellement, les clients qui souhaitent ingérer des données en temps réel, à partir de services comme Amazon Kinesis dans Amazon Redshift, doivent d’abord organiser les données dans Amazon S3 et utiliser la commande COPY qui atteint la latence en quelques minutes. Grâce à la nouvelle fonctionnalité d’ingestion en streaming d’Amazon Redshift, vous pouvez utiliser SQL (langage de recherche structurée) dans Redshift pour fournir la capacité de se connecter et d’ingérer directement des données à partir de plusieurs flux de données Kinesis en même temps. L’ingestion en streaming Amazon Redshift simplifie les pipelines de données en vous permettant de créer des vues matérialisées directement au-dessus des flux. Les vues matérialisées peuvent également inclure des transformations SQL dans le cadre de votre pipeline ELT (Extract Load Transform). Une fois les vues matérialisées définies, vous pouvez les actualiser manuellement pour vous permettre d’interroger les données de flux les plus récentes. Cette approche vous donne la possibilité d’effectuer un traitement en aval et des transformations de données en streaming à l’aide d’outils existants et de SQL qui vous sont familiers. Et cela, sans frais supplémentaires.
La préversion d’ingestion en streaming Amazon Redshift est à présent disponible dans toutes les régions Amazon Web Services (AWS) dans lesquelles Amazon Redshift est disponible. Pour démarrer avec l’ingestion en streaming Amazon Redshift, allouez un cluster Amazon Redshift sur la piste CURRENT et vérifiez que votre cluster exécute la version 1.0.35480 ou une version ultérieure. Veuillez noter que les fonctionnalités de préversion sont fournies principalement à des fins d’évaluation et de tests. Elles ne doivent pas être utilisées dans des systèmes de production ni avec des données de production. Pour connaitre les conditions générales appliquées à la préversion, consultez Participation au service Bêta dans Conditions AWS Service. Pour plus d’informations sur comment démarrer avec l’ingestion en streaming Amazon Redshift, consultez la page documentation Amazon Redshift. N’hésitez pas à nous contacter pour toute question ou commentaire sur : redshiftstreamingingestion@amazon.com.