Gerçek zamanlı veri akışı nedir?
Gerçek zamanlı veri akışı, çeşitli veri kaynaklarından bir dizi veri toplayıp almayı ve anlam ve öngörü elde etmek için bu verilerin gerçek zamanlı olarak işlenmesini içerir.
Akış verilerine örnek olarak mobil veya web uygulamalarını kullanan müşteriler, e-ticaret alışverişleri, oyun içi oyuncu etkinlikleri, sosyal ağlardan alınan bilgiler, finansal alım/satım rakamları veya jeo-uzamsal hizmetler tarafından oluşturulan günlük dosyaları ve bağlı cihazlardan ya da veri merkezlerindeki cihazlardan gelen telemetri verileri verilebilir.
Gerçek zamanlı veri akışı, yanıt almak için saatler, günler veya haftalarca beklemek yerine verileri gerçek zamanlı olarak analiz etmenizi ve işlemenizi sağlar.
Gerçek zamanlı veri akışının bileşenleri nelerdir?
Kaynak: Yüksek hızda ve yüksek miktarda sürekli veri üreten yüz binlerce cihaz veya uygulama. Örnekler arasında mobil cihazlar, web uygulamaları (tıklama akışı), uygulama günlükleri, IoT sensörleri, akıllı cihazlar ve oyun uygulamaları yer almaktadır.
Akış Alımı: Binlerce cihazdan oluşturulan sürekli verileri dayanıklı ve güvenli bir şekilde yakalamanıza olanak tanıyan 15'ten fazla AWS hizmetiyle (Amazon API Ağ Geçidi, AWS IoT Core, Amazon Cloudwatch ve daha fazlası) basit entegrasyon.
Akış Depolama: Amazon Kinesis Veri Akışları, Amazon Kinesis Data Firehose ve Apache Kafka İçin Amazon Yönetilen Akış (Amazon MSK) gibi ölçeklendirme, gecikme ve işleme gereksinimlerine dayalı depolama ihtiyaçlarınızı karşılayan bir çözüm seçin.
Akış İşleme: Amazon Kinesis Data Firehose gibi bir hedefe sürekli olarak veri dönüştürmek ve teslim etmek için yalnızca birkaç tıklama gerektiren çözümlerden Apache Flink İçin Amazon Yönetilen Hizmet ve AWS Lambda gibi hizmetleri kullanan güçlü, özel olarak üretilmiş, gerçek zamanlı uygulamalara ve makine öğrenimi entegrasyonuna kadar çeşitli hizmetler arasından seçim yapın.
Hedef: Amazon S3, Amazon Redshift, Amazon OpenSearch Hizmeti ve Amazon EMR gibi daha fazla analiz veya uzun süreli depolama için çeşitli tam entegre veri göllerine, veri ambarlarına ve analiz hizmetlerine akış verileri gönderin.
Gerçek zamanlı veri akışı kullanım örnekleri nelerdir?
Gerçek Zamanlı Veri Taşıma
Yüz binlerce cihazdan veri akışı yapmak ve yüksek miktarlarda sürekli ve yüksek hızlı veriler üzerinde gerçek zamanlı olarak ETL dönüşümleri gerçekleştirmek, kullanıcıların verileri oluşturulduğu anda analiz etmelerine ve daha fazla analiz yapmak için verileri bir veri gölü, veri ambarı veya veri tabanında kalıcı olarak depolamalarına olanak tanır.
WalkMe'nin verileri bir veri gölüne aktarırken dizileme zorluklarıyla nasıl başa çıktığını öğrenin
John Deere'nin veri gölüne gerçek zamanlı olarak ETL akışını nasıl gerçekleştirdiğini öğrenin
Gerçek Zamanlı Analiz
Verileri oluşturuldukları anda analiz edin ve fırsatlardan yararlanmak, müşteri deneyimlerini iyileştirmek, ağ hatalarını önlemek veya kritik işletme ölçümlerini gerçek zamanlı olarak güncellemek için kuruluş genelinde gerçek zamanlı kararlar verin.
Günlükler: Uygulamalarınızdaki günlükleri gerçek zamanlı olarak yakalayın, işleyin ve analiz edin.
Kullanıcı davranışının gerçek zamanlı olarak nasıl analiz edildiği hakkında bilgi edinin
VPC ağ trafiğinizi nasıl analiz edeceğinizi ve görselleştireceğinizi öğrenin
Merkezî Microsoft Exchange sunucu günlüklerinin nasıl yönetildiğini görün
Günlük analizleri hakkında bilgi edinin »
Gerçek zamanlı güncellemeler: Kritik karar verme ölçümleri, teklif önerileri ve müşteri deneyimlerine gerçek zamanlı güncellemeler sunarak tüketiciler, oyuncular, mali tüccarlar ve daha fazla tarafla etkileşim kurun.
Oyuncularınızı memnun etmek için gerçek zamanlı oyun analizlerini nasıl kullanacağınızı görün
Trend olan ve kişiselleştirilmiş haberleri gerçek zamanlı olarak nasıl sunacağınızı öğrenin
Tıklama akışı: Web içeriğinizin performansına ve kullanıcıların hem uygulamalarınız hem de web siteleriniz ile kurduğu etkileşimle ilgili kullanıcı davranışları, harcanan süre, popüler içerikler vb. gibi ayrıntılara ilişkin gerçek zamanlı bir bakış elde edin.
IoT: Yüz binlerce IoT cihazına bağlanın ve akış verilerini gerçek zamanlı olarak toplayın, işleyin ve analiz edin.
Olay Akışı İşlemesi
Birden çok uygulamada gerçek zamanlı olarak gerçekleşen olayları yakalayın ve bunlara yanıt verin. En yaygın kullanım örnekleri, yüzlerce bağımsız hâle getirilmiş mikro hizmet arasındaki iletişim ve Değişen Verileri Yakalama yoluyla bir kayıt sisteminin sürdürülmesidir.
Bağımsız hâle getirilmiş mikro hizmetler arasındaki iletişim: Herhangi bir mikro hizmet tetiklendiğinde gerçek zamanlı olarak bir veri akışına bir olay gönderilebilir ve diğer mikro hizmetler, gerekli eylemi tetiklemek için herhangi bir olayın gerçekleşip gerçekleşmediğini görmek için akışı "izleyebilir".
Lyft'in yüzlerce mikro hizmet arasında gerçek zamanlı olarak nasıl iletişim kurduğunu öğrenin
Değişen Verileri Yakalama: Çeşitli uygulamalarda ve veri tabanlarındaki verilerde yapılan tüm değişiklikler, gerçek zamanlı olarak merkezî bir kayıt sistemine aktarılabilir.
İlişkisel veri tabanlarından Değişen Verileri Yakalama verilerinin nasıl yüklendiğini öğrenin
Değişen Verileri Yakalama özelliğini gerçek zamanlı olarak nasıl aktaracağınızı öğrenin
AWS'de hangi akış hizmetleri var?
AWS, gerçek zamanlı veri akışıyla çalışmak için çeşitli seçenekler sunar.
- Amazon Kinesis Veri Akışları, yüz binlerce kaynaktan sürekli olarak saniyede gigabaytlarca veri yakalayabilen ölçeklenebilir ve dayanıklı gerçek zamanlı bir veri akış hizmetidir.
- Amazon Kinesis Data Firehose, sadece birkaç tıklamayla ve mevcut iş zekâsı araçlarıyla neredeyse gerçek zamanlı analizler için veri akışlarını yakalar, dönüştürür ve AWS veri depolarına yükler.
- Apache Flink İçin Amazon Yönetilen Hizmet, veri akışlarını işlemek için açık kaynaklı bir çerçeve ve altyapı olan Apache Flink ile akış verilerini gerçek zamanlı olarak dönüştürür ve analiz eder.
- Apache Kafka İçin Amazon Yönetilen Akış, Apache Kafka kullanarak akış verileri işleyen uygulamalar oluşturmanızı ve çalıştırmanızı kolaylaştıran tümüyle yönetilen bir hizmettir.
Hemen bir hesap oluşturarak AWS'de gerçek zamanlı veri akışını kullanmaya başlayın.
AWS'de Sonraki Adımlar
