Amazon Kinesis Data Streams Hakkında SSS

Parça, bir akıştaki veri kayıtlarından oluşan bir sıraya sahiptir. Bir Kinesis veri akışının temel aktarım hızı birimi görevi görür. Bir parça, yazma işlemleri için 1 MB/saniyeyi ve saniye başına 1.000 kaydı, okuma işlemleri için ise 2 MB/saniyeyi destekler. Parça sınırları, performansın öngörülebilir olmasını sağlayarak yüksek seviyede güvenilir bir veri akışı iş akışının tasarlanıp işletilmesini kolaylaştırır. Bir üretici, veri kayıtlarını parçalara yerleştirir ve bir tüketici, veri kayıtlarını parçalardan alır. Tüketiciler parçaları paralel veri işleme ve verileri depolandıkları sıra ile tüketme amacıyla kullanır. Yazma ve okuma işlemlerinin parça sınırlarını aşması halinde üretici ve tüketici uygulamaları, yeniden denemeler aracılığıyla işlenebilen kısıtlamalar alır.

Kayıt, Amazon Kinesis veri akışında depolanan veri birimidir. Kayıt bir sıra numarasından, bölüm anahtarından ve veri blobundan oluşur. Veri blobu, veri üreticinizin bir veri akışına eklediği ilgili verilerdir. Bir veri blobunun maksimum boyutu (Base64 kodlaması öncesi veri yükü) 1 megabayt (MB) olarak belirlenmiştir.

Kayıtları ayırmak ve bir veri akışının farklı parçalarına yönlendirmek için bir bölüm anahtarı kullanılır. Bölüm anahtarı, veri üreticisi tarafından Kinesis veri akışına veri eklenmesi sırasında belirtilir. Örneğin iki parçadan (1 numaralı parça ve 2 numaralı parça) oluşan bir veri akışına sahip olduğunuzu düşünün. Veri üreticinizi iki bölüm anahtarı (A anahtarı ve B anahtarı) kullanacak şekilde yapılandırarak A anahtarına sahip olan tüm kayıtların 1 numaralı parçaya ve B anahtarına sahip olan tüm kayıtların 2 numaralı parçaya eklenmesini sağlayabilirsiniz.

Sıra numarası, her kayıtta bulunan benzersiz bir tanımlayıcıdır. Sıra numarası, veri üretici bir Amazon Kinesis veri akışına veri eklemek için PutRecord veya PutRecords işlemini çağırdığında Amazon Kinesis tarafından atanır. Aynı bölüm anahtarına yönelik sıra numaraları genellikle zaman içinde artar ve PutRecord veya PutRecords istekleri arasındaki süre uzadıkça sıra numaraları da büyür.

Kinesis Data Streams'in kapasite modu, bir veri akışı için kapasitenin nasıl yönetileceğini ve kullanımın nasıl ücretlendirileceğini belirler. Tedarik edilen ile istek üzerine modları arasından seçim yapabilirsiniz. Tedarik edilen modunda veri akışının parça sayısını siz belirlersiniz. Bir veri akışının toplam kapasitesi, parçalarının kapasitelerinin toplamıdır. Bir veri akışındaki parçaların sayısını gerektiği şekilde artırabilir veya azaltabilir, ayrıca parçaların sayısı karşılığında saatlik bir ücret üzerinden ödeme yaparsınız. AWS, istek üzerine modunda parçaları yöneterek gerekli aktarım hızını sağlar. Siz sadece kullanılan asıl aktarım hızı karşılığında ödeme yaparsınız ve Kinesis Data Streams, artan veya azalan iş akışı aktarım hızı gereksinimlerinize göre otomatik olarak ölçeklendirme yapar. Tüm Kinesis Data Streams yazma ve okuma API'leri, ayrıca Uzatılmış Saklama ve Gelişmiş Yayma gibi isteğe bağlı özellikler de her iki kapasite modunda desteklenir.

İstek üzerine modu, öngörülemez ve yüksek seviyede değişken trafik düzenleri için en uygundur. AWS'nin sizin yerinize kapasiteyi yönetmesini istiyorsanız veya aktarım hızı başına fiyatlandırmayı tercih ediyorsanız bu modu kullanmalısınız. Tedarik edilen modu, kapasite gereksinimlerinin tahmin edilmesinin kolay olduğu öngörülebilir trafik için en uygundur. Verilerin parçalar genelinde dağıtım şekli üzerinde ayrıntılı denetime sahip olmak istiyorsanız tedarik edilen modu kullanmayı göz önünde bulundurmalısınız. Tedarik edilen modu, tüketen uygulamanın daha fazla okuma aktarım hızına sahip olarak genel işleme hızını artırabilmesi amacıyla ilave parçalar tedarik etmek istediğiniz durumlar için de uygundur.

Evet. İsteğe bağlı ve tedarik edilen modları arasında günde iki kez geçiş yapabilirsiniz. Tedarik edilen modundan istek üzerine moduna veya tersi yönde geçiş yaptığınızda veri akışınızın parça sayısı aynı kalır. Tedarik edilenden istek üzerine kapasite moduna geçiş yaptığınızda veri akışınız, geçiş öncesi sahip olduğu parça sayısını korur. Ancak bu noktadan sonra Kinesis Data Streams, veri trafiğinizi izler ve bu istek üzerine veri akışının parça sayısını trafiğin artışına veya azalışına bağlı olarak yukarı veya aşağı yönde ölçeklendirir.

PutRecord ve PutRecords işlemleri, KPL veya Amazon Kinesis Temsilcisi aracılığıyla bir Kinesis veri akışına veri ekleyebilirsiniz.

PutRecord işlemi bir API çağrısında tek bir veri kaydına izin verirken PutRecords bir API çağrısında birden fazla veri kaydına izin verir. Daha fazla bilgi için bkz. PutRecord ve PutRecords.

KPL, verileri bir Amazon Kinesis veri akışına yerleştirmenize yardımcı olan, kullanımı kolay ve üst düzeyde yapılandırılabilir bir kitaplıktır. KPL, minimum istemci kaynağıyla hızlı bir şekilde yüksek üretici aktarım hızına ulaşmanızı sağlayan basit, zaman uyumsuz ve güvenilir bir arabirim sunar.

Amazon Kinesis Agent, veri toplamak ve Amazon Kinesis veri akışınıza göndermek için kolay bir yöntem sunan, önceden derlenmiş bir Java uygulamasıdır. Aracıyı web sunucuları, günlük sunucuları ve veritabanı sunucuları gibi Linux tabanlı sunucu ortamlarına yükleyebilirsiniz. Aracı belirli dosyaları izler ve veri akışınıza sürekli veri gönderir. Daha fazla bilgi için bkz. Aracılarla Yazma.

Veri blobu, bölüm anahtarı ve veri akışı adınız, bir PutRecord veya PutRecords çağrısında bulunması gereken parametrelerdir. Veri blobunuzun (Base64 kodlaması öncesi) ve bölüm anahtarınızın boyutu, veri akışı içindeki parça sayısıyla belirlenen Amazon Kinesis veri akışı veri aktarım hızına dahil edilir.

Tüketici, bir Kinesis veri akışından gelen tüm verileri işleyen bir uygulamadır. Bir Kinesis veri akışındaki verileri okuması için paylaşımlı yayma ve gelişmiş yayma tüketici türleri arasından seçim yapabilirsiniz. Paylaşımlı yayma türü tüketicilerin tümü, bir parçanın 2 MB/saniyelik okuma aktarım hızını ve saniye başına beş işlem sınırlarını paylaşır ve GetRecords API'sinin kullanılmasını gerektirir. Gelişmiş yayma türü tüketiciler, kendi 2 MB/saniyelik okuma aktarım hızı kullanım hakkına sahiptir ve bu sayede birden fazla tüketici, diğer tüketicilerle okuma aktarım hızı için yarışa girmeden aynı akıştan paralel biçimde veri okuyabilir. Gelişmiş yayma türü tüketicilerle SubscribeToShard API'sini kullanmanız gerekir. Veri akışınıza birden fazla sayıda tüketici eklemek istiyorsanız gelişmiş yayma türü tüketiciler kullanmanızı öneririz.

Kinesis Veri Akışları'nda depolanan verileri işlemek için AWS Lambda, Apache Flink İçin Amazon Yönetilen Hizmet ve AWS Glue gibi yönetilen hizmetleri kullanabilirsiniz. Bu yönetilen hizmetlerin tedarik etme ve arka plandaki altyapıyı yönetme işlemlerini gerçekleştirmesi sayesinde siz de iş mantığınızı yazmaya odaklanabilirsiniz. Kinesis Veri Akışları'nda depolanan verileri önceden oluşturulmuş Kinesis Data Firehose entegrasyonunu kullanarak Amazon S3'e, Amazon OpenSearch Hizmeti'ne, Amazon Redshift'e ve özel HTTP uç noktalarına da teslim edebilirsiniz. Ayrıca, önceden oluşturulmuş bir kitaplık olan Amazon Kinesis Client Library veya Amazon Kinesis Data Streams API ile özel uygulamalar da geliştirebilirsiniz.

Java, Python, Ruby, Node.js ve .NET için KCL, bir Amazon Kinesis veri akışındaki verileri okumak ve işlemek için Amazon Kinesis uygulamalarını kolayca oluşturmanıza yardımcı olan önceden oluşturulmuş bir kitaplıktır.

KCL, veri akışı hacmindeki değişikliklere göre uyarlama, akış verilerinde yük dengeleme gerçekleştirme, dağıtılmış hizmetleri koordine etme ve verileri hata toleransıyla işleme gibi karmaşık işlemleri gerçekleştirir. KCL, uygulama derlerken iş mantığına odaklanmanızı sağlar. KCL hakkında daha fazla ayrıntı için buradan Kinesis Veri Akışları belgelerine bakın.

SubscribeToShard API, istemciden istek döngüsü olmadan parçalardaki verileri kalıcı bir bağlantı üzerinden tüketicilere ileten yüksek performanslı bir akış API'sidir. SubscribeToShard API, kayıtlı tüketicilere veri sunmak için HTTP/2 protokolünü kullanır ve bu işlemi genellikle 70 milisaniye içinde tamamlayarak GetRecords API'siyle karşılaştırıldığında yaklaşık %65 daha yüksek hız sunar. Birden fazla kayıtlı tüketici aynı parçadan okuma gerçekleştirdiğinde bile tüketiciler daha hızlı teslimden faydalanabilir.

Gelişmiş yayma, Kinesis Data Streams tüketicileri için sunulan ve tüketicilerle parçalar arasında mantıksal 2 MB/saniye aktarım hızına sahip hatlar sunan isteğe bağlı bir özelliktir. Bu özellik, bir veri akışından paralel biçimde okuma gerçekleştiren tüketici sayısını ölçeklendirirken yüksek performanstan ödün vermemenizi sağlar.

Bir akıştan veri alan birden fazla paralel tüketiciniz varsa veya olmasını bekliyorsanız ya da üreticilerle tüketiciler arasında 200 milisaniye altında veri teslim hızı sağlamak için SubscribeToShard API'sinin kullanılmasını gerektiren en az bir tüketiciniz varsa gelişmiş yayma özelliğini kullanmanız önerilir.

Tüketiciler, gelişmiş yayma özelliğinden faydalanmak için verileri SubscribeToShard API'siyle alır. SubscribeToShard API'sinde kayıtlı tüketici adı kullanılır ve bu sayede gelişmiş yayma özelliği kayıtlı tüketiciye sağlanır.

Evet. Aynı anda, gelişmiş yayma özelliğini kullanan ve kullanmayan birden fazla tüketiciye sahip olabilirsiniz. Gelişmiş yayma özelliğinin kullanılması, geleneksel GetRecords kullanımı için parça sınırını etkilemez.

Evet. SubscribeToShard'ı kullanmak için tüketicilerinizi kaydetmeniz gerekir ve bu işlem gelişmiş yayma özelliğini etkinleştirir. Tüketiciniz varsayılan durumda SubscribeToShard aracılığıyla veri alırken gelişmiş yayma özelliğini otomatik olarak kullanır.

İstek üzerine modunda oluşturulan yeni bir veri akışı, yazma işlemlerinde 4 MB/saniye ve saniye başına 4.000 kayıt kotasına sahiptir. Bu akışlar, yazma işlemlerinde varsayılan olarak 200 MB/saniye ve saniye başına 200.000 kayda kadar otomatik ölçeklendirme yapar.

İstek üzerine modundaki bir veri akışı, son 30 günde gözlemlenen önceki en yüksek yazma aktarım hızının iki katına kadar aktarım hızına uyum sağlayabilir. Veri akışınızın yazma aktarım hızı yeni bir en yüksek değere ulaştığında Kinesis Data Streams, akışın kapasitesini otomatik olarak ölçeklendirir. Örneğin, veri akışınız 10 MB/saniye ile 40 MB/saniye arasında değişkenlik gösteren bir yazma aktarım hızına sahipse Kinesis Data Streams, en yüksek aktarım hızını kolayca ikiye katlayarak 80 MB/saniyeye çıkarmanıza olanak tanır. Bunun ardından, aynı veri akışının 50 MB/saniyelik yeni bir en yüksek aktarım hızını sürdürmesi durumunda Data Streams, 100 MB/saniyelik yazma aktarım hızını almak için yeterli kapasite bulunmasını sağlar. Bununla birlikte, trafiğinizin 15 dakikalık bir süre içinde bir önceki en yüksek değerin iki katının üstüne çıkması halinde "ProvisionedThroughputExceeded" istisnalarını görürsünüz. Bu kısıtlanmış istekleri yeniden denemeniz gerekir.

İstek üzerine modunun toplam okuma kapasitesi, tüketici uygulamaların gelen verileri gerçek zamanlı olarak işlemeleri için daima yeterli okuma aktarım hızına sahip olmasını sağlamak için yazma aktarım hızı ile orantılı olarak artar. GetRecords API'sini kullanarak verileri okumak için gereken yazma aktarım hızının en az iki katını elde edersiniz. Uygulamanın kesinti süresinden kurtarılması gereken durumları yakalamak üzere yeterli alana sahip olabilmesi için GetRecord API ile bir tüketici kullanılmasını öneririz. Birden fazla sayıda tüketici uygulama eklemek için SubscribeToShard API'sini kullanarak bir veri akışına her biri kendine ait aktarım hızına sahip olan 20 adede kadar tüketici eklenmesini destekleyen gelişmiş yayma kullanmanız gerekir.

Tedarik edilen modunda bir Kinesis veri akışının aktarım hızı, veri akışındaki parça sayısının artırılmasıyla sınırsız boyutta ölçeklendirilebilecek şekilde tasarlanmıştır.

SplitShard API'sini kullanarak mevcut parçaları bölerek, sağlanan modda bir Kinesis veri akışı kapasitesini ölçeklendirebilirsiniz. Kapasitenin ölçeğini, iki parçayı MergeShard API ile birleştirerek azaltabilirsiniz. Alternatif olarak, UpdateShardCount API'sini kullanarak bir akış kapasitesinin ölçeğini belirli bir parça sayısına artırabilirsiniz (veya düşürebilirsiniz).

Bir Kinesis veri akışının aktarım hızı, veri akışı içindeki parça sayısıyla belirlenir. Tedarik edilen modunda veri akışınız için başlangıçta gerekli olan parça sayısıyla ilgili bir tahminde bulunmak için aşağıdaki adımları izleyin. Parça düzenleme ile veri akışınızdaki parça sayısını dinamik olarak ayarlayabileceğinizi unutmayın.

Veri akışına yazılacak tahmini ortalama kayıt boyutunu kilobayt (KB) cinsinden belirleyin ve en yakın 1 KB'a yuvarlayın. (average_data_size_in_KB)

Veri akışına bir saniyede yazılacak tahmini kayıt sayısını belirleyin. (number_of_records_per_second)

Veri akışından eşzamanlı ve bağımsız olarak veri kullanacak olan Amazon Kinesis uygulaması sayısını belirleyin. (number_of_consumers)

average_data_size_in_KB ile number_of_records_per_second değerlerinin çarpımına eşit olan gelen yazma bant genişliği KB değerini (incoming_write_bandwidth_in_KB) hesaplayın.

incoming_write_bandwidth_in_KB ile number_of_consumers değerlerinin çarpımına eşit olan giden okuma bant genişliği KB değerini (outgoing_read_bandwidth_in_KB) hesaplayın.

Ardından veri akışınızın ihtiyaç duyduğu başlangıçtaki parça sayısını (number_of_shards) aşağıdaki formülü kullanarak hesaplayabilirsiniz: number_of_shards = maks. (incoming_write_bandwidth_in_KB/1000, outgoing_read_bandwidth_in_KB/2000)

Bir Kinesis veri akışının aktarım hızı sınırsız bir şekilde ölçeklendirilmek üzere tasarlanmıştır. Şu AWS Bölgeleri için varsayılan parça kotası akış başına 500 parçadır: ABD Doğu (K. Virginia), ABD Batı (Oregon) ve Avrupa (İrlanda). Diğer tüm Bölgeler için varsayılan parça kotası akış başına 200 parçadır. AWS Service Quotas konsolunu kullanarak Parça Kotası artırım isteği gönderebilirsiniz.

Tedarik edilen modunda bir Kinesis veri akışının kapasite sınırları, veri akışı içindeki parça sayısıyla belirlenir. Sınırlar, veri aktarım hızı veya PUT kaydı sayısı ile aşılabilir. Kapasite sınırları aşıldığında veri ekleme çağrısı ProvisionedThroughputExceeded özel durumuyla reddedilir. Durum, veri akışı giriş veri hızının geçici olarak yükselmesinden kaynaklanıyorsa veri üreticisi tarafından yeniden deneme gerçekleştirilmesi halinde istekler tamamlanacaktır. Durum, veri akışının giriş veri hızının sürekli olarak yükselmesinden kaynaklanıyorsa veri ekleme çağrılarının sürekli olarak başarılı olması için gerekli kapasiteyi sağlamak üzere veri akışınızdaki parça sayısını artırmanız gerekir. Her iki durumda da Amazon CloudWatch ölçümleri, veri akışının giriş veri hızındaki değişiklik ve ProvisionedThroughputExceeded özel durumları konusunda bilgi edinmenizi sağlar.

Tedarik edilen modunda bir Kinesis veri akışının kapasite sınırları, veri akışı içindeki parça sayısıyla belirlenir. Sınırlar, veri aktarım hızı veya veri okuma çağrısı sayısı ile aşılabilir. Kapasite sınırları aşıldığında veri okuma çağrısı, ProvisionedThroughputExceeded özel durumuyla reddedilir. Durum, veri akışı çıkış veri hızının geçici olarak yükselmesinden kaynaklanıyorsa Amazon Kinesis uygulaması tarafından yeniden deneme gerçekleştirilmesi halinde istekler tamamlanacaktır. Durum, veri akışının çıkış veri hızının sürekli olarak yükselmesinden kaynaklanıyorsa veri okuma çağrılarının sürekli olarak başarılı olması için gerekli kapasiteyi sağlamak üzere veri akışınızdaki parça sayısını artırmanız gerekir. Her iki durumda da Amazon CloudWatch ölçümleri, veri akışının çıkış veri hızındaki değişiklik ve ProvisionedThroughputExceeded özel durumları konusunda bilgi edinmenizi sağlar.

Varsayılan olarak 24 saatlik saklama süresi, işleme sırasındaki aralıklı gecikmelerin gerçek zamanlı verilerle aynı düzeye gelmesini gerektiren senaryoları kapsar. Yedi günlük bir saklama, potansiyel aşağı akış veri kayıplarını çözmeniz amacıyla verileri yedi güne kadar yeniden işlemenize imkân tanır. Yedi günden uzun ve 365 güne kadar uzun süreli veri saklama, eski verileri algoritma geri testi, veri deposu dolguları ve denetim gibi kullanım durumları için yeniden işlemenize olanak tanır.

Evet. Yedi günden daha uzun süredir saklanan verileri okumak için aynı getShardIterator, GetRecords ve SubscribeToShard API'lerini kullanabilirsiniz. Tüketiciler, yineleyiciyi akışta istedikleri konuma taşıyabilir, parça haritasını (hem açık hem de kapalı olanlar dahil) alabilir ve kayıtları okuyabilir.

Evet. ListShards, GetRecords ve SubscribeToShard API'lerine yönelik API geliştirmeleri mevcuttur. Parça haritasını verimli bir şekilde almak ve eski verileri okuma performansını iyileştirmek için ListShards API'sinde bulunan TimeStamp parametresi ile yeni filtreleme seçeneğini kullanabilirsiniz. TimeStamp filtresi, verileri yeniden işlemek ve Trim Horizon'da başlatma ihtiyacını ortadan kaldırmak için uygulamaların dilediğiniz zaman parça keşfi yapmasına ve bu parçaları numaralandırmasına imkan tanır. GetRecords ve SubscribeToShards, bir uygulama kapalı bir parçadan veri okumayı tamamladığında parça haritasının tekrar üzerinden geçmek zorunda kalmak yerine size alt öğe parçaları hızlı bir şekilde keşfetme imkanı sunan ChildShards adında yeni bir alana sahiptir. Parçaların hızlı keşfi, veri saklama süresinden bağımsız olarak her boyuttaki akış için uygulamaya ait işlem kaynakları tüketiminin verimli kullanımını sağlar.

Verileri daha uzun süre saklamayı ve akışınızın kapasitesini düzenli olarak ölçeklendirmeyi planlıyorsanız API geliştirmelerini göz önünde bulundurmalısınız. Akış ölçeklendirme operasyonları, mevcut parçaları kapatır ve yeni alt öğe parçaları açar. Açık ve kapalı tüm parçalardaki veriler, saklama süresinin sonuna kadar saklanır. Böylece toplam parça sayısı, daha uzun saklama süresi ve birden fazla ölçeklendirme operasyonu ile doğrusal olarak artar. Parça haritasındaki bu artış, GetRecords'ta bulunan TimeStamp filtresi ve ChildShards alanı ile ListShards ve parça alımına yönelik parçaların verimli keşfi için SubscribeToShard API'sini kullanmanızı gerektirir. Bu özellikler için KCL'nizi (standart tüketiciler için 1.x ve gelişmiş yayma türü tüketiciler için 2.x olacak şekilde) en son sürümüne güncellemeniz gerekecektir.

Evet. Kinesis Veri Akışları İstemcileri, AWS Glue'nun sunucusuz bir özelliği olan AWS Glue Şema Kayıt Defteri'ni KPL ve KCL veya AWS Java SDK'daki AWS Glue Şema Kayıt API'leri aracılığıyla kullanabilir. Şema Kayıt Defteri ek ücret olmaksızın sunulur. 

Başlamak ve daha fazla bilgi edinmek için Şema Kayıt Defteri kullanıcı belgelerini inceleyin.

Veri akışınızın aktarım hızını değiştirmek için kullanabileceğiniz iki yöntem vardır. UpdateShardCount API veya AWS Management Console ile bir veri akışındaki parça sayısını ölçeklendirebilir veya veri akışı içindeki parça sayısını ayarlayarak (parça düzenleme) bir Amazon Kinesis veri akışının aktarım hızını değiştirebilirsiniz.

Olağan ölçeklendirme isteklerinin birkaç dakika içinde tamamlanması gerekir. Daha büyük ölçeklendirme isteklerinin tamamlanması küçük olanlara kıyasla daha uzun sürecektir.

Evet. UpdateShardCount veya parça düzenleme ile veri akışınızın aktarım hızını değiştirirken ya da Kinesis Data Streams bu işlemi istek üzerine modunda otomatik olarak yaparken Kinesis veri akışınıza veri ekleme ve bu akıştan veri okuma işlemlerine devam edebilirsiniz.

Amazon Kinesis Veri Akışları Yönetim Konsolu, Kinesis veri akışlarınızla ilgili olarak veri giriş ve çıkış aktarım hızı gibi temel işlem ve performans ölçümlerini görüntüler. Kinesis Veri Akışları, aynı zamanda Amazon CloudWatch entegrasyonu da sunar. Bu sayede veri akışlarınız ve bu veri akışlarındaki parçalar için CloudWatch ölçümlerini toplayabilir, görüntüleyebilir ve analiz edebilirsiniz. Kinesis Veri Akışları ölçümleri hakkında daha fazla bilgi için bkz. Amazon CloudWatch ile Amazon Kinesis Veri Akışları'nı İzleme.

Akış düzeyindeki tüm ölçümler ücretsizdir. Etkinleştirilen tüm parça düzeyindeki ölçümler ise Amazon CloudWatch fiyatlandırması üzerinden ücretlendirilir.

Kinesis Veri Akışları, kullanıcılarınız için AWS hizmetlerinize ve kaynaklarınıza erişimi güvenli bir şekilde denetlemenize yardım eden bir hizmet olan AWS Identity and Access Management (IAM) ile entegre olur. Örneğin veri akışınıza yalnızca belirli bir kullanıcı veya grubun veri eklemesine izin veren bir politika oluşturabilirsiniz. Kaynak düzeyinde erişim kontrolü için veri akışınıza veya kayıtlı tüketicinize kaynak tabanlı bir politika da ekleyebilirsiniz. Veri akışınızın erişim yönetim ve denetimi hakkında daha fazla bilgi için bkz. IAM Kullanarak Amazon Kinesis Veri Akışları Kaynaklarına Erişimi Denetleme.

Erişimi başka bir hesapla paylaşmak için IAM'nin üstlendiği rolü veya kaynak tabanlı politikayı kullanabilirsiniz. Hesaplar arası bir AWS Lambda işleviyle erişim paylaşmak için Lambda işlevinin yürütme rolüne erişim izni vermek üzere veri akışınıza veya tüketicinize kaynak tabanlı bir politika ekleyin. Daha fazla bilgi için Amazon Kinesis ile AWS Lambda Kullanımı bölümüne bakın.

Kinesis Veri Akışları, hesabınız için AWS API çağrılarını kaydeden ve size günlük dosyalarını gönderen bir hizmet olan Amazon CloudTrail ile entegre bir şekilde çalışabilir. API çağrısı günlüğe alma hakkında daha fazla bilgi ve desteklenen Amazon Kinesis API işlemlerinin bir listesi için bkz. Amazon CloudTrail Kullanarak Amazon Kinesis API Çağrılarını Günlüğe Kaydetme.

Kinesis Data Streams, kaynak ve maliyet yönetimi süreçlerini kolaylaştırmak için Kinesis veri akışlarınızı etiketleme seçeneği sunar. Etiket, AWS kaynaklarının organize edilmesine yardımcı olan ve anahtar-değer çifti olarak ifade edilen bir kullanıcı tanımlı etikettir. Örneğin, veri akışlarınızı maliyet merkezlerine göre etiketleyerek Kinesis Veri Akışları maliyetlerinizi maliyet merkezlerine göre ayırabilir ve takip edebilirsiniz. Amazon Kinesis Veri Akışları etiketleri hakkında daha fazla bilgi için bkz. Amazon Kinesis Veri Akışlarınızı Etiketleme.

Amazon Kinesis varsayılan olarak güvenlidir. Oluşturulan Kinesis kaynaklarına yalnızca hesap ve veri akışı sahipleri erişebilir. Kinesis, verilere erişimin denetlenmesi için kullanıcı kimlik doğrulamasını destekler. IAM politikalarını kullanarak istediğiniz kullanıcılara ve kullanıcı gruplarına erişim izni verebilirsiniz. HTTPS protokolünü kullanarak Kinesis verilerinizi SSL uç noktalarından güvenli bir şekilde alabilir ve ekleyebilirsiniz. Ek güvenliğe ihtiyacınız olursa veri akışınızda depolanan verileri şifrelemek için AWS Anahtar Yönetimi Hizmeti (AWS KMS) anahtarlarıyla sunucu tarafı şifreleme seçeneğini kullanabilirsiniz. AWS KMS, şifreleme için AWS tarafından oluşturulan KMS anahtarlarını kullanmanızı sağlar. Dilerseniz kendi KMS anahtarınızı AWS KMS ile birlikte kullanabilirsiniz. Son olarak, verileri Kinesis'e eklemeden önce istemci tarafında şifrelemek için kendi şifreleme kitaplıklarınızı kullanabilirsiniz.

Evet. VPC Uç Noktaları oluşturarak Amazon VPC'nizden Kinesis Data Streams API'lerine özel olarak erişebilirsiniz. VPC Uç Noktaları kullanıldığında VPC ile Kinesis Data Streams arasındaki yönlendirme bir internet ağ geçidine, NAT ağ geçidine veya VPN bağlantısına gerek kalmadan AWS ağı tarafından işlenir. Kinesis Veri Akışları'nın kullandığı en son nesil VPC uç noktaları, VPC'lerinizdeki özel IP'lerle esnek ağ arabirimleri (ENI) kullanılarak AWS hizmetleri arasında özel bağlantı olanağı sağlayan AWS PrivateLink teknolojisi tarafından sağlanmaktadır. PrivateLink hakkında daha fazla bilgi edinmek için PrivateLink belgelerini inceleyin.

Evet. Ayrıca, bunu yapmak için iki seçenek mevcuttur. Veri akışına eklediğiniz ve veri akışından aldığınız verileri otomatik olarak şifreleyen ve bu verilerin şifrelerini çözen tam olarak yönetilen bir özellik olan sunucu tarafı şifrelemesini kullanabilirsiniz. Dilerseniz istemci tarafında şifreleme ve şifre çözme gerçekleştirerek veri akışına şifrelenmiş verileri de yazabilirsiniz.

Aşağıdaki nedenlerin herhangi birinden dolayı istemci tarafı şifrelemesi yerine sunucu tarafı şifrelemesini tercih edebilirsiniz:

• İstemci tarafında şifrelemeyi zorunlu kılmak kolay değildir.
• İstemci tarafında şifreleme üzerine ikinci bir güvenlik katmanına sahip olmak istersiniz.
• İstemci tarafı anahtar yönetim şemalarını uygulamak zordur.

Kinesis Data Streams için sunucu tarafı şifrelemesi, veri akışı depolama katmanına yazılmadan önce verileri kullanıcı tarafından belirtilen bir AWS KMS anahtarı kullanarak otomatik olarak şifreler ve depolama alanından alındıktan sonra verilerin şifrelemesini otomatik olarak çözer. Şifreleme, veri akışında yazma veya okuma işlemi gerçekleştiren kullanıcının veri akışında şifreleme için seçilen anahtarı kullanma iznine sahip olmadığı sürece yazma işlemi gerçekleştirememesini ve yük ile bölüm anahtarını okuyamamasını sağlar. Sonuç olarak sunucu tarafı şifrelemesi, verileriniz için geçerli şirket içi güvenlik ve uygunluk gereksinimlerini karşılamanızı kolaylaştırabilir.

Sunucu tarafı şifrelemesi kullanıldığında istemci tarafındaki uygulamalarınızın (oluşturucular ve kullanıcılar) şifreleme konusunda bilgi sahibi olması gerekmez, bu uygulamaların KMS anahtarlarını veya şifreleme işlemlerini yönetmesine gerek duyulmaz ve Kinesis Data Streams verileriniz bekleme ve taşıma durumunda şifrelenir. Sunucu tarafı şifrelemesi özelliği tarafından kullanılan tüm KMS anahtarları, AWS KMS tarafından sağlanır. AWS KMS sayesinde Kinesis için AWS tarafından yönetilen KMS anahtarını ("tek tıklamayla" şifreleme yöntemi), müşteri tarafından yönetilen AWS KMS anahtarınızı veya şifreleme için içeri aktardığınız bir KMS anahtarını kolayca kullanabilirsiniz.

Evet, kullanmaya başlama kılavuzuna belgeler sayfasından ulaşabilirsiniz.

Muhtemelen. Bu durum, şifreleme için kullandığınız anahtara ve anahtara erişmek için geçerli izinlere bağlıdır.

• Kinesis için AWS tarafından yönetilen KMS anahtarını kullanırsanız (anahtar diğer adı = aws/kinesis) bu anahtar ile şifrelemenin etkinleştirilmesi veya devre dışı bırakılması uygulamalarınızı etkilemez.
• Özel bir AWS KMS anahtarı veya AWS KMS hizmetine aktardığınız bir ana anahtar gibi farklı bir KMS anahtarı kullanırsanız ve veri akışınızın oluşturucuları ile kullanıcıları, şifreleme için kullanılan KMS anahtarını kullanma iznine sahip değilse PUT ve GET istekleriniz başarısız olacaktır. Sunucu tarafı şifrelemesini kullanabilmeniz için önce AWS KMS anahtar politikalarını mesajların şifrelenip şifrelerinin çözülmesine imkan tanıyacak şekilde yapılandırmanız gerekir. AWS KMS izinleriyle ilgili örnekler ve daha fazla bilgi için AWS Anahtar Yönetimi Hizmeti Geliştirici Kılavuzu'nun AWS KMS API İzinleri: Eylem ve Kaynak Referansı bölümüne veya Kinesis Veri Akışları sunucu tarafı şifrelemesi kullanıcı belgelerindeki izin yönergelerine bakın.

Evet ancak Kinesis için AWS tarafından yönetilen KMS anahtarı kullanır ve AWS Ücretsiz Kullanım KMS API kullanım maliyetlerini aşmazsanız sunucu tarafı şifreleme özelliğini ücretsiz kullanabilirsiniz. Kaynaklara göre maliyetler aşağıda açıklanmıştır:

Anahtarlar:

Kinesis için AWS tarafından yönetilen KMS anahtarı (diğer ad = "aws/kinesis") ücretsizdir.
Müşteri tarafından yönetilen KMS anahtarları, KMS anahtarı ücretlerine tabidir. Daha fazla bilgi edinin.

KMS API Kullanımı:

Özel olanlar dahil olmak üzere tüm KMS anahtarı kullanımları API kullanım ücretlerine tabidir. Kinesis Data Streams, veri anahtarını döndürürken KMS'yi yaklaşık olarak beş dakikada bir çağırır. 30 günlük bir ay boyunca bir Kinesis veri akışı tarafından başlatılan KMS API çağrılarının toplam maliyetinin birkaç USD'yi geçmemesi gerekir. Her kullanıcı kimlik bilgisi için AWS KMS'ye benzersiz bir API çağrısı yapılması gerektiğinden, veri üreticilerinizde ve tüketicilerinizde kullandığınız kullanıcı kimlik bilgileri sayısı arttıkça bu maliyetlerin de artacağını unutmayın. Kimlik doğrulaması için IAM rolünü kullandığınızda her assume-role-call çağrısı benzersiz kullanıcı kimlik bilgilerine neden olacaktır ve KMS maliyetlerini düşürmek için assume-role-call çağrısı tarafından döndürülen kullanıcı kimlik bilgilerini önbelleğe almak isteyebilirsiniz.

Kinesis Veri Akışları sunucu tarafı şifrelemesi, AWS GovCloud bölgesinde ve Çin (Beijing) dışındaki tüm genel bölgelerde sunulmaktadır.

Bu işlemlerin tümünü AWS Yönetim Konsolu veya AWS SDK kullanarak gerçekleştirebilirsiniz. Daha fazla bilgi edinmek için bkz. Kinesis Veri Akışları sunucu tarafı şifrelemesini kullanmaya başlama kılavuzu.

Kinesis Veri Akışları, şifreleme için AES-GCM 256 algoritması kullanır.

Hayır. Yeni şifreleme işlemi uygulandığında yalnızca veri akışına yazılan yeni veriler şifrelenir (veya şifrelenmeden kalır).

Sunucu tarafı şifrelemesi, mesajın yüküne ek olarak veri akışı üretici uygulamaları tarafından belirtilen bölüm anahtarını şifreler.

Sunucu tarafı şifrelemesi, akışa özgü bir özelliktir.

Evet, AWS Yönetim Konsolu veya AWS SDK ile belirli bir veri akışına uygulamak istediğiniz yeni KMS anahtarını seçebilirsiniz.

Hayır. Kinesis Veri Akışları şu an için AWS Ücretsiz Kullanım kapsamında değildir. AWS Ücretsiz Kullanım, belirli AWS hizmetlerinin ücretsiz kullanılmasını sağlayan bir programdır. AWS Ücretsiz Kullanım hakkında daha fazla bilgi için bkz. AWS Ücretsiz Kullanım.

Kinesis Veri Akışları SLA'mız, Kinesis Veri Akışları için en az %99,9 oranında aylık çalışma süresi yüzdesi sağlar.

Kinesis Veri Akışları SLA'sı kapsamında, aynı bölge içinde yer alan ve üzerinde bir görev çalıştırdığınız birden fazla Erişilebilirlik Alanı’nın aylık çalışma süresi yüzdesi herhangi bir fatura döneminde %99,9'dan az olursa Kinesis Veri Akışları için SLA kredisi alma hakkına sahip olursunuz.

SLA'nın tüm hüküm ve koşullarına ilişkin tüm ayrıntıların yanı sıra bir talebin nasıl gönderileceğine ilişkin ayrıntılar için lütfen bkz. Amazon Kinesis Veri Akışları SLA'sı.

Kinesis Veri Akışları, basit bir kullandıkça öde fiyatlandırmasına sahiptir. Herhangi bir ön maliyet veya minimum ücret yoktur ve yalnızca kullandığınız kaynaklar için ödeme yaparsınız. Kinesis Veri Akışları, istek üzerine ve tedarik edilen olmak üzere iki kapasite moduna sahiptir ve her ikisi de belirli faturalandırma seçenekleriyle birlikte gelir.

İstek üzerine kapasite modunda, uygulamanızın gerçekleştirmesini beklediğiniz okuma ve yazma aktarım hızını önceden belirtmenize gerek yoktur. Bu modda fiyatlandırma, hesabınızdaki her veri akışı için saatlik ücrete ek olarak içeri aktarılan ve alınan veri hacmine bağlıdır. İsteğe bağlı özellikler için ek ücretler vardır: Uzatılmış veri saklama (ilk 24 saatten fazla ve ilk yedi gün içinde), Uzun Vadeli veri saklama (yedi günden fazla ve bir yıla kadar) ve Gelişmiş Yayma. Kinesis Veri Akışları maliyetleri hakkında daha fazla bilgi için bkz. Amazon Kinesis Veri Akışları Fiyatlandırması.

Tedarik edilen kapasite modunda, yazma ve okuma isteği hızına göre uygulamanız için gerekli olan parça sayısını belirtirsiniz. Parça, 1 MB/saniye yazma ve 2 MB/saniye okuma aktarım hızı sağlayan bir kapasite birimidir. Her parça için saatlik ücret ödersiniz. Kinesis veri akışınıza yazılan kayıtlar için de ücret ödersiniz. Uzatılmış saklama ve Gelişmiş Yayma gibi isteğe bağlı seçenekleri kullandığınızda ilave ücretler ödemeniz gerekir.

Kinesis Data Streams tedarik edilen modunun iki temel boyutu ve üç isteğe bağlı boyutu aşağıdadır:

• Amazon Kinesis veri akışınızdaki parça sayısına göre belirlenen Saatlik Parça maliyeti.
• PUT Yük Birimi maliyeti, veri üreticilerinizin veri akışınıza eklediği 25 KB'lik yük birimi sayısına göre belirlenir.

İsteğe bağlı:

• Uzatılmış veri saklama, veri akışınız için uygulanan parça saati sayısına göre belirlenen isteğe bağlı bir maliyettir. Uzatılmış veri saklama özelliği etkinleştirildiğinde akışınızdaki her parça için uzatılmış saklama ücretini ödersiniz.
• Uzun vadeli veri saklama, iki maliyet boyutuna sahip isteğe bağlı bir maliyettir: uzun vadeli veri depolama ve uzun vadeli veri alımı. Uzun vadeli veri depolama, yedi günden daha fazla ve 365 güne kadar olan süre için depolanan GB-ay verileri sayısını yansıtır. Uzun vadeli veri alımı, yedi günden daha uzun süredir depolanan GB'larla ölçülen alınan veri sayısını yansıtır.
• Gelişmiş yayma özelliği, iki maliyet boyutuna sahip isteğe bağlı bir maliyettir: tüketici-parça saati ve veri alma. Tüketici-parça saati sayısı, bir akış içindeki parça sayısının gelişmiş yayma özelliğini kullanan tüketici sayısıyla çarpılmasıyla elde edilir. Veri alma işlemleri, gelişmiş yayma özelliğini kullanan tüketicilere gönderilen GB miktarına göre belirlenir.

Kinesis Veri Akışları maliyetleri hakkında daha fazla bilgi için bkz. Amazon Kinesis Veri Akışları Fiyatlandırması.

Tüketici-parça saati, kayıtlı akış tüketicilerinin akıştaki parça sayısıyla çarpılmasıyla hesaplanır. Ayrıca, saatin yalnızca tüketicinin gelişmiş yayma özelliğini kullandığı bölümü için ödeme yaparsınız. Örneğin bir tüketici-parça saati maliyeti 10 parçalı bir veri akışı için 0,015 USD şeklindeyse gelişmiş yayma özelliğini kullanan bu tüketici 10 parçadan okuma yapabilir ve bu da saatlik 0,15 USD tüketici-parça saati ücretine karşılık gelir (1 tüketici * 10 parça * 0,015 USD tüketici-parça saati ücreti). Gelişmiş yayma özelliğine aynı anda kaydolan iki tüketici olsaydı toplam tüketici-parça saati ücreti saatlik 0,30 USD olacaktı (2 tüketici * 10 parça * 0,015 USD).

Kinesis Veri akışları ve Amazon MSK, verileri özel ihtiyaçlar için işleyen kendi akış iş yüklerinizi oluşturmanıza yardımcı olan popüler veri akışı platformlarıdır. Her iki hizmet de ölçeklenebilir, güvenli ve yüksek düzeyde kullanılabilir. Her ikisi de gerçek zamanlı web ve günlük analitiği, müşteri deneyimlerini kişiselleştirme, olaya dayalı mimariler, IoT analitiği ve gerçek zamanlı dolandırıcılık tespiti gibi akış kullanım durumlarını çalıştırmak için dağıtılabilir. İkisi arasında seçim yaparken özel kullanım durumunuzu ve gereksinimlerinizi göz önünde bulundurmanız önemlidir. İşte dikkate alınması gereken bazı faktörler:

Bilgi sahibi olma

•  Akış teknolojilerinde yeniyseniz Kinesis Veri Akışları'nı kullanın.
• Apache Kafka'da çalışan mevcut uygulamalarınız varsa MSK kullanın. MSK, geçiş deneyimini kolaylaştırmak için mevcut bir Kafka geçiş programına (KMP) ve bir geçiş kılavuzuna sahiptir.

Açık kaynak tercihi

• Açık kaynak teknolojileri kullanmayı tercih ediyorsanız tavsiyemiz MSK kullanmanızdır. Hem MSK hem de MSK Connect, sırasıyla açık kaynaklı Apache Kafka ve Kafka Connect ile tamamen uyumludur.

Amazon Kinesis Veri Akışları, akış hâlindeki büyük verilerin gerçek zamanlı olarak işlenmesini sağlar. Kayıtları sıralamanın yanı sıra bu kayıtları okuma ve/veya birden fazla Amazon Kinesis uygulamasına aynı sırada yeniden oynatma imkânı sunar. Amazon Kinesis İstemci Kitaplığı (KCL), belirli bir bölüm anahtarının tüm kayıtlarını aynı kayıt işlemcisine teslim ederek aynı Kinesis veri akışından okuma yapan birden fazla uygulama derlemeyi kolaylaştırır (örneğin sayma, toplama ve filtreleme). Amazon Basit Sıra Hizmeti (Amazon SQS), bilgisayarlar arasında aktarılmakta olan mesajların depolanması için güvenilir, yüksek oranda ölçeklenebilir, barındırılan bir kuyruk sunar. Amazon SQS, dağıtılmış uygulama bileşenleri arasında kolayca veri taşımanızı sağlar ve otomatik iş akışları gibi mesajların bağımsız olarak işlendiği (mesaj düzeyi ack/fail semantiği ile) uygulamalar oluşturmanıza yardımcı olur.

Aşağıdakilere benzer gereksinimlere sahip olan kullanım örnekleri için Kinesis Veri Akışları'nı kullanmanızı öneririz:

• İlgili kayıtları aynı kayıt işlemcisine yönlendirme (MapReduce akışı gibi). Örneğin, belirli bir anahtarla ilgili tüm kayıtların aynı kayıt işlemcisine yönlendirilmesi durumunda sayma ve toplama işlemleri daha kolay gerçekleştirilebilir.
• Kayıtların sıralanması. Örneğin, uygulama ana sunucusundaki günlük verilerini, günlük ifadelerinin sırasını bozmadan işleme/arşivleme ana sunucusuna aktarmak istediğinizde.
• Birden fazla uygulamanın eşzamanlı olarak aynı akışı kullanmasını sağlama. Örneğin, bir tarafta gerçek zamanlı bir panoyu güncelleyen, diğer tarafta da verileri Amazon Redshift'e arşivleyen bir uygulamanız olduğunu düşünün. İki uygulamanın da aynı akıştaki verileri eşzamanlı ve bağımsız olarak kullanabilmesini istersiniz.
• Kayıtları birkaç saat sonra aynı sırada kullanabilme. Örneğin, bir fatura uygulamanız ve bu fatura uygulamasını birkaç saat geriden takip eden bir denetim uygulamanız var. Kinesis Data Streams verileri 365 güne kadar depoladığından, denetim uygulamasını fatura uygulamasının 365 gün arkasından çalıştırabilirsiniz.

Aşağıdakilere benzer gereksinimlere sahip olan kullanım örnekleri için Amazon SQS'i kullanmanız önerilir:

• Mesajlaşma semantiği (mesaj düzeyi ack/fail) ve görünürlük zaman aşımı. Örneğin, iş öğelerinden oluşan bir kuyruğunuz var ve her öğenin tamamlanma durumunu ayrı bir şekilde takip etmek istiyorsunuz. Amazon SQS, ack/fail takibi yaptığından uygulamanın kalıcı bir checkpoint/cursor tutması gerekmez. Amazon SQS, ack durumuna sahip mesajları siler ve yapılandırılan görünürlük zaman aşımının sonunda başarısız olan mesajları yeniden teslim eder.
• Bağımsız mesaj gecikme süresi. Örneğin, bir iş kuyruğunuz var ve her iş için ayrı bir gecikme süresi belirlemeniz gerekiyor. Amazon SQS ile her bir mesajı 15 dakikaya kadar gecikmeli olarak şekilde yapılandırabilirsiniz.
• Okuma zamanında eşzamanlılığı/performansı dinamik olarak artırma. Örneğin, bir iş kuyruğunuz var ve bekleme listesi temizlenene kadar daha fazla okuyucu eklemek istiyorsunuz. Kinesis Data Streams ile ölçeği yeterli sayıda parçayla artırabilirsiniz (ancak yeterli sayıda parçayı önceden tedarik etmeniz gerektiğini unutmayın).
• Şeffaf ölçeklendirme yapmak için Amazon SQS özelliğinden faydalanma. Örneğin, istekleri arabelleğe alıyorsunuz ve belirli dönemlerde gerçekleşen yük artışları veya işletmenizin büyümesi nedeniyle yük değişiyor. Arabelleğe alınmış her bir istek ayrıca işlenebildiğinden Amazon SQS, tedarik etme talimatı sağlanmadan yükü işlemek için gereken şekilde saydam olarak ölçeklendirme yapabilir.