Apache Flink İçin Amazon Yönetilen Hizmet SSS
Genel
Apache Flink İçin Amazon Yönetilen Hizmet nedir?
Apache Flink İçin Amazon Yönetilen Hizmet'i kullanarak akış verilerini Apache Flink ile gerçek zamanlı olarak dönüştürebilir ve analiz edebilirsiniz. Apache Flink, veri akışlarını işlemek için açık kaynaklı bir çerçeve ve motordur. Apache Flink İçin Amazon Yönetilen Hizmet, Apache Flink uygulamalarını oluşturma, yönetme ve diğer AWS hizmetleriyle entegre etmenin karmaşıklığını azaltır.
Apache Flink İçin Amazon Yönetilen Hizmet, akış uygulamalarını sürekli olarak çalıştırmak için gereken her şeyle ilgilenir ve gelen verilerinizin hacmine ve aktarım hızına uyacak şekilde otomatik olarak ölçeklenir. Apache Flink İçin Amazon Yönetilen Hizmet ile yönetilecek sunucu, minimum ücret veya kurulum maliyeti yoktur ve yalnızca akış uygulamalarınızın tükettiği kaynaklar için ödeme yaparsınız.
Gerçek zamanlı akış işleme nedir ve neden buna ihtiyacım var?
Apache Flink İçin Amazon Yönetilen Hizmet ile ne yapabilirim?
Apache Flink İçin Amazon Yönetilen Hizmet'i, verileri sürekli olarak işlemek ve günler hatta haftalar boyunca beklemek yerine saniyeler veya dakikalar içinde öngörüler elde etmek üzere birçok senaryo için kullanabilirsiniz. Apache Flink İçin Amazon Yönetilen Hizmet; günlük analizi, tıklama akışı analizi, Nesnelerin İnterneti (IoT), reklam teknolojisi, oyun ve daha fazlası için hızla uçtan uca akış işleme uygulamaları oluşturmanıza olanak sağlar. En yaygın dört kullanım durumu; akış ayıklama-dönüştürme-yükleme (ETL), sürekli ölçüm üretimi, duyarlı gerçek zamanlı analiz ve etkileşimli veri akışı sorgulamasıdır.
Akış ETL
Veri gölünüzü veya veri ambarınızı gerçek zamanlı olarak yüklemeden önce akış ETL uygulamalarıyla ham verileri temizleyerek, zenginleştirerek, düzenleyerek ve dönüştürerek toplu ETL adımlarını azaltabilir veya ortadan kaldırabilirsiniz. Bu uygulamalar, küçük kayıtları dağıtımdan önce daha büyük dosyaların arabelleğine alabilir ve akışlar ve tablolar arasında karmaşık birleştirmeler gerçekleştirebilir. Örneğin Apache Kafka İçin Amazon Yönetilen Akış'ta (Amazon MSK) depolanan IoT sensör verilerini sürekli okuyan, verileri sensör türüne göre düzenleyen, yinelenen verileri çıkaran, belirli bir şemaya göre verileri normalleştiren ve ardından verileri Amazon Simple Storage Service’e (Amazon S3) ileten bir uygulama oluşturabilirsiniz.
Sürekli ölçüm üretimi
Sürekli ölçüm üretimi uygulamalarıyla verilerinizin zaman içinde nasıl bir eğilim gösterdiğini izleyebilir ve anlayabilirsiniz. Uygulamalarınız, akış verilerini kritik bilgilerde toplayabilir ve uygulamalarınıza ve kullanıcılarınıza gerçek zamanlı olarak hizmet vermek için bunları raporlama veritabanları ve izleme hizmetleriyle sorunsuz bir şekilde entegre edebilir. Apache Flink İçin Amazon Yönetilen Hizmet ile zaman aralıklarında sürekli olarak zaman serisi analizi üretmek için Apache Flink kodunu (Java, Scala, Python veya SQL'de) kullanabilirsiniz. Örneğin bir mobil oyun için her dakika en iyi oyuncuları hesaplayarak ve ardından Amazon DynamoDB'ye göndererek canlı bir skor tablosu oluşturabilirsiniz. Ayrıca, her 5 dakikada bir benzersiz web sitesi ziyaretçilerinin sayısını hesaplayarak ve ardından işlenmiş sonuçları Amazon Redshift'e göndererek web sitenize gelen trafiği de takip edebilirsiniz.
Duyarlı gerçek zamanlı analiz
Duyarlı gerçek zamanlı analiz uygulamaları, belirli ölçümler önceden tanımlanmış eşiklere ulaştığında veya daha gelişmiş durumlarda uygulamanız makine öğrenimi (ML) algoritmalarını kullanarak anormallikler tespit ettiğinde gerçek zamanlı alarmlar veya bildirimler gönderir. Mobil uygulamalarda kullanıcı kaybı tahmini ve bozulmuş sistemlerin tanımlanması gibi işinizdeki değişikliklere bu uygulamalarla gerçek zamanlı olarak anında yanıt verebilirsiniz. Örneğin bir uygulama, müşteriye dönük bir API'nin zaman içinde kullanılabilirliğini veya başarı oranını hesaplayabilir ve ardından sonuçları Amazon CloudWatch'a gönderebilir. Belirli ölçütleri karşılayan olayları arayacak başka bir uygulama oluşturabilir ve ardından Amazon Kinesis Veri Akışları ve Amazon Basit Bildirim Hizmeti'ni (Amazon SNS) kullanarak doğru müşterileri otomatik olarak bilgilendirebilirsiniz.
Veri akışlarının etkileşimli analizi
Etkileşimli analiz, veri araştırmasının akışını gerçek zamanlı olarak gerçekleştirmenize yardımcı olur. Geçici sorgular veya programlarla Amazon MSK veya Amazon Kinesis Veri Akışları'ndan gelen akışları inceleyebilir ve bu akışlarda verilerin nasıl göründüğünü görselleştirebilirsiniz. Örneğin bir zaman aralığındaki ortalamayı hesaplayan gerçek zamanlı bir ölçümün nasıl davrandığını görüntüleyebilir ve toplanan verileri seçtiğiniz bir hedefe gönderebilirsiniz. Etkileşimli analiz, akış işleme uygulamalarının yinelemeli olarak geliştirilmesine de yardımcı olur. Oluşturduğunuz sorgular, yeni veriler geldikçe sürekli olarak güncellenir. Apache Flink Studio İçin Amazon Yönetilen Hizmet ile bu sorguları otomatik ölçeklendirme ve dayanıklı durum yedeklemeleri etkinleştirilmiş olarak sürekli çalışacak şekilde dağıtabilirsiniz.
Kullanmaya başlama
Apache Flink İçin Amazon Yönetilen Hizmet'e yönelik Apache Flink uygulamalarını kullanmaya nasıl başlarım?
Apache Flink İçin Amazon Yönetilen Hizmet'e yönelik Apache Beam uygulamalarını kullanmaya nasıl başlarım?
Apache Flink Studio için Amazon Yönetilen Hizmet'i kullanmaya nasıl başlayabilirim?
Apache Flink İçin Amazon Yönetilen Hizmet'in sınırları nelerdir?
Apache Flink İçin Amazon Yönetilen Hizmet, şema kaydını destekliyor mu?
Evet. Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları, Apache Flink DataStream Bağlayıcıları'nı kullanarak AWS Glue'nun sunucusuz bir özelliği olan AWS Glue Şema Kayıt Defteri'ni kullanabilir. Apache Kafka, Amazon MSK ve Amazon Kinesis Veri Akışları'nı, bir biriktirici veya bir kaynak olarak Apache Flink İçin Amazon Yönetilen Hizmet iş yüklerinizle entegre edebilirsiniz. Kullanmaya başlamak ve daha fazla bilgi edinmek için AWS Glue Şema Kayıt Defteri Geliştirici Kılavuzu'nu ziyaret edin.
Temel kavramlar
Apache Flink İçin Amazon Yönetilen Hizmet uygulaması nedir?
Uygulama, birlikte çalıştığınız Apache Flink İçin Amazon Yönetilen Hizmet varlığıdır. Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları, akış verilerini gerçek zamanlı olarak sürekli okur ve işler. Gelen akış verilerini işlemek ve çıktı üretmek için uygulama kodunu Apache Flink destekli bir dilde yazarsınız. Ardından, Apache Flink İçin Amazon Yönetilen Hizmet, çıktıyı yapılandırılmış bir hedefe yazar.
Her uygulama üç ana bileşenden oluşur:
- Giriş: Giriş, uygulamanızın akış kaynağıdır. Giriş yapılandırmasında akış kaynaklarını veri akışlarına eşlersiniz. Veriler, veri kaynaklarınızdan veri akışlarınıza akar. Bu veri akışlarından gelen verileri uygulama kodunuzu kullanarak işler, işlenmiş verileri sonraki veri akışlarına veya hedeflere gönderirsiniz. Apache Flink uygulamaları ve Studio not defterlerinin uygulama kodunun içine ve Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları API'si aracılığıyla girişler eklersiniz.
- Uygulama kodu: Uygulama kodu, girişi işleyen ve çıktı üreten bir dizi Apache Flink işlecidir. En basit haliyle uygulama kodu, bir akış kaynağıyla ilişkili bir veri akışından okuyan ve bir çıktıyla ilişkili başka bir veri akışına yazan tek bir Apache Flink işleci olabilir. Bir Studio not defteri için bu, sonuçların not defteri bağlamında gösterildiği basit bir Flink SQL seçme sorgusu olabilir. Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları veya Studio not defterleri için desteklenen dillerde Apache Flink kodu yazabilirsiniz.
- Çıktı: İsteğe bağlı olarak bir uygulama çıktısını, verileri harici bir hedefe aktaracak şekilde yapılandırabilirsiniz. Bu çıktıları, Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları ve Studio not defterlerinin uygulama kodunun içine eklersiniz.
Hangi uygulama kodu desteklenmektedir?
Uygulamaları yönetme
Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarımın işlemlerini ve performansını nasıl izleyebilirim?
AWS, Apache Flink uygulamalarının Flink Panosu'na erişim dahil olmak üzere Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarınızı izlemek amacıyla kullanabileceğiniz çeşitli araçlar sağlar. Bu araçlardan bazılarını sizin adınıza izleme yapacak şekilde yapılandırabilirsiniz. Uygulamanızı nasıl izleyeceğinizle ilgili daha fazla bilgi için aşağıdaki geliştirici kılavuzlarını inceleyin:
- Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'nda Apache Flink İçin Amazon Yönetilen Hizmet'i İzleme.
- Apache Flink Studio İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'nda Apache Flink İçin Amazon Yönetilen Hizmet'i İzleme.
Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarıma erişimi nasıl yönetirim ve denetlerim?
Apache Flink için Amazon Yönetilen Hizmet, uygulamanızda belirttiğiniz akış veri kaynaklarından kayıtları okumak için izinlere ihtiyaç duyar. Apache Flink İçin Amazon Yönetilen Hizmet, uygulama çıktınızı uygulama çıktı yapılandırmanızda belirtilen hedeflere yazmak için de izinlere ihtiyaç duyar. Bu izinleri, Apache Flink İçin Amazon Yönetilen Hizmet'in üstlenebileceği AWS Kimlik ve Erişim Yönetimi (IAM) rolleri oluşturarak verebilirsiniz. Bu role verdiğiniz izinler, hizmet bu rolü üstlendiğinde Apache Flink İçin Amazon Yönetilen Hizmet'in neler yapabileceğini belirler. Daha fazla bilgi için aşağıdaki geliştirici kılavuzlarını inceleyin:
- Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'nda izinlerin verilmesi.
- Apache Flink Studio İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'nda izinlerin verilmesi.
Apache Flink İçin Amazon Yönetilen Hizmet, uygulamamı nasıl ölçeklendirir?
Apache Flink İçin Amazon Yönetilen Hizmet, uygulamanızı kaynak akışınızın veri aktarım hızına ve çoğu senaryo için sorgu karmaşıklığınıza uyum sağlayacak şekilde esnek biçimde ölçeklendirir. Apache Flink İçin Amazon Yönetilen Hizmet, Amazon KPU'ları biçiminde kapasite sağlar. Bir KPU size 1 vCPU ve 4 GB bellek sağlar.
Apache Flink İçin Amazon Yönetilen Hizmet, Apache Flink uygulamaları ve Studio not defterlerine uygulamanızın denetim noktaları için kullandığı ve geçici disk aracılığıyla kullanabileceğiniz KPU başına 50 GB çalışan uygulama depolama alanı tahsis eder. Denetim noktası, bir uygulama kesintisinden hemen kurtulmak için kullanılan, çalışan bir uygulamanın güncel bir yedeklemesidir. Ayrıca API'deki Parallelism ve ParallelismPerKPU parametrelerini kullanarak Apache Flink İçin Amazon Yönetilen Hizmet uygulaması görevlerinizin paralel yürütmesini (örneğin bir kaynaktan okuma veya bir işleci yürütme) de denetleyebilirsiniz. Paralellik, bir görevin eş zamanlı bulut sunucularının sayısını tanımlar. Tüm işleçler, kaynaklar ve biriktiriciler, varsayılan olarak tanımlanmış bir paralellik ile çalışır. KPU başına paralellik, varsayılan olarak uygulamanızın KPU'su başına planlanabilecek paralel görevlerin sayısını tanımlar. Daha fazla bilgiyi Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki Ölçeklendirme bölümünde bulabilirsiniz.
Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarımı oluşturmak ve yönetmek için ilişkili en iyi uygulamalar nelerdir?
Apache Flink için en iyi uygulamalar hakkında daha fazla bilgi için Apache Flink için Amazon Yönetilen Hizmet Geliştirici Kılavuzu'nun En İyi Uygulamalar bölümüne bakın. Bu bölüm; hata toleransı, performans, günlük kaydı, kodlama ve daha fazlası için en iyi uygulamaları kapsamaktadır.
Apache Flink Studio İçin Amazon Yönetilen Hizmet ile ilgili en iyi uygulamalar hakkında bilgiyi Apache Flink Studio İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki En İyi Uygulamalar bölümünde bulabilirsiniz. Bu bölümde, en iyi uygulamalara ek olarak SQL, Python ve Scala uygulamaları için örnekler, kodunuzu sürekli çalışan bir akış işleme uygulaması olarak dağıtmak için gerekenler, performans, günlüğe kaydetme ve daha fazlası ele alınmaktadır.
Bir Apache Flink İçin Amazon Yönetilen Hizmet uygulamasıyla Amazon VPC'nin arkasındaki kaynaklara erişebilir miyim?
Evet. Bir Amazon VPC'nin arkasındaki kaynaklara erişebilirsiniz. Uygulamanızı VPC erişimine yönelik olarak nasıl yapılandıracağınızı, Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki Amazon VPC'yi Kullanma bölümünden öğrenebilirsiniz.
Tek bir Apache Flink İçin Amazon Yönetilen Hizmet uygulaması birden çok VPC'ye erişebilir mi?
Bir VPC'ye bağlı bir Apache Flink İçin Amazon Yönetilen Hizmet uygulaması internete ve AWS hizmet uç noktalarına erişebilir mi?
Belirli bir VPC'deki kaynaklara erişmek üzere yapılandırılmış Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları ve Apache Flink Studio İçin Amazon Yönetilen Hizmet not defterlerinin varsayılan yapılandırma olarak internete erişimi yoktur. Uygulamanızın internet erişimini nasıl yapılandıracağınızı Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki İnternet ve Hizmet Erişimi bölümünden öğrenebilirsiniz.
Fiyatlandırma ve faturalandırma
Apache Flink İçin Amazon Yönetilen Hizmet'in maliyeti nedir?
Apache Flink İçin Amazon Yönetilen Hizmet ile yalnızca kullandığınız kadar ödersiniz. Apache Flink İçin Amazon Yönetilen Hizmet ile bağlantılı tedarik edilecek kaynak veya peşin ödeme yoktur.
Akış uygulamanızı çalıştırmak için kullanılan Amazon KPU'larının sayısına göre saatlik olarak ücretlendirilirsiniz. Tek bir KPU, 1 vCPU işlem ve 4 GB bellekten oluşan bir akış işleme kapasitesi birimidir. Apache Flink İçin Amazon Yönetilen Hizmet, işleme karmaşıklığına ve işlenen akış verilerinin aktarım hızına göre bellek ve işlem talepleri değiştikçe akış işleme uygulamanızın ihtiyaç duyduğu KPU sayısını otomatik olarak ölçeklendirir.
Apache Flink ve Apache Beam uygulamalarında, uygulama düzenleme için uygulama başına tek bir ek KPU ücreti ödersiniz. Apache Flink ve Apache Beam uygulamaları, çalışan uygulama depolaması ve dayanıklı uygulama yedeklemeleri için de ücretlendirilir. Çalışan uygulama depolaması, Apache Flink İçin Amazon Yönetilen Hizmet'te durum bilgisine dayalı işleme özellikleri için kullanılır ve GB/ay başına ücretlendirilir. Dayanıklı uygulama yedeklemeleri isteğe bağlıdır, GB/ay başına ücretlendirilir ve uygulamalar için belirli bir zamana kurtarma noktası sağlar.
Apache Flink Studio İçin Amazon Yönetilen Hizmet'in geliştirme veya etkileşim modunda uygulama düzenleme için ek bir KPU ve etkileşimli geliştirme için 1 KPU ile ücretlendirilirsiniz. Çalışan uygulama depolama alanı için de ücretlendirilirsiniz. Dayanıklı uygulama yedeklemeleri için ücret alınmaz.
Daha fazla fiyatlandırma bilgisini Apache Flink İçin Amazon Yönetilen Hizmet fiyatlandırma sayfasında bulabilirsiniz.
Çalışan ancak kaynaktan herhangi bir veriyi işlemeyen Apache Flink İçin Amazon Yönetilen Hizmet uygulaması üzerinden ücretlendiriliyor muyum?
Apache Flink ve Apache Beam uygulamaları durumunda, Apache Flink İçin Amazon Yönetilen Hizmet uygulamanız çalışıyorsa minimum 2 KPU ve 50 GB çalışan uygulama depolama alanı için ücretlendirilirsiniz.
Apache Flink Studio İçin Amazon Yönetilen Hizmet not defterleri durumunda, uygulamanız çalışıyorsa minimum 3 KPU ve 50 GB çalışan uygulama depolama alanı için ücretlendirilirsiniz.
Apache Flink İçin Amazon Yönetilen Hizmet maliyetleri dışında karşılaşabileceğim başka maliyetler var mı?
Apache Flink İçin Amazon Yönetilen Hizmet, AWS Ücretsiz Kullanım kapsamında kullanılabilir mi?
Apache Flink uygulamaları oluşturma
Apache Flink nedir?
Apache Flink, akış ve toplu veri işleme için açık kaynak bir çerçeve ve motordur. Güçlü işleçler sağladığından ve yinelenen işleme gibi temel akış sorunlarını çözdüğünden akış uygulamalarının oluşturulmasını kolaylaştırır. Apache Flink, veri akışlarında dağıtılmış hesaplamalar için veri dağıtımı, iletişim ve hata toleransı sağlar.
Nasıl uygulama geliştiririm?
AWS SDK, Apache Flink ve AWS hizmetleri için bağlayıcılar gibi açık kaynaklı kitaplıkları indirerek başlayabilirsiniz. Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndan kitaplıkları nasıl indireceğiniz ve ilk uygulamanızı nasıl oluşturacağınızla ilgili talimatları edinin.
Uygulama kodum neye benziyor?
Veri akışlarını ve akış işleçlerini kullanarak Apache Flink uygulama kodunuzu yazarsınız. Uygulama veri akışları, kodunuzu kullanarak işleme gerçekleştirdiğiniz veri yapısıdır. Veriler sürekli olarak kaynaklardan uygulama veri akışlarına akar. Uygulama veri akışlarında işlemelerinizi tanımlamak için dönüştürme, bölümleme, toplama, birleştirme ve zaman aralığı dahil olmak üzere bir veya daha fazla akış işleci kullanılır. Veri akışları ve işleçler, seri ve paralel zincirlerde birbirine bağlanabilir. Sözde kod kullanılan kısa bir örnek aşağıda gösterilmiştir.
DataStream <GameEvent> rawEvents = env.addSource(
New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,
event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
.keyBy(1)
.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
.apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
Apache Flink işleçlerini nasıl kullanırım?
İşleçler, bir uygulama veri akışını giriş olarak alır ve işlenen verileri çıktı olarak bir uygulama veri akışına gönderir. İşleçler, birden çok adımlı uygulamalar oluşturmak için birbirine bağlanabilir ve uygulamak ve çalıştırmak için dağıtılmış sistemlere yönelik ileri düzeyde bilgi gerektirmezler.
Hangi işleçler desteklenmektedir?
Apache Flink İçin Amazon Yönetilen Hizmet; eşleme, KeyBy, toplamalar, zaman aralıkları, birleştirmeler ve daha fazlası dahil olmak üzere çok çeşitli kullanım durumlarını çözmek amacıyla kullanılabilen Apache Flink'in tüm işleçlerini desteklemektedir. Örneğin eşleme işleci, gelen bir veri akışından bir öğeyi alarak ve başka bir öğe üreterek isteğe bağlı işleme gerçekleştirmenize olanak tanır. KeyBy, benzer veri noktalarını birlikte işleyebilmeniz için belirli bir anahtar kullanarak verileri mantıksal olarak düzenler. Toplamalar; toplam, minimum ve maksimum gibi birden çok anahtar arasında işleme gerçekleştirir. Zaman Aralığı Birleştir, iki veri akışını belirli bir anahtar ve zaman aralığında birleştirir.
Bunlar ihtiyaçlarınızı karşılamıyorsa özel işleçler oluşturabilirsiniz. Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki İşleçler bölümünde daha fazla örnek bulabilirsiniz. Apache Flink işleçlerinin tam bir listesini Apache Flink belgelerinde bulabilirsiniz.
Bir Apache Flink İçin Amazon Yönetilen Hizmet uygulamasında hangi entegrasyonlar desteklenmektedir?
Apache Flink tarafından sağlanan önceden oluşturulmuş entegrasyonları minimum kodla kurabilir veya hemen hemen her veri kaynağına bağlanmak için kendi entegrasyonunuzu oluşturabilirsiniz. Apache Flink'e dayalı açık kaynak kitaplıkları, veri dağıtımını işlemek için akış kaynaklarını ve hedeflerini veya biriktiricilerini destekler. Buna zaman uyumsuz G/Ç bağlayıcıları aracılığıyla veri zenginleştirme desteği de dahildir. Bu bağlayıcılardan bazıları aşağıdakileri içerir:
- Akış veri kaynakları: Apache Kafka İçin Amazon Yönetilen Akış (Amazon MSK), Amazon Kinesis Veri Akışları Hedefleri veya biriktiriciler: Amazon Kinesis Veri Akışları
- Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Hizmeti ve Amazon S3 (dosya biriktirici entegrasyonları aracılığıyla)
Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları, verileri akışlar ve konular boyunca çoğaltabilir mi?
Evet. Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarını, Amazon Kinesis Veri Akışları, Amazon MSK ve diğer sistemler arasında veri çoğaltmak için kullanabilirsiniz. Belgelerimizde verilen bir örnek, bir Amazon MSK konusundan nasıl okunacağını ve diğerine nasıl yazılacağını gösterir.
Özel entegrasyonlar destekleniyor mu?
Uygulamanızı dosyalardan, dizinlerden, soketlerden veya internet üzerinden erişebileceğiniz herhangi bir şeyden okumanızı ve bunlara yazmanızı sağlayan temel öğelerin bir kümesi üzerinde oluşturarak ona bir kaynak veya hedef ekleyebilirsiniz. Apache Flink, veri kaynakları ve veri havuzları için bu temel öğeleri sağlar. Temel öğeler, verileri sürekli veya bir kez, zaman uyumsuz veya zaman uyumlu ve daha fazla şekilde okuma ve yazma becerisi gibi yapılandırmalarla birlikte gelir. Örneğin mevcut dosya tabanlı kaynak entegrasyonunu genişleterek bir uygulamayı Amazon S3'ten sürekli okuma yapacak şekilde ayarlayabilirsiniz.
Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları hangi dağıtım ve işleme modelini sağlamaktadır?
Bir uygulama, kaynaklar ve biriktiriciler dahil olmak üzere eş güçlü işleçler kullanılarak oluşturulmuşsa Apache Flink İçin Amazon Yönetilen Hizmet'teki Apache Flink uygulamaları tam olarak bir kez teslim modelini kullanır. Bu, işlenen verilerin aşağı akış sonuçlarını bir kez ve yalnızca bir kez etkilediği anlamına gelir.
Varsayılan olarak Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları, Apache Flink'in tam olarak bir kez semantiğini kullanır. Uygulamalarınızı Apache Flink'in tam olarak bir kez anlamsallığını kullanan kaynaklar, işleçler ve havuzları kullanarak tasarlarsanız uygulamanız tam olarak bir kez işleme anlamsallığını destekler.
Uygulama depolama alanımdan yerel depolamaya erişimim var mı?
Apache Flink İçin Amazon Yönetilen Hizmet, uygulamamı otomatik olarak nasıl yedekler?
Apache Flink İçin Amazon Yönetilen Hizmet, denetim noktalarını ve anlık görüntüleri kullanarak çalışan uygulamanızın durumunu otomatik olarak yedekler. Denetim noktaları mevcut uygulama durumunu kaydeder ve hatasız bir yürütme ile aynı semantiği sağlamak üzere Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarının uygulama konumunu kurtarmasını sağlar. Denetim noktaları, çalışan uygulama depolama alanını kullanır. Apache Flink uygulamalarının denetim noktaları, Apache Flink'in denetim noktası oluşturma işlevi aracılığıyla sağlanır. Anlık görüntüler, uygulamalar için belirli bir zamana bir kurtarma noktasını kaydeder ve dayanıklı uygulama yedeklemeleri kullanır. Anlık görüntüler, Flink kaydetme noktaları ile benzerdir.
Uygulama anlık görüntüleri nelerdir?
Apache Flink'in hangi sürümleri desteklenmektedir?
Desteklenen Apache Flink sürümleri hakkında daha fazla bilgi edinmek için Apache Flink İçin Amazon Yönetilen Hizmet Sürüm Notları sayfasını ziyaret edin. Bu sayfa Apache Flink İçin Amazon Yönetilen Hizmet tarafından desteklenen Apache Beam, Java, Scala, Python ve AWS SDK'lerinin sürümlerini de içerir.
Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları Apache Beam'i çalıştırabilir mi?
Evet. Apache Flink İçin Amazon Yönetilen Hizmet, Apache Beam kullanılarak oluşturulmuş akış uygulamalarını destekler. Apache Beam akış uygulamalarını Java'da oluşturabilir ve Apache Flink İçin Amazon Yönetilen Hizmet üzerinde Apache Flink'in kullanılması dahil olmak üzere farklı motor ve hizmetlerde çalıştırabilirsiniz. Desteklenen Apache Flink ve Apache Beam sürümleriyle ilgili bilgiyi Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'nda bulabilirsiniz.
Yönetilen bir not defterinde Apache Flink Studio İçin Amazon Yönetilen Hizmet uygulamaları oluşturma
Bir Studio uygulamasını nasıl geliştiririm?
Apache Flink Studio için Amazon Yönetilen Hizmet, Amazon Kinesis Veri Akışları veya Amazon MSK konsollarından başlayarak birkaç adımda veri akışlarını hemen sorgulamak ve etkileşimli veri analizi gerçekleştirmek üzere bir sunucusuz not defteri başlatabilirsiniz.
Etkileşimli veri analizi: Saniye cinsinden yanıt süreleriyle akış verilerinizle etkileşimde bulunmak için SQL, Python veya Scala dillerinde not defterine kod yazabilirsiniz. Verileri keşfetmek için yerleşik görselleştirmeleri kullanabilir, not defterinizden akış verilerinizle ilgili gerçek zamanlı öngörüleri görüntüleyebilir ve Apache Flink ile akış işleme uygulamaları geliştirebilirsiniz.
Kodunuz bir üretim uygulaması olarak çalışmaya hazır olduğunda sunucular olmadan saniyede gigabaytlarca veri işleyen bir akış işleme uygulamasına tek adımda geçiş yapabilirsiniz.
Akış işleme uygulaması: Kodunuzu üretim için geliştirmeye hazır olduğunuzda not defteri arabiriminde "Akış işleme uygulaması olarak dağıt" seçeneğine tıklayarak kodunuzu oluşturabilir veya CLI'de tek bir komut verebilirsiniz. Studio, tıpkı bir Apache Flink için Amazon Yönetilen Hizmet uygulamasında olduğu gibi otomatik ölçeklendirme ve dayanıklı durum etkinken akış işleme uygulamanızı uygun ölçekte çalıştırmanız için gereken tüm altyapı yönetimini üstlenir.
Uygulama kodum neye benziyor?
Hangi SQL işlemleri desteklenmektedir?
Şunlar gibi SQL işlemlerini gerçekleştirebilirsiniz:
- Tarama ve filtreleme (SELECT, WHERE)
- Toplamalar (GROUP BY, GROUP BY WINDOW, HAVING)
- Küme (UNION, UNIONALL, INTERSECT, IN, EXISTS)
- Sıralama (ORDER BY, LIMIT)
- Birleştirmeler (INNER, OUTER, Zamanlanmış Aralık – BETWEEN, AND, Zamansal Tablolarla Birleştirme – zaman içindeki değişiklikleri izleyen tablolar)
- Top-N
- Tekilleştirme
- Örüntü tanıma
GROUP BY, OUTER JOIN ve Top-N gibi bu sorgulardan bazıları, akış verileri için güncellenen sonuçlarıdır. Bu, akış verileri işlenirken sonuçların sürekli olarak güncellendiği anlamına gelir. CREATE, ALTER ve DROP gibi diğer DDL ifadeleri de desteklenmektedir. Sorguların ve örneklerin tam bir listesi için Apache Flink Sorguları belgelerine bakınız.
Python ve Scala nasıl desteklenmektedir?
Apache Flink'in Tablo API'si, Python dizeleri ve Scala ifadelerini kullanarak dil entegrasyonu aracılığıyla Python ve Scala'yı desteklemektedir. Desteklenen işlemler; seçme, sıralama, gruplama, birleştirme, filtreleme ve zaman aralığı dahil olmak üzere desteklenen SQL işlemlerine çok benzemektedir. İşlemlerin ve örneklerin tam bir listesi geliştirici kılavuzumuza dahil edilmiştir.
Apache Flink ve Apache Zeppelin'in hangi sürümleri desteklenmektedir?
Desteklenen Apache Flink sürümleri hakkında daha fazla bilgi edinmek için Apache Flink İçin Amazon Yönetilen Hizmet Sürüm Notları sayfasını ziyaret edin. Bu sayfa Apache Flink İçin Amazon Yönetilen Hizmet'in desteklediği Apache Zeppelin, Apache Beam, Java, Scala, Python ve AWS SDK'lerinin sürümlerini de içerir.
Apache Flink Studio İçin Amazon Yönetilen Hizmet uygulamasında varsayılan olarak hangi entegrasyonlar desteklenmektedir?
- Veri kaynakları: Apache Kafka İçin Amazon Yönetilen Akış (Amazon MSK), Amazon Kinesis Veri Akışları, Amazon S3
- Hedefler veya biriktiriciler: Amazon MSK, Amazon Kinesis Veri Akışları ve Amazon S3
Özel entegrasyonlar destekleniyor mu?
Hizmet Düzeyi Sözleşmesi
Apache Flink İçin Amazon Yönetilen Hizmet SLA ne garanti ediyor?
SLA Hizmet Kredisi hakkından yararlanıp yararlanamayacağımı nasıl anlayabilirim?
Aynı AWS bölgesi içinde bulunan ve bir görev yürüttüğünüz birden fazla Erişilebilirlik Alanı, herhangi bir fatura döneminde %99,9'dan az bir Aylık Çalışma Süresi Yüzdesine sahipse Apache Flink İçin Amazon Yönetilen Hizmet SLA'sı kapsamı altında Apache Flink İçin Amazon Yönetilen Hizmet için bir SLA Hizmet Kredisi alma hakkına sahip olursunuz. Tüm SLA hüküm ve koşullarıyla ilgili tüm ayrıntıların yanı sıra talebin nasıl gönderileceğine ilişkin ayrıntılar için Apache Flink için Amazon Yönetilen Hizmeti SLA ayrıntıları sayfasını ziyaret edin.