Veri gölü nedir?
Data lake, her ölçekte yapılandırılmış ve yapılandırılmamış verilerinizi depolamanızı sağlayan merkezî bir depodur. Verilerinizi yapılandırmaya gerek kalmadan olduğu gibi depolayabilir ve daha iyi kararlar almak için panolar ve görselleştirmelerden büyük veri işlemeye, gerçek zamanlı analitiklere ve makine öğrenimine kadar farklı analitikler çalıştırabilirsiniz.
Bir data lake’e neden ihtiyaç duyarsınız?
Verilerini işletmelerine değer katmak için kullanmayı başaran kuruluşlar, kendilerine önemli bir rekabet avantajı sağlar. Yapılan bir Aberdeen anketinin sonuçları, veri gölü kullanan kuruluşların benzer şirketlere kıyasla gelirlerinde %9 organik büyüme olduğunu göstermektedir. Bu liderler günlük dosyalarının yanı sıra tıklama akışlarından, sosyal medyadan ve data lake’te depolanan internete bağlı cihazlardan alınan veriler gibi yeni kaynaklarda makine öğrenimi gibi yeni analitik türlerini kullanma imkanı bulmuştur. Bu da müşterilerin ilgisini çekip onları elde tutarak, üretkenliği artırarak, cihazların bakımını önceden yaparak ve bilgiye dayalı kararlar alarak işlerini büyütme fırsatlarını daha hızlı bir şekilde tanımlamalarına ve harekete geçmelerine yardımcı olmuştur.
Veri göllerinin ve analiz çözümünün temel unsurları nelerdir?
Veri gölleri ve bir analiz platformu oluşturan kuruluşların aşağıdakiler dahil olmak üzere bir dizi özelliği dikkate almaları gerekmektedir:
Veri taşıma
Veri gölleri, gerçek zamanlı olarak gelebilecek her türlü veriyi içe aktarmanızı sağlar. Veriler birden fazla kaynaktan toplanır ve data lake’e olduğu gibi aktarılır. Bu işlem veri yapısı, şema ve dönüştürme tanımlama için gereken zamandan tasarruf ederek her boyutta veri için ölçeklendirme yapmanızı sağlar.
Verileri güvenli şekilde depolayın ve katalog oluşturun
Veri gölleri, ilişkisel veritabanlarının ve iş kolu uygulamalarından gelen ilişkisel verilerin yanı sıra mobil uygulamalardan, IoT cihazlarından ve sosyal medyadan gelen ilişkisel olmayan verileri depolamanızı sağlar. Ayrıca tarama, katalog oluşturma ve dizine ekleme sayesinde data lake içindeki veriler hakkında bilgi sahibi olmayı da mümkün kılar. Son olarak veri varlıklarınızın korunduğundan emin olmanız için verilerin güvenliğini sağlamanız gerekir.
Analitik
Veri gölleri kuruluşunuzda veri bilimcileri, veri geliştiriciler ve iş analistleri gibi farklı rollerin istedikleri araçlar ve çerçevelerle verilere erişmesini sağlar. Buna Apache Hadoop, Presto ve Apache Spark gibi açık kaynak çerçevelerin yanı sıra ticari veri ambarı ve iş zekası çözümleri de dahildir. Veri gölleri, verilerinizi ayrı bir analiz sistemine aktarmadan analiz çalışması yapmanızı sağlar.
Veri Analizi hakkında bilgi edinin »
Makine Öğrenimi
Veri gölleri, kuruluşların geçmiş verilere dayalı raporlar oluşturması dahil olmak üzere farklı öngörü türleri oluşturmasına ve makine öğrenimi ile olası sonuçları tahmin eden ve en uygun sonuca ulaşmak için bir dizi eylem öneren modeller eğitmesine imkan tanır.
Veri ambarı ile veri gölü arasındaki benzerlikler ve farklılıklar nelerdir?
Gereksinimlere bağlı olarak sıradan kuruluşlar farklı ihtiyaçlara ve kullanım amaçlarına hitap ettiklerinden genelde hem bir veri ambarına hem de bir data lake’e ihtiyaç duyacaktır.
Veri ambarı, işlem tabanlı sistemlerden ve iş kolu uygulamalarından gelen ilişkisel verileri analiz etmek için optimize edilmiş bir veritabanıdır. Daha hızlı SQL sorguları için optimizasyon sağlama amacıyla veri yapısı ve şeması önceden tanımlanmıştır ve sonuçlar genelde operasyonel raporlama ve analiz için kullanılır. Kullanıcıların güvenebileceği "tek bir gerçek kaynak" sunma amacıyla veriler temizlenir, zenginleştirilir ve dönüştürülür.
Veri ambarları hakkında bilgi edinin »
Data lake, iş kolu uygulamalarından gelen ilişkisel verilerin yanı sıra mobil uygulamalardan, IoT cihazlarından ve sosyal medyadan gelen ilişkisel olmayan verileri depolandığından farklıdır. Veriler alındığında veri yapısı veya şema tanımlı değildir. Bu da tasarıma dikkat etmeden veya ileride ne tür sorular için yanıta ihtiyacınız olabileceğini bilmeden tüm verilerinizi depolamanızı sağlar. Öngörü elde etmek için verilerinizde SQL sorguları, büyük veri analitiği, tam metin araması, gerçek zamanlı analitik ve makine öğrenimi gibi farklı analitik türleri kullanılabilir.
Veri ambarına sahip kuruluşlar data lake’in sunduğu avantajları gördükçe bu ambarları data lake’e dönüştürmekte ve yeni bilgi modellerini keşfetme amacıyla çok yönlü sorgu özelliklerini, veri bilimi kullanım örneklerini ve gelişmiş özellikleri mümkün kılmaktadır. Gartner, bu evrimi “Data Management Solution for Analytics” (Analitik İçin Veri Yönetimi Çözümü) veya “DMSA” olarak adlandırmaktadır.
Veri gölleri ile veri ambarları arasında ayrıntılı bir karşılaştırma olarak veri gölleri ile veri ambarları için özel karşılaştırma sayfamızı ziyaret edin.
Veri göllerinin değeri nedir?
Daha kısa sürede daha fazla kaynaktan daha fazla veri toplama imkanının yanı sıra kullanıcılara sağlanan iş birliği ve verileri farklı şekillerde analiz etme olanaklarıyla daha iyi ve daha hızlı karar alma. Veri göllerinin değer kattığı alanların bazıları şunlardır:
Gelişmiş müşteri etkileşimleri
Veri gölleri, bir CRM platformundaki müşteri verilerini sosyal medya analizleriyle ve satın alma geçmişinin yer aldığı bir pazarlama platformunu olay biletleriyle birleştirerek işletmenin en kârlı müşteri grubunu, müşteri dalgalanmalarının nedenini ve sadakati artıracak promosyonları veya ödülleri anlama konusunda yardımcı olabilir.
Ar-Ge inovasyon seçimlerini geliştirme
Data lake, Ar-Ge ekiplerinizin hipotezlerini test etmesine, varsayımları geliştirmesine ve sonuçları değerlendirmesine yardımcı olabilir. Bu sayede ekipleriniz ürün tasarımı için doğru malzemeyi seçerek daha hızlı performans elde edebilir, gen araştırmaları yaparak daha etkili ilaçlar bulabilir veya müşterilerin farklı özellikler için ödeme yapma konusundaki isteğini anlayabilir.
Operasyonel verimliliği artırma
Nesnelerin İnterneti (IoT) üretim gibi süreçlerde veri toplamak için daha fazla seçenek sunar ve internete bağlı cihazlardan gelen gerçek zamanlı verilerin kullanılmasını sağlar. Data lake, makinede üretilen IoT verilerini depolamayı ve üzerinde analitik çalıştırmayı kolaylaştırarak operasyon maliyetlerinizi düşürmek ve kaliteyi artırmak için yeni yöntemler keşfetmenizi sağlar.
Veri göllerinin ne tür zorlukları vardır?
Bir data lake mimarisindeki temel zorluk, ham verilerin içerik konusunda herhangi bir gözetim olmadan depolanmasıdır. Bir data lake’teki verilerin kullanılabilir duruma gelmesi için verilerin kataloğa eklenmesi ve güvenliğinin sağlanması için gerekli mekanizmaların tanımlanması gerekir. Bu öğeler olmadan veriler bulunamaz, güven sağlayamaz ve sonuçta ortaya bir "veri bataklığı" çıkar. Daha geniş kitlelerin ihtiyaçlarını karşılamak için data lake’ler yönetim, semantik tutarlılık ve erişim denetimlerine ihtiyaç duyar.
Bulutta veri göllerini nasıl dağıtırsınız?
Bulut performans, ölçeklenebilirlik, güvenilirlik, erişilebilirlik, farklı analitik altyapılar ve büyük ölçeklendirme ekonomisi sunduğundan vei gölleri bulutta dağıtılacak ideal iş yüklerindendir. ESG research anketine göre katılımcıların %39’u bulutu analiz için, %41’i veri ambarı için, %43’ü de Spark için birincil dağıtım çözümü olarak kullandığını belirtmiştir. Müşterilerin bulutu veri gölleri için bir avantaj olarak görmesinin temel nedenleri daha iyi güvenlik, daha kısa dağıtım süreci, daha iyi erişilebilirlik, daha sık özellik/işlev güncellemesi, daha fazla esneklik, daha geniş coğrafi kapsama alanı ve gerçek kullanımla ilgili maliyetlerdir.
AWS, veri gölü gereksinimlerinizi nasıl destekleyebilir?
AWS, müşterilerin data lake’lerini bulutta oluşturmalarını, IoT cihazlarından gelen veriler dahil olmak üzere tüm verilerini makine öğrenimi gibi analitik yaklaşımlarıyla analiz etmelerini sağlayan en güvenli, ölçeklenebilir, kapsamlı ve uygun maliyetli hizmet portföyünü sunmaktadır. Sonuç olarak NETFLIX, Zillow, NASDAQ, Yelp, iRobot ve FINRA gibi işletmelerinin kritik öneme sahip analitik iş yüklerini çalıştırmak için AWS’ye güvenen ve data lake’leriyle analitik yüklerini AWS’de çalıştıran kuruluş sayısı diğer platformlardan çok daha fazladır.
Hemen bir hesap oluşturarak AWS'de veri göllerini kullanmaya başlayın.
AWS'de Sonraki Adımlar
