Veri Ağı nedir?
Veri ağı, dağıtılmış ve merkezi olmayan sahiplik yoluyla gelişmiş veri güvenliği zorluklarını çözen bir mimari çerçevedir. Kuruluşlar, analiz için entegre edilmesi gereken, farklı iş kollarından birden fazla veri kaynağına sahiptir. Veri ağı mimarisi, farklı veri kaynaklarını etkili bir şekilde birleştirir ve merkezi olarak yönetilen veri paylaşımı ve yönetişim yönergeleri aracılığıyla birbirine bağlar. İş işlevleri, paylaşılan verilere nasıl erişildiği, kimin eriştiği ve ne şekilde erişildiği üzerinde kontrol sağlayabilir. Veri ağı, mimariye karmaşıklıklar ekler ancak aynı zamanda veri erişimini, güvenliği ve ölçeklenebilirliği iyileştirerek verimlilik sağlar.
Veri ağı hangi zorlukları giderir?
Kuruluşlar her geçen gün daha büyük veri hacimlerine erişebilse de bu verilerden pratik avantajlar elde edebilmek için bu verileri sıralamak, filtrelemek, işlemek ve analiz etmek zorundadır. Kuruluşlar veri yönetimi için sıklıkla mühendislerden ve bilim insanlarından oluşan merkezi bir ekip kullanır. Bu ekip, aşağıdaki amaçlarla merkezi bir veri platformu kullanır:
- Farklı iş birimlerinin (veya iş faaliyet alanlarının) her birinden gelen verileri alma.
- Verileri tutarlı, güvenilir ve faydalı bir formata dönüştürme. Bu ekip örneğin, sistemdeki tüm tarihlerin aynı formatta olmasını sağlayabilir veya günlük raporların özetini alabilir.
- Veri tüketicileri için veriler hazırlama (ör. insanlar için raporlar oluşturma veya uygulamalar için XML dosyaları hazırlama). XML hakkında bilgi edinin »
Veri hacmi arttıkça, kuruluşlar aynı çevikliği koruyabilmek için daha yüksek maliyetlerle karşılaşır. Tek parça sistemin ölçeklendirilmesinin zorluğu, aşağıdaki nedenlerden kaynaklanır.
Silolu veri ekibi
Merkezi veri ekibi, iş ve faaliyet alanı bilgisi sınırlı olan veri bilimcilerinden ve mühendislerden oluşur. Ancak bu kişiler, asıl motivasyonu net bir şekilde anlamadan, çok çeşitli operasyonel ve analitik ihtiyaçları karşılayacak veriler sağlamak zorundadır.
Değişime yavaş yanıt verme
Veri mühendisleri genellikle veriyi alan, birkaç adımda dönüştüren ve en sonunda merkezi bir veri gölünde depolayan işlem hatları uygular. Herhangi bir değişiklik istendiğinde bütün işlem hattında düzenleme yapılması gerekir. Sınırlı iş faaliyet alanı bilgisine sahip olan merkezi ekip bu değişiklikleri yaparken bir yandan da birbiriyle çatışan öncelikleri yönetmek zorundadır.
Daha düşük doğruluk
İş birimleri, veri tüketicilerinden ve merkezi veri ekiplerinden kopuktur. Bu nedenle onları anlamlı, doğru ve faydalı veriler sağlamaya iten bir şey yoktur.
Veri ağının avantajları nelerdir?
Bir veri platformu mimarisi zamanla veri tüketicilerini hüsrana uğratan, veri üreticilerine kopukluk yaşatan ve veri yönetimi ekibini aşırı yük altında bırakan bir hale dönüşebilir. Veri ağı mimarisi, iş birimlerine yüksek otonomiyle hareket etme ve kendi veri faaliyeti alanlarının sahibi olma gücü vererek bu zorlukları gidermeye çalışır. Veri ağı mimarisinin avantajları aşağıda verilmiştir.
Demokratik veri işleme
Veri ağı, veri denetimini merkezi olmayan bir yönetişim çerçevesi içinde anlamlı veri ürünleri oluşturan faaliyet alanı uzmanlarına aktarır. Veri tüketicileri de veri ürünlerine erişim talep etme, onay alma veya değişiklik yaptırma işlemleri için doğrudan veri sahiplerine başvurur. Sonuç olarak herkesin alakalı verilere daha hızlı erişmesi, işletme çevikliğini artırır.
Artan esneklik
Merkezi veri mimarisi daha karmaşıktır. Korunması ve düzenlenmesi için iş birliği gerekir. Veri ağı ise merkezi sistemin teknik uygulama yapısını iş faaliyet alanları altında yeniden organize eder. Böylece hem merkezi veri işlem hatları ortadan kalkar hem de sistemdeki operasyonel dar boğazlar ve teknik baskılar azalır.
Maliyet verimliliği
Dağıtılmış veri mimarisi, toplu işleme yaklaşımından uzaklaşarak bunun yerine gerçek zamanlı veri akışının benimsenmesini destekler. Bu sayede kaynak tahsisi ve depolama maliyetleri üzerindeki görünürlüğü artırmanız, daha iyi bütçeleme performansıyla ve daha düşük maliyetlerle sonuçlanır.
Daha iyi veri keşfi
Veri ağı modeli, merkezi mühendislik ekiplerinin etrafında veri silolarının oluşmasını önler. Ayrıca veri varlıklarının farklı iş faaliyet alanı sistemlerinde kilitli kalması riskini azaltır. Bunun yerine, kuruluşta bulunan veriler merkezi veri yönetimi çerçevesi tarafından yönetilir ve kayıt altına alınır. Örneğin, faaliyet alanı ekipleri kendi verilerini merkezi bir kayıt defteri içerisinde otomatik olarak kaydeder.
Güçlendirilmiş güvenlik ve uygunluk
Veri ağı mimarileri, hem faaliyet alanı içinde hem de faaliyet alanları arasında veri güvenliği politikaları uygular. Bunlar, veri paylaşımı sürecinin merkezi bir şekilde izlenmesini ve denetlenmesini sağlar. Örneğin, tüm faaliyet alanlarında günlük ve izleme verisi gereksinimleri uygulayabilirsiniz. Denetçileriniz, veri erişimi kullanımını ve sıklığını gözlemleyebilir.
Veri ağı nerelerde kullanılır?
Veri ağı, her türlü büyük veri kullanım örneğini destekleyebilir. Aşağıda birkaç örnek verilmiştir.
Veri analizi
Birden fazla iş fonksiyonu, veri analizi iş yükleriniz için güvenilir ve yüksek kaliteli veriler tedarik eder. Ekipleriniz proje performansını, pazarlama sonuçlarını ve operasyonel verileri sergileyen özelleştirilmiş iş zekası panoları oluşturmak üzere verileri kullanabilir. Veri bilimcileri, otomasyonun tüm avantajlarından yararlanmak için makine öğrenimi projelerini hızlandırabilir.
Müşteri hizmetleri
Veri ağı hem destek hem de pazarlama ekiplerinin, müşterileri kapsamlı bir şekilde görmesini sağlar. Örneğin, destek ekipleri alakalı verileri çekerek ortalama çözümleme süresini düşürürken pazarlama ekipleri ise kampanyalarında doğru demografik müşteri kitlesini hedeflediğinden emin olabilir.
Mevzuata uygunluk raporları
Mevzuata uygunluk hedeflerini karşılayabilen verilerdeki hacim, zamanlama ve doğruluk ihtiyacı, hem düzenleyici kurumların hem de düzenlemeye tabi firmaların üstesinden gelmesi gereken zorluklar oluşturur. Veri ağı teknolojilerinin uygulanması, tarafların hepsine fayda sağlayabilir. Örneğin, kuruluşlar rapor verilerini düzenleyici kurumlar tarafından merkezi olarak yönetilen bir veri ağına gönderebilir.
Üçüncü taraf verileri
Veri ağı teknolojisini, üçüncü taraf ve herkese açık veri kümeleri gerektiren kullanım örneklerine uygulayabilirsiniz. Harici verileri ayrı bir faaliyet alanı olarak ele alabilir ve dahili veri kümeleriyle tutarlılığı güvence altına almak için ağ içerisine uygulayabilirsiniz.
Veri ağı mimarisinin ilkeleri nelerdir?
Kuruluşunuz, veri ağı paradigmasını benimsemek için aşağıdaki dört ilkeyi uygulamalıdır.
Dağıtılmış faaliyet alanlarıyla yürütülen mimari
Veri ağı mimarisi, veri yönetimi sorumluluğunun iş fonksiyonları veya faaliyet alanları etrafında organize edilmesini öngörür. Faaliyet alanı ekipleri, kendi iş fonksiyonlarıyla ilgili olan veya kendi iş fonksiyonları tarafından oluşturulan verileri toplamaktan, dönüştürmekten ve sağlamaktan sorumludur. Faaliyet alanı verilerinin veri kaynaklarından merkezi bir veri platformuna akması yerine, belirli bir ekip kendi veri kümelerini kolayca tüketilebilen bir yoldan barındırır ve sunar. Örneğin, bir perakendeci, giyim ürünleri hakkında verileri içeren bir giyim faaliyet alanına ve site ziyaretçilerinin davranış analizlerini içeren bir web sitesi davranışı faaliyet alanına sahip olabilir.
Ürün olarak veri
Bir veri ağı uygulamasının başarılı olması için her faaliyet alanı ekibi, sağladığı veri kümelerine birer ürün gibi bakmalıdır. Her ekip kendi veri varlıklarını ürünleri, kuruluşun geri kalanının iş ve veri ekiplerini de müşterisi olarak görmelidir.
En iyi kullanıcı deneyimi için faaliyet alanının veri ürünleri aşağıdaki temel niteliklere sahip olmalıdır.
Keşfedilebilir
Her veri ürünü, kolay keşfedilebilirlik için kendisini merkezi bir veri kataloğuna kaydettirir.
Adreslenebilir
Her veri ürünü, veri tüketicilerinin ürüne programlama yoluyla erişmesine yardımcı olan benzersiz bir adrese sahip olmalıdır. Bu adres genellikle kuruluş içinde merkezi olarak kararlaştırılan adlandırma standartlarını izler.
Güvenilir
Her bir veri, belgelediği olayları gerçeğe en uygun şekilde yansıtmayı amaçlar. Bu bağlamda, veri ürünleri için kabul edilebilir hizmet düzeyi hedefleri tanımlanır. Örneğin, siparişler faaliyet alanı, bir müşterinin adresini ve telefon numarasını doğruladıktan sonra verileri yayınlayabilir.
Kendi kendisini açıklayan
Tüm veri ürünleri, kuruluş tarafından belirlenen standart adlandırma ilkelerini izleyen, iyi tanımlanmış sentaksa ve semantiğe sahiptir.
Self servis veri altyapısı
Dağıtılmış veri mimarisinde her faaliyet alanı, kendi veri ürünlerini temizlemek, filtrelemek ve yüklemek üzere kendi veri işlem hattını kurmalıdır. Veri ağı, mükerrer çalışma yapılmasını önlemek için self servis veri platformu konseptini kullanıma sunar. Veri mühendisleri, tüm iş birimlerine kendi veri ürünlerini işleme ve depolama imkanı sunan teknolojileri kurar. Dolayısıyla self servis mimarisi, sorumlulukların bölüşülmesine olanak tanır. Veri mühendisliği ekipleri teknolojiyi yönetirken iş ekipleri ise veriyi yönetir.
Federe veri yönetişimi
Veri ağı mimarileri, güvenliği kuruluş içerisinde paylaşılan bir sorumluluk olarak uygular. Liderlik, faaliyet alanları genelinde uygulayabileceğiniz küresel standartları ve politikaları belirler. Aynı zamanda, merkezi olmayan veri mimarisi, faaliyet alanı içerisindeki standartlarda ve politikaların uygulanmasında ileri derecede otonomiye imkan tanır.
Kuruluşunuzda nasıl veri ağı oluşturabilirsiniz?
Veri ağı, ancak pandemi sonrasında ivme kazanan yeni bir konsepttir. Belirli kullanım örnekleri için veri ağı kurmaya çalışan kuruluşlar, farklı teknolojilerle denemeler yapıyor. Ancak kurumsal veri ağının kuruluş genelinde benimsenmesi henüz oldukça nadir görülen bir durum. Veri ağı uygulaması için net bir yol olmamakla birlikte, bazı önerileri aşağıda bulabilirsiniz.
Mevcut verilerinizi analiz edin
Bir veri ağı oluşturmadan önce mevcut verilerinizin kataloğunu çıkarmanız ve ilgili iş faaliyet alanlarını belirlemeniz gerekir. Belirli uyumlulaştırma kurallarının izlenmesi, iş alanları arasında etkili veri bağıntıları kurmanın anahtarıdır. Örneğin alan türü biçimlendirmesi, meta veri alanları ve veri ürünü adres ilkeleri için küresel standartlar tanımlamanız gerekir.
Küresel veri yönetişimi politikaları uygulayın
Federe veri yönetişimi, merkezi BT ekibinizin veri ağı için raporlama, kimlik doğrulama ve uygunluk standartları belirlemesini gerektirir. Veri ürünü sahiplerinin veri kümelerini barındırırken uygulayabileceği ayrıntılı erişim denetimleri de tanımlayabilirsiniz. Veri üreticileri veri kalitesini tanımlarken ve ölçerken, kararlarını merkezi yönetişim politikalarının rehberliğinde alırlar.
Self servis veri platformunuzu oluşturun
İsteyen herkesin üzerinde yeni faaliyet alanı veri ürünleri oluşturabilmesi adına, self servis veri platformunuz genele yönelik olmalıdır. Ayrıca altta yatan teknik karmaşıklığı gizlemelidir ve altyapı bileşenlerini self servis şeklinde sağlamalıdır. Dahil edilecek kabiliyetlerden bazıları şunlardır:
- Veri şifreleme
- Veri ürünü şeması
- Yönetişim ve erişim denetimi
- Veri ürünü keşfi (katalog kaydı veya yayınlanması gibi)
- Veri ürünü günlük kaydı ve izleme
- Daha yüksek performans için önbelleğe alma
Veri ürünleri oluşturmak için gereken hazırlık süresini azaltmak için yapılandırmalar ve betikler gibi otomasyon imkanları da geliştirebilirsiniz.
Doğru teknolojileri seçin
Veri ambarları ve veri gölleri gibi mevcut geleneksel depolama sistemleriniz de veri ağınıza güç verebilir. Yapmanız gereken, bunların kullanımını tek parça sistemlerden merkezi olmayan veri depolarına kaydırmaktır. Veri ağı ayrıca bulut platformlarının ve bulut merkezli teknolojilerin benimsenmesini mümkün kılar. Bulut altyapısı operasyonel maliyetleri ve bir veri ağı oluşturmak için gereken eforu azaltır. Veri ağı mimarinizi desteklemesi için zengin veri yönetimine sahip bir bulut sağlayıcısı seçmeniz gerekir. Eski sistemlerin veri entegrasyonu gereksinimlerini göz önünde bulundurmanız da önemlidir.
Kuruluş geneline yayılan bir kültürel değişim başlatın
Günümüzde, birden fazla veri ürününü kullanarak kolayca veri ağı oluşturmak için gerekli teknolojiye ve araçlara sahibiz. Toplu işlemlerin ve veri akışının birleştirilmesi, Amazon EMR gibi araçlar sayesinde artık hiç olmadığı kadar kolay. Ancak veri ağınızın ölçeğini küçük projelerle sınırlı kalmayacak şekilde genişletmek, bir paradigma değişimi yaşayarak geçmişteki merkezi veri mimarilerinden uzaklaşmayı gerektiriyor. Bunun için, aşağıdakileri vurgulayan yeni bir dile ihtiyaç var:
- Ayıklama ve yükleme yerine, veri keşfi ve kullanımı
- İleri tarihte yüksek hacimli toplu işleme yerine, gerçek zamanlı veri işleme
- Merkezi veri platformu mimarisi yerine, dağıtılmış veri ürünü sahipliği
Şu anda genellikle mimari kararlar, veri teknolojisine dayalı olarak verilir. Veri ağı bu akış yönünü değiştirerek faaliyet alanı veri ürünlerini merkeze yerleştirir ve teknoloji kararlarının bunlara dayalı olarak verilmesini sağlar.
Veri ağı ile veri gölü arasındaki fark nedir?
Veri gölü, yapılandırılmış ve yapılandırılmamış verilerinizi hiçbir ön işleme olmadan ve her ölçekte depolayabileceğiniz bir depodur. Veri gölü, merkezileştirilmiş veri platformlarında tüm olası kaynaklardan alınan verilerin depolandığı temel teknolojidir.
Veri ağı, veri göllerini farklı şekilde kullanan bir veri yönetimi paradigmasıdır. Burada veri gölü artık bütün mimarinin orta noktası değildir. Bunun yerine, veri ürünlerini uygulamak için veya self servis altyapısının bir parçası olarak kullanabileceğiniz bir bileşendir.
Veri ağı ile veri yapısı arasındaki fark nedir?
Veri yapısı, çeşitli bulut ortamlarının ve veri işlem hatlarının uçtan uca entegrasyonu için makine öğrenimini ve otomasyonu kullanan bir başka modern mimaridir. Bunu altyapınızın üzerinde, uyumlu bir şekilde entegre olan ve verileri teknik uzmanlığı olmayan kullanıcılara sunan bir teknoloji katmanı olarak düşünebilirsiniz. Örneğin, karar alıcılar tüm verilerini tek bir yerde görüntülemek ve farklı veri kümeleri arasında bağlantılar kurmak için veri yapısını kullanabilir.
Veri yapısı ve veri ağı benzer hedeflere hizmet ederler: birleşik ve etkili veri yönetimi. Örneğin, merkezi bir veri gölünüzün olduğunu ve veri alımı için AWS hizmetlerini kullandığınızı varsayalım. Aynı zamanda, veri dönüşümleri için eski bir altyapınızın olduğunu düşünelim. Veri yapınız iki sistemi entegre eder ve mevcut işlem hattını değiştirmeden birleşik bir görünüm sunar.
Dolayısıyla veri yapısı, mevcut altyapınızla uyumlu çalışmak için teknolojiden yararlanır. Öte yandan, veri ağı için altyapının kendisini değiştirmeniz gerekir. İş faaliyet alanlarınızın genelinde, veri yönetiminizin gönder ve al modelini değiştirerek sun ve çek modeline dönüştürmeniz gerekir.
AWS, veri ağı mimarilerinizi nasıl destekleyebilir?
AWS'de Modern Veri Mimarisi sayfasında, kuruluşunuzda veri ağını ve diğer modern veri mimarilerini uygulamak üzere kullanabileceğiniz birkaç hizmet listelenmektedir. Performanstan taviz vermeden, düşük maliyetle veri ürünleri ve veri ağı altyapısı oluşturabilirsiniz.
Kullanabileceğiniz AWS hizmetlerinden bazıları şunlardır:
- Etiket tabanlı erişim denetimiyle geniş ölçekte veri ağı örüntüsü oluşturmak için AWS Lake Formation kullanın
- Veri ağınıza üçüncü taraf verileri entegre etmek için AWS Veri Değişimi kullanın
- Veri ürünlerini paylaşmak, barındırmak ve kataloglamak için AWS Glue kullanın
Hemen ücretsiz bir hesap oluşturarak AWS'de veri ağınızı kullanmaya başlayın.
