Buluta Veri Geçişi
Veriler; başarılı uygulama dağıtımlarının, analiz iş akışlarının ve makine öğrenimi inovasyonlarının temelini oluşturur. Verileri buluta taşırken, diğer hususların yanı sıra farklı kullanım örnekleri için verileri nereye taşıdığınızı, taşıdığınız veri türlerini ve kullanılabilir ağ kaynaklarını anlamanız gerekir. Dosyalar, veritabanları, makine görüntüleri, blok birimleri ya da bant yedeklemeleri fark etmeksizin AWS, veri kümelerinizin geçişini gerçekleştirmenize yardımcı olan çok çeşitli hizmetler ve çözüm ortağı araçları sunar.
AWS Buluta Veri Geçişi Hizmetleri
AWS, herhangi bir veri geçişi projesi için doğru çözümü sağlamak amacıyla veri aktarımı hizmetleri için bir portföy sağlar. Bağlantı seviyesi, veri geçişinde büyük bir faktördür ve AWS’de hibrit bulut depolama alanı, çevrimiçi veri transferi ve çevrimdışı veri transferi ihtiyaçlarınıza yönelik teklifler vardır.
Hibrit bulut depolama alanı
Birçok müşteri bulut depolamasının avantajlarından yararlanmak istiyor ancak verilerine düşük gecikme süresiyle erişim veya buluta hızlı veri aktarımı gerektiren, şirket içinde çalışan uygulamalar kullanıyor. AWS hibrit bulut depolama alanı mimarileri; maliyetleri düşürmenize, yönetim yükünü en aza indirmenize ve verilerinizle inovasyon yapmanıza yardımcı olmak için şirket içi uygulamalarınız ve sistemleriniz ile bulut depolama alanı arasında bağlantı kurar.
AWS Storage Gateway
AWS Storage Gateway, AWS Depolama Alanının şirket içinde benimsenmesini basitleştirir. Storage Gateway, şirket içi uygulamalarınızın AWS Depolama Alanına sorunsuz bir şekilde bağlanmasını ve genişlemesini sağlar. Müşteriler, bant kitaplıklarını bulut depolaması ile sorunsuzca değiştirmek, bulut depolaması destekli dosya paylaşımları sağlamak veya şirket içi uygulamalar için AWS’de verilere erişmek amacıyla düşük gecikmeli bir önbellek oluşturmak üzere Storage Gateway kullanmaktadır. Hizmet üç farklı ağ geçidi türü sunar: Dosya Ağ Geçidi, Bant Ağ Geçidi ve Birim Ağ Geçidi.
- Dosya Ağ Geçidi dosya verileri Amazon S3 File Gateway kullanarak dayanıklı nesneler olarak Amazon S3'te ya da Amazon FSx File Gateway kullanarak tam olarak yönetilen dosya paylaşımlarında depolanır.
- Bant Ağ Geçidi sanal bant kitaplığı (VTL) yapılandırması, Amazon S3'te uygun maliyetli bant alternatifi ile S3 Glacier ve S3 Glacier Deep Archive'da uzun süreli arşivleme için mevcut yedekleme yazılımınızla sorunsuz bir şekilde entegre olur.
- Birim Ağ Geçidi, EBS anlık yedekleri olarak belirli bir noktaya ait yedekler ile blok birimlerini yerel olarak depolar veya önbelleğe alır. Bu anlık yedekler bulutta kurtarılabilir.
AWS Direct Connect
Müşteriler, kendi veri merkezleriyle AWS veri merkezleri arasında ağ aktarımını hızlandırmak için Direct Connect'e tahsis edilmiş fiziksel bir bağlantı seçer.
AWS Direct Connect, ağınız ile AWS Direct Connect konumlarından biri arasında tahsis edilmiş bir ağ bağlantısı kurmanıza olanak sağlar. Bu tahsis edilmiş bağlantı, sektör standardı 802.1q VLAN'ları kullanarak birden fazla sanal arabirime bölünebilir. Bu, genel IP adres alanı kullanarak Amazon S3'te depolanan nesneler gibi genel kaynaklara ve özel IP alanı kullanarak bir Amazon Virtual Private Cloud (VPC) içinde çalıştırılan Amazon EC2 bulut sunucuları gibi özel kaynaklara erişmek için aynı bağlantıyı kullanmanıza ve aynı zamanda genel ile özel ortamlar arasındaki ağ ayrımını korumanıza olanak tanır. Sanal arabirimler, değişen ihtiyaçlarınızı karşılamak için istendiği zaman yeniden yapılandırılabilir.
Şirket içi teknolojilerin buluta genişletilmesine yardımcı olan AWS Direct Connect Çözüm Ortağı Paketlerimizi keşfedin.
Çevrimiçi veri aktarımı
Bu hizmetler, çevrimiçi yöntemleri kullanarak verilerinizi AWS’de içeri ve dışarı aktarmanızı kolaylaştırır.
AWS DataSync
AWS DataSync, şirket içi depolama alanı ile Amazon S3, Amazon Elastic File System (Amazon EFS) veya Amazon FSx for Windows File Server arasında veri taşıma işlemini otomatikleştirmenizi kolaylaştıran bir veri aktarımı hizmetidir. DataSync; kendi bulut sunucularınızı çalıştırmak, şifrelemeyi işlemek, betikleri yönetmek, ağ optimizasyonu ve veri bütünlüğü doğrulaması dahil olmak üzere veri geçişlerinizi yavaşlatabilen veya BT operasyonları yükünüzü artırabilen veri aktarımlarıyla ilgili birçok görevi otomatik olarak yönetir. DataSync'i, açık kaynak araçlarından 10 kata kadar daha hızlı bir şekilde verileri aktarmak için kullanabilirsiniz. Tek seferlik veri geçişleri, tekrarlayan veri işleme iş akışları, verileri korumaya ve kurtarmaya yönelik otomatikleştirilmiş çoğaltma amacıyla AWS Direct Connect veya internet bağlantıları üzerinden AWS'ye veri kopyalamak için DataSync'i kullanabilirsiniz.
AWS Transfer Ailesi
AWS Transfer Ailesi; Amazon S3’te doğrudan içeri ve dışarı dosya aktarımı için tam olarak yönetilen destek sunar. Güvenli Dosya Aktarım Protokolü (SFTP), SSL üzerinden Dosya Aktarım Protokolü (FTPS) ve Dosya Aktarım Protokolü (FTP) desteği ile AWS Transfer Ailesi mevcut doğrulama sistemleri ile entegre olarak ve Amazon Route 53 ile DNS yönlendirme sağlayarak dosya aktarımı iş akışlarınızın sorunsuzca AWS’ye geçişine yardımcı olur. Böylece, müşterileriniz ve çözüm ortaklarınız veya uygulamaları için hiçbir şey değişmez. Verileriniz Amazon S3'te olduğundan işleme, analiz, makine öğrenimi ve arşivleme için bu verileri AWS hizmetleriyle birlikte kullanabilirsiniz. AWS Transfer Ailesini kullanmaya başlamak kolaydır; satın alıp kurmanız gereken bir altyapı yoktur.
Amazon S3 Transfer Acceleration
Amazon S3 Transfer Acceleration, Amazon S3'e yapılan genel internet aktarımlarını hızlandırır. Mesafeden veya değişken internet durumundan bağımsız olarak kullanabileceğiniz bant genişliğini maksimum düzeye çıkarabilirsiniz ve özel istemci ya da tescilli ağ protokolleri gerekmez. S3 klasörünüzle kullandığınız uç noktayı değiştirmeniz yeterlidir, hızlandırma otomatik olarak uygulanır.
Bu; medya yüklemeleri, yedeklemeler ve düzenli olarak merkezi bir konuma gönderilen yerel veri işleme görevleri gibi dünyanın dört bir yanını dolaşan ve yinelenen işler için idealdir.
AWS Snowcone
AWS Snowcone, AWS Snow ailesinin uç işlemi ve veri aktarım cihazlarının en küçük üyesidir. Snowcone; taşınabilir, sağlam ve güvenlidir. AWS DataSync ile çevrimiçi olarak AWS’ye veri toplamak, işlemek ve taşımak için Snowcone’u kullanabilirsiniz. Uç konumlarda veri merkezi BT ekipmanı için gereken alan, güç ve soğutma genellikle olmadığı için bağlantısı kesilmiş ortamlarda ve bağlı kenar konumlarında uygulama çalıştırmak zor olabilir. AWS Snowcone verileri güvenli bir şekilde uç konumlarda depolar ve AWS IoT Greengrass veya Amazon EC2 bulut sunucuları kullanan uç işlemi iş yüklerini çalıştırabilir. Snowcone cihazları küçüktür ve 2,1 kg ağırlığındadır. Böylece, bir sırt çantasında taşıyabilir veya IoT, araç ve hatta drone kullanım durumlarında bile dar alanlara sığdırabilirsiniz.
Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose, akış verilerini AWS'ye yüklemenin en kolay yoludur. Bu hizmet akış verilerini yakalayıp otomatik olarak Amazon S3 ve Amazon Redshift’e yükleyebilir, kullanmakta olduğunuz iş zekası araçları ve panolarıyla neredeyse gerçek zamanlı analiz çalışmaları gerçekleştirmenizi sağlayabilir. Verilerinizin aktarım hızıyla eşleşecek şekilde otomatik olarak ölçeklendirilen, tam olarak yönetilen bir hizmettir ve sürekli yönetim gerektirmez. Ayrıca, verileri yüklemeden önce toplayabilir, sıkıştırabilir ve şifreleyebilir. Bu sayede, hedefte kullanılan depolama miktarını en aza indirir ve güvenliği artırır. AWS Management Console'dan kolayca bir Firehose teslim akışı oluşturabilir, bunu birkaç tıklamayla yapılandırabilir ve yalnızca birkaç dakikada yüz binlerce veri kaynağından kesintisiz bir şekilde AWS'ye yüklenmek üzere akışa veri göndermeye başlayabilirsiniz.
APN Çözüm Ortağı Ürünleri
AWS, geleneksel yedekleme ile bulut arasındaki boşluğu dolduran fiziksel ağ geçidi gereçleri konusunda sektördeki çeşitli satıcılarla çözüm ortaklığı kurmuştur. Mevcut şirket içi verilerinizi Amazon'un bulut depolama alanına bağlayarak performansı etkilemeden ve mevcut yedekleme kataloglarını koruyarak geçiş yapın.
- Mevcut altyapıyla sorunsuz bir şekilde entegre olur
- Yinelenen verileri kaldırma, sıkıştırma, şifreleme veya WAN hızlandırması olanaklarını sunar
- Son yedeklemeleri yerel olarak önbelleğe alın, her şeyi AWS Cloud'da depolayın
Çevrimdışı veri aktarımı
AWS Snow Ailesi, çevrimdışı yöntemleri kullanarak verilerinizi AWS’de içeri ve dışarı aktarmanızı kolaylaştırır.
AWS Snowcone
AWS Snowcone, AWS Snow ailesinin uç işlemi ve veri aktarım cihazlarının en küçük üyesidir. Snowcone; taşınabilir, sağlam ve güvenlidir. Çevrimdışı olarak AWS’ye veri toplamak, işlemek ve taşımak için Snowcone’u kullanabilirsiniz. Uç konumlarda veri merkezi BT ekipmanı için gereken alan, güç ve soğutma genellikle olmadığı için bağlantısı kesilmiş ortamlarda ve bağlı kenar konumlarında uygulama çalıştırmak zor olabilir. AWS Snowcone verileri güvenli bir şekilde uç konumlarda depolar ve AWS IoT Greengrass veya Amazon EC2 bulut sunucuları kullanan uç işlemi iş yüklerini çalıştırabilir. Snowcone cihazları küçüktür ve 2,1 kg ağırlığındadır. Böylece, bir sırt çantasında taşıyabilir veya IoT, araç ve hatta drone kullanım durumlarında bile dar alanlara sığdırabilirsiniz.
AWS Snowball
AWS Snowball, yerleşik depolama ve işlem özelliklerine sahip petabayt ölçeğinde bir veri aktarma ve uç bilişim cihazı olup iki seçenek halinde sunulmaktadır. Snowball Edge Storage Optimized cihazları blok depolaması ve Amazon S3 uyumlu nesne depolamasına ek olarak 40 adet vCPU sunar. Yerel depolama ve büyük ölçekli veri aktarımı için çok uygundur. Snowball Edge Compute Optimized cihazları bağlantısız ortamlarda gelişmiş makine öğrenimi ve tam devinimli video analizi gibi kullanım örnekleri için 52 adet vCPU, blok ve nesne depolamasına ek olarak isteğe bağlı bir GPU da sunar. Bu cihazları, AWS’ye geri göndermeden önce kesintili bağlantıya sahip ortamlarda (üretim, sanayi ve taşımacılık gibi) veya çok uzak konumlarda (askeri operasyonlar veya denizcilik operasyonları gibi) veri toplama, makine öğrenimi ve işleme ve depolama işlemleri için kullanabilirsiniz. Bu cihazlar rafa da monte edilebilir ve bir kümeye dahil edilerek daha büyük geçici sistemler oluşturulabilir.
Yönetilmeyen buluta veri taşıma araçları
AWS, verileri konumunuzdan AWS bulut depolama alanına taşımak için kolay betik veya CLI araçları da sunar.
rsync
Müşteriler, verileri doğrudan S3 klasörlerine kopyalamak için 3. taraf dosya sistemi araçlarının yanı sıra açık kaynak kodlu bir araç olan rsync'i kullanmaktadır.
S3 komut satırı arabirimi
Müşteriler, verilerin doğrudan S3 klasörlerine taşınmasını sağlayan komutlar yazmak için Amazon S3 CLI'yı kullanmaktadır.
S3 Glacier komut satırı arabirimi
Müşteriler, verileri S3 Glacier kasalarına taşımak için Amazon S3 Glacier CLI'yı kullanmaktadır.
Buluta veri geçişinde yaygın olarak karşılaşılan zorluk
Veri aktarımının göz korkutucu gerçekleri çoğu proje için geçerlidir. Mevcut konumunuzdan yeni bulutunuza minimum kesinti, maliyet ve zamanla sorunsuz bir şekilde nasıl geçebilirsiniz? GB, TB veya PB boyutlarındaki verilerinizi gerçekten buluta taşımanın en akıllıca yolu nedir?
Bu temel bir sorundur: Ne kadar veri, ne kadar hızlı bir şekilde ne kadar uzağa taşınabilir? En iyi senaryo için şu formülü kullanın:
Gün sayısı = (Toplam Bayt)/(Saniye başına megabit * 125 * 1.000 * Ağ Kullanımı * 60 saniye * 60 dakika * 24 saat)
Örneğin, bir T1 bağlantınız (1,544 Mb/sn.) ve AWS'nin içine ya da dışına taşımanız gereken 1 TB (1024 * 1024 * 1024 * 1024 bayt) veriniz varsa, bu verinin ağ bağlantınız üzerinden %80 ağ kullanımıyla yüklenmesi için teorik olarak gerekli en kısa süre 82 gündür.
Rahat olun. Bu konuda deneyimliyiz. Müşterilerin buna iki şekilde yaklaştığını biliyoruz: Verilerini taşımak için çok temel, yönetilmeyen geçiş araçlarını kullanıyorlar veya AWS’nin yukarıda belirtilen hizmet paketinden bir seçim yapıyorlar.
Genel bir kural olarak, en iyi sonuçlar için şunları öneririz:
| Bağlantı | Veri Ölçeği | Yöntem |
|---|---|---|
| 10 Mb/sn.'den az | 500 GB'tan az | Yönetilmeyen |
| 10 Mb/sn.'den fazla | 500 GB'tan fazla | Yönetilen hizmet |