Amazon EC2 P5 Bulut Sunucuları

Derin öğrenme ve HPC uygulamaları için en yüksek performanslı GPU tabanlı bulut sunucuları
P5 Bulut Sunucularını kullanmaya başlayın
Gelecekte kullanmak üzere rezerve edin

Neden Amazon EC2 P5 Bulut Sunucuları?

NVIDIA H100 Tensor Core GPU'lar tarafından desteklenen Amazon Elastic Compute Cloud (Amazon EC2) P5 bulut sunucuları ve NVIDIA H200 Tensor Core GPU'lar tarafından desteklenen P5e ve P5en bulut sunucuları, derin öğrenme (DL) ve yüksek performanslı bilgi işlem (HPC) uygulamaları için Amazon EC2'de en yüksek performansı sunar. Önceki nesil GPU tabanlı EC2 bulut sunucularına kıyasla çözüme ulaşma sürenizi 4 kata kadar hızlandırmanıza ve makine öğrenimi modellerini eğitme maliyetini %40'a kadar azaltmanıza yardımcı olurlar. Bu bulut sunucuları, çözümlerinizi daha hızlı bir şekilde yinelemenize ve pazara daha hızlı ulaşmanıza yardımcı olur. Giderek daha karmaşık hale gelen büyük dil modellerini (LLM'ler) ve en zorlu üretken yapay zeka (AI) uygulamalarını destekleyen dağıtım modellerini eğitmek ve dağıtmak için P5, P5e ve P5en bulut sunucularını kullanabilirsiniz. Bu uygulamalar arasında soru yanıtlama, kod oluşturma, video ve görüntü oluşturma ve konuşma tanıma yer alır. Bu bulut sunucularını farmasötik keşif, sismik analiz, hava durumu tahmini ve finansal modelleme için zorlu HPC uygulamalarını geniş ölçekte dağıtmak amacıyla da kullanabilirsiniz.

Bu performans iyileştirmelerini ve maliyet tasarruflarını sağlamak için P5 ve P5e bulut sunucuları, önceki nesil GPU tabanlı bulut sunucularına kıyasla 2 kat daha yüksek CPU performansı, 2 kat daha yüksek sistem belleği ve 4 kat daha yüksek yerel depolama ile NVIDIA H100 ve H200 Tensor Core GPU'larını tamamlar. P5en bulut sunucuları, NVIDIA H200 Tensor Core GPU'ları yüksek performanslı Intel Sapphire Rapids CPU ile eşleştirerek CPU ve GPU arasında Gen5 PCIe'yi etkinleştirir. P5en bulut sunucuları, CPU ve GPU arasında 2 kata kadar bant genişliği ve P5e ve P5 bulut sunucularına kıyasla daha düşük ağ gecikmesi sağlayarak dağıtılmış eğitim performansını artırır. P5 ve P5e bulut sunucuları, ikinci nesil Esnek Yapı Bağdaştırıcısı (EFA) kullanarak 3.200 Gbps'ye kadar ağ iletişimi desteği sağlar. Nitro v5 kullanan üçüncü nesil EFA'ya sahip P5en, önceki nesil EFA ve Nitro'yu kullanan P5'e kıyasla gecikme süresinde %35'e varan iyileşme gösterir. Bu iyileşme, derin öğrenme, üretken yapay zeka, gerçek zamanlı veri işleme ve yüksek performanslı bilgi işlem (HPC) uygulamaları gibi dağıtılmış eğitim iş yükleri için kolektif iletişim performansını artırmaya yardımcı olur. Bu bulut sunucuları, düşük gecikme süresiyle büyük ölçekli işlem sunmak için petabit ölçeğinde engellemesiz bir ağla birbirine bağlanan 20.000 H100 veya H200 GPU'ya kadar ölçeklendirme sağlayan Amazon EC2 UltraClusters'a dağıtılır. EC2 UltraClusters'taki P5, P5e ve P5en bulut sunucuları, 20 exaflop'a kadar toplam işlem kapasitesi sunabilir. Bu, süper bilgisayar performansına eş değerdir.

Amazon EC2 P5 Bulut Sunucuları

Avantajlar

P5, P5e ve P5en bulut sunucuları, ultra büyük üretici yapay zeka modellerini geniş ölçekte eğitebilir ve önceki nesil GPU tabanlı EC2 bulut sunucularının 4 katına kadar performans sunabilir.

P5, P5e ve P5en bulut sunucuları, eğitim sürelerini ve çözüm süresini haftalardan sadece birkaç güne düşürür. Bu, daha hızlı bir şekilde yinelemenize ve pazara daha hızlı ulaşmanıza yardımcı olur.

P5, P5e ve P5en bulut sunucuları, önceki nesil GPU tabanlı EC2 bulut sunucularına kıyasla DL eğitimi ve HPC altyapı maliyetlerinde %40'a varan tasarruf sağlar.

P5, P5e ve P5en bulut sunucuları 3.200 Gbps'ye kadar EFA ağı sağlar. Bu bulut sunucuları EC2 UltraClusters'ta dağıtılır ve toplam işlem kapasitesi olarak 20 exaflop sunar.

Özellikler

P5 bulut sunucuları, bulut sunucusu başına toplam 640 GB'a kadar HBM3 GPU belleğine sahip 8 adede kadar NVIDIA H100 GPU sağlar. P5e ve P5en bulut sunucuları, bulut sunucusu başına toplam 1128 GB'a kadar HBM3e GPU belleğine sahip 8 adede kadar NVIDIA H200 GPU sağlar. Her iki bulut sunucusu da 900 GB/sn'ye kadar NVSwitch GPU ara bağlantısını destekler (her bulut sunucusunda toplam 3,6 TB/sn iki bölümlü bant genişliği), böylece her GPU aynı bulut sunucusunda tek atlamalı gecikmeyle diğer tüm GPU'larla iletişim kurabilir.

NVIDIA H100 ve H200 GPU'lar, FP8 ve 16 bit hesaplamaları akıllıca yöneten ve dinamik olarak seçim yapan yeni bir dönüştürücü altyapısına sahiptir. Bu özellik, önceki nesil A100 GPU'lara kıyasla LLM'lerde DL eğitim hızlarının daha yüksek olmasına yardımcı olur. HPC iş yükleri için NVIDIA H100 ve H200GPU'lar, A100 GPU'lara kıyasla dinamik programlama algoritmalarını daha da hızlandıran yeni DPX talimatlarına sahiptir.

P5, P5e ve P5en bulut sunucuları 3.200 Gbps'ye kadar EFA ağ iletişimi sunar. EFA ayrıca, işletim sistemi atlamasına sahip sunucular arasında düşük gecikmeli GPU'dan GPU'ya iletişimi sağlamak için NVIDIA GPUDirect RDMA ile ilişkilendirilmiştir.

P5, P5e ve P5en bulut sunucuları Lustre İçin Amazon FSx dosya sistemlerini destekler, böylece büyük ölçekli DL ve HPC iş yüklerinde gereken yüzlerce Gb/sn aktarım hızı ve milyonlarca IOPS hızında verilere erişebilirsiniz. Her bulut sunucusu ayrıca büyük veri kümelerine hızlı erişim için 30 TB'a kadar yerel NVMe SSD depolama alanını destekler. Amazon Simple Storage Service (Amazon S3) ile uygun maliyetli ve neredeyse sınırsız depolamayı da kullanabilirsiniz.

Müşteri görüşleri

Müşterilerin ve çözüm ortaklarının, Amazon EC2 P4 bulut sunucularıyla işletme hedeflerine nasıl ulaştıklarına ilişkin bazı örnekleri aşağıda bulabilirsiniz.

  • Anthropic

    Anthropic, ticari olarak ve kamu yararına değer yaratmak için birçok fırsata sahip olacak güvenilir, yorumlanabilir ve yönlendirilebilir yapay zeka sistemleri oluşturuyor.

    Anthropic'te güvenilir, yorumlanabilir ve yönlendirilebilir yapay zeka sistemleri oluşturmak için çalışıyoruz. Günümüzün büyük genel yapay zeka sistemleri önemli faydalara sahip olsa da bunlar öngörülemez, güvenilmez ve şeffaflıktan uzak olabilirler. Amacımız bu konularda ilerleme kaydetmek ve insanların yararlı bulduğu sistemleri dağıtmaktır. Kuruluşumuz, derin öğrenme araştırmalarında temel modeller oluşturan dünyada az sayıdaki kuruluştan biridir. Bu modeller oldukça karmaşıktır ve bu son teknoloji modelleri geliştirmek ve eğitmek için, bunları büyük GPU kümeleri arasında verimli bir şekilde dağıtmamız gerekiyor. Bugün Amazon EC2 P4 bulut sunucularını yoğun bir şekilde kullanıyoruz ve P5 bulut sunucularının kullanıma sunulmasından heyecan duyuyoruz. P4d bulut sunucularına kıyasla hem önemli fiyat-performans avantajları sunacaklarını hem de yeni nesil büyük dil modelleri ve ilgili ürünler oluşturmak için gereken büyüklükteki bir ölçekte kullanılabileceklerini umuyoruz.

    Tom Brown, Kurucu Ortak, Anthropic

  • Cohere

    Dilde yapay zeka alanında lider bir öncü olan Cohere, her geliştiriciye ve kuruluşa, dünya lideri doğal dil işleme (NLP) teknolojisiyle inanılmaz ürünler oluşturma ve aynı zamanda verilerini gizli ve güvende tutma gücü veriyor

    Cohere, her kuruluşun bilgiyi hem doğal hem de sezgisel bir şekilde keşfetmesi, üretmesi, araması ve buna göre hareket etmesi amacıyla dil yapay zekasının gücünden yararlanmasını, her müşteri için en iyi sonucu veren veri ortamındaki birden fazla bulut platformuna dağıtım yapmasını sağlama konusuna öncülük ediyor. NVIDIA H100 destekli Amazon EC2 P5 bulut sunucuları, Cohere'in son teknoloji ürünü büyük dil modeli ve üretici yapay zeka yetenekleriyle birleşen bilgi işlem gücüyle işletmelerin daha hızlı oluşturma, büyüme ve ölçeklendirme yeteneğini ortaya çıkaracak.

    Aidan Gomez, CEO, Cohere

  • Hugging Face

    Hugging Face'in misyonu, iyi makine öğrenimini demokratik hâle getirmek.

    En hızlı büyüyen açık kaynaklık makine öğrenimi topluluğu olarak artık; doğal dil işleme, bilgisayarla görme, biyoloji, pekiştirmeli öğrenme ve daha fazlası için platformumuzda 150.000'den fazla önceden eğitilmiş model ve 25.000 veri kümesi sağlıyoruz. LLM'ler ve üretici yapay zekadaki önemli gelişmelerle birlikte, yarının açık kaynaklı modellerini oluşturmak ve bunlara katkıda bulunmak için AWS ile birlikte çalışıyoruz. Herkes için yeni temel yapay zeka modellerinin sunulmasını hızlandırmak amacıyla Amazon SageMaker aracılığıyla Amazon EC2 P5 bulut sunucularını Esnek Yapı Bağdaştırıcısı ile UltraClusters'ta uygun ölçekte kullanmayı sabırsızlıkla bekliyoruz.

    Julien Chaumond, CTO ve Kurucu Ortak, Hugging Face

Ürün bilgileri

Bulut Sunucusu Boyutu vCPU'lar Bulut Sunucusu Belleği (TiB) GPU   GPU belleği Ağ Bant Genişliği (Gbps) GPUDirect RDMA GPU Eşler Arası Bulut Sunucusu Depolama Alanı (TB) EBS Bant Genişliği (Gbps)
p5.48xlarge 192 2 8 H100 640 GB
HBM3		 3200 Gbps EFA Evet 900 GB/s NVSwitch 8 x 3.84 NVMe SSD 80
p5e.48xlarge 192 2 8 H200 1128 GB
HBM3e		 3200 Gbps EFA Evet 900 GB/s NVSwitch 8 x 3.84 NVMe SSD 80
p5en.48xlarge 192 2 8 H200 1128 GB HBM3e 3200 Gbps EFA Evet 900 GB/s NVSwitch 8 x 3,84 NVMe SSD 100

ML kullanım örneklerini kullanmaya başlama

SageMaker, makine öğrenimi modelleri oluşturup bunları eğitmeye ve dağıtmaya yönelik tam olarak yönetilen bir hizmettir. SageMaker HyperPod ile, dayanıklı eğitim kümeleri kurma ve yönetme konusunda endişelenmeden bir modeli herhangi bir ölçekte hızla eğitmek için ölçeği onlarca, yüzlerce veya binlerce GPU içerecek şekilde çok daha kolayca genişletebilirsiniz.

DLAMI, makine öğrenimi uygulayıcılarına ve araştırmacılarına bulutta ve tüm ölçeklerde derin öğrenmeyi hızlandırmak için kullanabilecekleri altyapıyı ve araçları sunar. Derin Öğrenme Container'ları, ortamlarınızı sıfırdan oluşturma ve optimize etme gibi karmaşık bir işlemi atlamanızı sağlayarak özel makine öğrenimi ortamlarını dağıtmanızı kolaylaştırmak amacıyla, DL çerçeveleri önceden yüklenmiş olarak sunulan Docker görüntüleridir.

Kendi container'lı iş yüklerinizi container düzenleme hizmetleri aracılığıyla yönetmeyi tercih ederseniz P5, P5e ve P5en bulut sunucularını Amazon EKS veya Amazon ECS ile dağıtabilirsiniz.

HPC kullanım örneklerini kullanmaya başlama

P5, P5e ve P5en bulut sunucuları mühendislik simülasyonları, hesaplamalı finans, sismik analiz, moleküler modelleme, genomik, görsel işleme ve benzeri, yoğun GPU tabanlı HPC iş yüklerini çalıştırmak için ideal bir platformdur. HPC uygulamaları genellikle yüksek ağ performansı, hızlı depolama, büyük miktarda bellek, çok yüksek kapasiteli işlem özellikleri ya da bunların hepsini birden gerektirir. Her üç bulut sunucusu türü de HPC uygulamalarının binlerce GPU'ya ölçeklendirmek için Message Passing Interface'i (MPI) kullanmasını sağlayan EFA'yı destekler. AWS Toplu İşlem ve AWS ParallelCluster, HPC geliştiricilerinin dağıtılmış HPC uygulamalarını hızla oluşturmasına ve ölçeklendirmesine yardımcı olur.

Daha fazla bilgi edinin