Anthropic'te milyonlarca insan işleri için her gün Claude'a güveniyor. AWS ile ilgili iki önemli gelişmeyi duyuruyoruz: Birincisi, Amazon Bedrock aracılığıyla Trainium2'de %60 daha hızlı çalışan, Claude 3.5 Haiku için yeni bir "gecikme için optimize edilmiş moddur". İkincisi ise, önceki kümemizin boyutunun 5 katından büyük olan ve yüzlerce exaflop sağlayan yüz binlerce Trainium2 yongasıyla yeni bir küme olan Project Rainier'dır. Project Rainier, hem araştırmamızı hem de yeni nesil ölçeklendirmemizi güçlendirmeye yardımcı olacak. Müşterilerimiz için bu, daha fazla zeka, daha düşük fiyatlar ve daha yüksek hızlar anlamına geliyor. Sadece daha hızlı yapay zeka oluşturmakla kalmıyoruz, ölçeklenebilen güvenilir yapay zeka inşa ediyoruz.

Databricks Mosaic AI, kuruluşların kaliteli Temsilci Sistemleri oluşturmasına ve dağıtmasına olanak tanır. Yerel olarak veri gölü evinin üzerine inşa edilmiştir ve müşterilerin modellerini kurumsal verilerle kolayca ve güvenli bir şekilde özelleştirmelerine ve daha doğru ve etki alanına özgü çıktılar sunmalarına olanak tanır. Trainium'un yüksek performansı ve uygun maliyetli olması sayesinde, müşteriler model eğitimini Mosaic AI üzerinde düşük maliyetle ölçeklendirebilmektedir. Mosaic AI'ya olan talep tüm müşteri segmentleri genelinde ve dünya çapında artmaya devam ettiğinden, Trainium2'nin erişilebilirliği Databricks ve müşterileri için büyük bir avantaj olacaktır. Dünyanın en büyük veri ve yapay zeka şirketlerinden biri olan Databricks, müşterileri için daha iyi sonuçlar sunmak ve TCO'yu %30'a kadar düşürmek için TRN2'yi kullanmayı planlıyor.

poolside'da, yapay zekanın ekonomik açıdan değerli çalışmaların ve bilimsel ilerlemenin büyük çoğunluğunu yönlendireceği bir dünya inşa etmeye hazırız. Yazılım geliştirme sürecinin, sinir ağlarında insan düzeyinde zekaya ulaşan ilk önemli yetenek olacağına inanıyoruz çünkü burası, Arama ve Öğrenme yaklaşımlarını en iyi şekilde birleştirebileceğimiz etki alanıdır. Bunu sağlamak üzere altyapı modelleri, bir API ve üretken yapay zekanın gücünü geliştiricilerinizin ellerine (veya klavyesine) getirmek için bir Asistan oluşturuyoruz. Bu teknolojiyi sağlamanın önemli bir anahtarı, ürünlerimizi oluşturmak ve çalıştırmak için kullandığımız altyapıdır. AWS Trainium2 ile müşterilerimiz, poolside kullanımlarını diğer yapay zeka hızlandırıcılarından çok farklı bir fiyat performansı ile ölçeklendirebilecek. Ayrıca Trainium2 UltraServers ile, EC2 P5 bulut sunucularına kıyasla beklenen %40 tasarrufla gelecekteki modelleri eğitmeyi planlıyoruz.

AWS Trainium ve Inferentia'yı standart çıkarımdan ince ayarlanmış uygulamalara kadar çeşitli görevlerde test ettik. Bu yapay zeka yongalarının performansı, araştırma ve geliştirme sürecimizde önemli kilometre taşlarına ulaşmamızı sağladı. Hem toplu hem de çevrimiçi çıkarım görevleri için, GPU'lara kıyasla aktarım hızında 7 kat iyileşme gördük. Bu gelişmiş performans, kuruluş genelinde daha fazla kullanım örneğine genişleme imkanı sağlıyor. En yeni nesil Trainium2 yongaları, GenAI için çığır açan özelliklerin ve Itau'da inovasyonun kapısını açıyor.

AWS TRN2'nin lansmanı için son derece heyecanlıyız çünkü Llama 3.1 405B'yi temel alan ana modelimiz Ninja LLM için belirteç başına en iyi performansı ve mevcut durumda mümkün olan en yüksek hızı sunacağına inanıyoruz. Trn2'nin düşük gecikme süresinin rekabetçi fiyatlar ve istek üzerine erişilebilirlik ile birleştiğini görmek harika. Trn2'nin gelişi konusunda çok heyecanlıyız!

Trn1 bulut sunucularına geçmek kolay ve direkt oldu. 4.096 Trainium yongasından oluşan bir küme kullanarak 13B parametreli LLM'mize sadece 8 günde ön eğitim sağlayabildik. Daha küçük modelimizde gördüğümüz başarıdan sonra, Llama-3-Swallow-70B'yi temel alarak daha büyük ve yeni bir LLM'ye ince ayar uyguladık ve Trainium'dan yararlanarak AWS'deki en yeni GPU makinelerinin kullanımına kıyasla eğitim maliyetlerimizi %50 azaltabildik ve enerji verimliliğini %25 artırabildik. Müşterilerimize en iyi performansı en düşük maliyetle sunmaya devam etmek için, en yeni nesil AWS Yapay Zeka Yongaları olan Trainium2'den yararlanmaktan heyecan duyuyoruz.

AWS Neuron NxD Inference kitaplığı hakkında en sevdiğim şey, PyTorch modelleriyle sorunsuz bir şekilde entegre olmasıdır. NxD'nin yaklaşımı direkt ve kullanıcı dostudur. Ekibimiz HuggingFace PyTorch modellerini kısa bir zaman diliminde minimum kod değişikliği ile entegre edebildi. Sürekli Toplu İşleme ve Spekülatif Kod Çözme gibi gelişmiş özellikleri etkinleştirmek basitti. Bu kullanım kolaylığı geliştirici üretkenliğini artırarak ekiplerin inovasyona daha fazla ve entegrasyon zorluklarına daha az odaklanmasına olanak tanır.

Müşteriler EC2 Inf2 bulut sunucularında EC2 G5 bulut sunucularına kıyasla %20'ye kadar daha yüksek performans ve dolar başına 1,5 kat daha yüksek belirteç gördü. Refact.ai'ın ince ayar yetenekleri, müşterilerimizin kuruluşlarına yönelik benzersiz kod tabanını ve ortamını anlama ve bunlara uyum sağlama yeteneklerini daha da geliştirir. Ayrıca iş akışlarımıza daha hızlı ve daha verimli bir işleme süreci sağlayacak Trainium2'nin yeteneklerini sunmaktan heyecan duyuyoruz. Bu gelişmiş teknoloji, müşterilerimizin kod tabanları için katı güvenlik standartlarını korurken geliştirici üretkenliğini artırarak yazılım geliştirme süreçlerini hızlandırmalarını sağlayacaktır.

KARAKURI, web tabanlı müşteri desteğinin verimliliğini artırmak ve müşteri deneyimlerini basitleştirmek için yapay zeka araçları oluşturmaktadır. Bu araçlar, üretken yapay zeka işlevleriyle donatılmış AI sohbet robotlarını, SSS merkezileştirme araçlarını ve tümü müşteri desteğinin verimliliğini ve kalitesini artıran bir e-posta yanıt aracını içerir. AWS Trainium'u kullanarak KARAKURI LM 8x7B Chat v0.1'i eğitmeyi başardık. Kendimiz gibi startup'lar için, LLM'leri eğitmek için gereken oluşturma süresini ve maliyeti optimize etmemiz gerekiyor. AWS Trainium ve AWS Ekibinin desteğiyle kısa sürede pratik düzeyde bir LLM geliştirmeyi başardık. Ayrıca AWS Inferentia'yı benimseyerek hızlı ve uygun maliyetli bir çıkarım hizmeti oluşturabildik. Trainium2 konusunda çok heyecanlıyız çünkü eğitim sürecimizde devrim yaratacak, eğitim süremizi 2 kat azaltacak ve verimliliği yeni zirvelere taşıyacak!

"Değer yaratma mekanizmasını yeniden tasarlayarak insanlığı ilerletme" misyonuyla Stockmark, en son doğal dil işleme teknolojilerini sağlaması sayesinde birçok şirketin yenilikçi işletmeler oluşturup kurmasına yardımcı olur. Stockmark'ın yeni veri analiz ve toplama hizmeti olan Anews ve bir kuruluşta depolanan tüm biçimlerdeki bilgileri düzenlemek suretiyle üretken yapay zeka kullanımlarını ciddi ölçüde geliştiren bir veri yapılandırma hizmeti olan SAT, bu ürünleri desteklemek üzere modelleri oluşturup dağıtma şeklimizi yeniden tasarlamamızı gerektiriyordu. 256 Trainium hızlandırıcıyla, 220 milyar belirteçten oluşan bir Japon derlem veri kümesi üzerinde sıfırdan ön eğitim sağlanmış, 13 milyar parametreye sahip büyük bir dil modeli olan stockmark-13b'yi geliştirdik ve yayınladık. Trn1 bulut sunucuları eğitim maliyetlerimizi %20 oranında azaltmamıza yardımcı oldu. Trainium'dan yararlanarak, profesyoneller için iş açısından kritik soruları benzeri görülmemiş bir doğruluk ve hızla cevaplayabilen bir LLM'yi başarılı şekilde geliştirdik. Bu başarı, şirketlerin model geliştirme için yeterli bilgi işlem kaynaklarını güvence altına alma konusunda karşılaştıkları yaygın zorluklar göz önüne alındığında özellikle dikkate değerdir. Trn1 bulut sunucularının etkileyici hızı ve maliyeti azaltması sayesinde, Trainium2'nin iş akışlarımıza ve müşterilerimize getireceği ek avantajları görmekten heyecan duyuyoruz.

Brave, kullanıcı gizliliği ve güvenliğine öncelik vermeye odaklanan bağımsız bir tarayıcı ve arama altyapısıdır. 70 milyondan fazla kullanıcıyla, web'i daha güvenli ve daha kullanıcı dostu hale getiren sektör lideri korumalar sunuyoruz. Kullanıcı merkezli yaklaşımlardan uzaklaşan diğer platformların aksine Brave; gizliliği, güvenliği ve rahatlığı ilk sıraya koymaya kararlıdır. Temel özellikler arasında zararlı betikleri ve izleyicileri engelleme, LLM'ler tarafından desteklenen yapay zeka destekli sayfa özetleri, yerleşik VPN hizmetleri ve daha fazlası bulunur. Arama hizmetlerimizin ve yapay zeka modellerimizin hızını ve maliyet verimliliğini artırmak için sürekli çalışıyoruz. Bunu desteklemek üzere, ölçeği milyarlarca arama sorgusunu ele alacak şekilde artırırken kullanıcı deneyimini iyileştirmek için, Trainium2 dahil AWS AI yongalarının en son yeteneklerinden yararlanmaktan heyecan duyuyoruz.

Anyscale olarak, yapay zeka iş yüklerini verimli ve uygun maliyetli bir şekilde ölçeklendirmek üzere işletmeleri en iyi araçlarla güçlendirmeye kararlıyız. RayTurbo çalışma zamanı ile desteklenen, AWS Trainium ve Inferentia yongaları için yerel destek sayesinde müşterilerimiz model eğitimi ve sunumu için yüksek performanslı, uygun maliyetli seçeneklere erişebilmektedir. AWS ile Trainium2 üzerinde güçlerimizi birleştirerek müşterilerimizin hızla yenilik yapmaları ve yüksek performanslı dönüştürücü yapay zeka deneyimlerini geniş ölçekte sunmaları için yeni fırsatların kapısını açmaktan heyecan duyuyoruz.

Bulut uygulamaları için gözlemlenebilirlik ve güvenlik platformu olan Datadog, müşterilerin model performansını optimize etmeleri, verimliliği artırmaları ve maliyetleri düşürmeleri için AWS Trainium ve Inferentia İzleme işlevleri sağlar. Datadog entegrasyonu, makine öğrenimi işlemlerine ve temeldeki yonga performansına ilişkin tam görünürlük sağlayarak proaktif sorun çözümü ve sorunsuz altyapı ölçeklendirmesi temin eder. Kullanıcıların yapay zeka altyapısı maliyetlerini %50'ye kadar azaltmalarına ve model eğitimi ve dağıtım performansını artırmalarına yardımcı olacak AWS Trainium2 lansmanı için AWS ile ortaklığımızı genişletmekten heyecan duyuyoruz.

Hugging Face; 5 milyondan fazla araştırmacı, veri bilimcisi, makine öğrenimi mühendisi ve yazılım geliştiricisinden oluşan bir topluluk tarafından paylaşılan 2 milyondan fazla model, veri kümesi ve yapay zeka uygulamasıyla AI geliştiricileri için önde gelen bir açık platformdur. Son birkaç yıldır AWS ile iş birliği yaparak geliştiricilerin Optimum Neuron açık kaynak kitaplığı aracılığıyla AWS Inferentia ve Trainium'un performans ve maliyet avantajlarını deneyimlemelerini kolaylaştırıyoruz. Hugging Face Çıkarım Uç Noktalarına entegre olan ve artık yeni HUGS kendi kendine dağıtım hizmetimiz dahilinde optimize edilen Optimum Neuron açık kaynak kitaplığı, AWS Marketplace'te kullanıma sunulmaktadır. Trainium2'nin piyasaya sürülmesiyle, kullanıcılarımız modelleri daha hızlı geliştirmek ve dağıtmak üzere daha da yüksek performansa erişecekler.

Lightning artık PyTorch Lightning, Fabric ve LitServe gibi açık kaynaklı araçlarımıza ve Lightning Studios'a entegre olan AWS Yapay Zeka Yongaları Trainium ve Inferentia için yerel olarak destek sunuyor. Bu, kullanıcılara önceden eğitme, ince ayar yapma ve geniş ölçekte dağıtma yeteneklerini sorunsuz şekilde sağlayarak maliyeti, erişilebilirliği ve performansı sıfır geçiş iş yüküyle optimize eder. Bunun yanı sıra, en yeni nesil Trainium2 yongaları dahil olmak üzere kullanıcılara AWS Yapay Zeka Yongaları'nın performans ve maliyet avantajlarını sunar.

Önde gelen işletmeler; teknik karmaşıklığı, maliyetleri ve yönetişimi dengeleyerek rekabetçi bir avantaj elde etmek için kapsamlı yapay zeka seçeneklerine hakim olmalıdır. Domino olarak, müşterilere en son teknolojilere erişim imkânı sağlama taahhüdü veriyoruz. İşlemin bu kadar çok çığır açan yeniliğin karşısında darboğaz olduğu bir ortamda müşterilerimize daha yüksek performans, daha düşük maliyet ve daha iyi enerji verimliliği ile modelleri eğitebilmeleri ve dağıtabilmeleri için Trainium2'ye erişim sağlamaktan gurur duyuyoruz.