เหตุใดจึงควรเลือก Amazon EC2 Inf1 Instance
ธุรกิจต่างๆ จากกลุ่มอุตสาหกรรมที่หลากหลายกำลังมองหาการเปลี่ยนแปลงที่ขับเคลื่อนด้วยปัญญาประดิษฐ์ (AI) ในการผลักดันนวัตกรรมทางธุรกิจ ปรับปรุงประสบการณ์ของลูกค้า และการปรับปรุงกระบวนการ โมเดลแมชชีนเลิร์นนิ่ง (ML) ที่ขับเคลื่อนแอปพลิเคชัน AI กลายเป็นความซับซ้อนที่มากขึ้นซึ่งส่งผลให้มีต้นทุนด้านโครงสร้างพื้นฐานการประมวลผลพื้นฐานที่เพิ่มขึ้น การใช้จ่ายเกี่ยวกับโครงสร้างพื้นฐานมากถึง 90% สำหรับการพัฒนาและเรียกใช้แอปพลิเคชัน ML มักเกี่ยวข้องกับการอนุมาน ลูกค้ากำลังมองหาโซลูชันโครงสร้างพื้นฐานที่คุ้มค่าใช้จ่ายสำหรับการติดตั้งใช้งานแอปพลิเคชัน ML ในการผลิต
อินสแตนซ์ Amazon EC2 Inf1 มีการอนุมานของ ML ที่มีประสิทธิภาพสูงและค่าใช้จ่ายต่ำ ซึ่งมีอัตราการโอนถ่ายข้อมูลเพิ่มขึ้นถึง 2.3 เท่าและมีค่าใช้จ่ายน้อยลงถึง 70% ต่อการอนุมานเมื่อเทียบกับอินสแตนซ์ Amazon EC2 อินสแตนซ์ Inf1 ได้รับการออกแบบใหม่ทั้งหมดให้รองรับแอปพลิเคชันการอนุมานของ ML ซึ่งฟีเจอร์ AWS Inferentia มากถึง 16 ตัว ซึ่งเป็นชิปการอนุมานของ ML ประสิทธิภาพสูงที่ออกแบบและสร้างโดย AWS นอกจากนี้ อินสแตนซ์ Inf1 ยังมาพร้อมกับโปรเซสเซอร์ Intel Xeon เจนเนอเรชัน 2 แบบปรับขนาดได้ และระบบเครือข่ายสูงสุด 100 Gbps สำหรับการอนุมานที่มีอัตราการโอนถ่ายข้อมูลสูง
ลูกค้าสามารถใช้อินสแตนซ์ Inf1 เพื่อเรียกใช้แอปพลิเคชันการอนุมานของ ML ขนาดใหญ่ เช่น การค้นหา กลไกการให้คำแนะนำ คอมพิวเตอร์วิทัศน์ การจดจำคำพูด การประมวลผลภาษาธรรมชาติ (NLP) การปรับให้เข้ากับบุคคล และการตรวจจับการฉ้อโกงได้
นักพัฒนาสามารถปรับใช้โมเดล ML ของตนกับอินสแตนซ์ Inf1 ได้โดยใช้ AWS Neuron SDK ซึ่งบูรณาการเข้ากับเฟรมเวิร์ก ML ยอดนิยม เช่น TensorFlow, PyTorch และ Apache MXNet นักพัฒนาสามารถใช้เวิร์กโฟลว์ ML เดียวกันและย้ายข้อมูลแอปพลิเคชันไปยังอินสแตนซ์ Inf1 ได้อย่างราบรื่นโดยมีการเปลี่ยนแปลงโค้ดเพียงเล็กน้อยและไม่เป็นการผูกมัดกับโซลูชันเฉพาะของผู้ให้บริการ
เริ่มต้นใช้งานอินสแตนซ์ Inf1 ได้ง่ายๆ โดยใช้ Amazon SageMaker, AWS Deep Learning AMI (DLAMI) ที่กำหนดค่าไว้ล่วงหน้าด้วย Neuron SDK หรือ Amazon Elastic Container Service (Amazon ECS) หรือ Amazon Elastic Kubernetes Service (Amazon EKS) สำหรับแอปพลิเคชัน ML ที่มีคอนเทนเนอร์
อินสแตนซ์ Amazon EC2 Inf1
ประโยชน์
คุณสมบัติ
คำนิยมของลูกค้าและคู่ค้า
นี่คือตัวอย่างบางส่วนของวิธีที่ลูกค้าและพันธมิตรบรรลุเป้าหมายทางธุรกิจด้วยอินสแตนซ์ Amazon EC2 Inf1
-
Snap Inc.
เราใช้งาน ML ในหลายๆ ส่วนของ Snapchat และการสำรวจนวัตกรรมใหม่ๆ ในด้านนี้ถือเป็นสิ่งสำคัญอันดับแรก เมื่อได้ทราบข่าวเกี่ยวกับ Inferentia เราจึงเริ่มร่วมงานกับ AWS เพื่อใช้อินสแตนซ์ Inf1/Inferentia ในการช่วยติดตั้งใช้งาน ML รวมถึงในด้านประสิทธิภาพและต้นทุน เราเริ่มต้นจากรูปแบบการแนะนำและคาดหวังว่าจะได้ใช้รูปแบบอื่นเพิ่มเติมกับอินสแตนซ์ Inf1 ในอนาคต
Nima Khajehnouri รองประธานฝ่ายวิศวกรรมของ Snap Inc. -
Sprinklr
แพลตฟอร์มการจัดการประสบการณ์ของลูกค้าแบบครบวงจร (Unified-CXM) ที่ขับเคลื่อนด้วย AI ของ Sprinklr ช่วยให้บริษัทต่างๆ สามารถรวบรวมและแปลความคิดเห็นของลูกค้าแบบเรียลไทม์ในช่องทางต่างๆ ให้เป็นข้อมูลเชิงลึกที่นำไปปฏิบัติได้ ส่งผลให้เกิดการแก้ไขปัญหาเชิงรุก การพัฒนาผลิตภัณฑ์ที่เพิ่มขึ้น การตลาดผ่านเนื้อหาที่ดีขึ้น การบริการลูกค้าที่ดีขึ้น และอื่นๆ อีกมากมาย เมื่อใช้ Amazon EC2 Inf1 เราสามารถเพิ่มประสิทธิภาพโมเดล NLP รูปแบบหนึ่งของเราได้เป็นอย่างมาก รวมถึงเพิ่มประสิทธิภาพของโมเดลคอมพิวเตอร์วิทัศน์รูปแบบหนึ่งของเราได้อีกด้วย เราหวังว่าจะใช้ Amazon EC2 Inf1 ต่อไปเพื่อให้บริการแก่ลูกค้าทั่วโลกของเราได้ดียิ่งขึ้น
Vasant Srinivasan รองประธานอาวุโสฝ่ายวิศวกรรมผลิตภัณฑ์ของ Sprinklr -
Finch Computing
Finch for Text ซึ่งเป็นผลิตภัณฑ์ NLP อันล้ำสมัยของเรา ช่วยให้ผู้ใช้สามารถแยก ขจัดความคลุมเครือ และทำให้เอนทิตีประเภทต่างๆ สมบูรณ์ยิ่งขึ้นในข้อความจำนวนมากได้ Finch for Text ต้องใช้ทรัพยากรการประมวลผลจำนวนมากเพื่อให้ลูกค้าของเราได้รับฟีดข้อมูลทั่วโลกที่สมบูรณ์ยิ่งขึ้นโดยมีเวลาแฝงที่ต่ำ ขณะนี้เราเลือกใช้อินสแตนซ์ Inf1 ของ AWS ในโมเดล PyTorch NLP, การแปล และการขจัดความคลุมเครือของเอนทิตี เราสามารถลดต้นทุนในการอนุมานได้มากกว่า 80% (มากกว่า GPU) โดยมีการเพิ่มประสิทธิภาพขั้นต่ำ ในขณะที่ยังคงความเร็วและประสิทธิภาพในการอนุมานของเราไว้ได้ การปรับปรุงนี้ช่วยให้ลูกค้าของเราสามารถปรับปรุงข้อความในภาษาฝรั่งเศส สเปน เยอรมัน และดัตช์ได้แบบเรียลไทม์บนฟีดข้อมูลการสตรีมและในระดับโลก ซึ่งถือเป็นสิ่งที่สำคัญสำหรับบริการทางการเงิน ผู้รวบรวมข้อมูล และลูกค้าภาครัฐของเรา
Scott Lightner ประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีของ Finch Computing -
Dataminr
เราแจ้งเตือนเหตุการณ์หลายประเภททั่วโลกในภาษาต่างๆ มากมาย ในรูปแบบที่หลากหลาย (ภาพ วิดีโอ เสียง เซ็นเซอร์ข้อความ หรือผสมผสานการแจ้งเตือนประเภทเหล่านี้ทั้งหมดเข้าด้วยกัน) จากแหล่งข้อมูลหลายแสนแห่ง การปรับให้เหมาะสมกับความเร็วและต้นทุนตามขนาดนั้นเป็นสิ่งสำคัญอย่างยิ่งสำหรับธุรกิจของเรา เมื่อใช้ AWS Inferentia เราสามารถลดเวลาแฝงของโมเดลและมีอัตราการโอนถ่ายข้อมูลดีขึ้นถึง 9 เท่าต่อดอลลาร์ ซึ่งทำให้เราสามารถเพิ่มความแม่นยำของโมเดลและเพิ่มขีดความสามารถของแพลตฟอร์มของเราได้โดยการปรับใช้โมเดล DL ที่ซับซ้อนมากขึ้นและประมวลผลข้อมูลในปริมาณมากขึ้น 5 เท่า ในขณะที่ควบคุมค่าใช้จ่ายของเราไว้ได้
Alex Jaimes หัวหน้านักวิทยาศาสตร์และรองประธานอาวุโสด้าน AI ของ Dataminr -
Autodesk
Autodesk กำลังพัฒนาเทคโนโลยีการรู้คิดของผู้ช่วยเสมือนของเราที่ขับเคลื่อนโดย AI ที่มีชื่อว่า Autodesk Virtual Agent (AVA) โดยใช้ Inferentia ซึ่ง AVA ตอบคำถามลูกค้ากว่า 100,000 ข้อต่อเดือนด้วยการใช้ความเข้าใจภาษาที่เป็นธรรมชาติ (NLU) และเทคนิคดีปเลิร์นนิง (DL) ในการหาบริบท เจตนา และความหมายเบื้องหลังการสอบถาม จากการเริ่มนำร่องกับ Inferentia เราสามารถรับอัตราการโอนถ่ายข้อมูลได้สูงกว่า G4dn ถึง 4.9 เท่าสำหรับโมเดล NLU ของเรา และคาดหวังว่าจะเรียกใช้เวิร์กโหลดได้มากขึ้นในอินสแตนซ์ Inf1 ที่ใช้ Inferentia
Binghui Ouyang, Sr. นักวิทยาศาสตร์ข้อมูลของ Autodesk -
Screening Eagle Technologies
โดยทั่วไปแล้ว ผู้เชี่ยวชาญด้านการสำรวจมักจะเป็นผู้รับผิดชอบในการใช้เรดาร์เจาะพื้นและตรวจจับข้อบกพร่องที่มองเห็นได้ สถาปัตยกรรมที่ใช้ไมโครเซอร์วิสของ AWS ช่วยให้เราประมวลผลวิดีโอที่บันทึกโดยยานพาหนะตรวจสอบแบบอัตโนมัติและผู้ตรวจสอบได้ การย้ายโมเดลที่สร้างขึ้นภายในของเราจากอินสแตนซ์ที่ใช้ GPU แบบเดิมไปยัง Inferentia ทำให้เราสามารถลดต้นทุนลงได้ถึง 50% นอกจากนี้ เรายังได้รับประสิทธิภาพที่เพิ่มขึ้นเมื่อเทียบเวลากับอินสแตนซ์ G4dn GPU อีกด้วย ทีมของเราเฝ้ารอที่จะได้เรียกใช้เวิร์กโหลดมากขึ้นบนอินสแตนซ์ Inf1 ที่ใช้ Inferentia
Jesús Hormigo ประธานเจ้าหน้าที่ฝ่าย Cloud และ AI ของ Screening Eagle Technologies -
NTT PC Communications
NTT PC Communications เป็นผู้ให้บริการเครือข่ายและโซลูชันการสื่อสารในญี่ปุ่น ซึ่งเป็นผู้นำด้านโทรคมนาคมในการแนะนำผลิตภัณฑ์ที่เป็นนวัตกรรมใหม่ในตลาดเทคโนโลยีสารสนเทศและการสื่อสาร
NTT PC ได้พัฒนา AnyMotion ซึ่งเป็นบริการแพลตฟอร์ม API การวิเคราะห์การเคลื่อนไหวโดยใช้โมเดล ML เพื่อประมาณท่าทางขั้นสูง เราปรับใช้แพลตฟอร์ม AnyMotion บนอินสแตนซ์ Amazon EC2 Inf1 โดยใช้ Amazon ECS สําหรับบริการควบคุมระบบคอนเทนเนอร์ที่มีการจัดการเต็มรูปแบบ การติดตั้งใช้งานคอนเทนเนอร์ AnyMotion บน Amazon EC2 Inf1 ทำให้เราพบว่าอัตราการโอนถ่ายข้อมูลสูงขึ้นถึง 4.5 เท่า, เวลาแฝงในการอนุมานที่ต่ำลงถึง 25% และค่าใช้จ่ายที่ต่ำลงถึง 90% เมื่อเทียบกับอินสแตนซ์ EC2 ที่ใช้ GPU รุ่นปัจจุบัน ผลลัพธ์ที่เหนือกว่าเหล่านี้จะช่วยปรับปรุงคุณภาพของบริการ AnyMotion ในวงกว้าง
Toshiki Yanagisawa วิศวกรซอฟต์แวร์ของ NTT PC Communications Inc. -
Anthem
Anthem เป็นหนึ่งในบริษัทที่ให้บริการด้านสุขภาพชั้นนำของประเทศ ซึ่งให้บริการสุขภาพแก่สมาชิกกว่า 40 ล้านคนทั่วสหรัฐอเมริกา
ตลาดของแพลตฟอร์มดิจิทัลด้านสุขภาพกำลังเติบโตขึ้นอย่างเห็นได้ชัด การรวบรวมข้อมูลในตลาดนี้ถือเป็นเรื่องที่ท้าทาย เนื่องจากปริมาณข้อมูลความคิดเห็นของลูกค้าที่มีมากมายและลักษณะที่ไม่เป็นระบบของข้อมูล แอปพลิเคชันของเราทำให้การสร้างข้อมูลเชิงลึกที่นำมาปฏิบัติได้จากความคิดเห็นของลูกค้าเป็นแบบอัตโนมัติผ่านโมเดลภาษาที่เป็นธรรมชาติของ DL (Transformers) แอปพลิเคชันของเรามีการประมวลผลหนักและจำเป็นต้องมีการติดตั้งใช้จริงด้วยวิธีการที่มีประสิทธิภาพสูง เราได้ติดตั้ง DL เพื่อใช้จริงด้วยการอนุมานเวิร์กโหลดไปยังอินสแตนซ์ Amazon EC2 Inf1 ที่ทำงานด้วยโปรเซสเซอร์ AWS Inferentia อย่างราบรื่น อินสแตนซ์ Inf1 ตัวใหม่เพิ่มอัตราการโอนถ่ายข้อมูลที่เร็วขึ้น 2 เท่าไปยังอินสแตนซ์ที่ใช้ GPU และช่วยให้เราปรับปรุงเวิร์กโหลดในการอนุมาน
Numan Laanait และ Miro Mihaylov, PhD, หัวหน้านักวิทยาศาสตร์ฝ่าย AI/Data ของ Anthem -
Condé Nast
พอร์ตโฟลิโอระดับโลกของ Condé Nast ประกอบด้วยสื่อชั้นนำกว่า 20 แบรนด์ รวมถึง Wired, Vogue และ Vanity Fair ภายในไม่กี่สัปดาห์ ทีมของเราก็สามารถรวมกลไกการแนะนำเข้ากับชิพ AWS Inferentia ได้ การรวมกันในครั้งนี้ช่วยให้สามารถปรับรันไทม์จำนวนมากสำหรับรูปแบบภาษาที่เป็นธรรมชาติที่ล้ำสมัยบนอินสแตนซ์ Inf1 ของ SageMaker ให้เหมาะสมได้ ด้วยเหตุนี้ เราจึงสังเกตเห็นต้นทุนลดลงถึง 72% เมื่อเทียบกับอินสแตนซ์ GPU ที่นำมาติดตั้งใช้จริงก่อนหน้านี้
Paul Fryzel หัวหน้าวิศวกรด้านโครงสร้างพื้นฐาน AI ของ Condé Nast -
Ciao Inc.
Ciao กำลังพัฒนากล้องวงจรปิดแบบเก่าให้เป็นกล้องวิเคราะห์ประสิทธิภาพสูงเทียบเท่ากับความสามารถของดวงตามนุษย์ แอปพลิเคชันของเราสร้างความก้าวหน้าให้กับการป้องกันภัยพิบัติ การติดตามสภาพแวดล้อมโดยใช้โซลูชันกล้องที่ใช้ AI เพื่อแจ้งเตือนก่อนเกิดภัยพิบัติ การแจ้งเตือนดังกล่าวช่วยให้ตอบสนองต่อสถานการณ์ได้ก่อนเกิดขึ้น เรายังสามารถมอบข้อมูลเชิงลึกด้วยการประมาณจำนวนของผู้มาเยือนได้จากการตรวจจับวัตถุโดยไม่ต้องอาศัยเจ้าหน้าที่จากวิดีโอในร้านค้าทั่วไป Ciao Camera ใช้อินสแตนซ์ Inf1 ที่มีพื้นฐานใน AWS Inferentia แบบเชิงพาณิชย์โดยมีประสิทธิภาพด้านราคาดีขึ้น 40% เมื่อเทียบกับ G4dn ที่ใช้ YOLOv4 เรากำลังเฝ้ารอบริการอื่นๆ ที่ใช้ Inf1 ที่จะใช้ประโยชน์จากความคุ้มต้นทุนนี้
Shinji Matsumoto วิศวกรซอฟต์แวร์ของ Ciao Inc. -
The Asahi Shimbun Company
The Asahi Shimbun เป็นหนึ่งในหนังสือพิมพ์ยอดนิยมสูงสุดของประเทศญี่ปุ่น Media Lab ที่ก่อตั้งขึ้นเป็นส่วนหนึ่งของแผนกในบริษัทมีภารกิจในการค้นคว้าเทคโนโลยีล่าสุดโดยเฉพาะ AI และนำเทคโนโลยีที่ทันสมัยมาใช้กับธุรกิจใหม่ๆ จากการเปิดตัวอินสแตนซ์ Amazon EC2 Inf1 ที่ใช้ AWS Inferentia ในโตเกียว เราได้ทดสอบแอปพลิเคชัน AI การสรุปเนื้อหาข้อความที่ใช้ PyTorch บนอินสแตนซ์เหล่านี้ แอปพลิเคชันนี้จะประมวลผลข้อความจำนวนมหาศาลและสร้างพาดหัวและประโยคสรุปตามที่ได้ฝึกฝนมาจากบทความในช่วง 30 ปีที่ผ่านมา การใช้ Inferentia ช่วยลดต้นทุนให้แก่เราด้วยลำดับของขนาดบนอินสแตนซ์ที่ใช้ CPU การลดค่าใช้จ่ายลงได้อย่างมากนี้จะช่วยให้เราสามารถติดตั้งใช้งานโมเดลที่ซับซ้อนที่สุดได้ในทุกขนาด ซึ่งก่อนหน้านี้ เราคิดว่าไม่คุ้มค่ากับการลงทุน
Hideaki Tamori, PhD, ผู้ดูแลระบบอาวุโสฝ่ายห้องปฏิบัติการสื่อของ The Asahi Shimbun Company -
CS Disco
CS Disco กำลังคิดค้นเทคโนโลยีทางกฎหมายขึ้นใหม่ในฐานะผู้ให้บริการโซลูชัน AI ชั้นนำสำหรับ e-discovery (การค้นหาข้อมูลอิเล็กทรอนิกส์) ที่พัฒนาโดยนักกฎหมายสำหรับนักกฎหมาย Disco AI เร่งรวบรวมข้อมูลหลายเทราไบต์ซึ่งเป็นงานที่น่าเบื่อหน่าย เร่งเวลาในการตรวจสอบให้เร็วขึ้น และปรับปรุงความถูกต้องในการตรวจสอบโดยใช้ประโยชน์จากโมเดล NLP ที่ซับซ้อนซึ่งมีต้นทุนในการประมวลผลที่สูงลิบลิ่ว Disco พบว่า อินสแตนซ์ Inf1 ที่ใช้ AWS Inferentia ช่วยลดต้นทุนการอนุมานใน Disco AI ได้อย่างน้อย 35% เมื่อเปรียบเทียบกับอินสแตนซ์ GPU ในปัจจุบัน จากประสบการณ์เชิงบวกกับอินสแตนซ์ Inf1 นี้ CS Disco จะสำรวจโอกาสในการโยกย้ายไปสู่ Inferentia
Alan Lockett, Sr. ผู้อำนวยการฝ่ายวิจัยที่ CS Disco -
Talroo
ที่ Talroo เรามอบแพลตฟอร์มที่ขับเคลื่อนด้วยข้อมูลให้กับลูกค้า ซึ่งช่วยให้ลูกค้าดึงดูดผู้สมัครงานที่มีคุณสมบัติพิเศษแตกต่างจากคนอื่นๆ เพื่อที่จะได้จ้างคนเหล่านั้น เรามองหาเทคโนโลยีใหม่ๆ อย่างต่อเนื่องเพื่อให้สามารถนำเสนอผลิตภัณฑ์และบริการที่ดีที่สุดให้กับลูกค้า การใช้ Inferentia ช่วยให้เราดึงข้อมูลเชิงลึกจากคลังข้อมูลข้อความเพื่อเสริมประสิทธิภาพให้กับเทคโนโลยีการค้นหาและจับคู่ที่ขับเคลื่อนโดย AI Talroo ใช้ประโยชน์จากอินสแตนซ์ Amazon EC2 Inf1 เพื่อสร้างโมเดล NLU ที่มีอัตราการโอนถ่ายข้อมูลสูงด้วย SageMaker การทดสอบขั้นต้นของ Talroo แสดงให้เห็นว่าอินสแตนซ์ Amazon EC2 Inf1 ช่วยลดเวลาแฝงในการอนุมานให้ต่ำลง 40% และอัตราการโอนถ่ายข้อมูลสูงขึ้น 2 เท่าเมื่อเทียบกับอินสแตนซ์ที่ใช้ G4dn GPU จากผลลัพธ์ที่ได้เหล่านี้ ทำให้ Talroo เฝ้ารอที่จะใช้อินสแตนซ์ Amazon EC2 Inf1 เป็นส่วนหนึ่งในโครงสร้างพื้นฐาน AWS ของตน
Janet Hu วิศวกรซอฟต์แวร์ของ Talroo -
Digital Media Professionals
Digital Media Professionals (DMP) สร้างภาพอนาคตด้วยแพลตฟอร์ม ZIA™ ที่ใช้ AI เทคโนโลยีการแยกประเภทคอมพิวเตอร์วิทัศน์ที่มีประสิทธิภาพของ DMP มีการนำมาใช้สร้างข้อมูลรูปภาพแบบเรียลไทม์จำนวนมาก เช่น การสังเกตสภาพแวดล้อม การป้องกันอาชญากรรม และการป้องกันอุบัติเหตุ เราทราบดีว่าโมเดลการแบ่งส่วนภาพของเราทำงานได้เร็วขึ้นสี่เท่าบนอินสแตนซ์ Inf1 ที่ใช้ AWS Inferentia เมื่อเทียบกับอินสแตนซ์ G4 ที่ใช้ GPU เนื่องจากอัตราการโอนถ่ายข้อมูลที่สูงขึ้นและค่าใช้จ่ายที่ต่ำลงนี้ Inferentia จึงช่วยให้เราสามารถติดตั้งใช้งานปริมาณงาน AI ของเรา เช่น แอปพลิเคชันสำหรับกล้องติดรถยนต์ในทุกขนาด
Hiroyuki Umeda กรรมการผู้อำนวยการและผู้จัดการทั่วไป กลุ่มการขายและการตลาดที่ Digital Media Professionals -
Hotpot.ai
Hotpot.ai ส่งเสริมให้ผู้ที่ไม่ใช่นักออกแบบสร้างกราฟิกที่น่าสนใจ และช่วยนักออกแบบมืออาชีพให้แปลงงานประจำที่ทำซ้ำๆ เป็นระบบอัตโนมัติ
เนื่องจาก ML เป็นสิ่งสำคัญสำหรับกลยุทธ์ของเรา เราจึงตื่นเต้นที่จะลองใช้อินสแตนซ์ Inf1 ที่ใช้ AWS Inferentia เราพบว่าการผสานอินสแตนซ์ Inf1 เข้ากับงานวิจัยและไปป์ไลน์การพัฒนาของเราเป็นเรื่องที่ง่าย ที่สำคัญ เราสังเกตเห็นประสิทธิภาพที่เพิ่มขึ้นอย่างน่าประทับใจเมื่อเทียบกับ instances G4dn ที่อิงตาม GPU ด้วยโมเดลแรกของเรา Inf1 instances มีปริมาณการประมวลผลที่สูงขึ้น 45% และลดต้นทุนต่อการอนุมานลงเกือบ 50% เรามุ่งมั่นที่จะทำงานร่วมกับทีม AWS อย่างใกล้ชิดเพื่อย้ายโมเดลอื่นๆ และเปลี่ยนโครงสร้างพื้นฐานการอนุมาน ML ส่วนใหญ่ของเราเป็น AWS Inferentia
Clarence Hu ผู้ก่อตั้ง Hotpot.ai -
SkyWatch
SkyWatch ประมวลผลข้อมูลทรัพยากรโลกนับล้านล้านพิกเซลที่จับภาพจากอวกาศทุกวัน การหันมาใช้อินสแตนซ์ Inf1 ที่ใช้ AWS Inferentia แบบใหม่ที่ใช้ Amazon SageMaker สำหรับการตรวจจับเมฆแบบเรียลไทม์และการให้คะแนนคุณภาพของรูปภาพนั้นทำได้ง่ายและรวดเร็ว เพียงแค่สับเปลี่ยนประเภทอินสแตนซ์ในการกำหนดค่าการติดตั้งใช้งานของเราเท่านั้นก็เรียบร้อย ด้วยการเปลี่ยนประเภทอินสแตนซ์เป็น Inf1 ที่อิงตาม Inferentia เราได้ปรับปรุงประสิทธิภาพการทำงานเพิ่มขึ้นถึง 40% และลดค่าใช้จ่ายโดยรวมลงได้ถึง 23% ถือเป็นชัยชนะที่ยิ่งใหญ่ โดยช่วยให้เราลดค่าใช้จ่ายในการดำเนินการโดยรวมได้พร้อมกับการส่งมอบภาพถ่ายดาวเทียมคุณภาพสูงได้อย่างต่อเนื่องให้กับลูกค้าของเราด้วยค่าใช้จ่ายทางวิศวกรรมเพียงเล็กน้อย เราเตรียมที่จะเปลี่ยนผ่านจากตำแหน่งข้อมูลการอนุมานและการประมวลผล ML แบบกลุ่มทั้งหมดของเรา แล้วหันมาใช้อินสแตนซ์ Inf1 เพื่อปรับปรุงความน่าเชื่อถือของข้อมูลและประสบการณ์ของลูกค้าเพิ่มเติม
Adler Santos ผู้จัดการฝ่ายวิศวกรรมของ SkyWatch -
Money Forward Inc.
Money Forward Inc. ให้บริการธุรกิจและบุคคลทั่วไปด้วยแพลตฟอร์มทางการเงินที่เปิดกว้างและเท่าเทียม ในฐานะที่เป็นส่วนหนึ่งของแพลตฟอร์มนี้ HiTTO Inc. ซึ่งเป็นกลุ่มบริษัท Money Forward ได้นำเสนอบริการ Chatbot AI ซึ่งใช้โมเดล NLP ที่ปรับแต่งมาโดยเฉพาะเพื่อตอบสนองความต้องการที่หลากหลายของลูกค้าองค์กร
การย้ายบริการ Chatbot AI ของเราไปยังอินสแตนซ์ Amazon EC2 Inf1 นั้นตรงไปตรงมา เราดําเนินการย้ายข้อมูลให้เสร็จสิ้นภายในสองเดือนและเปิดตัวบริการในวงกว้างบนอินสแตนซ์ Inf1 โดยใช้ Amazon ECS เราสามารถลดเวลาแฝงในการทำสรุปได้ 97% และลดค่าใช้จ่ายได้กว่า 50% (เมื่อเทียบกับอินสแตนซ์ที่ใช้ GPU ที่เปรียบเทียบกันได้) โดยให้บริการหลายรุ่นต่ออินสแตนซ์ Inf1 เราเฝ้ารอที่จะเรียกใช้เวิร์กโหลดมากขึ้นบนอินสแตนซ์ Inf1 ที่ใช้ Inferentia
Kento Adachi, หัวหน้าฝ่ายเทคนิค, CTO Office ของ Money Forward Inc. -
Amazon Advertising
Amazon Advertising ช่วยให้ธุรกิจทุกขนาดเชื่อมต่อกับลูกค้าในทุกขั้นตอนของเส้นทางการช็อปปิ้ง โฆษณาหลายล้านรายการ รวมถึงข้อความและรูปภาพ ได้รับการดูแล จัดประเภท และให้บริการเพื่อประสบการณ์ที่ดีที่สุดของลูกค้าในทุกๆ วัน
อ่านบล็อกข่าวสำหรับการประมวลผลโฆษณาแบบข้อความ เราติดตั้งใช้โมเดล BERT ที่ใช้ PyTorch ทั่วโลกบนอินสแตนซ์ Inf1 ที่ใช้ AWS Inferentia การเปลี่ยนไปใช้ Inferentia จาก GPU ช่วยให้เราลดต้นทุนลงได้ถึง 69% แต่ยังมีประสิทธิภาพเท่าเดิม การคอมไพล์และการทดสอบโมเดลของเราสำหรับ AWS Inferentia ใช้เวลาไม่เกิน 3 สัปดาห์ การใช้ Amazon SageMaker เพื่อติดตั้งใช้โมเดลของเรากับอินสแตนซ์ Inf1 ช่วยรับรองได้ว่าการติดตั้งใช้จริงของเราจะปรับขนาดได้และจัดการได้ง่าย เมื่อวิเคราะห์โมเดลที่คอมไพล์แล้ว ประสิทธิภาพของ AWS Inferentia นั้นน่าประทับใจมาก จนต้องรันการวัดประสิทธิภาพใหม่เพื่อให้แน่ใจว่าถูกต้อง! ในอนาคต เราวางแผนที่จะย้ายโมเดลการประมวลผลโฆษณาแบบรูปภาพไปยัง Inferentia เราได้ลองเปรียบเทียบดูแล้วพบว่ามีเวลาแฝงต่ำกว่า 30% และประหยัดค่าใช้จ่ายลง 71% เมื่อเทียบกับอินสแตนซ์ที่ใช้ GPU ที่เปรียบเทียบได้สำหรับรุ่นเหล่านี้
Yashal Kanungo นักวิทยาศาสตร์ประยุกต์ของ Amazon Advertising -
Amazon Alexa
ระบบอัจฉริยะที่ใช้ AI และ ML ของ Amazon Alexa ซึ่งให้บริการโดย AWS พร้อมให้บริการบนอุปกรณ์มากกว่า 100 ล้านเครื่องแล้วในวันนี้ และคำสัญญาของเราที่มีต่อลูกค้าคือการทำให้ Alexa ฉลาดยิ่งขึ้น สนทนาได้ดียิ่งขึ้น พร้อมตอบคำถามมากขึ้น และมีชีวิตชีวายิ่งกว่าเดิม การทำให้คำสัญญานั้นเป็นจริงได้ต้องมีการปรับปรุงอย่างต่อเนื่องเกี่ยวกับระยะเวลาการตอบสนองและค่าใช้จ่ายในด้านโครงสร้างพื้นฐาน ML ซึ่งเป็นเหตุผลที่เราตื่นเต้นที่จะใช้ Amazon EC2 Inf1 เพื่อลดเวลาแฝงในการอนุมานและค่าใช้จ่ายต่อการอนุมานในการแปลงข้อความเป็นคำพูดของ Alexa Amazon EC2 Inf1 ช่วยให้เราสามารถให้การบริการที่ดียิ่งขึ้นกับลูกค้าหลายสิบล้านรายที่ใช้งาน Alexa ในแต่ละเดือน
Tom Taylor รองประธานอาวุโสของ Amazon Alexa -
Amazon Prime Video
Amazon Prime Video ใช้โมเดล ML ของคอมพิวเตอร์วิชันเพื่อวิเคราะห์คุณภาพวิดีโอของการถ่ายทอดสดเพื่อให้มั่นใจได้ถึงประสบการณ์การรับชมที่ดีที่สุดสำหรับสมาชิก Prime Video เรานำโมเดล ML การจำแนกประเภทอิมเมจของเราไปใช้จริงบนอินสแตนซ์ Inf1 ของ EC2 และสังเกตเห็นการปรับปรุงประสิทธิภาพที่เพิ่มขึ้นถึง 4 เท่าและการประหยัดค่าใช้จ่ายได้สูงสุดถึง 40% ขณะนี้เราต้องการใช้ประโยชน์จากการประหยัดต้นทุนเหล่านี้เพื่อสร้างสรรค์สิ่งใหม่ๆ และสร้างโมเดลขั้นสูงซึ่งสามารถตรวจจับข้อบกพร่องที่ซับซ้อนมากขึ้นได้ เช่น ช่องว่างการซิงโครไนซ์ระหว่างไฟล์เสียงและวิดีโอเพื่อให้สมาชิก Prime Video ได้รับประสบการณ์การรับชมที่ดียิ่งขึ้น
Victor Antonino สถาปนิกด้านโซลูชันของ Amazon Prime Video -
Amazon Rekognition and Video
Amazon Rekognition เป็นแอปพลิเคชันวิเคราะห์รูปภาพและวิดีโอที่ใช้งานง่าย ซึ่งช่วยให้ลูกค้าระบุวัตถุ ผู้คน ข้อความ และกิจกรรมต่าง ๆ ได้ โดย Amazon Rekognition ต้องใช้โครงสร้างพื้นฐาน DL ประสิทธิภาพสูงที่สามารถวิเคราะห์รูปภาพและวิดีโอได้หลายพันล้านรายการสำหรับลูกค้าของเรา ด้วยอินสแตนซ์ Inf1 ที่ใช้ AWS Inferentia ทำให้การเรียกใช้โมเดล AWS Rekognition เช่น การแยกวัตถุ มีเวลาแฝงต่ำลง 8 เท่า และมีอัตราการโอนถ่ายข้อมูลเป็น 2 เท่า เมื่อเทียบกับการเรียกใช้โมเดลเหล่านี้ใน GPU จากผลลัพธ์นี้ ทำให้เราย้าย Amazon Rekognition ไปยัง Inf1 เพื่อช่วยให้ลูกค้าของเราได้รับผลลัพธ์ที่แม่นยำและรวดเร็วยิ่งขึ้น
Rajneesh Singh ผู้อำนวยการฝ่ายวิศวกรรมซอฟต์แวร์ของ Amazon Rekognition and Video
รายละเอียดผลิตภัณฑ์
* ราคาที่แสดงคือราคาสำหรับรีเจี้ยน AWS ของสหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียตอนเหนือ) ราคาสำหรับอินสแตนซ์แบบเหมาจ่ายเป็นระยะเวลา 1 ปีและ 3 ปีนั้นมีไว้สำหรับตัวเลือกการชำระเงิน "ค่าบริการล่วงหน้าบางส่วน" หรือ "ไม่มีค่าบริการล่วงหน้า" สำหรับอินสแตนซ์ที่ไม่มีตัวเลือกค่าบริการล่วงหน้าบางส่วน
Amazon EC2 Inf1 instance พร้อมให้บริการในรีเจี้ยน AWS สหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียเหนือ) และสหรัฐอเมริกาฝั่งตะวันตก (ออริกอน) ในรูปแบบของอินสแตนซ์ตามความต้องการ อินสแตนซ์แบบเหมาจ่าย หรืออินสแตนซ์สปอต