AWS Neuron คืออะไร
AWS Neuron เป็น Software Development Kit (SDK) ที่ใช้ในการเรียกใช้เวิร์กโหลดด้านดีปเลิร์นนิงและ AI ช่วยสร้างบนอินสแตนซ์ Amazon Elastic Compute Cloud (Amazon EC2) ที่ขับเคลื่อนด้วย AWS Inferentia และ AWS Trainium ซึ่งประกอบด้วยคอมไพเลอร์ รันไทม์ ไลบรารีการฝึกและการอนุมาน รวมถึงเครื่องมือสำหรับนักพัฒนาเพื่อใช้ในการตรวจสอบ การทำโปรไฟล์ และการแก้ไขจุดบกพร่อง Neuron รองรับวงจรการพัฒนาแมชชีนเลิร์นนิง (ML) แบบครบวงจรที่ประกอบด้วยการสร้างและใช้งานโมเดลดีปเลิร์นนิงและ AI ซึ่งช่วยปรับประสิทธิภาพเพื่อให้ได้ประสิทธิภาพสูงสุดและต้นทุนต่ำที่สุด รวมถึงรับข้อมูลเชิงลึกเกี่ยวกับพฤติกรรมโมเดลที่ละเอียดยิ่งขึ้น
การผสานรวมแบบเนทีฟเข้ากับเฟรมเวิร์กและไลบรารี ML ยอดนิยม
Neuron ผสานรวมเข้ากับ PyTorch และ JAX รวมถึงไลบรารี ML ที่จำเป็นอย่าง Hugging Face Optimum Neuron, PyTorch Lightning และ AXLearn นอกจากนี้ Neuron ยังรองรับ OpenXLA รวมถึง StableHLO และ GSPMD ซึ่งทำให้นักพัฒนา PyTorch, XLA และ JAX สามารถใช้การเพิ่มประสิทธิภาพคอมไพเลอร์ของ Neuron ให้กับ Inferentia และ Trainium ได้ Neuron ช่วยให้คุณสามารถใช้อินสแตนซ์ซึ่งใช้ Trainium และ Inferentia ร่วมกับบริการต่าง ๆ เช่น Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster และ AWS Batch รวมถึงบริการของบริษัทอื่น ๆ เช่น Ray (Anyscale), Domino Data Lab, Datadog และ Weights & Biases
ไลบรารีการฝึกและการอนุมานแบบกระจายตัว
Neuron ประกอบด้วยการเพิ่มประสิทธิภาพแบบไม่ต้องตั้งค่าเพิ่มเติมสำหรับการฝึกอบรมแบบกระจายและการอนุมานกับไลบรารี PyTorch แบบโอเพนซอร์สสำหรับ NxD Training และ NxD Inference NxD Training ช่วยลดความยุ่งยากและเพิ่มประสิทธิภาพการฝึกแบบกระจายตัวที่มีขนาดใหญ่ รวมถึงรองรับสถาปัตยกรรมโมเดล กลยุทธ์การทำงานแบบคู่ขนาน และเวิร์กโฟลว์การฝึกที่หลากหลาย NxD Inference เป็นโซลูชันที่ครอบคลุมสำหรับการอนุมานโมเดลที่เหมาะสมพร้อมด้วยฟีเจอร์สำคัญ เช่น การสุ่มตัวอย่างบนอุปกรณ์, การรวมน้ำหนัก QKV, การสร้างเป็นชุดแบบต่อเนื่อง, การถอดรหัสเก็งกำไร, การสร้างบัคเก็ตแบบไดนามิก และการอนุมานแบบกระจายตัว นอกจากนี้ NxD Inference ยังผสานรวมเข้ากับโซลูชันการให้บริการอย่าง vLLM และ Hugging Face TGI ซึ่งทั้งสองมีฮับโมเดลสำหรับสถาปัตยกรรมโมเดลที่แตกต่างกัน
ความสามารถด้านวิทยาศาสตร์ประยุกต์ขั้นสูง
Neuron มีความสามารถด้านวิทยาศาสตร์ประยุกต์หลายประการเพื่อเสริมศักยภาพให้นักวิทยาศาสตร์และนักวิจัยขยายขอบเขตของการวิจัยและนวัตกรรม AI แบบโอเพนซอร์สเกี่ยวกับ Trainium และ Inferentia Neuron Kernel Interface (NKI) ช่วยให้สามารถเข้าถึงฮาร์ดแวร์เบื้องต้นและคำสั่งต่าง ๆ ที่มีใน Trainium และ Inferentia โดยตรง ช่วยให้นักวิจัยสามารถสร้างและปรับแต่งเคอร์เนลการประมวลผลเพื่อประสิทธิภาพสูงสุดได้ เป็นสภาพแวดล้อมการเขียนโปรแกรมที่ใช้ Python ซึ่งนำเอาไวยากรณ์คล้าย Triton ที่ใช้กันทั่วไปและความหมายระดับไทล์มาใช้ นักวิจัยสามารถใช้ NKI เพื่อปรับปรุงโมเดลดีปเลิร์นนิงด้วยฟังก์ชันใหม่ การเพิ่มประสิทธิภาพ และนวัตกรรมทางวิทยาศาสตร์ ตัวดำเนินการภาษา C ++ แบบกำหนดเองของ Neuron ช่วยให้นักพัฒนาสามารถขยายฟังก์ชันการทำงานของ SDK ได้ด้วยการสร้างตัวดำเนินการของตนที่ปรับให้เหมาะสมกับ Inferentia และ Trainium
เครื่องมือสำหรับนักพัฒนาที่มีประสิทธิภาพ
AWS Neuron SDK มีชุดเครื่องมือที่ครอบคลุมเพื่อให้ข้อมูลเชิงลึกเชิงลึกเกี่ยวกับการตรวจสอบ การจัดการ และการเพิ่มประสิทธิภาพโมเดลดีปเลิร์นนิงบนอินสแตนซ์ EC2 ที่ขับเคลื่อนโดย AWS Inferentia และ Trainium ซึ่งจะมอบยูทิลิตี้อย่าง neuron-top, neuron-monitor และ Neuron Sysfs เพื่อตรวจสอบทรัพยากรฮาร์ดแวร์ การเรียกใช้โมเดล และรายละเอียดของระบบ สำหรับแอปพลิเคชันที่ใส่ไว้ในคอนเทนเนอร์บน Kubernetes และ EKS ทาง Neuron จะช่วยลดความยุ่งยากในการตรวจสอบผ่านการผสานรวม Amazon CloudWatch และเครื่องมือข้อมูลการสังเกตยอดนิยมอื่น ๆ เช่น Data Dog และ Weights & Biases นอกจากนี้ เครื่องมือโปรไฟล์นิวรอนยังช่วยระบุและแก้ไขปัญหาการติดขัดด้านประสิทธิภาพทั้งในโหนดเดี่ยวและแอปพลิเคชันแบบกระจาย ตัว รวมถึงมอบความสามารถในการสร้างโปรไฟล์ดั้งเดิมให้กับเฟรมเวิร์ก ML ยอดนิยม
