Autoregressive Model (แบบจำลองออโตรีเกรสซีฟ) คืออะไร
Autoregressive Model (แบบจำลองออโตรีเกรสซีฟ) คือคลาสของแบบจำลองแมชชีนเลิร์นนิง (ML) ที่คาดการณ์องค์ประกอบถัดไปในลำดับโดยอัตโนมัติ โดยทำการวัดจากอินพุตก่อนหน้าในลำดับ Autoregressive (ออโตรีเกรสซีฟ) เป็นเทคนิคทางสถิติที่ใช้ในการวิเคราะห์อนุกรมเวลา โดยถือว่าค่าปัจจุบันของอนุกรมเวลาเป็นฟังก์ชันของค่าในอดีต Autoregressive Model (แบบจำลองออโตรีเกรสซีฟ) ใช้เทคนิคทางคณิตศาสตร์ที่คล้ายคลึงกันเพื่อกำหนดความสัมพันธ์ที่น่าจะเป็นระหว่างองค์ประกอบต่าง ๆ ในลำดับ จากนั้นโมเดลเหล่านี้จะใช้ความรู้ที่ได้รับมาเพื่อคาดเดาองค์ประกอบถัดไปในลำดับที่ไม่รู้จัก ตัวอย่างเช่น ในระหว่างการฝึก โมเดลออโตรีเกรสซีฟจะประมวลผลประโยคภาษาอังกฤษต่าง ๆ และจะระบุว่าคำว่า “is” จะอยู่หลังคำว่า “there” เสมอ จากนั้นจะสร้างลำดับใหม่ที่มีคำว่า “there is” อยู่รวมกัน
โมเดลรีเกรสชันอัตโนมัติถูกใช้ใน AI ช่วยสร้างขึ้นอย่างไร?
ปัญญาประดิษฐ์ (AI ช่วยสร้าง) เป็นเทคโนโลยีวิทยาศาสตร์ข้อมูลขั้นสูงที่สามารถสร้างเนื้อหาใหม่และไม่เหมือนใครโดยการเรียนรู้จากข้อมูลการฝึกอบรมขนาดใหญ่ ส่วนนี้อธิบายว่าการสร้างโมเดลรีเกรสชันอัตโนมัติจะช่วยแอปพลิเคชัน AI ช่วยสร้างได้อย่างไร
การประมวลผลภาษาธรรมชาติ (NLP)
การสร้างโมเดลโมเดลรีเกรสชันอัตโนมัติ เป็นองค์ประกอบสำคัญของโมเดลภาษาขนาดใหญ่ (LLM) LLM ขับเคลื่อนโดย Generative Pre-trained Transformer (GPT) ซึ่งเป็นนิวรัลเน็ตเวิร์กที่ได้มาจากสถาปัตยกรรมหม้อแปลง หม้อแปลงประกอบด้วยตัวเข้ารหัส-ถอดรหัสซึ่งช่วยให้เข้าใจภาษาธรรมชาติและการสร้างภาษาธรรมชาติตามลำดับ GPT ใช้เฉพาะตัวถอดรหัสสำหรับการสร้างโมเดลภาษารีเกรสชันอัตโนมัติ สิ่งนี้ช่วยให้ GPT เข้าใจภาษาธรรมชาติและตอบสนองในแบบที่มนุษย์เข้าใจ โมเดลภาษาขนาดใหญ่ที่ขับเคลื่อนด้วย GPT คาดการณ์คำถัดไปโดยพิจารณาการกระจายความน่าจะเป็นของคอร์ปัสข้อความที่ได้รับการฝึกฝน
อ่านข้อมูลเกี่ยวกับ การประมวลผลภาษาธรรมชาติ (NLP)
อ่านเกี่ยวกับโมเดลภาษาขนาดใหญ่ (LMM)
การสังเคราะห์ภาพ
รีเกรสชันอัตโนมัติช่วยให้โมเดลดีปเลิร์นนิงสามารถสร้างภาพโดยการวิเคราะห์ข้อมูลที่จำกัด นิวรัลเน็ตเวิร์กอย่าง PixelRNN และ PixelCNN ใช้การสร้างโมเดลรีเกรสชันอัตโนมัติเพื่อคาดการณ์ข้อมูลภาพ โดยการตรวจสอบข้อมูลพิกเซลที่มีอยู่ คุณสามารถใช้เทคนิครีเกรสชันอัตโนมัติทำให้คมชัด ปรับขนาด และสร้างภาพใหม่ในขณะที่ยังคงคุณภาพไว้
การคาดการณ์อนุกรมเวลา
โมเดลรีเกรสชันอัตโนมัติมีประโยชน์ในการทำนายโอกาสของเหตุการณ์อนุกรมเวลา ตัวอย่างเช่น โมเดลดีปเลิร์นนิงใช้เทคนิครีเกรสชันอัตโนมัติสำหรับการคาดการณ์ราคาหุ้น สภาพอากาศ และสภาพการจราจรตามค่าทางภูมิศาสตร์
การเสริมข้อมูล
วิศวกร ML ฝึกโมเดล AI ด้วยชุดข้อมูลที่คัดสรรเพื่อปรับปรุงประสิทธิภาพ ในบางกรณีไม่มีข้อมูลไม่เพียงพอในการฝึกโมเดลอย่างเพียงพอ วิศวกรใช้โมเดลรีเกรสชันอัตโนมัติเพื่อสร้างข้อมูลการฝึกอบรมดีปเลิร์นนิงใหม่และสมจริง พวกเขาใช้ข้อมูลที่สร้างขึ้นเพื่อเพิ่มชุดข้อมูลการฝึกอบรมจำกัดที่มีอยู่
การสร้างโมเดลรีเกรสชันอัตโนมัติทำงานอย่างไร
โมเดลรีเกรสชันอัตโนมัติใช้รูปแบบการวิเคราะห์ของรีเกรสชันเชิงเส้น เพื่อคาดการณ์ลำดับถัดไปจากช่วงของตัวแปรที่กำหนด ในการวิเคราะห์รีเกรสชัน โมเดลทางสถิติจะมีตัวแปรอิสระหลายตัวซึ่งใช้เพื่อทำนายค่าของตัวแปรที่พึ่งพา
รีเกรสชันเชิงเส้น
คุณสามารถคาดการณ์รีเกรสชันเชิงเส้นเป็นการวาดเส้นตรงที่แสดงค่าเฉลี่ยที่กระจายบนกราฟสองมิติได้ดีที่สุด จากเส้นตรง โมเดลจะสร้างจุดข้อมูลใหม่ที่สอดคล้องกับการกระจายแบบมีเงื่อนไขของค่าก่อนหน้านี้
หากพิจารณารูปแบบที่ง่ายที่สุดของสมการกราฟเส้นระหว่าง y (ตัวแปรตาม) และ x (ตัวแปรอิสระ); y=c*x+m โดย c และ m เป็นค่าคงที่ สำหรับค่าที่เป็นไปได้ทั้งหมดของ x และ y ตัวอย่างเช่น ชุดข้อมูลอินพุตสำหรับ (x, y) เป็น (1,5) (2,8) และ (3,11) หากต้องการระบุวิธีรีเกรสชันเชิงเส้น คุณจะต้องทำตามขั้นตอนต่อไปนี้:
- พล็อตเส้นตรงและวัดความสัมพันธ์ระหว่าง 1 และ 5
- เปลี่ยนทิศทางเส้นตรงสำหรับค่าใหม่ (2,8) และ (3,11) จนกว่าค่าทั้งหมดจะเข้ากัน
- ระบุสมรีเกรสชันเชิงเส้นเป็น y=3*x+2
- อนุมานหรือคาดการณ์ว่า y คือ 14 เมื่อ x เป็น 4
รีเกรสชันอัตโนมัติ
โมเดลรีเกรสชันอัตโนมัติใช้รีเกรสชันเชิงเส้นกับตัวแปรล่าช้าของเอาท์พุตจากขั้นตอนก่อนหน้า โมเดลรีเกรสชันอัตโนมัติจะไม่ได้ใช้ตัวแปรอิสระอื่น ๆ นอกจากผลลัพธ์ที่คาดการณ์ไว้ก่อนหน้า ซึ่งแตกต่างจากโมเดลรีเกรสชันเชิงเส้นโดยสิ้นเชิง พิจารณาจากตัวอย่างต่อไปนี้
หากแสดงในรูปแบบของความน่าจะเป็น โมเดลรีเกรสชันอัตโนมัติจะกระจายตัวแปรอิสระที่เป็นไปได้ในขั้นตอน n โดยสมมติว่าตัวแปรก่อนหน้านี้มีผลต่อผลลัพธ์ของตัวแปรถัดไปตามเงื่อนไข
นอกจากนี้เรายังสามารถแสดงการสร้างโมเดลรีเกรสชันอัตโนมัติด้วยสมการด้านล่างนี้
ณ จุดนี้ y คือผลการคาดการณ์ของผลลัพธ์ก่อนหน้านี้หลายลำดับคูณด้วยค่าสัมประสิทธิ์ตามลำดับ ϕ ค่าสัมประสิทธิ์แสดงถึงน้ำหนักหรือพารามิเตอร์ที่มีอิทธิพลต่อความสำคัญของตัวทำนายต่อผลลัพธ์ใหม่ สูตรนี้ยังพิจารณาเสียงรบกวนแบบสุ่มที่อาจส่งผลต่อการคาดการณ์ ซึ่งชี้ว่าโมเดลไม่เหมาะและสามารถปรับปรุงเพิ่มเติมได้
ล่าช้า
นักวิทยาศาสตร์ข้อมูลได้เพิ่มค่าของตัวแปรล่าช้า เพื่อปรับปรุงความแม่นยำในการสร้างโมเดลรีเกรสชันอัตโนมัติ โดยการเพิ่มค่าของ t ซึ่งหมายถึงจำนวนขั้นตอนในอนุกรมเวลาของข้อมูล จำนวนขั้นตอนที่สูงขึ้นช่วยให้โมเดลสามารถจับภาพการคาดการณ์ในอดีตเป็นอินพุตได้มากขึ้น ตัวอย่างเช่น คุณสามารถขยายโมเดลรีเกรสชันอัตโนมัติเพื่อรวมอุณหภูมิที่คาดการณ์ไว้ตั้งแต่ 7 วันถึง 14 วันที่ผ่านมา เพื่อให้ได้ผลลัพธ์ที่แม่นยำยิ่งขึ้น กล่าวอีกนัยว่าการเพิ่มลำดับที่ล่าช้าของโมเดลรีเกรสชันอัตโนมัติไม่ส่งผลให้มีความแม่นยำที่ดีขึ้นเสมอไป หากค่าสัมประสิทธิ์ใกล้เคียงกับศูนย์ ตัวทำนายเฉพาะจะมีผลเพียงเล็กน้อยต่อผลลัพธ์ของโมเดล ยิ่งไปกว่านั้น การขยายลำดับอย่างไม่มีกำหนดยังส่งผลให้โมเดลซับซ้อนมากขึ้น ซึ่งต้องใช้ทรัพยากรมากขึ้นในการทำงาน
สหสัมพันธ์อัตโนมัติคืออะไร
สหสัมพันธ์อัตโนมัติเป็นวิธีการทางสถิติที่ประเมินว่าผลลัพธ์ของแบบจำลองรีเกรสชันอัตโนมัติได้รับอิทธิพลจากตัวแปรล่าช้ามากเพียงใด นักวิทยาศาสตร์ข้อมูลใช้สหสัมพันธ์อัตโนมัติเพื่ออธิบายความสัมพันธ์ระหว่างเอาต์พุตและอินพุตที่ล่าช้าของแบบจำลอง ยิ่งค่าสหสัมพันธ์สูงเท่าใด ความแม่นยำในการคาดการณ์ของแบบจำลองก็ยิ่งสูงขึ้นเท่านั้น ต่อไปนี้เป็นข้อพิจารณาบางประการเกี่ยวกับสหสัมพันธ์อัตโนมัติ:
- ค่าสหสัมพันธ์ที่เป็นบวกมีความหมายว่าผลลัพธ์เป็นไปตามแนวโน้มที่ทำแผนภูมิไว้ในค่าก่อนหน้า ยกตัวอย่างเช่น แบบจำลองคาดการณ์ว่าราคาหุ้นจะเพิ่มขึ้นในวันนี้ เนื่องจากราคาหุ้นเพิ่มขึ้นในช่วงหลายวันที่ผ่านมา
- ค่าสหสัมพันธ์เป็นลบมีความหมายว่าตัวแปรเอาต์พุตมีแนวโน้มที่จะตรงข้ามกับผลลัพธ์ก่อนหน้า ยกตัวอย่างเช่น ระบบรีเกรสชันอัตโนมัติสังเกตเห็นว่าในช่วงไม่กี่วันที่ผ่านมานี้ฝนตก แต่คาดการณ์ว่าวันพรุ่งนี้จะมีแดดจัด
- ค่าสหสัมพันธ์ที่เป็นศูนย์อาจบ่งบอกถึงการขาดรูปแบบเฉพาะระหว่างอินพุตและเอาต์พุต
วิศวกรข้อมูลใช้สหสัมพันธ์อัตโนมัติเพื่อกำหนดจำนวนขั้นตอนที่ควรรวมไว้ในแบบจำลอง เพื่อเพิ่มประสิทธิภาพของทรัพยากรการประมวลผลและความแม่นยำในการตอบสนอง ในบางแอปพลิเคชัน แบบจำลองรีเกรสชันอัตโนมัติอาจแสดงค่าสหสัมพันธ์อัตโนมัติที่มากเมื่อใช้ตัวแปรจากอดีตอันใกล้ แต่มีค่าสหสัมพันธ์อัตโนมัติที่น้อยลงเมื่อเป็นอินพุตที่เก่ากว่า ยกตัวอย่างเช่น วิศวกรพบว่าตัวพยากรณ์สภาพอากาศแบบรีเกรสชันอัตโนมัติมีความไวที่น้อยลงต่อการคาดการณ์ในอดีตที่นานเกินกว่า 30 วัน วิศวกรจึงได้แก้ไขแบบจำลองเพื่อให้นับเฉพาะผลลัพธ์ล่าช้าจากใน 30 วันที่ผ่านมาเท่านั้น ซึ่งทำให้ผลลัพธ์ถูกต้องแม่ยำมากขึ้นและใช้ทรัพยากรการประมวลผลน้อยลง
อะไรคือข้อแตกต่างระหว่างรีเกรสชันอัตโนมัติและเทคนิคการวิเคราะห์เชิงรีเกรสชันประเภทอื่นๆ
นอกจากรีเกรสชันแบบอัตโนมัติแล้ว ยังมีการนำเทคนิคการรีเกรสชันอีกหลายแบบมาใช้เพื่อวิเคราะห์ตัวแปรและการพึ่งพาซึ่งกันและกัน โดยจะอธิบายความแตกต่างในส่วนต่อไปนี้
รีเกรสชันเชิงเส้นเทียบกับรีเกรสชันแบบอัตโนมัติ
วิธีรีเกรสชันทั้งสองแบบจะสมมุติว่าตัวแปรในอดีตมีความสัมพันธ์เชิงเส้นกับค่าในอนาคต รีเกรสชันเชิงเส้นจะคาดการณ์ผลลัพธ์โดยอิงตัวแปรอิสระหลายตัวในกรอบเวลาเดียวกัน ส่วนรีเกรสชันแบบอัตโนมัติจะใช้ตัวแปรเพียงชนิดเดียว แต่ขยายให้ครอบคลุมในหลายจุดเพื่อคาดการณ์ผลลัพธ์ในอนาคต ยกตัวอย่างเช่น คุณใช้รีเกรสชันเชิงเส้นเพื่อคาดการณ์เวลาในการเดินทางโดยอิงจากสภาพอากาศ ปริมาณการรับส่งข้อมูล และความเร็วในการเดิน ส่วนแบบจำลองรีเกรสชันแบบอัตโนมัติจะใช้เวลาในการเดินทางในอดีตของคุณมาประมาณเวลาที่เดินทางไปถึงของวันนี้
รีเกรสชันแบบพหุนามเทียบกับรีเกรสชันอัตโนมัติ
รีเกรสชันแบบพหุนามเป็นวิธีการทางสถิติอย่างหนึ่งที่ใช้การหาความสัมพันธ์ของตัวแปรที่ไม่ใช่เชิงเส้น ตัวแปรบางตัวไม่สามารถแสดงด้วยเส้นตรงได้ และจำเป็นต้องใช้นิพจน์แบบพหุนามเพิ่มเติมเพื่อให้เห็นถึงความสัมพันธ์ได้ชัดเจนขึ้น ยกตัวอย่างเช่น วิศวกรใช้รีเกรสชันแบบพหุนามเพื่อวิเคราะห์รายได้ของพนักงานตามระดับการศึกษา ส่วนรีเกรสชันแบบอัตโนมัติจะเหมาะสำหรับการคาดการณ์รายได้ในอนาคตของพนักงานตามเงินเดือนก่อนหน้า
รีเกรสชันทางโลจิสติกส์เทียบกับรีเกรสชันอัตโนมัติ
รีเกรสชันทางโลจิสติกส์ช่วยให้แบบจำลองทางสถิติสามารถคาดการณ์ความน่าจะเป็นของเหตุการณ์ที่เฉพาะเจาะจงภายใต้เงื่อนไขความน่าจะเป็นได้ โดยแสดงผลลัพธ์การคาดการณ์เป็นเปอร์เซ็นต์แทนช่วงของตัวเลข ยกตัวอย่างเช่น นักวิเคราะห์ธุรกิจใช้แบบจำลองรีเกรสชันทางโลจิสติกส์เพื่อคาดการณ์โอกาสร้อยละ 85 ที่ต้นทุนของอุปทานจะเพิ่มขึ้นในเดือนถัดไป ในทางกลับกัน แบบจำลองรีเกรสชันอัตโนมัติจะคาดการณ์ราคาสินค้าคงคลังที่เป็นไปได้โดยใช้ข้อมูลคาดการณ์ในอดีตของเดือนก่อนหน้า
รีเกรสชันแบบสันเขาเทียบกับรีเกรสชันอัตโนมัติ
รีเกรสชันแบบสันเขาเป็นรูปแบบการรีเกรสชันเชิงเส้นที่ช่วยให้สามารถจำกัดค่าสัมประสิทธิ์ของแบบจำลองได้ นักวิทยาศาสตร์ข้อมูลสามารถปรับปัจจัยข้อเสียเปรียบ เพื่อชดเชยอิทธิพลของค่าสัมประสิทธิ์ในการทำแบบจำลองผลลัพธ์ คุณสามารถระงับค่าสัมประสิทธิ์ของพารามิเตอร์ให้ใกล้เคียงศูนย์ได้ในแบบจำลองรีเกรสชันแบบสันเขา ซึ่งจะมีประโยชน์เป็นอย่างยิ่งในกรณีที่อัลกอริทึมรีเกรสชันนั้นมีแนวโน้มที่จะโอเวอร์ฟิตติ้ง โอเวอร์ฟิตติ้งเป็นภาวะที่แบบจำลองสรุปข้อมูลในการฝึกได้เป็นอย่างดี แต่ไม่สามารถทำเช่นเดียวกันได้กับข้อมูลในโลกความเป็นจริงซึ่งเป็นข้อมูลที่แบบจำลองไม่คุ้นเคย ซึ่งแบบจำลองรีเกรสชันอัตโนมัติไม่มีกลไกข้อเสียเปรียบของสัมประสิทธิ์
รีเกรสชันแบบบ่วงเทียบกับรีเกรสชันอัตโนมัติ
รีเกรสชันแบบบ่วงคล้ายคลึงกับรีเกรสชันแบบสันเขาที่สามารถจำกัดค่าสัมประสิทธิ์ตัวแปรได้ด้วยปัจจัยข้อเสียเปรียบ แต่รีเกรสชันแบบบ่วงนั้นสามารถระงับให้ค่าสัมประสิทธิ์เป็นศูนย์ได้ เทคนิคนี้ช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถทำแบบจำลองที่ซับซ้อนได้ง่ายขึ้นโดยเพิกเฉยต่อพารามิเตอร์ที่ไม่สำคัญ ซึ่งแบบจำลองรีเกรสชันอัตโนมัติไม่ได้มีการควบคุมการคาดการณ์ด้วยการปรับลดค่าสัมประสิทธิ์
AWS จะช่วยโมเดลรีเกรสชันอัตโนมัติของคุณได้อย่างไร?
ด้วย Amazon Web Services (AWS) ทีมซอฟต์แวร์สามารถสร้าง ฝึก ปรับใช้ และปรับขนาดโมเดลรีเกรสชันอัตโนมัติสำหรับแอปพลิเคชัน AI ช่วยสร้างได้อย่างมีประสิทธิภาพมากขึ้น เมื่อมีการรักษาความปลอดภัยระดับองค์กรและโครงสร้างพื้นฐานที่ได้รับการจัดการ AWS จะช่วยลดความยุ่งยากในการพัฒนาโมเดลช่วยสร้างสำหรับธุรกิจและลดเวลาในการออกสู่ตลาดลงได้ ตัวอย่างเช่น คุณสามารถใช้:
- Amazon Bedrock ซึ่งเป็นบริการที่ได้รับการจัดการซึ่งมีโมเดลพื้นฐานที่คุณสามารถใช้เพื่อปรับแต่งและสร้างสรรค์ด้วยข้อมูลของคุณเอง
- Amazon SageMaker เพื่อสร้าง ฝึกฝน และปรับใช้โมเดล ML สำหรับการใช้งานต่าง ๆ
- AWS Trainium และ AWS Inferentia เพื่อฝึกอบรม โฮสต์ และปรับขนาดแอปพลิเคชัน AI ช่วยสร้างบนคลาวด์ด้วยพลังการประมวลผลที่มีประสิทธิภาพสูงและต้นทุนต่ำ
เริ่มต้นด้วยโมเดลรีเกรสชันอัตโนมัติบน AWS โดยการ สร้างบัญชี วันนี้
ขั้นตอนถัดไปบน AWS
