ELK Stack คืออะไร
ELK Stack คือตัวย่อที่ใช้แทนสแตกที่ประกอบด้วยสามโปรเจกต์ยอดนิยม ได้แก่ Elasticsearch, Logstash และ Kibana ELK Stack หรือที่มักเรียกกันว่า Elasticsearch จะมอบความสามารถในการรวมข้อมูลบันทึกจากระบบและแอปพลิเคชันทั้งหมดของคุณ วิเคราะห์ข้อมูลบันทึกเหล่านี้ และสร้างการแสดงข้อมูลด้วยภาพสำหรับการตรวจสอบ การแก้ไขปัญหาอย่างรวดเร็ว การวิเคราะห์ความปลอดภัย และอื่นๆ อีกมากมายให้กับแอปพลิเคชันและโครงสร้างพื้นฐาน
E = Elasticsearch
ElasticSearch คือเครื่องมือค้นหาและวิเคราะห์ข้อมูลแบบกระจาย ที่มีพื้นฐานมาจาก Apache Lucene การรองรับภาษาต่างๆ ประสิทธิภาพที่สูง และเอกสาร JSON ที่ปราศจากสคีมาทำให้ Elasticsearch เป็นตัวเลือกที่เหมาะอย่างยิ่งสำหรับการวิเคราะห์บันทึกและกรณีใช้งานการค้นหาต่างๆ
สำหรับข้อมูลเพิ่มเติม โปรดดู Elasticsearch คืออะไร
เมื่อวันที่ 21 มกราคม 2021 Elastic NV ได้ประกาศว่าพวกเขาจะเปลี่ยนกลยุทธ์การอนุญาตให้ใช้สิทธิ์ซอฟต์แวร์และไม่เผยแพร่เวอร์ชันใหม่ของ ElasticSearch และ Kibana ภายใต้ใบอนุญาต Apache License เวอร์ชัน 2.0 (ALv2) ที่ได้รับอนุญาต แต่จะมีการเสนอซอฟต์แวร์เวอร์ชันใหม่ภายใต้ใบอนุญาต Elastic โดยมีซอร์สโค้ดอยู่ภายใต้ Elastic License หรือ SSPL ใบอนุญาตเหล่านี้ไม่ใช่แบบโอเพนซอร์สและไม่ได้ให้อิสระแก่ผู้ใช้เช่นที่ผ่านมา สำหรับชุดการค้นหาและการวิเคราะห์แบบโอเพ่นซอร์สที่สมบูรณ์และปลอดภัย คุณสามารถใช้โปรเจ็กต์ OpenSearch ซึ่งเป็นเครื่องมือแยกลิขสิทธิ์โอเพ่นซอร์ส Elasticsearch และ Kibana ที่ขับเคลื่อนโดยชุมชน ALv2
L = Logstash
Logstash คือเครื่องมือนำเข้าข้อมูลแบบโอเพนซอร์สที่ช่วยคุณในการรวบรวมข้อมูลจากแหล่งต่างๆ ก่อนจะแปลงข้อมูลดังกล่าว แล้วส่งไปยังปลายทางที่คุณต้องการ Logstash ช่วยให้คุณนำเข้าข้อมูลได้อย่างง่ายดายไม่ว่าจะเป็นแหล่งข้อมูลหรือข้อมูลประเภทใด ด้วยตัวกรองที่สร้างไว้ล่วงหน้าและความสามารถในการรองรับปลั๊กอินมากกว่า 200 รายการ
Logstash คือไปป์ไลน์การประมวลผลข้อมูลฝั่งเซิร์ฟเวอร์แบบโอเพนซอร์สที่ใช้ทรัพยากรน้อย ซึ่งช่วยให้คุณสามารถรวบรวมข้อมูลจากแหล่งต่างๆ ก่อนจะแปลงข้อมูลดังกล่าวทันที แล้วส่งไปยังปลายทางที่คุณต้องการได้ โดยมักจะนำไปใช้เป็นไปป์ไลน์ข้อมูลสำหรับเครื่องมือวิเคราะห์และค้นหาแบบโอเพนซอร์สอย่าง Elasticsearch Logstash คือตัวเลือกยอดนิยมในการโหลดข้อมูลไปยัง Elasticsearch เพราะผสานรวมอย่างเหนียวแน่นกับ Elasticsearch, มีคุณสมบัติในการประมวลผลบันทึกที่มีประสิทธิภาพ และมีปลั๊กอินโอเพนซอร์สที่สร้างไว้ล่วงหน้ามากกว่า 200 รายการที่ช่วยให้คุณสร้างดัชนีข้อมูลได้อย่างง่ายดาย
โหลดข้อมูลที่ไม่มีโครงสร้างได้ง่าย
Logstash ช่วยให้คุณสามารถนำเข้าข้อมูลที่ไม่มีโครงสร้างจากแหล่งข้อมูลต่าง ๆ ได้อย่างง่ายดาย เช่น บันทึกระบบ บันทึกเว็บไซต์ และบันทึกเซิร์ฟเวอร์แอปพลิเคชัน
ตัวกรองที่สร้างไว้ล่วงหน้า
Logstash มีตัวกรองที่สร้างไว้ล่วงหน้า คุณจึงสามารถแปลงประเภทข้อมูลทั่วไป สร้างดัชนีข้อมูลใน Elasticsearch และเริ่มสืบค้นได้อย่างง่ายดายโดยไม่ต้องสร้างไปป์ไลน์การแปลงข้อมูลแบบกำหนดเอง
สถาปัตยกรรมปลั๊กอินที่ยืดหยุ่น
เนื่องจากมีปลั๊กอินบน GitHub กว่า 200 รายการ จึงมีแนวโน้มว่าจะมีคนสร้างปลั๊กอินที่คุณต้องใช้เพื่อปรับแต่งไปป์ไลน์ข้อมูลของคุณอยู่แล้ว แต่หากไม่มีปลั๊กอินที่ตอบโจทย์ความต้องการของคุณได้ คุณก็สามารถสร้างขึ้นเองได้ง่าย ๆ
K = Kibana
Kibana คือเครื่องมือแสดงข้อมูลด้วยภาพและสำรวจข้อมูลที่ใช้สำหรับการวิเคราะห์บันทึกและอนุกรมเวลา การตรวจสอบแอปพลิเคชัน และการใช้งานความอัจฉริยะในการดำเนินการ ซึ่งมีคุณสมบัติประสิทธิภาพสูงแต่ใช้งานง่ายมากมาย เช่น ฮิสโตแกรม กราฟเส้น แผนภูมิวงกลม แผนภูมิความร้อน และการสนับสนุนภูมิสารสนเทศในตัว นอกจากนั้นยังมีการผสานรวมที่เหนียวแน่นกับเครื่องมือวิเคราะห์และค้นหายอดนิยมอย่าง Elasticsearch อีกด้วย ซึ่งทำให้ Kibana กลายเป็นตัวเลือกแรก ๆ ในการแสดงข้อมูลที่อยู่ใน Elasticsearch ด้วยภาพ
เมื่อวันที่ 21 มกราคม 2021 Elastic NV ได้ประกาศว่าพวกเขาจะเปลี่ยนกลยุทธ์การอนุญาตให้ใช้สิทธิ์ซอฟต์แวร์และไม่เผยแพร่เวอร์ชันใหม่ของ ElasticSearch และ Kibana ภายใต้ใบอนุญาต Apache License เวอร์ชัน 2.0 (ALv2) ที่ได้รับอนุญาต แต่จะมีการเสนอซอฟต์แวร์เวอร์ชันใหม่ภายใต้ใบอนุญาต Elastic โดยมีซอร์สโค้ดอยู่ภายใต้ Elastic License หรือ SSPL ใบอนุญาตเหล่านี้ไม่ใช่แบบโอเพนซอร์สและไม่ได้ให้อิสระแก่ผู้ใช้เช่นที่ผ่านมา เพื่อให้มั่นใจว่าชุมชนโอเพนซอร์สและลูกค้าของเรายังคงมีชุดการค้นหาและการวิเคราะห์แบบโอเพนซอร์สที่สมบูรณ์และมีคุณภาพและความปลอดภัยสูง เราจึงแนะนำโปรเจ็กต์ OpenSearch ซึ่งเป็นกลุ่มที่ขับเคลื่อนโดยชุมชนและได้รับใบอนุญาต ALv2 ของ ElasticSearch และ Kibana แบบโอเพนซอร์ส ชุด OpenSearch ประกอบด้วย OpenSearch ที่เป็นเครื่องมือค้นหา และ OpenSearch Dashboards ที่เป็นการแสดงข้อมูลด้วยภาพและอินเทอร์เฟซผู้ใช้งาน
คุณสามารถเรียกใช้ Kibana ในสถานที่ บน Amazon Elastic Compute Cloud (Amazon EC2) หรือบน Apache 2.0 เวอร์ชันที่ได้รับอนุญาต (สูงสุดเวอร์ชัน 7.10.2) ของ Amazon OpenSearch Service OpenSearch Dashboards เป็นทางเลือกโอเพนซอร์สอย่างหนึ่งสำหรับ Kibana ซึ่งสามารถจัดการด้วยตนเองได้เช่นกัน โดยมาจากโอเพนซอร์สเวอร์ชันสุดท้ายของ Kibana (7.10.2) ซึ่งมีคุณสมบัติขั้นสูงมากมายและได้รับการสนับสนุนอย่างดีผ่านโครงการ OpenSearch เมื่อติดตั้งใช้จริงในองค์กรหรือบน Amazon EC2 คุณจะต้องจัดหาโครงสร้างพื้นฐาน ติดตั้งซอฟต์แวร์ Kibana หรือ OpenSearch Dashboards และจัดการโครงสร้างพื้นฐาน OpenSearch Service ช่วยให้สามารถติดตั้งใช้ Kibana หรือ OpenSearch Dashboards กับโดเมนของคุณเป็นบริการที่มีการจัดการเต็มรูปแบบโดยอัตโนมัติได้ ซึ่งจะคอยดูแลงานหนัก ๆ ทั้งหมดในการจัดการคลัสเตอร์โดยอัตโนมัติ
ตารางแบบอินเทอร์แอคทีฟ
Kibana มีตารางและรายงานแบบอินเทอร์แอคทีฟที่คุณสามารถใช้เพื่อดูข้อมูลบันทึกจำนวนมากได้ คุณสามารถเลือกช่วงเวลา ซูมเข้าออกจากชุดข้อมูลย่อยที่ต้องการ และเจาะลึกรายงานเพื่อดึงข้อมูลเชิงลึกที่นำไปใช้ได้จริงจากข้อมูลของคุณได้
รองรับการแมป
Kibana มาพร้อมกับความสามารถด้านภูมิสารสนเทศที่มีประสิทธิภาพ ดังนั้นคุณจึงสามารถจัดเลเยอร์ข้อมูลทางภูมิศาสตร์ที่ด้านบนของข้อมูลคุณได้อย่างราบรื่นและแสดงผลลัพธ์บนแผนที่
การรวบรวมและการคัดกรองที่สร้างไว้ล่วงหน้า
เมื่อใช้การรวบรวมและตัวกรองที่สร้างไว้ล่วงหน้าของ Kibana คุณสามารถเรียกใช้การวิเคราะห์ต่าง ๆ เช่น ฮิสโตแกรม แบบสอบถาม TOP-N และแนวโน้มได้ในไม่กี่ขั้นตอน
แดชบอร์ดที่เข้าถึงได้อย่างง่ายดาย
คุณสามารถตั้งค่าแดชบอร์ดและรายงานต่างๆ ได้อย่างง่ายดาย อีกทั้งยังแชร์ให้กับผู้อื่นได้ด้วย เพียงแค่ใช้เบราว์เซอร์เพื่อดูและค้นหาข้อมูลเท่านั้น
ELK stack ทำงานอย่างไร
- Logstash นำเข้าข้อมูล แปลง และส่งข้อมูลไปยังปลายทางที่เหมาะสม
- ดัชนีการค้นหาแบบยืดหยุ่นวิเคราะห์และค้นหาข้อมูลที่ถูกนำเข้ามา
- Kibana แสดงภาพผลการวิเคราะห์
ELK Stack มีหน้าที่อะไร
ELK Stack ใช้เพื่อแก้ปัญหาที่หลากหลาย รวมถึงการวิเคราะห์ข้อมูลบันทึก การค้นหาเอกสาร ข้อมูลความปลอดภัยและการจัดการเหตุการณ์ (SIEM) และข้อมูลการสังเกต ให้บริการเครื่องมือค้นหาและการวิเคราะห์ การนำข้อมูลเข้า และการแสดงภาพ
เหตุใด ELK Stack จึงมีความสำคัญ
ELK Stack เติมเต็มความต้องการพื้นที่ในด้านการวิเคราะห์ข้อมูลบันทึก เมื่อโครงสร้างพื้นฐานด้านไอทีของคุณจำเป็นต้องย้ายไปยังระบบคลาวด์สาธารณะมากขึ้น ยิ่งทำให้คุณต้องการการจัดการข้อมูลบันทึกและโซลูชันสำหรับการวิเคราะห์เพื่อตรวจสอบโครงสร้างพื้นฐานนี้รวมถึงการประมวลผลข้อมูลบันทึกเซิร์ฟเวอร์ ข้อมูลบันทึกแอปพลิเคชัน และคลิกสตรีม ELK Stack จะให้โซลูชันการวิเคราะห์ข้อมูลบันทึกที่เรียบง่ายแต่มีประสิทธิภาพแก่นักพัฒนาและวิศวกร DevOps เพื่อรับข้อมูลเชิงลึกอันมีค่าเกี่ยวกับการวินิจฉัยความล้มเหลว ประสิทธิภาพของแอปพลิเคชัน และการตรวจสอบโครงสร้างพื้นฐาน โดยมีค่าใช้จ่ายเพียงเล็กน้อยเท่านั้น
ฉันจะเลือกโซลูชั่นที่เหมาะสมสำหรับ ELK Stack ได้อย่างไร
ที่ AWS คุณสามารถเลือกที่จะปรับใช้และจัดการสแตค ELK ด้วยตัวคุณเองบน EC2 แต่ การปรับขนาดทรัพยากรขึ้นและลงเพื่อให้เป็นไปตามข้อกำหนดทางธุรกิจของคุณ หรือบรรลุการรักษาความปลอดภัยและการปฏิบัติตามข้อกำหนดถือเป็นความท้าทายสำหรับตัวเลือกที่จัดการด้วยตนเอง หากคุณต้องการให้นักพัฒนาหรือวิศวกร DevOps ใช้เวลาในการสร้างแอปพลิเคชันที่เป็นนวัตกรรมใหม่หรือจัดการงานการดำเนินงาน เช่น การนำไปใช้จริง การอัปเกรด การติดตั้งซอฟต์แวร์ และการแพทช์ การสำรองข้อมูล และการตรวจสอบ OpenSearch Service เป็นทางเลือกโอเพนซอร์สที่มีการจัดการอย่างสมบูรณ์ซึ่งทำให้ง่ายต่อการปรับใช้ ใช้งาน และปรับขนาดคลัสเตอร์ OpenSearch อย่างปลอดภัยและคุ้มค่าบน AWS
ข้อเสนอ AWS ใดที่สนับสนุนสแต็ก ELK ของคุณ
บริการ OpenSearch รองรับ Elasticsearch ที่ได้รับอนุญาตจาก Apache 2.0 หลายรุ่น (เวอร์ชัน 1.5 ถึง 7.10) และ Kibana (เวอร์ชัน 1.5 ถึง 7.10) บริการ OpenSearch ยังรองรับการผสานรวมกับ Logstash เพื่อรวบรวมและแปลงข้อมูลจากแหล่งข้อมูลของคุณ จากนั้นจะโหลดไปยังบริการ
AWS นำเสนอเครื่องมือการนำข้อมูลเข้าอะไรบ้าง
AWS มีเครื่องมือการนำข้อมูลเข้ามากมาย เช่น Amazon Kinesis Data Firehose, Amazon CloudWatch Logs และ AWS IoT เพื่อมอบความยืดหยุ่นในการเลือกเครื่องมือการนำข้อมูลเข้าที่ตรงกับความต้องการในกรณีใช้งานของคุณ หากต้องการเรียนรู้เพิ่มเติม โปรดดูที่ การผสานรวม Amazon OpenSearch Service
OpenSearch ประกอบด้วยโค้ด Elasticsearch บางส่วนที่ได้รับอนุญาตจาก Apache ซึ่งมาจาก Elasticsearch B.V. และซอร์สโค้ดอื่น ๆ Elasticsearch B.V. ไม่ใช่แหล่งที่มาของซอร์สโค้ดอื่น ๆ เหล่านั้น ELASTICSEARCH เป็นเครื่องหมายการค้าจดทะเบียนของ Elasticsearch B.V.
ขั้นตอนถัดไปกับ AWS
เริ่มต้นการสร้างด้วย AWS Hybrid Cloud บนคอนโซลการจัดการของ AWS