ELK Stack là gì?
ELK Stack là từ viết tắt được sử dụng để mô tả bộ dịch vụ bao gồm ba dự án phổ biến: Elasticsearch, Logstash và Kibana. Thường được gọi là Elasticsearch, ELK Stack mang tới cho bạn khả năng tổng hợp nhật ký từ tất cả các hệ thống và ứng dụng của bạn, phân tích những nhật ký này, hiển thị dữ liệu để giám sát ứng dụng và cơ sở hạ tầng, khắc phục sự cố nhanh hơn, phân tích bảo mật, v.v.
E = Elasticsearch
Elasticsearch là công cụ tìm kiếm và phân tích phân tán được xây dựng trên Apache Lucene. Khả năng hỗ trợ đa dạng ngôn ngữ, hiệu suất cao và tài liệu JSON không lược đồ khiến Elasticsearch trở thành một lựa chọn lý tưởng cho nhiều trường hợp sử dụng tìm kiếm và phân tích nhật ký khác nhau.
Để biết thêm thông tin, hãy xem Elasticsearch là gì?
Vào ngày 21 tháng 1 năm 2021, Elastic NV thông báo rằng họ sẽ thay đổi chiến lược cấp phép phần mềm và không phát hành các phiên bản mới của Elasticsearch và Kibana theo Giấy phép Apache, Phiên bản 2.0 (ALv2). Thay vào đó, các phiên bản mới của phần mềm sẽ được cung cấp theo giấy phép Elastic, với mã nguồn có sẵn theo Giấy phép Elastic hoặc SSPL. Các giấy phép này không phải là nguồn mở và không đem đến cho người dùng quyền tự do như nhau. Để có bộ phân tích và tìm kiếm nguồn mở hoàn toàn, chất lượng cao và bảo mật, bạn có thể sử dụng dự án OpenSearch, một nhánh được cấp phép ALv2 hướng tới cộng đồng tách ra từ nguồn mở Elasticsearch và Kibana.
L = Logstash
Logstash là một công cụ tải nhập dữ liệu nguồn mở cho phép bạn thu thập dữ liệu từ các nguồn khác nhau, chuyển đổi dữ liệu và gửi dữ liệu tới điểm đích bạn muốn. Với các bộ lọc được tạo sẵn và hỗ trợ hơn 200 phần bổ trợ, Logstash cho phép người dùng dễ dàng tải nhập dữ liệu đến từ bất kỳ nguồn dữ liệu hay thuộc loại dữ liệu nào.
Logstash là một quy trình xử lý dữ liệu phía máy chủ, nguồn mở, gọn nhẹ cho phép bạn thu nhập dữ liệu từ các nguồn khác nhau, chuyển đổi dữ liệu nhanh chóng và gửi dữ liệu tới điểm đích bạn muốn. Logstash thường được sử dụng như một đường ống dữ liệu cho Elasticsearch, một công cụ phân tích và tìm kiếm nguồn mở. Bởi vì được tích hợp chặt chẽ với Elasticsearch, khả năng xử lý bản ghi mạnh mẽ và hơn 200 phần bổ trợ nguồn mở được tạo sẵn có thể giúp bạn dễ dàng lập chỉ mục cho dữ liệu của mình, Logstash là một lựa chọn phổ biến cho hoạt động tải dữ liệu vào Elasticsearch.
Dễ dàng nạp dữ liệu phi cấu trúc
Logstash cho phép bạn dễ dàng thu nạp dữ liệu không có cấu trúc từ các nguồn dữ liệu khác nhau bao gồm nhật ký hệ thống, nhật ký trang web và nhật ký máy chủ ứng dụng.
Bộ lọc được tạo sẵn
Logstash cung cấp các bộ lọc được tạo sẵn, vì vậy bạn có thể dễ dàng chuyển đổi những loại dữ liệu phổ biến, lập chỉ mục cho chúng trong Elasticsearch và bắt đầu truy vấn mà không cần phải xây dựng các quy trình chuyển đổi dữ liệu tùy chỉnh.
Kiến trúc phần bổ trợ linh hoạt
Với hơn 200 phần bổ trợ đã có sẵn trên GitHub, khả năng cao là có người đã xây dựng phần bổ trợ bạn cần để tùy chỉnh quy trình dữ liệu của mình. Nhưng nếu như không có phần bổ trợ phù hợp với những yêu cầu của bạn, bạn có thể dễ dàng tự tạo phần bổ trợ cho riêng mình.
K = Kibana
Kibana là một công cụ hiển thị trực quan và khám phá dữ liệu được sử dụng trong những trường hợp phân tích nhật ký và chuỗi thời gian, giám sát ứng dụng và thông tin kinh doanh. Công cụ này cung cấp những tính năng mạnh mẽ, dễ sử dụng như biểu đồ tần suất, biểu đồ đường, biểu đồ tròn, biểu đồ nhiệt và hỗ trợ không gian địa lý được tích hợp sẵn. Ngoài ra, công cụ này còn cung cấp khả năng tích hợp chặt chẽ với Elasticsearch, một công cụ phân tích và tìm kiếm phổ biến, khiến Kibana trở thành lựa chọn hàng đầu cho hoạt động hiển thị trực quan dữ liệu được lưu trữ trong Elasticsearch.
Vào ngày 21 tháng 1 năm 2021, Elastic NV thông báo rằng họ sẽ thay đổi chiến lược cấp phép phần mềm và không phát hành các phiên bản mới của Elasticsearch và Kibana theo Giấy phép Apache, Phiên bản 2.0 (ALv2). Thay vào đó, các phiên bản mới của phần mềm sẽ được cung cấp theo giấy phép Elastic, với mã nguồn có sẵn theo Giấy phép Elastic hoặc SSPL. Các giấy phép này không phải là nguồn mở và không đem đến cho người dùng quyền tự do như nhau. Để đảm bảo rằng cộng đồng nguồn mở cũng như khách hàng tiếp tục có bộ phân tích và tìm kiếm nguồn mở hoàn toàn, chất lượng cao, an toàn, chúng tôi đã giới thiệu dự án OpenSearch, một nhánh được cấp phép ALv2 tập trung vào cộng đồng tách ra từ nguồn mở Elasticsearch và Kibana. Bộ sản phẩm OpenSearch bao gồm một công cụ tìm kiếm, OpenSearch và OpenSearch Dashboards, một giao diện dành cho người dùng và để hiển thị trực quan.
Bạn có thể chạy Kibana tại chỗ trên Đám mây điện toán linh hoạt của Amazon (Amazon EC2) hoặc trên các phiên bản được cấp phép của Apache 2.0 (lên đến phiên bản 7.10.2) của Dịch vụ OpenSearch của Amazon. OpenSearch Dashboards là một nguồn mở thay thế cho Kibana, cũng cho phép người dùng tự quản lý. Công cụ này bắt nguồn từ phiên bản nguồn mở cuối cùng của Kibana (7.10.2). Nó chứa nhiều cải tiến và được hỗ trợ tốt thông qua Dự án OpenSearch. Với hình thức triển khai tại chỗ hoặc trên Amazon EC2, bạn chịu trách nhiệm cài đặt phần mềm Kibana hoặc OpenSearch Dashboards, cung cấp và quản lý cơ sở hạ tầng. Với Dịch vụ OpenSearch, Kibana hoặc OpenSearch Dashboards được triển khai tự động với miền của bạn như một dịch vụ được quản lý hoàn toàn, tự động xử lý tất cả các tác vụ nặng để quản lý cụm.
Biểu đồ tương tác
Kibana cung cấp các biểu đồ và báo cáo trực quan mà bạn có thể sử dụng để điều hướng tương tác giữa một lượng lớn dữ liệu nhật ký. Bạn có thể linh hoạt kéo các cửa sổ thời gian, phóng to/thu nhỏ những tập dữ liệu con cụ thể và xem chi tiết các báo cáo để trích xuất thông tin hữu ích từ dữ liệu của mình.
Hỗ trợ ánh xạ
Kibana đi kèm với khả năng hỗ trợ không gian địa lý mạnh mẽ để bạn có thể xếp lớp thông tin địa lý một cách liền mạch lên trên dữ liệu của mình và hiển thị trực quan kết quả trên bản đồ.
Bộ lọc và dữ liệu tổng hợp được tạo sẵn
Sử dụng bộ lọc và dữ liệu tổng hợp được tạo sẵn của Kibana, bạn có thể chạy các phân tích khác nhau như biểu đồ tần suất, truy vấn top-N và xu hướng chỉ trong vài bước.
Bảng thông tin dễ dàng truy cập
Bạn có thể dễ dàng thiết lập bảng thông tin và báo cáo cũng như chia sẻ chúng với những người khác. Bạn chỉ cần có một trình duyệt để xem và khám phá dữ liệu.
ELK Stack hoạt động như thế nào?
- Logstash tải nhập, chuyển đổi và gửi dữ liệu đến đúng điểm đích.
- Elasticsearch lập chỉ mục, phân tích và tìm kiếm dữ liệu đã tải nhập.
- Kibana hiển thị kết quả phân tích.
ELK Stack dùng để làm gì?
ELK Stack được sử dụng để giải quyết nhiều vấn đề, bao gồm phân tích bản ghi, tìm kiếm tài liệu, quản lý sự kiện và thông tin bảo mật (SIEM) cùng khả năng quan sát. ELK Stack cung cấp công cụ tìm kiếm và phân tích, tải nhập dữ liệu và trực quan hóa.
Tại sao ELK Stack lại quan trọng?
ELK Stack đáp ứng một nhu cầu trong lĩnh vực phân tích bản ghi. Khi ngày càng nhiều cơ sở hạ tầng CNTT của bạn chuyển sang các đám mây công cộng, bạn cần một giải pháp quản lý và phân tích nhật ký để giám sát cơ sở hạ tầng này và xử lý mọi nhật ký máy chủ, nhật ký ứng dụng và đường dẫn nhấp chuột. ELK Stack cung cấp một giải pháp phân tích bản ghi tuy đơn giản nhưng lại vô cùng hiệu quả cho các nhà phát triển và kỹ sư DevOps để giúp họ thu thập những thông tin chuyên sâu giá trị về chẩn đoán lỗi, hiệu suất ứng dụng và giám sát cơ sở hạ tầng - với mức giá vô cùng phải chăng.
Làm thế nào để chọn giải pháp phù hợp cho ELK Stack?
Tại AWS, bạn có thể chọn tự mình triển khai và quản lý ngăn xếp ELK trên EC2. Tuy nhiên, việc thay đổi quy mô để đáp ứng các yêu cầu kinh doanh của bạn hoặc đảm bảo tính bảo mật và tuân thủ là một thách thức đối với lựa chọn tự quản lý. Nếu bạn muốn các nhà phát triển hoặc kỹ sư DevOps của mình tập trung thời gian để xây dựng các ứng dụng sáng tạo hoặc quản lý các tác vụ vận hành như triển khai, nâng cấp, cài đặt phần mềm và vá lỗi, sao lưu và giám sát, OpenSearch Service là giải pháp thay thế nguồn mở được quản lý toàn phần giúp việc triển khai, vận hành và điều chỉnh quy mô các cụm OpenSearch trên AWS trở nên an toàn và tiết kiệm chi phí.
Dịch vụ AWS nào hỗ trợ ELK Stack?
Dịch vụ OpenSearch hỗ trợ một số phiên bản của Elasticsearch (phiên bản 1.5 đến 7.10) và Kibana (phiên bản 1.5 đến 7.10) được cấp phép của Apache 2.0. Dịch vụ OpenSearch cũng hỗ trợ tích hợp với Logstash để thu thập và chuyển đổi dữ liệu từ các nguồn của bạn, sau đó tải vào dịch vụ.
AWS cung cấp những công cụ tải nhập nào?
AWS có nhiều công cụ tải nhập dữ liệu như Firehose dữ liệu Amazon Kinesis, Bản ghi Amazon CloudWatch và AWS IoT nhằm mang tới cho bạn sự linh hoạt trong việc lựa chọn công cụ tải nhập dữ liệu thỏa mãn được những yêu cầu trong trường hợp sử dụng của mình. Để tìm hiểu thêm, hãy xem Tích hợp Dịch vụ OpenSearch của Amazon.
OpenSearch bao gồm một số mã Elasticsearch được Apache cấp phép từ Elasticsearch B.V. và mã nguồn khác. Elasticsearch B.V. không phải là nguồn của mã nguồn khác đó. ELASTICSEARCH là nhãn hiệu đã đăng ký của Elasticsearch B.V.
Các bước tiếp theo để sử dụng AWS
Bắt đầu xây dựng với đám mây lai AWS trên Bảng điều khiển quản lý AWS.