Data ingestion
Data ingestion
Các cách thu thập, biến đổi và đưa dữ liệu vào Elastic Stack.
Đây là trang khung của nhóm Data ingestion trong lộ trình ELK Elasticsearch Ecosystem.
Nội dung chi tiết của nhóm sẽ được bổ sung lần lượt trong các bài bên dưới.
Mục lục
Phạm vi dự kiến
Nhóm này tập trung vào đường đi của dữ liệu từ nguồn phát sinh đến Elasticsearch, gồm agent, pipeline và chuẩn dữ liệu.
Các bài trong nhóm
- Ingest pipelines — Biến đổi và làm giàu document ngay tại node ingest trước khi index.
- Logstash — Thiết kế pipeline Logstash với input, filter và output cho nhiều nguồn dữ liệu.
- Beats — Sử dụng Filebeat, Metricbeat và các Beats nhẹ để thu thập log và metric.
- Elastic Agent — Triển khai một agent hợp nhất để thu thập logs, metrics, traces và security data.
- Fleet — Quản lý tập trung Elastic Agent, policy, integration và phiên bản triển khai.
- Elastic Common Schema — Chuẩn hóa field theo ECS để dữ liệu từ nhiều nguồn có thể tìm kiếm và phân tích thống nhất.
- Data streams — Dùng data stream cho dữ liệu append-only như logs, metrics và time-series.