Logstash 与 Filebeat
Logstash 和 Filebeat 是 ELK Stack 中两个关键的数据采集组件，分别负责数据处理和轻量级采集，满足不同的业务需求。
1. Logstash
- 功能强大，支持复杂的数据采集、过滤和转换
- 支持多种输入（Input）、过滤（Filter）和输出（Output）插件
- 可对日志进行解析、格式化、脱敏等处理
- 通常部署在服务器端，处理大量数据
2. Filebeat
- 轻量级日志采集器，专注于文件数据读取和转发
- 占用资源少，易于部署在边缘节点和服务器上
- 支持多种模块快速采集常见日志格式
- 通常负责采集日志文件并发送到 Logstash 或 Elasticsearch
3. 工作流程比较
| 功能 | Logstash | Filebeat |
|---|---|---|
| 采集方式 | 多种输入插件 | 读取日志文件 |
| 数据处理 | 复杂过滤和转换 | 轻量级无处理 |
| 部署位置 | 中央服务器 | 边缘节点或服务器 |
| 资源占用 | 较高 | 较低 |
4. 典型使用场景
- Filebeat + Logstash + Elasticsearch：Filebeat 负责采集日志，Logstash 负责复杂处理，Elasticsearch 存储索引
- Filebeat 直发 Elasticsearch：适合无需复杂处理的小型环境
合理搭配 Logstash 与 Filebeat，可构建灵活高效的数据采集与处理管道。
相关内容
- 定义与用途 本章介绍 Elasticsearch 的定义、核心功能与适用场景，帮助读者理解它为何成为现代搜索与日志分析的首选解决方案。
- 使用场景 本章总结 Elasticsearch 在全文搜索、日志分析、监控告警、推荐系统等领域的典型应用场景，助力理解其强大用途。
- 核心概念简介 本章概览 Elasticsearch 的核心构成，包括索引、文档、映射、节点、集群等关键概念，为后续使用和架构设计打下基础。
- 本地安装 本章介绍如何在本地环境中安装 Elasticsearch，适配 Windows、macOS 和 Linux 系统，便于开发测试与入门学习。
- Docker 安装 本章讲解如何通过 Docker 安装和运行 Elasticsearch，适合开发者快速搭建测试环境并集成至容器化工作流中。
- 与 Kibana 一起部署 本章介绍如何将 Elasticsearch 与 Kibana 一起部署，使用 Docker Compose 快速构建可视化分析平台，适合开发与测试环境使用。