elk体系
🌟 什么是 ELK？
ELK Stack 是一套用于搜索、分析和可视化日志数据的开源工具组合，主要包括三个组件：
| 组件 | 作用说明 |
|---|---|
| Elasticsearch | 一个基于 Lucene 的分布式搜索引擎，用于存储和查询日志数据。 |
| Logstash | 一个日志收集和处理工具，支持丰富的数据输入、过滤、输出插件。 |
| Kibana | 一个数据可视化工具，用于展示存储在 Elasticsearch 中的数据，提供图表、仪表盘、搜索界面等。 |
现在还有一个常见变体叫做 "Elastic Stack"，加入了 Beats，是用于轻量级数据采集的工具。
✅ 优点
- 强大的搜索和分析能力
- Elasticsearch 支持全文搜索、结构化查询、聚合分析，非常适合处理大规模日志数据。
- 可视化友好
- Kibana 提供多种数据图表、Dashboard，能直观反映系统状态、日志趋势。
- 可扩展性强
- 组件支持水平扩展，可部署在分布式环境中，应对大规模日志处理场景。
- 插件丰富
- Logstash 和 Beats 拥有大量插件支持多种日志源（如文件、Kafka、Syslog、MySQL 等）。
- 社区活跃，文档丰富
- Elastic 公司维护活跃，社区庞大，文档详细，易于查找资料。
❌ 缺点
- 资源消耗高
- Elasticsearch 占用内存和 CPU 较大，对硬件资源要求较高。
- 运维复杂
- 配置组件众多，日志处理链路长，调试和故障排查难度较大。
- 学习曲线陡峭
- 尤其是 Logstash 的 Grok 模式匹配、Elasticsearch 查询语法、Kibana 可视化都有一定门槛。
- 写入延迟问题
- 如果处理量大或配置不当，Logstash 可能成为瓶颈，影响数据写入性能。
- 授权限制
- Elastic 公司自 2021 年后将 Elasticsearch 和 Kibana 改为 SSPL 许可证，不再是完全开源，商业使用需注意授权问题。
🛠️ 适用场景
- 系统日志集中管理
- 安全事件审计
- 应用性能监控（APM）
- 异常检测与告警
- 数据分析与可视化查询