聊到ELK堆栈,很多人第一反应是“重”。但把它用来处理Node.js日志,其实非常顺手。只要前期把格式配置好,后面的分析效率会高得多。下面分步骤来,一步一步把整个链路跑通。
1. 前置准备:配置Node.js日志格式
ELK想要高效解析日志,前提是数据得是结构化的。所以第一步,先把Node.js日志弄成JSON格式,这步相当关键。推荐用winston库,它原生支持JSON输出,配置起来很顺手。

来看一个配置示例:
// logger.js
const winston = require('winston');
const logger = winston.createLogger({
level: 'info',
format: winston.format.combine(
winston.format.timestamp({ format: 'YYYY-MM-DD HH:mm:ss' }), // 添加时间戳
winston.format.json() // 输出JSON格式
),
transports: [
new winston.transports.Console(), // 输出到控制台(调试用)
new winston.transports.File({ filename: '/var/log/nodejs/app.log' }) // 输出到文件(ELK收集用)
]
});
module.exports = logger;
然后在应用中引入:
const logger = require('./logger');
logger.info('Application started', { port: 3000 }); // 示例日志(包含额外字段)
logger.error('Database connection failed', { error: 'ECONNREFUSED' });
JSON格式的好处很直接:Logstash解析起来几乎无痛。timestamp和level是ELK分析的基础,业务相关的附加字段(比如port、error)后续可以很方便地拿来做过滤和可视化。
2. 安装ELK堆栈(Ubuntu 22.04+)
2.1 安装Java(ELK依赖)
sudo apt update
sudo apt install openjdk-17-jdk -y
java -version # 验证安装(需显示17.x版本)
2.2 安装Elasticsearch
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.10.0-amd64.deb
sudo dpkg -i elasticsearch-8.10.0-amd64.deb
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch
curl -X GET 'localhost:9200' # 验证(返回集群信息即成功)
2.3 安装Kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-8.10.0-amd64.deb
sudo dpkg -i kibana-8.10.0-amd64.deb
sudo systemctl enable kibana
sudo systemctl start kibana
访问http://<服务器IP>:5601,就能看到Kibana的Web界面。默认情况下没有认证,生产环境务必记得配置密码。
3. 配置Logstash收集Node.js日志
3.1 创建Logstash配置文件
sudo mkdir -p /etc/logstash/conf.d
sudo nano /etc/logstash/conf.d/nodejs.conf
写入下面的内容,注意根据实际路径调整:
input {
file {
path => "/var/log/nodejs/app.log" # Node.js日志文件路径
start_position => "beginning" # 首次配置设置为beginning,后续改为end
sincedb_path => "/dev/null" # 忽略sincedb文件(避免重复读取)
codec => "json" # 解析JSON格式日志
}
}
filter {
# 可选:提取日志中的额外字段(如port、error)
grok {
match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}" }
}
date {
match => ["timestamp", "yyyy-MM-dd HH:mm:ss"] # 统一日志时间格式
target => "@timestamp" # 映射到Elasticsearch的@timestamp字段
}
}
output {
elasticsearch {
hosts => ["localhost:9200"] # Elasticsearch地址
index => "nodejs-logs-%{+YYYY.MM.dd}" # 按日期分索引,比如nodejs-logs-2025.10.11
}
stdout { codec => rubydebug } # 控制台输出(调试用,生产环境可注释掉)
}
3.2 启动Logstash
sudo systemctl enable logstash
sudo systemctl start logstash
检查日志看看有没有异常:
sudo journalctl -u logstash -f
如果看到Pipeline started,说明配置没问题了。
4. 在Kibana中分析日志
4.1 创建索引模式
- 打开Kibana(
http://<服务器IP>:5601),进入Stack Management > Index Patterns。 - 点击Create index pattern,输入
nodejs-logs-*(匹配Logstash输出的索引名称)。 - 选择
@timestamp作为时间过滤字段,点击Create index pattern。
4.2 可视化分析
4.2.1 查看日志级别分布
- 进入Visualize Library,点击Create visualization。
- 选择Vertical Bar图表类型,索引模式选择
nodejs-logs-*。 - 在Metrics栏选择
Count(计数),Buckets栏选择X-axis。 - 在X-axis配置中,选择
Terms聚合,字段选择loglevel.keyword(日志级别)。 - 点击Save,命名为
Log Level Distribution。
4.2.2 查看错误日志趋势
- 创建新的可视化,选择Line图表类型。
- Metrics栏选择
Count,Buckets栏选择X-axis。 - X-axis配置:
Date Histogram聚合,字段选择@timestamp,间隔选择Daily(每日)。 - 添加Split Line子聚合:
Terms,字段选择loglevel.keyword(区分不同级别)。 - 点击Save,命名为
Error Trend。
4.2.3 创建仪表盘
- 进入Dashboard,点击Create dashboard。
- 点击Add,选择刚才创建的
Log Level Distribution和Error Trend可视化。 - 调整布局后点击Save,命名为
Node.js Logs Dashboard。
4.3 搜索特定日志
在Kibana顶部导航栏输入Discover,选择nodejs-logs-*索引模式,就可以开始搜索了:
- 简单搜索:输入
loglevel: "error",所有错误日志一览无余。 - 高级搜索:用KQL(Kibana Query Language),比如
@timestamp >= "now-1h" AND loglevel: "error",就能定位最近1小时的错误。
5. 优化建议
日志轮转:用
logrotate防止日志撑满磁盘。sudo nano /etc/logrotate.d/nodejs写入:
/var/log/nodejs/*.log { daily missingok rotate 7 compress notifempty create 0640 root adm }敏感信息过滤:在Logstash的
filter里加上mutate插件,把密码、信用卡号这样的字段直接移除:filter { mutate { remove_field => ["password", "credit_card"] } }性能优化:如果应用流量大,用
Filebeat代替Logstash的file输入插件,能显著降低服务器压力。
整套流程跑通之后,Node.js日志的收集、存储、分析和可视化就全在掌控之中了。排查问题、监控应用状态,都会变得顺手很多。