Linux dmesg 命令 5 大实战场景：从硬件排查到内核日志实时监控

Linux dmesg 命令 5 大实战场景：从硬件排查到内核日志实时监控

1. 硬件故障快速定位：硬盘/USB设备问题排查

当服务器硬盘出现异常读写或USB设备无法识别时，dmesg往往是第一个发出警报的工具。通过以下组合命令可以快速锁定硬件问题：

# 查看所有存储设备错误（包括SATA/SCSI/USB） dmesg -T | grep -E 'sd[a-z]|usb|error|fail|timeout'

典型输出示例：

[2023-08-15 14:23:45] sd 2:0:0:0: [sdb] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE [2023-08-15 14:23:45] sd 2:0:0:0: [sdb] Sense Key : Medium Error [current] [2023-08-15 14:23:45] sd 2:0:0:0: [sdb] Add. Sense: Unrecovered read error

关键过滤技巧：

提示：添加-T参数显示人类可读时间戳，便于与系统事件日志交叉分析。对于持续性硬件问题，建议配合watch -n 5 "dmesg | tail -20"实现动态监控。

2. 内核模块加载失败深度排查

当modprobe或insmod命令报错时，dmesg能揭示底层真实原因。以下是专业排查流程：

# 1. 查看最近内核模块相关日志 dmesg -l err,crit,alert,emerg -f kern # 2. 按时间范围过滤（假设问题发生在10分钟前） dmesg --since "10 minutes ago" --facility=kern --level=err+

常见错误类型及解决方案：

1. 符号版本不匹配：

   [ +0.000003] module: disagrees about version of symbol some_symbol

   解决方法：重新编译模块或安装匹配内核头文件

2. 内存分配失败：

   [ +0.000127] some_module: page allocation failure: order:4

   解决方法：调整vm.min_free_kbytes或减少模块内存需求

3. 依赖缺失：

   [ +0.000045] some_module: Unknown symbol some_dependency

   解决方法：使用modprobe --show-depends检查依赖树

高级技巧：对于复杂的内核模块问题，可以启用动态调试：

echo 'module some_module +p' > /sys/kernel/debug/dynamic_debug/control dmesg -wH

3. 实时监控内核日志的三种高阶方法

方法一：类tail -f的实时跟踪

# 保持彩色输出且人类可读时间格式 dmesg -wH --color=always --time-format=ctime

方法二：关键事件触发告警

# 监控OOM事件并触发邮件报警 dmesg -w | grep --line-buffered "Out of memory" | while read line; do echo "$line" | mail -s "OOM Alert on $(hostname)" admin@example.com done

方法三：结构化日志分析管道

# 将日志转为JSON格式并过滤关键事件 dmesg -J | jq 'select(.level == "err" or .level == "crit") | {time: .timestamp, message: .message}'

性能对比表：

4. 精准日志过滤：设施与级别的高级应用

dmesg支持按设施(facility)和级别(level)的精细过滤，这是大多数开发者未充分利用的强大功能：

# 组合过滤：仅显示内核(kern)和系统守护进程(daemon)的警告及以上级别日志 dmesg -f kern,daemon -l warn,err,crit,alert,emerg

完整设施和级别参考表：

实战案例：排查系统启动时的服务失败

# 查看所有在启动阶段(crit及以上级别)失败的服务 dmesg -T -f daemon -l crit+

5. 持久化关键启动信息的自动化方案

默认情况下，dmesg的环形缓冲区会在系统运行过程中被覆盖。以下是三种持久化方案：

方案一：系统启动日志归档脚本

#!/bin/bash # 保存为 /etc/rc.local LOG_DIR=/var/log/kernel mkdir -p $LOG_DIR dmesg -T > $LOG_DIR/$(date +%Y%m%d-%H%M%S)-boot.log find $LOG_DIR -type f -mtime +30 -delete

方案二：systemd服务单元

创建/etc/systemd/system/dmesg-archive.service：

[Unit] Description=Archive dmesg boot logs After=syslog.target [Service] Type=oneshot ExecStart=/bin/sh -c 'dmesg -T > /var/log/dmesg-$(date +%%F).log' ExecStartPost=/bin/gzip /var/log/dmesg-$(date +%F).log [Install] WantedBy=multi-user.target

方案三：ELK集成方案

使用Filebeat收集dmesg日志并发送到ELK栈：

# filebeat.yml 配置片段 filebeat.inputs: - type: log paths: - /var/log/dmesg* fields: type: kernel json.keys_under_root: true json.add_error_key: true

性能影响对比：