在Bash中,使用`awk`切分输出有多种方式。
这里示例几种常见的使用方法。
1 基本字段切割
1.1 按空格/制表符分隔
# 显示第一列
echo "apple banana cherry" | awk '{print $1}'# 显示第一列和第三列
echo "apple banana cherry date" | awk '{print $1, $3}'# 显示最后一列
echo "apple banana cherry" | awk '{print $NF}'# 显示倒数第二列
echo "apple banana cherry date" | awk '{print $(NF-1)}'
1.2 指定分隔符
# 使用 -F 指定分隔符
echo "apple,banana,cherry" | awk -F',' '{print $2}'# 多个分隔符(正则表达式)
echo "apple;banana:cherry" | awk -F'[;:]' '{print $1, $3}'# 输出时指定分隔符(OFS)
echo "apple banana cherry" | awk 'BEGIN{OFS=":"} {print $1, $2, $3}'
2 按列宽切割
即按固定宽度切割
# 使用 substr 函数 echo "12345ABCDE" | awk '{print substr($0, 1, 5), substr($0, 6, 5)}' # 更复杂的例子 data="20240101文件1.txt" echo $data | awk '{ date = substr($0, 1, 8) name = substr($0, 9) print "日期:", date, "文件名:", name }'3 处理复杂文本
# 示例文本 cat <<EOF > data.txt John:Doe:25:New York Jane:Smith:30:Los Angeles Bob:Johnson:35:Chicago EOF # 按冒号分隔,重新格式化输出 awk -F':' '{print "姓名:", $1, $2, "年龄:", $3, "城市:", $4}' data.txt # 条件筛选 + 切割 awk -F':' '$3 > 30 {print $1 " is older than 30"}' data.txt输出示例如下所示
姓名: John Doe 年龄: 25 城市: New York
姓名: Jane Smith 年龄: 30 城市: Los Angeles
姓名: Bob Johnson 年龄: 35 城市: Chicago
Bob is older than 30
4 高级切割技巧
# 跳过前N行 ls -la | awk 'NR > 3 {print $9}' # 使用正则表达式匹配分隔 echo "apple-123-orange-456" | awk '{split($0, a, /[0-9]+/); print a[1], a[2]}' # 多字段重新组合 echo "2023-12-25" | awk -F'-' '{print "年月日:", $3"/"$2"/"$1}'5 常用实际案例
5.1 分析系统进程
# 获取前5个内存使用最多的进程 ps aux | sort -rnk 4 | head -5 | awk '{print "进程:", $11, "内存:", $4"%"}'5.2 分析日志文件
# 统计IP访问次数 cat access.log | awk '{print $1}' | sort | uniq -c | sort -rn5.3 CSV文件处理
# 处理CSV文件 awk -F',' 'BEGIN {OFS="\t"} {print $1, $3, $5}' data.csv5.4 提取特定模式
# 提取email地址 echo "联系我: test@example.com 或 admin@site.org" | \ awk '{ for(i=1; i<=NF; i++) if($i ~ /@/) print "Email found:", $i }'6 使用内置变量
# NF: 字段数 echo "a b c d e" | awk '{print "字段数:", NF}' # NR: 行号 awk '{print "行号", NR, ":", $0}' data.txt # FS: 输入字段分隔符 # OFS: 输出字段分隔符 awk 'BEGIN{FS=":"; OFS="|"} {print $1, $3}' data.txt7 一行命令实用例子
# 获取磁盘使用率 df -h | awk '/\/dev\/sd/ {print "磁盘", $1, "使用率:", $5}' # 计算文件总大小 ls -l *.txt | awk '{sum += $5} END {print "总大小:", sum/1024, "KB"}' # 提取URL域名 echo "https://www.example.com/path" | awk -F'/' '{print $3}'8 结合其他命令使用
# 与 cut 对比(awk更灵活) echo "a:b:c:d" | cut -d':' -f2 # 使用cut echo "a:b:c:d" | awk -F':' '{print $2}' # 使用awk # 与 sed 结合 echo "name=value;age=30" | sed 's/;/\n/g' | awk -F'=' '{print $1}'需要注意的是,在使用awk时,
使用 `-F` 指定输入分隔符
使用 `OFS` 控制输出分隔符
`$0` 表示整行,`$1`、`$2` 等表示各字段
`NF` 是字段总数,`NR` 是当前行号
可以使用正则表达式作为分隔符
简单列提取用`awk`默认空格分隔,固定宽度用`substr`,复杂分隔用`-F`指定分隔符。
reference
---