高效运维 !!! 必备的7个文本技巧

开源日记 2025年08月21日 21:01

如果你是一名运维工程师，AWK 是你的利器之一。它简单高效，专为文本处理和数据分析设计。从日志分析到报表生成，无所不能。以下总结了一些运维中最常用的 AWK 技巧，助你大幅提升工作效率。

快速查看日志中的某段内容

要从日志中提取包含特定字段的行，比如查看登录失败的日志行：

awk '/Failed password/ { print $0 }' /var/log/secure

输出的内容会只包含关键字 Failed password 的行。/Failed password/ 是 AWK 的正则匹配语句，非常直观。

统计某列出现的频率

在日志中，各种 IP、用户等字段频繁出现。通过以下命令，可以统计某字段（如 IP）出现的次数：

awk '{counts[$1]++} END {for (ip in counts) print ip, counts[ip]}' access.log | sort -nrk2 | head

假如 access.log 日志内容格式如下：

192.168.0.1 - "GET /index.html"
192.168.0.2 - "GET /contact.html"
192.168.0.1 - "POST /login"

输出统计结果可能类似：

116.198.58.87 11857
116.198.58.90 11793
116.198.48.20 3045
116.198.48.23 3010
116.198.48.27 3005
116.198.48.19 3002
116.198.48.16 2992
116.198.48.31 2989
116.198.48.24 2954
116.198.48.28 2760

这个命令快速帮助运维定位频繁请求的来源。

计算总流量用量

记录流量日志时，如果日志的第 10 列存储每个请求所消耗的流量字节数，可用以下命令计算总流量：

awk '{sum+=$10} END {print "Total traffic:", sum/1024^3, "GB"}' access.log

如果运行该命令，假设流量数据是以下示例：

192.168.0.1 - "GET /index.html" 2048
192.168.0.2 - "GET /about.html" 1024
192.168.0.1 - "POST /login" 4096

执行结果会是：

Total traffic: 0.000006 GB

这个方法对带宽监控特别有用。

分析日志文件中的用户行为

假如日志记录了登录失败的用户名和尝试的 IP，可以统计某用户被同一个 IP 破解过多少次：

awk '/Failed password/ {failed[$(NF-5)" "$(NF-3)]++} END {for (key in failed) print key, failed[key]}' /var/log/secure | sort -nrk2

例如日志内容如下：

Failed password for user1 from 192.168.0.1
Failed password for user2 from 192.168.0.2
Failed password for user1 from 192.168.0.1

输出结果可能是：

user1 192.168.0.1 2
user2 192.168.0.2 1

通过这个命令，可以直观地定位恶意攻击的目标用户和来源 IP。

一键格式化分散的服务状态

假如服务器的状态日志如下：

web01[192.168.0.1]
httpd ok
mysql ok
web02[192.168.0.2]
nginx ok
redis ok

你可以格式化输出所有服务绑定的主机：

awk '/^web/{hostname=$0;next}{print hostname, $0}' services.log

输出为：

web01[192.168.0.1] httpd ok
web01[192.168.0.1] mysql ok
web02[192.168.0.2] nginx ok
web02[192.168.0.2] redis ok

这种格式化处理方便数据生成报表或批量检查。

计算学生成绩的总分与平均分

运维中偶尔需要处理一些报表，如计算每个同学的总分和平均分：

awk '{sum=0; for(i=2; i<=NF; i++) sum+=$i; avg=sum/(NF-1); print $1, sum, avg}' scores.txt

若 scores.txt 内容如下：

Alice 90 85 80
Bob 70 75 60
Charlie 95 85 100

输出结果为：

Alice 255 85
Bob 205 68.3333
Charlie 280 93.3333

这一命令对复杂报表分析也同样适用。

提取特定长度的单词

从句子中提取长度小于 6 的单词：

awk 'BEGIN {RS="[ ,.!?]+"} length($0) < 6 {print $0}' text.txt

假设 text.txt 内容为：

I am a Linux administrator, and I love AWK.