两个最被低估的 Linux 实用程序是 sed 和 awk。 尽管它们看起来有点神秘,但如果您必须对大段代码或文本进行重复更改,或者如果您必须分析某些文本,sed 和 awk 是非常宝贵的。
那么,它们是什么? 它们是如何使用的? 以及,当它们组合在一起时,它们如何使处理文本变得更容易?
什么是sed?
sed 由传奇的计算先驱 Lee E. McMahon 于 1971 年在贝尔实验室开发。
该名称代表“流编辑器”。 sed 允许您通过一种紧凑而简单但图灵完备的编程语言以编程方式编辑正文或文本流。
sed 的工作方式很简单:它将文本逐行读取到缓冲区中。 对于每一行,它将在适用的情况下执行预定义的指令。
为了 example,如果有人要编写一个 sed 脚本,将单词“beer”替换为“soda”,然后传入一个包含“99 Bottles of Beer on the Wall”的整个歌词的文本文件,它将通过该文件逐行打印出“墙上99瓶苏打水”,以此类推。
最基本的 sed 脚本是“Hello World”。 在这里,我们使用 回声 仅输出字符串的命令以打印“Hello World”。 但是我们将它传递给 sed,并告诉它用“Dave”替换“World”。 不言自明的东西。
echo "Hello World" | sed s/World/Dave/
如果您需要进行一些更复杂的编辑,您还可以将 sed 指令组合到文件中。 灵感来自 这个热闹的 Reddit 线程让我们把歌词带到 A-ha 的“接受我并将“I”、“Me”和“My”的每个实例替换为 格雷格.
首先,将歌曲的歌词放在一个名为的文本文件中 汤姆.txt. 然后打开您喜欢的文本编辑器,并添加以下行。 确保您创建的文件以 .sed.
s/I/Greg/
s/Me/Greg/
s/me/Greg/
s/My/Greg/
s/my/Greg/
您可能会注意到 example (如 s/me/Greg/ 和 s/Me/Greg/)。 这是因为 sed 的某些版本,例如 macOS 附带的版本,不支持不区分大小写的匹配。 因此,我们必须为每个单词编写两条指令,以便 sed 识别大写和非大写版本。
这不会完美地工作,就好像您已经手动替换了“I”、“Me”和“My”的每个实例。 请记住,我们只是将其用作练习来演示如何将 sed 指令组合到一个脚本中,然后使用单个命令执行它们。
然后,我们需要调用该文件。 为此,请运行此命令。
cat tom.txt | sed -f greg.sed
让我们放慢速度,看看这是做什么的。 您可能已经注意到我们在这里没有使用 echo。 我们正在使用猫。 这是因为虽然 cat 会打印出文件的全部内容,但 echo 只会打印出文件名。 您可能还注意到我们正在运行带有“-f”标志的 sed。 这告诉它将脚本作为文件打开。
最终结果是这样的:
还值得注意的是 sed 支持正则表达式 (REGEX)。 这些允许您使用特殊而复杂的语法在文本中定义模式。
这是一个 example 这可能如何工作。 我们将采用上述歌词,但使用正则表达式打印出每行不以“Take”开头的行。
cat tom.txt | sed /^Take/d
当然,sed 非常有用。 但与 awk 结合使用时会更加强大。
什么是 AWK?
AWK 与 sed 一样,是一种处理大量文本的编程语言。 但是,虽然人们使用 sed 来处理和修改文本,但人们大多使用 AWK 作为分析和报告的工具。
与 sed 一样,AWK 最初是在 1970 年代在贝尔实验室开发的。 它的名字并非来自程序所做的事情,而是来自每个作者的姓氏:Alfred Aho、Peter Weinberger 和 Brian Kernighan。 总而言之,AWK 指的是编程语言本身。 在小写中,awk 指的是命令行工具。
AWK 通过一次读取一行文本文件或输入流来工作。 扫描每一行以查看它是否与预定义的模式匹配。 如果找到匹配项,则执行操作。
但是虽然 sed 和 AWK 可能有相似的目的,但它们是两种完全不同的语言,具有两种完全不同的设计理念。 AWK 更类似于一些通用语言,如 C、Python 和 Bash。 它具有诸如函数之类的东西以及更类似于 C 的方法来处理诸如迭代和变量之类的东西。 简而言之,AWK 感觉更像是一种编程语言。
所以,让我们尝试一下。 使用“Take On Me”的歌词,我们将打印所有超过 20 个字符的行。
awk ' length($0) > 20 ' tom.txt
结合两者
awk 和 sed 结合起来都非常强大。 您可以通过使用 Unix 管道来做到这一点。 那些是“|” 命令之间的位。
让我们试试这个:我们将使用 awk 列出“Take On Me”中超过 20 个字符的所有行。 然后,我们将删除所有以“Take”开头的行。 总之,这一切看起来像这样:
awk 'length($0)>20' tom.txt | sed /^Take/d
并产生这个:
sed 和 awk 的力量
您只能在一篇文章中解释这么多,但希望您现在对 sed 和 awk 的强大功能有所了解。 简而言之,它们是文本处理强国。
那么,你为什么要关心呢? 好吧,除了您永远不知道何时需要对文本文档进行可预测的重复更改这一事实之外,sed 和 awk 非常适合解析日志文件。 当您尝试调试 LAMP 服务器中的问题或查看访问日志以查看您的服务器是否被黑客入侵时,这特别方便。