linux正则表达式匹配

1. linux find 正则表达式

1:
find 0?
0?代表的是要查找的路径, 意思是在0?这个路径下查找. bash的?匹配任意一个字符，这里0?匹配到了01和0s. 在01和0s下查找文件，返回了01 0s.

2：
find 0.
在0.下查找，bash里.就是字符'.' ，因为没有0.这个文件, 所以报上面的错误.

3.
find ./ -regex "0."
在当前目录查找匹配正则0.的文件， -regex的正则"0." 使用的是emacs的正则, 匹配0后面跟一个字符. 错误是在于-regex的正则表达式必须匹配整个路径, 文件名前的路径"./"也需要匹配. 可以这样写
find ./ -regex "./0."

2. Linux正则表达式

一.linux文本查找命令

在说linux正规表达式之前，还介绍下linux中查找文本文件常用的三个命令：

1.grep : 最早的文本匹配程序，使用POSIX定义的基本正则表达式（BRE）来匹配文本。

2.egrep : 扩展式grep，其使用扩展式正规表达式（ERE）来匹配文本。

3.fgrep ： 快速grep，这个版本匹配固定字符串而非正则表达式。并且是唯一可以并行匹配多个字符串的版本。

如下简单的介绍grep命令：

语法格式：

grep [options ...] pattern-spec [files ...]

用途：

匹配一个或多个模式的文本行。

options:

-E : 使用扩展正则表达式进行匹配， grep -E 或取代 egrep 命令。

-F : 使用固定字符串进行匹配， grep -F 或取代传统的fgrep命令。

-e : 通常第一个非选项的参数认为是要匹配的模式，也可以同时提供多个模式，只要将其放入单引号，并用换行字符分隔他们。

模式以减号开头时，为防止混淆其为选项，-e选项说明其后的参数为模式，即使他以减号开头。

-f : 从pat-file文件读取模式作为匹配。

-i : 模式匹配时忽略大小写差异。

-l : 列出匹配模式的文件名称，而不是打印匹配的行。

-q : 静默的，如果匹配成功，不将匹配的行输出到标准输出；否则即是不成功。

-s : 不显示错误信息，通常与-q并用。

-v : 显示不匹配模式的行。

说明：可以同时查找多个文件中的内容，当指定多个文件时，每个显示出的文件行前会有文件名加一个冒号标识其来自哪个文件。

可以使用多个-e 或 -f 选项，建立要查找的模式列表。

二.正则表达式简要介绍

1.正则表达式的组成

(1).一般字符：没有特殊意义的字符

(2).特殊字符（meta字符）：元字符，有在正则表达式中有特殊意义

2.如下讲下正则表达式中的常见meta字符

(1).POSIX BRE与ERE中都有的meta字符:

\   :  通常用于打开或关闭后续字符的特殊含义，如\(...\)与\{...\}

.   :   匹配任何单个字符（除NUL）

*  :   匹配其前的任何数目或没有的单个字符，例： . 表示任一字符， 则 .* 匹配任一字符的任意长度

^  :   匹配紧接着的正则表达式，BRE中仅在正则表达式的开头有特殊的含义，ERE中在任何位置都有特殊含义

$  :   匹配前面的正则表达式，在字符串或者行结尾处。BRE中仅在正则表达式的结尾处有特殊的含义，ERE中在任何位置都有特殊含义

[]  :   匹配方括号内的任一字符，其中可用连字符（-）指的连续字符的范围；^符号苦出现在方括号的第一个位置，则表示匹配不在列表中的任一字符，

(2).POSIX BRE中才有的字符：

\{n,m\} : 区间表达式，匹配在它前面的单个字符重现的次数区别。\{n\}指重现n次;\{n,m\}指重现n至m次;

\( \) : 保留空间，可以将最多9个独立的子模式存储在单个模式中。如\(ab\).*\1 : 指匹配ab组合的两次重现，中间可存在任意数目的字符。

\n : 重复在\(与\)方括号内第n个子模式至此点的模式。

(3).POSIX ERE中才有的字符：

{n,m} : 与BRE的\{n,m\}功能相同

+ : 匹配前面正则表达式的一个或多个扩展

? : 匹配前面正则表达式的零个或一个扩展

| : 匹配|符号前或后的正则表达式

( ) : 匹配方括号括起来的正则表达式群

(4). 方括号（[]）表达式

4.1.字符集  [:  :]

标识字符集，有如下几种：

[::alnum] : 数字字符[:digit:] : 数字字符[:punct:] : 标点符号字符

[:alpha:] : 字母字符[:graph:] : 非空格字符[:space:] : 空格字符

[:blank:] : 空格与定位字符[:lower:] : 小写字母字符[:upper:] : 大写字母字符

[:cntrl:] : 控制字符[:print:] : 可显示的字符[:xdigit:] : 16进制数字

 4.2.排序符号

指将多个字符视为一个符号，如[.ch.]即将ch视为一个符号

4.3.等价字符

认为多个字符相等，如[=e=]在法文的locale里，可匹配于多种与e相似的字符，此处不再列出。

说明：这三种构造除其自身的方括号之外，还必须使用额外的方括号括起来。

例 ： [[:alpha:]!] : 匹配任一英文字母或感叹号。

[[.ch.] : 匹配ch排序元素，而不匹配单独的字母c或h.

 3.简单正规表达式匹配案例

china  : 匹配此行中任意位置有china字符的行

^china : 匹配此以china开关的行

china$ : 匹配以china结尾的行

^china$ : 匹配仅有china五个字符的行

[Cc]hina : 匹配含有China或china的行

Ch.na : 匹配包含Ch两字母并且其后紧跟一个任意字符之后又有na两个字符的行

Ch.*na : 匹配一行中含Ch字符，并且其后跟0个或者多个字符，再继续跟na两字符

二.实例

如下通过常用实例来学习BRE和ERE匹配，源文件url.txt内容如下：

www..com

http://www..com

https://www..com

http://wwwcom

.com



1.url匹配

匹配以http或者https开头，并且其后为：并且含有.的串

BRE匹配：

grep '^https\{0,1\}.*\..*' url.txt

ERE匹配：

grep -E '^https?.*\..*' url.txt

匹配结果如下：

http://www..com

https://www..com

2.Email匹配

示例文件内容为：

[email protected]

aaaa@

[email protected]

[email protected]

@@.com

匹配以字母数字或者下划线开头的多个字符，其后有一个@之后有多个字母数字或者下划线，其中有一个.号

grep '^[[:alpha:][:digit:]_]*@[[:alpha:][:digit:]]*\..*' email.txt

 匹配结果：

[email protected]

[email protected]

[email protected]

转自 嘉为教育-rhce认证_rhce培训_linux培训_linux认证_linux考证

3. Linux正则表达式与通配符

正则表达式：在计算机科学中，是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。在很多文本编辑器或其他工具里，正则表达式通常被用来检索或替换那些符合某个模式的文本内容。正则表达式这个概念最初是由Unix中的工具软件（例如sed和grep）普及开的。
只有掌握了正则表达式，才能全面地掌握 Linux 下的常用文本工具（例如：grep、egrep、GUN sed、 Awk 等） 的用法

grep、sed、awk天然支持正则
grep -v代表反选，反向选择匹配到的内容
grep -E代表使用扩展正则
grep -P代表使用Perl正则
sed -r 代表使用扩展正则

正则表达式分为三类（man grep可以看到，分别是basic RegExs，extended RegExs，perl RegExs）
1、基本的正则表达式（Basic Regular Expression 又叫 Basic RegEx 简称 BREs）
2、扩展的正则表达式（Extended Regular Expression 又叫 Extended RegEx 简称 EREs）
3、Perl 的正则表达式（Perl Regular Expression 又叫 Perl RegEx 简称 PREs）

b. 处理过程：查找文本文件中是否包含要查找的 “关键字”（关键字可以是正则表达式） ，默认返回匹配的该行的内容
c. grep|egrep处理文件时，按行处理 |
| sed | sed | sed -r | - | a. 处理对象：文本文件
b.处理操作：对文本文件的内容进行 查找、替换、删除、增加等操作
c. sed 在处理文本文件的时候，按行处理 |
| awk | - | awk | - | a. awk 处理的对象：文本文件
b. awk 处理操作：主要是对列进行操作 |

注意：egrep 或 sed -r 默认使用扩展正则表达式(EREs)，一般特殊字符（{}）可以不转义

grep -E 以及egrep（Extend Regular Expression）

Linux通配符和三剑客的正则表达式是不一样的，因此，代表的意义也有较大的区别 。
通配符一般用户命令行bash环境，而linux正则表达式用于grep, sed, awk场景。

通配符说明

示例：* 的使用：代表任意0-N个字符，代表所有字符

4. Linux系统下如何使用AWK正则表达式

awk 正则有几种使用方法

1. 直接当做条件 awk '/正则/{执行语句}' file 表示只对能够匹配正则的行执行后面的语句, !/正则/ 则是不匹配时执行

2. 对某个列进行判断 awk '$1 ~ /正则/{执行语句}' file 表示第一列如果匹配正则，对该行进行处理。也可以用 ~! 或 !~ 表示不匹配时进行处理。 第一种情况相当于 $0 ~ /正则/

3. 分隔符使用正则， 在awk的-F参数后可以直接使用正则表达式 表示能够匹配的都当做分隔符；awk中设置 其他分隔符 如FS、RS等也可以使用正则

4. 字符串函数中使用正则。 如split(s,a,fs) 在fs上将s分成序列a，其中fs就可以用正则；几个替换函数gensub(a,b,c[,d])等也可以包含正则表达式，例如：

   gensub(/123/,"x",1,$1)替换$1中 第一次匹配到的123为字符x，返回值为$1替换后的内容，且$1的内容并没有改变

   等等

5. linux 中 ^[^abc] 正则表达式什么意思

^代表行首，$代表行尾
1、^[a-z]匹配以小写字母开头的字符串
2、[^a-z] 不包含小写字母的字符匹配
3、^[^a-z] 开头不包含小写字母的字符匹配

6. Linux如何使用正则表达式命令文本文件操作命令

Linux对文本操作命令及正则表达式：

cat

cat 是 concatenate 的缩写，所以它的作用其实是连接文件。但默认情况下它会将连接文件的结果送到标准输出。所以我们常用来显示文件内容。类似于 dos 中的 type。

more

当一个文件的内容超过一屏后，我们可以用 more 这个指令来逐屏 察看 文件内容。

less

less 在 more 的基础上，更可以逐行 察看 ，前后翻页。

head

head 显示文件开头部分内容，默认显示前十行参数 --lines 或者 –n 指明显示行数基本格式：

tail

tail 显示文件结尾部分内容，命令用法同 head，参数 -f 显示文件的纪实更新，用于监视日志文件

tail 默认显示文件列表中每个文件的后 10 行，如果没有文件名或文件名为“-”则其从标准输入中读取文件，如果有多个文件则其会在文件前面加上“==>文件名<==”以便区别。

# tail /etc/mail/sendmail.mc 默认查看文件的后 10 行内容

# tail –n 20 /etc/passwd 查看文件后 20 行内容

注意： # tail –f /var/log/message 实时监控日志文件更新信息，非常重要

diff

diff 用于比较两个文件之间的区别，并送到标准输出。输出时先报告两个文件的哪一行不同。基本格式：

参数：

uniq 用于去除文本中相邻的重复行。

-u 参数可以只显示那些没有被重复过的行。 -d 显示有被重复过的行。

cut

cut 可以根据一个指定的标记（默认是 tab）来为文本划分列，然后将此列显示。使用权限：所有使用者

基本格式： cut -cnum1 -num2 filename

说明：显示每行从开头算起 num1 到 num2 的文字。

[root@uplooking root] $ cut –f1 –d: /etc/shadow 表示以 : 为分隔符，显示 /etc/shadow 的第一列 sort

sort 用来按各种需要重新排列文本，一般运用在一个管道之后。例如：

默认情况下 sort 按照字母顺序排列文本。

wc

wc 用来统计一个文件的行数、词数、字数并送到标准输出。也可以用-l（行数）、-w（词数）、-c（字数）来指定输出内容。

7. linux中 正则表达式和通配符的区别

通配符
它是由shell解析，并且一般用于匹配文件名，实际上就是shell解释器去解析的特殊符号，linux系统通配符有几下几种：
*：匹配任意多个字符
?：匹配任意一个字符
[...]：匹配中括号内出现的任意一个字符
[!...]：不匹配中括号内出现的任意一个字符

一般出现在要shell命令或脚本中，匹配特定的文件名

正则表达式
它是一个字符匹配标准，一些命令工具按此标准实现字符匹配，根据命令支持的匹配功能可分为基础正则表达式和扩展正则表达式，常用于支持正则表达式的工具，如sed，grep，awk...
有如下一些常用的匹配元字符：

字符匹配
.：匹配任意单个字符
*：匹配其前面一个字符出现任意次
?：匹配其前面的字符1次或0次
+：匹配其前面一个字符出现至少一次（在扩展正则表达式中）

位置匹配
^：锚定行首
$：锚定行尾
\<或\b：锚定词首，其后面的任意字符必须作为单词首部出现
\>或\b：锚定词尾，其前面的任意字符必须作为单词尾部出现
\B：非单词的开头或结尾
^$：空白行

分组() ：
(ab)* ： 匹配ab这个分组出现任意次
\1：引用第一个左括号以及与之对应的右括号所包括的所有内容，同理还有\2,\3

特殊子字符类：
[:alnum:] ：任何字母和数字
[:alpha:] ：任何字母
[:cntrl:] ：控制字符. 在ASCII表中对应八进制000 到 037, 和177 ('DEL').
[:digit:] ：任何数字
[:graph:] ：匹配打印字符，相当于'[:alnum:]' +'[:punct:]'.
[:lower:] ：小写字母
[:print:] ：可打印字符，相当于 '[:alnum:]', '[:punct:]', 和space.
[:punct:] 标点符号，'! " # $ % & ' ( ) * + , - . / : ; < = > ? @ [ \ ] ^ _ ' { | } ~'
[:space:] 空白字符，tab, newline, vertical tab, form feed, carriage return, and space.
[:upper:] 大写字母
[:xdigit:] 任何16进制的数字，相当于[0-9a-fA-F]
所以：^[[:space:]]*$ ：匹配没有任何内容的行

需要注意：[]中的特殊字符如.已经失去了其特殊含义，和方括号中的普通字符[abc]一样。

8. Linux Shell正则表达式如何匹配1~3位数字

grep '^[0-9]\{1,3\}$' test.txt | grep '^[1-9]'

如果是变量

echo $var | grep '^[0-9]\{1,3\}$' | grep '^[1-9]'

$表示行尾

这个正则不匹配 12a 这样的字符串

你的变量内容是什么样的看

我用来测试的 test.txt 的内容：
123
321
123212
001
010
100
10000
0011
10101
1101
1
2
3
11
22
33
1a
2a

9. Linux Shell正则表达式如何匹配1~3位数字

grep '^[0-9]\{1,3\}$' test.txt | grep '^[1-9]'

如果是变量

echo $var | grep '^[0-9]\{1,3\}$' | grep '^[1-9]'

$表示行尾

这个正则不匹配 12a 这样的字符串

你的变量内容是什么样的？

我用来测试的 test.txt 的内容：
123
321
123212
001
010
100
10000
0011
10101
1101
1
2
3
11
22
33
1a
2a

10. 4-19-1 Linux中的正则表达式 --- 匹配次数

1、匹配次数：指的是某一个字符出现了多少个。

2、常用参数：

3、实操练习

③、\ ? 匹配前面的字符 0 次或 1 次。

④、\ + 匹配前面的字符至少 1 次。

⑤、\ {n} 匹配前面的字符 n 次。（等于多少次）

⑥、\ {m,n\ } 匹配前面的字符至少 m 次，最多 n 次。（大于等于多少次，小于等于多少次）

⑦、\ {,n\ } 匹配前面的字符最多 n 次。（小于等于多少次）

⑧、\ {n,\ } 匹配前面的字符至少 n 次。（大于等于多少次）