sortlinux

Ⅰ linux系统sort和uniq命令联合使用

给定两个文件 a.txt 和 b.txt ，每行是一个记录（假设没有重复），要求输出两集合的交集、并集、差集，输出的结果只包括唯一项。

交集定义为同时出现在两个文件中的记录项；

并集定义为出现在任何一个文件中的记录项；

差集( A-B )定义为出现在A中而且不出现在B中的记录；

对称差集定义为只出现在一个文件中的记录；

假设 a.txt 包括 a, c, b 三行。假设 b.txt 包括 d, e, c, b 四行。

交集 ，把两个文件放到一起排序，只输出次数多于一次的项：

$ sort a.txt b.txt | uniq -d

并集 ，把两个文件放到一起排序，重复的项只算一次：

$ sort a.txt b.txt | uniq

差集(A-B) ，把B的元素重复2份和A的元素放到一起排序，只输出出现一次的项：

$ sort a.txt b.txt b.txt | uniq -u

对称差 ，把两个文件放到一起排序，只输出出现一次的项：

$ sort a.txt b.txt | uniq -u

指定分隔符（-t）及基于哪一列（-k）、基于数值（-n） 、逆序（-r）进行排序

#排序之后删除了重复行，同时在行首位置输出该行重复的次数：

执行命令：sort testfile | uniq -c ，输出结果如下

#仅显示存在重复的行，并在行首显示该行重复的次数：

执行命令：sort testfile | uniq -dc，输出结果如下

#仅显示没有重复的行：

执行命令：sort testfile | uniq -u，输出结果如下

Ⅱ linux中sort命令的简单用方法

Sort命令的功能是对文件中的各行进行排序。Sort命令有许多非常实用的选项，这些选项最初是用来对数据库格式的文件内容进行各种排序操作的。实际上，Sort命令可以被认为是一个非常强大的数据管理工具，用来管理内容类似数据库记录的文件。 Sort命令将逐行对文件中的内容进行排序，如果两行的首字符相同，该命令将继续比较这两行的下一字符，如果还相同，将继续进行比较。 语法： Sort ［选项］ 文件 说明：Sort命令对指定文件中所有的行进行排序，并将结果显示在标准输出上。如不指定输入文件或使用"- "，则表示排序内容来自标准输入。 Sort排序是根据从输入行抽取的一个或多个关键字进行比较来完成的。排序关键字定义了用来排序的最小的字符序列。缺省情况下以整行为关键字按ASCII字符顺序进行排序。 改变缺省设置的选项主要有： - m 若给定文件已排好序，合并文件。 - c 检查给定文件是否已排好序，如果它们没有都排好序，则打印一个出错信息，并以状态值1退出。 - u 对排序后认为相同的行只留其中一行。 - o 输出文件 将排序输出写到输出文件中而不是标准输出，如果输出文件是输入文件之一，Sort先将该文件的内容写入一个临时文件，然后再排序和写输出结果。 改变缺省排序规则的选项主要有： - d 按字典顺序排序，比较时仅字母、数字、空格和制表符有意义。 - f 将小写字母与大写字母同等对待。 - I 忽略非打印字符。 - M 作为月份比较："JAN"<"FEB" - r 按逆序输出排序结果。 ＋posl - pos2 指定一个或几个字段作为排序关键字，字段位置从posl开始，到pos2为止（包括posl，不包括pos2）。如不指定pos2，则关键字为从posl到行尾。字段和字符的位置从0开始。 - b 在每行中寻找排序关键字时忽略前导的空白（空格和制表符）。 - t separator 指定字符separator作为字段分隔符。 下面通过几个例子来讲述Sort的使用。 用Sort命令对text文件中各行排序后输出其结果。请注意，在原文件的第二、三行上的第一个单词完全相同，该命令将从它们的第二个单词vegetables与fruit的首字符处继续进行比较。 $ cat text vegetable soup fresh vegetables fresh fruit lowfat milk $ Sort text fresh fruit fresh vegetables lowfat milk vegetable soup 用户可以保存排序后的文件内容，或把排序后的文件内容输出至打印机。下例中用户把排序后的文件内容保存到名为result的文件中。 $ Sort text>result 以第2个字段作为排序关键字对文件example的内容进行排序。 $ Sort +1-2 example 对于file1和file2文件内容反向排序，结果放在outfile中，利用第2个字段的第一个字符作为排序关键字。 $ Sort -r -o outfile +1.0 -1.1 example Sort排序常用于在管道中与其他命令连用，组合完成比较复杂的功能，如利用管道将当前工作目录中的文件送给Sort进行排序，排序关键字是第6个至第8个字段。 $ ls - l | Sort +5 - 7 $ ps -e -o " comm pid time"|Sort -d //按照command的首字母的字母顺序排序 Sort命令也可以对标准输入进行操作。例如，如果您想把几个文件文本行合并，并对合并后的文本行进行排序，您可以首先用命令cat把多个文件合并，然后用管道操作把合并后的文本行输入给命令Sort，Sort命令将输出这些合并及排序后的文本行。在下面的例子中，文件veglist与文件 fruitlist的文本行经过合并与排序后被保存到文件clist中。
本文来自“Qi9电脑知识网”

Ⅲ Linux里面sort -M file3命令作用是什么

sort的-M是将前面3个字母依照月份的缩写进行排序，但是用的很少。

sort常用参数：

-n 依照数值的大小排序。

-u 意味着是唯一的(unique)，输出的结果是去完重了的。

-r 以相反的顺序来排序。

-t<分隔字符> 指定排序时所用的栏位分隔字符。

sort企业案例见连接

网页链接

Ⅳ linux中sort命令的简单用方法

按第5列数值排序：
ls -l | sort -k5,5n
sort -k5,5n list.txt
按第5列数值反序排序：
ls -l | sort -k5,5nr
sort -k5,5nr list.txt
一般这样用的时候多，其它选项用得比较少。

Ⅳ 每天一个linux命令（1）sort

sort 是将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按照ASCII码值进行比较，默认将他们按照升序输出

降序

在输出中去重

将排序结果输出到原文件
sort的默认输出是输出到标准输出，如果想把结果输出到文件，需要 sort file > newfile,但是如果想把结果输出到原文件这样就不行了，这时就需要 使用sort -o

以数值来排序
sort 默认是按照字符串排序的，这样就会出现10比3小的情况，sort -n 就可以告诉sort 以整数排序

-t 后面跟 分隔符
-k 后面跟数字，表示用第几列排序
如 sort -t : -k 2 表示把每行 以：号分割，按照第二列排序

banana:30:5.5
orange:20:3.4
apple:10:2.5

我们可以看到，当 和soho都是100的时候，排在前面，当当前域按照默认规矩，是从第一个域开始进行升序排序，因此排在了sohu前面。

sort 支持 -k 2 -k3这种模式，如果你需要，你可以继续这么写下去

你仔细看看，在-k 3后面偷偷加上了一个小写字母r,r和-r的作用是一样，你也可以把前面的-n去掉 在r后面加上n,如下

其实-k 选项 功能很强大，语法[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]
从逗号前后 分为两大部分，即-k 2,2，是严格使用第一个域排序，如果只设置-k 2 其实是按照从第一个域到行尾。逗号分开的每部分又有一个点表示子域，即-k 1.2表示 按照第一个域的第二个字符排序，Modifiers就是我们用到的n和r 如 -k 1.2nr 具体我们看下面的例子。

我们使用了-k 1.2，这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现因为第二个字母是a而名列榜首。sohu和 google第二个字符都是o，但sohu的h在google的o前面，所以两者分别排在第二和第三。这和之前说到的按照默认的排序规则 是不同的，当第一个域的第二个字符相同时，他不会去按照第一个字符排序，而是按照后面的字符排序，这是因为-k 1.2是对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。而之前的夸域其实是一种假象。

-u只识别用-k设定的域，发现相同，就将后续相同的行都删除

但是这时候，却一行也没有删除。原来-u是会权衡所有-k选项，将都相同的才会删除，只要其中有一级不同都不会轻易删除的

可以用到b、d、f、i、n 或 r。

其中n和r你肯定已经很熟悉了。

b表示忽略本域的签到空白符号。

d表示对本域按照字典顺序排序（即，只考虑空白和字母）。

f表示对本域忽略大小写进行排序。

i表示忽略“不可打印字符”，只针对可打印字符进行排序。（有些ASCII就是不可打印字符，比如\a是报警，\b是退格，\n是换行，\r是回车等等）

Ⅵ linux sort命令 算法

man sort中关于它的描述是
sort - sort lines of text files

所以，它默认是以文本排序的。
但是它又有其它参数
-b, --ignore-leading-blanks
ignore leading blanks
-d, --dictionary-order
consider only blanks and alphanumeric characters
-f, --ignore-case
fold lower case to upper case characters
-g, --general-numeric-sort
compare according to general numerical value
-i, --ignore-nonprinting
consider only printable characters
-M, --month-sort
compare (unknown) < ‘JAN’ < ... < ‘DEC’
-n, --numeric-sort
compare according to string numerical value
-r, --reverse
reverse the result of comparisons
可以忽略前置的空格、或指定顺序字典、或忽略大小写、或以正常的数字形式、或忽略不可打印字符、或以月份（包括英语的月份）、或以字符形式的数字、或以倒序形式排序。

Ⅶ linux sort 自定义分割符多重排序

1、sort用法参数有-urontk

-u去重

-r降序

-o标准输出

-n换数字排序

-t指定分隔符

-k指定以第列来排序

-f会将小写字母都转换为大写字母来进行比较，亦即忽略大小写

-c会检查文件是否已排好序，如果乱序，则输出第一个乱序的行的相关信息，最后返回1

-C会检查文件是否已排好序，如果乱序，不输出内容，仅返回1

-M会以月份来排序，比如JAN小于FEB等等

-b会忽略每一行前面的所有空白部分，从第一个可见字符开始比较。

2、所以主要用到了-t 与-k参数

#ls|sort-t"_"-k3
PM25D7_R1_L1_L3_107-1-2-9.1.fq.gz
PM25D7_R2_L1_L3_107-1-2-9.2.fq.gz
PM25D7_single_L1_L3_107-1-2-9.single.fq.gz
PM25D7_R1_L2_L4_107-1-2-9.1.fq.gz
PM25D7_R2_L2_L4_107-1-2-9.2.fq.gz
PM25D7_single_L2_L4_107-1-2-9.single.fq.gz

Ⅷ linux sort命令参数及用法详解

Linux sort命令用于将文本文件内容加以排序，sort可针对文本文件的内容，以行为单位来排序。
sort命令的语法格式：sort[参数][文件]
Linux sort命令参数：
-b：忽略每行前面开始出的空格符号。
-c：检查文件是否已经按照顺序排序。
-d：排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
-f：排序时，将小写字母视为大写字母。
-i：排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
-m：将几个排序好的文件进行合并。
-M：将前面三个字母依照月份的缩写进行排序。
-n：依照数值的大小排序。
-u：意味着是唯一的，输出的结果是去完重了的。
-o：<输出文件>将排序后的结果存入指定的文件。
-r：以相反的顺序来排序。
-t：<分隔字符>指定排序时所用的栏位分隔字符。

Ⅸ linux sort 命令整理

无论是工作中使用还是应付各种面试，linux sort 都是必须要掌握的 linux 基本命令之一。尤其是 linux sort -k 命令，经常会被搞晕，索性好好研究一下 sort 命令

语法：

选项：

参数就不一一介绍了，直接上例子，首先先看下原始的排序数据
cat sort.log

1、打印从哪列开始是乱序
sort -c sort.log; echo $?

sort -C sort.log; echo $?

其中，返回结果 1，表示文件不是已经排序好的文件
2、默认排序( 整行进行ASCII字符升序)
sort sort.log

3、高能来了，让人迷糊的 k 语法，首先看下 k 的语法格式

这个语法格式可以被其中的逗号（”,”）分为两大部分，Start部分和End部分
Start和End部分都由三部分组成，其中的Modifier部分就是类似n和r的选项部分，可省略
FStart、Fend，表示使用的域，而CStart则表示在FStart域中从第几个字符开始算"排序首字符",同理,CEnd表示结尾的第几个字符是排序末尾字符,.CStart、.CEnd是可以省略的，分别表示从本域的开头部分开始、到本域的域尾结束,CEnd设定为0,也是表示结尾到域尾。口说无凭，上几个例子吧

3.1 对第三列进行排序，如果不加n，按照 ASCII字符排序
sort -t $' ' -k 3 sort.log

3.2 加n后，按照数值排序
sort -t $' ' -k 3n sort.log

3.3 不指定 FEnd 时，多个 -k 从前往后排序可以，从后往前不行
从后往前，多个 -k，数据符合预期
sort -t $' ' -k 3n -k 1 sort.log

从后往前，多个 -k ，第三列相同时，按照第一列降序排列，数据符合预期
sort -t $' ' -k 3n -k 1r sort.log

更换成从前往后
sort -t $' ' -k 1 -k 3n sort.log

sort -t $' ' -k 1 -k 3nr sort.log

通过 sort -t $' ' -k 1 -k 3n sort.log 和 sort -t $' ' -k 1 -k 3nr sort.log 返回的结果发现，在第一列相等时，无论其三列是正序排列，还是逆序排列，结果都一样，说明后边的 -k 未生效
当指定 FEend 后
sort -t $' ' -k 1,1 -k 3nr sort.log

3.4 作用域
紧跟在字段后的选项(如"-k3n"的"n"和"-k2nr"的"n"，"r")称为私有选项，使用短横线写在字段外的选项(如"-n"、"-r")为全局选项。当没有为字段分配私有选项时，该排序字段将继承全局选项，所有选项包括但不限于"bfnrhM"
除了"b"选项外，其余选项无论是指定在FStart还是FEnd中都是等价的，对于"b"选项，指定在FStart则作用于FStart，指定在FEnd则作用于FEnd
sort -t $' ' -k1r,2 sort.log ，可以看出一、二列都是倒叙排列

3.5 注意
指定n选项按数值排序时, 由于"n"选项只能识别数字和负号"-"，当排序时遇到无法识别字符时，将导致该key的排序立即结束，n选项绝对不会跨域进行比较
默认情况下，sort会进行一次 "最后的排序" ，按照默认规则对整行进行一次排序，这次排序称为"最后的排序"

sort -t $' ' -k3n sort.log ，在第三列相等时，整行会按照 ASCII 进行最后的升序排列

sort -t $' ' -k3,4n -s sort.log ，加了 -s 后，不会进行最后的排序(1000相同时，e在b的前边了)，而是保留原排序

3.6 按照某个域中的第n个字符进行排序
sort -t $' ' -k2.3,2.3 sort.log ，按第二列第三个字符进行排序

4、 -h 使用易读性数字(例如:2K、1G)
sort -t $' ' -k5h sort.log

sort -t $' ' -k2,2 sort.log|uniq

sort -t $' ' -k2,2 -u sort.log 会对第二列进行去重，而 sort -t $' ' -k2,2 sort.log|uniq 会对整行进行去重(当然uniq也可以按照第二列进行去重)

sort整理完了，欢迎大牛指教

Ⅹ linux sort命令 实例

sort排序是根据从输入行抽取的一个或多个关键字进行比较来完成的。排序关键字定义了用来排序的最小的字符序列。缺省情况下以整行为关键字按ASCII字符顺序进行排序。
改变缺省设置的选项主要有：
-
m
若给定文件已排好序，合并文件。
-
c
检查给定文件是否已排好序，如果它们没有都排好序，则打印一个出错信息，并以状态值1退出。
-
u
对排序后认为相同的行只留其中一行。
-
o
输出文件
将排序输出写到输出文件中而不是标准输出，如果输出文件是输入文件之一，sort先将该文件的内容写入一个临时文件，然后再排序和写输出结果。
改变缺省排序规则的选项主要有：
-
d
按字典顺序排序，比较时仅字母、数字、空格和制表符有意义。
-
f
将小写字母与大写字母同等对待。
-
I
忽略非打印字符。
-
M
作为月份比较：“JAN”<“FEB”<¼
<“DEC”。
-
r
按逆序输出排序结果。
＋posl
-
pos2
指定一个或几个字段作为排序关键字，字段位置从posl开始，到pos2为止（包括posl，不包括pos2）。如不指定pos2，则关键字为从posl到行尾。字段和字符的位置从0开始。
-
b
在每行中寻找排序关键字时忽略前导的空白（空格和制表符）。
-
t
separator
指定字符separator作为字段分隔符。
用sort命令对text文件中各行排序后输出其结果。请注意，在原文件的第二、三行上的第一个单词完全相同，该命令将从它们的第二个单词vegetables与fruit的首字符处继续进行比较。
$
cat
text
vegetable
soup
fresh
vegetables
fresh
fruit
lowfat
milk
以sort排序后输出的结果：
$
sort
text
fresh
fruit
fresh
vegetables
lowfat
milk
vegetable
soup