linux大文件存储

A. linux下查找大文件

Linux上查找最大文件的3种方法
第一种：ls
最简单的方法就是借助 ls 命令，因为 ls 命令本身输出是带文件大小信息的。

比如，我要列出 /data/log/ 目录中的20个最大文件，可以：

ls -lSh /data/log/ | head -20

第二种：find
find 本身就是查找命令，可以递归查找一个目录的子目录，所以用它是自然的。

比如，查找/etc目录下最大的5个文件：
find /etc -type f -printf “%s %p ” | sort -n | tail -5 | xargs ls -Slh

查找当前用户名下最大的10个文件
find $HOME -type f -printf “%s %p ” | sort -nr | head -10 | xargs ls -Slh

查询大于200M的文件
find / -type f -size +200M | xargs ls -Slh

查询100M和200M之间的文件
find / -type f -size +100M -size +200M | xargs ls -Slh

查询root目录下最大的5个文件
find /root -type f -exec ls -s {} ; | sort -n | tail -n5 | xargs ls -Slh

查询/目录下10天以前最大的5个文件
find / -type f -mtime +10 -printf “%s %p ” | sort -n | tail -5 | xargs ls -Slh

第三种：
命令可以查看磁盘空间的使用情况，自然也可以用来查看磁盘上占用空间较多的文件和文件夹。

查找/root下5个最大的文件
-ah /root | sort -nr | head -n5

查找当前目录下最大的5个目录
-ah | sort -nr | head -n5

查找根目录下最大目录/文件(包括子文件夹)
-Sh / | sort -rh | head -n10

只看大小在 GB 范围内的所有文件
-ah / | grep “[0-9]G”

涉及到的命令参数：
find：
-exec<执行指令>：假设find指令的回传值为True，就执行该指令；

-mtime n 查找系统中最后n天被改变文件数据的文件 +大于 -小于

-type 查找某一类型的文件
b -块设备文件；
c -字符设备文件；
d -目录；
p -管道文件；
f -普通文件；
l -符号链接文件；
s -socket文件；

-printf<输出格式>：假设find指令的回传值为Ture，就将文件或目录名称列出到标准输出。格式可以自行指定；

sort：
-n 依照数值的大小排序；
-r 以相反的顺序来排序；

xargs：传递参数

ls -Slh
-Sl 从大到小显示详情
-Slr 从小到大显示详情
-h humans 以人类易读的方式显示（正常情况下显示为bit，加上-h后 显示的为KB MB GB TB等）

：
-a 显示所有目录或文件的大小
-h 以K,M,G为单位，提高信息可读性
-S 显示目录的大小，但不含子目录大小

B. linux下怎样编辑文件保存文件

我们在linux系统下面经常需要编辑并保存文件，那么如何操作呢？下面我给大家分享一下。

工具/材料

linux系统

• 01

  首先进入linux系统以后右键单击桌面，选择Open In Terminal选项，如下图所示

• 02

  接下来在弹出的终端命令行界面中通过vi命令打开要编辑的文件，如下图所示

• 03

  进入编辑器以后我们按下insert键进入插入模式，如下图所示，这时可以编辑内容

• 04

  最后编辑完内容以后按ESC键退出编辑模式，接着按冒号键，然后输入保存并退出，如下图所示

C. 问下linux 如何可是写入16G以上的大文件

其实将分区格式化一下就可以了，EXT3系统到底能支持多大的文件要看block块的大小（Ext4系统应该也不例外），如果block块的大小为2KB那么就可以支持单个256GB的文件，4KB大小可以支持2TB的文件。格式化的方法：
首先输入命令：fdisk 设备名称(如：/dev/sda)
之后输入p查看分区信息已确认需要格式化的磁盘的信息。
按q退出fdisk
之后比如要格式化的磁盘为: /dev/sda2 ，那么就输入mkfs -t ext3 /dev/sda2
注意，当出现Block size时，输入2048
之后的步骤应该就是按回车就行了

D. linux支持的最大文件大小（能否支持大小4G以上的文件）[ZSHAO]

？oracle（linux平台）建立的数据文件
能否支持大小4G以上的文件？答：Linux下的文件系统极少有这么愚蠢的限制，不过任何文件系统都是有限制的。
下面是个不完整的小列表：
NTFS（Windows）：支持最大分区2TB，最大文件2TB
FAT16（Windows）：支持最大分区2GB，最大文件2GB
FAT32（Windows）：支持最大分区128GB，最大文件4GBExt2最大文件大小: 1TB
最大文件极限: 仅受文件系统大小限制
最大分区/文件系统大小: 4TB
最大文件名长度: 255 字符
缺省最小/最大块大小: 1024/4096 字节
缺省inode分配: 每4096字节为1
在强制FS检查前的最大装载: 20(可配置)
//REDHAT9默认是ext3的文件系统Ext3最大文件大小: 1TB
最大文件极限: 仅受文件系统大小限制
最大分区/文件系统大小: 4TB
最大文件名长度: 255 字符
缺省最小/最大块大小: 1024/4096 字节
缺省inode分配: 每4096字节为1
在强制FS检查前的最大装载: 20(可配置)ReiserFS最大文件大小: 1TB
最大文件极限: 32k目录,42亿文件
最大分区/文件系统大小: 4TB
最大文件名长度: 255 字符JFS最小文件系统大小 16 MB
最大文件大小: 受体系结构限制
最大文件极限: 受文件系统大小限制
缺省最小/最大块大小: 1024/4096 字节
缺省inode分配: 动态

E. 怎样在 Linux操作系统 硬盘上创建连续存储的大文件

磁盘文件系统是一种设计用来利用数据存储设备来保存计算机文件的文件系统，最常用的数据存储设备是磁盘驱动器，可以直接或者间接地连接到计算机上。
例如：FAT、exFAT、NTFS、HFS、HFS+、ext2、ext3、ext4、ODS-5、btrfs。

F. linux 的文件系统是什么

Linux采用虚拟机文件系统，可以支持很多文件系统格式。但是，因为要安装系统必须得有实际的文件系统，所以Linux就采用了ext文件系统作为它的默认文件系统，它可以支持众多的文件系统，如：JFS,XFS,ReiserFS,NTFS,FAT等，几乎目前所有的文件系统Linux都能支持。

G. 怎么样查看linux下占用空间最大的文件

执行如下命令进行查看：

--max-depth=1-h

注：在根目录执行一次后会显示文件存储最大的目录，进入最大目录再执行该命令，直到找到存储空间最大的文件为止。

H. Linux系统单个文件夹大小怎么限制

1、极限容量即磁盘的使用量。文件夹的大小是有文件夹中的文件大小所决定的。 在Linux系统用户可以通过命令来查询文件夹及文件夹中文件的大小：
[root@bsso yayu]# -h --max-depth=1 work/testing
27M work/testing/logs
35M work/testing

[root@bsso yayu]# -h --max-depth=1 work/testing/*
8.0K work/testing/func.php
27M work/testing/logs
8.1M work/testing/nohup.out
8.0K work/testing/testing_c.php
12K work/testing/testing_func_reg.php
8.0K work/testing/testing_get.php
8.0K work/testing/testing_g.php
8.0K work/testing/var.php

2、操作系统一般会设置单个文件的容量，拿Windows系统来说，如果使用的FAT32的文件系统，则最大存储的单个文件大小不可以超过4G，如果使用NTFS文件系统，则可以存储4G及以上的超大文件。

I. Linux文件系统的演变

说起文件系统的演变与发展，不得不从最早期的 Minix 操作系统开始说起。

Minix(MINI-UNIX) 是早期的一个迷你版本的 “类UNIX操作系统” ，由荷兰阿姆斯特丹自由大学计算机科学系的塔能鲍姆教授自行开发的可以与UNIX操作系统兼容的一个操作系统，因其小型，该操作系统被命名为 MINIX 。

MINIX 系统在设计之初，采用程序模块化的思想，将一众程序放在用户空间运行，而不是在操作系统的内核中运行。如 “文件系统” 和 “存储器管理” 等程序均是如此。

受 MINIX 操作系统的影响，早期的Linux操作系统也曾采用由塔能鲍姆教授开发的MINIX的文件系统。

然而，不只因为早期的 MINIX 操作系统并为真正意义上的开源软件(在保护着作的前提下进行收费)，而且基于 MINIX 的内部使用16位的偏移量，使文件系统能够支持的最大空间只有64MB，支持的最大文件名为14字符，导致后来 Linux 操作系统转而开发出了 ext(Extended File System) 第一代可扩展文件系统。

ext(Extended File System) 为Linux系统最早的扩展文件系统，采用 “UNIX文件系统” 的元数据结构，克服了 “MINIX” 操作系统性能不佳的问题。

ext 文件系统采用 虚拟文件系统(VFS) ，最大可支持2GB的文件系统。与 MINIX 文件系统不同的是， ext 可以使用最高2GB的存储空间并同时处理255个字符的文件名。

但，在 ext 文件系统中，文件创建时生成的 inode 信息是不变的，这导致文件发生修改后 inode 中储存的文件时间戳并不会发生变化；而且 ext 并不会为文件妥善分配空间，磁盘上的多个文件四散分布，严重制约了文件系统的性能。

ext 文件系统推出后不久，其开发者便意识到 ext 文件系统中存在很大缺陷( inode不变性 和 文件空间碎片化 )，并在一年后推出了 ext2 (Second Extened File System) 第二代扩展文件系统，用来代替 ext 文件系统。

ext2 吸取了 “UNIX文件系统” 的众多优点，并且因其良好的可扩展性( 为系统在磁盘上存储的数据结构预留了很多空间提供给开发者使用 )，在20世纪90年代众多文件系统中脱颖而出。

众多新的特性， POSIX(可移植操作系统接口) 、 访问控制表 等都是在这一代扩展文件系统上实现的。直至今天， POSIX 仍被众多操作系统所沿用。

不仅如此， ext2 还在 ext 的基础上进行了完善，能够最大支持的单个文件达到 2TB。

ext2 文件系统与20世纪90年代的众多文件系统一样，将数据写入到磁盘的过程中如果发生系统奔溃或断电，极容易导致文件损坏或丢失。

正是因为类似 ext2 等同时期的一众文件系统，在遭遇系统奔溃或断电时会出现文件损坏或丢失。尽管 ext2 文件系统拥有开机后对文件系统中文件的一致性校验，但校验的过程极为耗时，且校验的过程中，操作系统上的任何卷组都是不可访问的。

然而 ext2 遗留的问题在 ext3(Third Extended File System) 中得到了解决。

ext3 文件系统采用日志记录的方式，记录下了操作系统运行中的所有事件，这意味着即便遇到操作系统非正常关机后也无须对文件系统进行校验，从而防止了文件系统中数据丢失的可能。

尽管 ext3 使用日志系统进行记录文件系统的变化，但这并没有影响 ext3 文件系统处理数据的速度。基于日志系统在磁盘上的优化，在 ext3 中数据的传输效率是高于 ext2 的，并且可以通过重新设置日志的级别来提升文件系统的性能。

其次， ext3 在设计之初就吸收了 ext2 的很多思想，这使得 ext2 文件系统迁移到 ext3 变得极为便利。事实上， ext3 可以在从 ext2 迁移 ext3 的过程中，无须进行文件系统资料的备份，且无须担心升级后的数据恢复问题。

也正是因为 ext3 设计之初沿用了众多 ext2 的功能，这使得 ext3 缺乏变通。例如， “inode的动态分配” 和 “可变块大小” 等问题并没有得到解决。不仅如此， ext3 文件系统在被挂载为写入时，无法对文件系统进行完整性校验。

第四代扩展文件系统( Fourth Extended File System, ext4 ) 是继 ext3 文件系统的后续版本，不仅支持 ext3 的日志文件体系 ，同样支持 大文件系统 ，不仅提高了文件系统对于存储碎片化的抵抗，而且改进了 inode固一化 的问题。

同时， ext4 文件系统在开发之初就考虑到很多问题，对众多问题的优化和改进也使得 ext4 拥有了众多新的特性。例如， 大文件系统 、 使用Extent文件存储的方式 、 预分配空间 、 延迟文件获取空间的时间 、 突破原有子目录限制 、 增加日志校验和 、 在线整理磁盘 、 文件系统快速检查 、 向下兼容其他ext文件系统`。

时至今天， ext4 文件系统已经成为Linux发行版默认使用的文件系统。

与 ext2 文件系统同一时期出现的，还有 xfs 文件系统。 xfs 文件系统是高性能的文件系统，最早在 IRIX 操作系统上开发，后期被移植到 Linux 操作系统上。现在所有的 Linux发行版 都支持 xfs 的使用。

相比 32位 Linux 的操作系统来说，64位 xfs 的文件系统能够支持的单个文件系统要远远超出 32位 操作系统。

xfs 对文件系统元数据提供了日志支持，当文件系统发生变化后，总是会保证源数据在数据块写入磁盘之前被写入日志中，磁盘中有一处缓冲区专门用来存放日志，从而不会影响正常的文件系统。

xfs 同样支持 “条带化分配” 。在条带化RAID阵列上创建 xfs 文件系统时，可以指定 条带化数据单元。通过配置条带化单元，使 数据分配、inode分配、日志等与RAID条带单元对齐，来提高文件系统的性能。

与 ext4 文件系统不同的是， xfs 文件系统还支持在线恢复。 xfs 文件系统提供了 xfsmp 和 xfsrestore 工具协助备份 xfs 文件系统中的数据。

以下为各文件系统的出现时间及特性：

参考自: https://zh.wikipedia.org/wiki/Ext4