linux大文件存儲

A. linux下查找大文件

Linux上查找最大文件的3種方法
第一種：ls
最簡單的方法就是藉助 ls 命令，因為 ls 命令本身輸出是帶文件大小信息的。

比如，我要列出 /data/log/ 目錄中的20個最大文件，可以：

ls -lSh /data/log/ | head -20

第二種：find
find 本身就是查找命令，可以遞歸查找一個目錄的子目錄，所以用它是自然的。

比如，查找/etc目錄下最大的5個文件：
find /etc -type f -printf 「%s %p 」 | sort -n | tail -5 | xargs ls -Slh

查找當前用戶名下最大的10個文件
find $HOME -type f -printf 「%s %p 」 | sort -nr | head -10 | xargs ls -Slh

查詢大於200M的文件
find / -type f -size +200M | xargs ls -Slh

查詢100M和200M之間的文件
find / -type f -size +100M -size +200M | xargs ls -Slh

查詢root目錄下最大的5個文件
find /root -type f -exec ls -s {} ; | sort -n | tail -n5 | xargs ls -Slh

查詢/目錄下10天以前最大的5個文件
find / -type f -mtime +10 -printf 「%s %p 」 | sort -n | tail -5 | xargs ls -Slh

第三種：
命令可以查看磁碟空間的使用情況，自然也可以用來查看磁碟上佔用空間較多的文件和文件夾。

查找/root下5個最大的文件
-ah /root | sort -nr | head -n5

查找當前目錄下最大的5個目錄
-ah | sort -nr | head -n5

查找根目錄下最大目錄/文件(包括子文件夾)
-Sh / | sort -rh | head -n10

只看大小在 GB 范圍內的所有文件
-ah / | grep 「[0-9]G」

涉及到的命令參數：
find：
-exec<執行指令>：假設find指令的回傳值為True，就執行該指令；

-mtime n 查找系統中最後n天被改變文件數據的文件 +大於 -小於

-type 查找某一類型的文件
b -塊設備文件；
c -字元設備文件；
d -目錄；
p -管道文件；
f -普通文件；
l -符號鏈接文件；
s -socket文件；

-printf<輸出格式>：假設find指令的回傳值為Ture，就將文件或目錄名稱列出到標准輸出。格式可以自行指定；

sort：
-n 依照數值的大小排序；
-r 以相反的順序來排序；

xargs：傳遞參數

ls -Slh
-Sl 從大到小顯示詳情
-Slr 從小到大顯示詳情
-h humans 以人類易讀的方式顯示（正常情況下顯示為bit，加上-h後 顯示的為KB MB GB TB等）

：
-a 顯示所有目錄或文件的大小
-h 以K,M,G為單位，提高信息可讀性
-S 顯示目錄的大小，但不含子目錄大小

B. linux下怎樣編輯文件保存文件

我們在linux系統下面經常需要編輯並保存文件，那麼如何操作呢？下面我給大家分享一下。

工具/材料

linux系統

• 01

  首先進入linux系統以後右鍵單擊桌面，選擇Open In Terminal選項，如下圖所示

• 02

  接下來在彈出的終端命令行界面中通過vi命令打開要編輯的文件，如下圖所示

• 03

  進入編輯器以後我們按下insert鍵進入插入模式，如下圖所示，這時可以編輯內容

• 04

  最後編輯完內容以後按ESC鍵退出編輯模式，接著按冒號鍵，然後輸入保存並退出，如下圖所示

C. 問下linux 如何可是寫入16G以上的大文件

其實將分區格式化一下就可以了，EXT3系統到底能支持多大的文件要看block塊的大小（Ext4系統應該也不例外），如果block塊的大小為2KB那麼就可以支持單個256GB的文件，4KB大小可以支持2TB的文件。格式化的方法：
首先輸入命令：fdisk 設備名稱(如：/dev/sda)
之後輸入p查看分區信息已確認需要格式化的磁碟的信息。
按q退出fdisk
之後比如要格式化的磁碟為: /dev/sda2 ，那麼就輸入mkfs -t ext3 /dev/sda2
注意，當出現Block size時，輸入2048
之後的步驟應該就是按回車就行了

D. linux支持的最大文件大小（能否支持大小4G以上的文件）[ZSHAO]

？oracle（linux平台）建立的數據文件
能否支持大小4G以上的文件？答：Linux下的文件系統極少有這么愚蠢的限制，不過任何文件系統都是有限制的。
下面是個不完整的小列表：
NTFS（Windows）：支持最大分區2TB，最大文件2TB
FAT16（Windows）：支持最大分區2GB，最大文件2GB
FAT32（Windows）：支持最大分區128GB，最大文件4GBExt2最大文件大小: 1TB
最大文件極限: 僅受文件系統大小限制
最大分區/文件系統大小: 4TB
最大文件名長度: 255 字元
預設最小/最大塊大小: 1024/4096 位元組
預設inode分配: 每4096位元組為1
在強制FS檢查前的最大裝載: 20(可配置)
//REDHAT9默認是ext3的文件系統Ext3最大文件大小: 1TB
最大文件極限: 僅受文件系統大小限制
最大分區/文件系統大小: 4TB
最大文件名長度: 255 字元
預設最小/最大塊大小: 1024/4096 位元組
預設inode分配: 每4096位元組為1
在強制FS檢查前的最大裝載: 20(可配置)ReiserFS最大文件大小: 1TB
最大文件極限: 32k目錄,42億文件
最大分區/文件系統大小: 4TB
最大文件名長度: 255 字元JFS最小文件系統大小 16 MB
最大文件大小: 受體系結構限制
最大文件極限: 受文件系統大小限制
預設最小/最大塊大小: 1024/4096 位元組
預設inode分配: 動態

E. 怎樣在 Linux操作系統 硬碟上創建連續存儲的大文件

磁碟文件系統是一種設計用來利用數據存儲設備來保存計算機文件的文件系統，最常用的數據存儲設備是磁碟驅動器，可以直接或者間接地連接到計算機上。
例如：FAT、exFAT、NTFS、HFS、HFS+、ext2、ext3、ext4、ODS-5、btrfs。

F. linux 的文件系統是什麼

Linux採用虛擬機文件系統，可以支持很多文件系統格式。但是，因為要安裝系統必須得有實際的文件系統，所以Linux就採用了ext文件系統作為它的默認文件系統，它可以支持眾多的文件系統，如：JFS,XFS,ReiserFS,NTFS,FAT等，幾乎目前所有的文件系統Linux都能支持。

G. 怎麼樣查看linux下佔用空間最大的文件

執行如下命令進行查看：

--max-depth=1-h

註：在根目錄執行一次後會顯示文件存儲最大的目錄，進入最大目錄再執行該命令，直到找到存儲空間最大的文件為止。

H. Linux系統單個文件夾大小怎麼限制

1、極限容量即磁碟的使用量。文件夾的大小是有文件夾中的文件大小所決定的。 在Linux系統用戶可以通過命令來查詢文件夾及文件夾中文件的大小：
[root@bsso yayu]# -h --max-depth=1 work/testing
27M work/testing/logs
35M work/testing

[root@bsso yayu]# -h --max-depth=1 work/testing/*
8.0K work/testing/func.php
27M work/testing/logs
8.1M work/testing/nohup.out
8.0K work/testing/testing_c.php
12K work/testing/testing_func_reg.php
8.0K work/testing/testing_get.php
8.0K work/testing/testing_g.php
8.0K work/testing/var.php

2、操作系統一般會設置單個文件的容量，拿Windows系統來說，如果使用的FAT32的文件系統，則最大存儲的單個文件大小不可以超過4G，如果使用NTFS文件系統，則可以存儲4G及以上的超大文件。

I. Linux文件系統的演變

說起文件系統的演變與發展，不得不從最早期的 Minix 操作系統開始說起。

Minix(MINI-UNIX) 是早期的一個迷你版本的 「類UNIX操作系統」 ，由荷蘭阿姆斯特丹自由大學計算機科學系的塔能鮑姆教授自行開發的可以與UNIX操作系統兼容的一個操作系統，因其小型，該操作系統被命名為 MINIX 。

MINIX 系統在設計之初，採用程序模塊化的思想，將一眾程序放在用戶空間運行，而不是在操作系統的內核中運行。如 「文件系統」 和 「存儲器管理」 等程序均是如此。

受 MINIX 操作系統的影響，早期的Linux操作系統也曾採用由塔能鮑姆教授開發的MINIX的文件系統。

然而，不只因為早期的 MINIX 操作系統並為真正意義上的開源軟體(在保護著作的前提下進行收費)，而且基於 MINIX 的內部使用16位的偏移量，使文件系統能夠支持的最大空間只有64MB，支持的最大文件名為14字元，導致後來 Linux 操作系統轉而開發出了 ext(Extended File System) 第一代可擴展文件系統。

ext(Extended File System) 為Linux系統最早的擴展文件系統，採用 「UNIX文件系統」 的元數據結構，克服了 「MINIX」 操作系統性能不佳的問題。

ext 文件系統採用 虛擬文件系統(VFS) ，最大可支持2GB的文件系統。與 MINIX 文件系統不同的是， ext 可以使用最高2GB的存儲空間並同時處理255個字元的文件名。

但，在 ext 文件系統中，文件創建時生成的 inode 信息是不變的，這導致文件發生修改後 inode 中儲存的文件時間戳並不會發生變化；而且 ext 並不會為文件妥善分配空間，磁碟上的多個文件四散分布，嚴重製約了文件系統的性能。

ext 文件系統推出後不久，其開發者便意識到 ext 文件系統中存在很大缺陷( inode不變性 和 文件空間碎片化 )，並在一年後推出了 ext2 (Second Extened File System) 第二代擴展文件系統，用來代替 ext 文件系統。

ext2 吸取了 「UNIX文件系統」 的眾多優點，並且因其良好的可擴展性( 為系統在磁碟上存儲的數據結構預留了很多空間提供給開發者使用 )，在20世紀90年代眾多文件系統中脫穎而出。

眾多新的特性， POSIX(可移植操作系統介面) 、 訪問控製表 等都是在這一代擴展文件系統上實現的。直至今天， POSIX 仍被眾多操作系統所沿用。

不僅如此， ext2 還在 ext 的基礎上進行了完善，能夠最大支持的單個文件達到 2TB。

ext2 文件系統與20世紀90年代的眾多文件系統一樣，將數據寫入到磁碟的過程中如果發生系統奔潰或斷電，極容易導致文件損壞或丟失。

正是因為類似 ext2 等同時期的一眾文件系統，在遭遇系統奔潰或斷電時會出現文件損壞或丟失。盡管 ext2 文件系統擁有開機後對文件系統中文件的一致性校驗，但校驗的過程極為耗時，且校驗的過程中，操作系統上的任何卷組都是不可訪問的。

然而 ext2 遺留的問題在 ext3(Third Extended File System) 中得到了解決。

ext3 文件系統採用日誌記錄的方式，記錄下了操作系統運行中的所有事件，這意味著即便遇到操作系統非正常關機後也無須對文件系統進行校驗，從而防止了文件系統中數據丟失的可能。

盡管 ext3 使用日誌系統進行記錄文件系統的變化，但這並沒有影響 ext3 文件系統處理數據的速度。基於日誌系統在磁碟上的優化，在 ext3 中數據的傳輸效率是高於 ext2 的，並且可以通過重新設置日誌的級別來提升文件系統的性能。

其次， ext3 在設計之初就吸收了 ext2 的很多思想，這使得 ext2 文件系統遷移到 ext3 變得極為便利。事實上， ext3 可以在從 ext2 遷移 ext3 的過程中，無須進行文件系統資料的備份，且無須擔心升級後的數據恢復問題。

也正是因為 ext3 設計之初沿用了眾多 ext2 的功能，這使得 ext3 缺乏變通。例如， 「inode的動態分配」 和 「可變塊大小」 等問題並沒有得到解決。不僅如此， ext3 文件系統在被掛載為寫入時，無法對文件系統進行完整性校驗。

第四代擴展文件系統( Fourth Extended File System, ext4 ) 是繼 ext3 文件系統的後續版本，不僅支持 ext3 的日誌文件體系 ，同樣支持 大文件系統 ，不僅提高了文件系統對於存儲碎片化的抵抗，而且改進了 inode固一化 的問題。

同時， ext4 文件系統在開發之初就考慮到很多問題，對眾多問題的優化和改進也使得 ext4 擁有了眾多新的特性。例如， 大文件系統 、 使用Extent文件存儲的方式 、 預分配空間 、 延遲文件獲取空間的時間 、 突破原有子目錄限制 、 增加日誌校驗和 、 在線整理磁碟 、 文件系統快速檢查 、 向下兼容其他ext文件系統`。

時至今天， ext4 文件系統已經成為Linux發行版默認使用的文件系統。

與 ext2 文件系統同一時期出現的，還有 xfs 文件系統。 xfs 文件系統是高性能的文件系統，最早在 IRIX 操作系統上開發，後期被移植到 Linux 操作系統上。現在所有的 Linux發行版 都支持 xfs 的使用。

相比 32位 Linux 的操作系統來說，64位 xfs 的文件系統能夠支持的單個文件系統要遠遠超出 32位 操作系統。

xfs 對文件系統元數據提供了日誌支持，當文件系統發生變化後，總是會保證源數據在數據塊寫入磁碟之前被寫入日誌中，磁碟中有一處緩沖區專門用來存放日誌，從而不會影響正常的文件系統。

xfs 同樣支持 「條帶化分配」 。在條帶化RAID陣列上創建 xfs 文件系統時，可以指定 條帶化數據單元。通過配置條帶化單元，使 數據分配、inode分配、日誌等與RAID條帶單元對齊，來提高文件系統的性能。

與 ext4 文件系統不同的是， xfs 文件系統還支持在線恢復。 xfs 文件系統提供了 xfsmp 和 xfsrestore 工具協助備份 xfs 文件系統中的數據。

以下為各文件系統的出現時間及特性：

參考自: https://zh.wikipedia.org/wiki/Ext4