大文件讀取java

A. java如何讀取大容量的txt文件

java讀取txt文件內容。可以作如下理解：
首先獲得一個文件句柄。File file = new File(); file即為文件句柄。兩人之間連通電話網路了。接下來可以開始打電話了。
通過這條線路讀取甲方的信息：new FileInputStream(file) 目前這個信息已經讀進來內存當中了。接下來需要解讀成乙方可以理解的東西
既然你使用了FileInputStream()。那麼對應的需要使用InputStreamReader()這個方法進行解讀剛才裝進來內存當中的數據
解讀完成後要輸出呀。那當然要轉換成IO可以識別的數據呀。那就需要調用位元組碼讀取的方法BufferedReader()。同時使用bufferedReader()的readline(）方法讀取txt文件中的每一行數據哈。

B. java 讀取一個巨大的文本文件，該如何實現 既能保證內存不溢出 又能保證性能

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.RandomAccessFile;
import java.nio.ByteBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

public class ReadBig {
public static String fff = "C:\\mq\\read\\from.xml";

public static void main1(String[] args) throws Exception {

final int BUFFER_SIZE = 0x300000;// 緩沖區大小為3M

File f = new File(fff);

/**
*
* map(FileChannel.MapMode mode,long position, long size)
*
* mode - 根據是按只讀、讀取/寫入或專用（寫入時拷貝）來映射文件，分別為 FileChannel.MapMode 類中所定義的
* READ_ONLY、READ_WRITE 或 PRIVATE 之一
*
* position - 文件中的位置，映射區域從此位置開始；必須為非負數
*
* size - 要映射的區域大小；必須為非負數且不大於 Integer.MAX_VALUE
*
* 所以若想讀取文件後半部分內容，如例子所寫；若想讀取文本後1/8內容，需要這樣寫map(FileChannel.MapMode.READ_ONLY,
* f.length()*7/8,f.length()/8)
*
* 想讀取文件所有內容，需要這樣寫map(FileChannel.MapMode.READ_ONLY, 0,f.length())
*
*/

MappedByteBuffer inputBuffer = new RandomAccessFile(f, "r")
.getChannel().map(FileChannel.MapMode.READ_ONLY,
f.length() / 2, f.length() / 2);

byte[] dst = new byte[BUFFER_SIZE];// 每次讀出3M的內容

long start = System.currentTimeMillis();

for (int offset = 0; offset < inputBuffer.capacity(); offset += BUFFER_SIZE) {

if (inputBuffer.capacity() - offset >= BUFFER_SIZE) {

for (int i = 0; i < BUFFER_SIZE; i++)

dst[i] = inputBuffer.get(offset + i);

} else {

for (int i = 0; i < inputBuffer.capacity() - offset; i++)

dst[i] = inputBuffer.get(offset + i);

}

int length = (inputBuffer.capacity() % BUFFER_SIZE == 0) ? BUFFER_SIZE
: inputBuffer.capacity() % BUFFER_SIZE;

System.out.println(new String(dst, 0, length));// new
// String(dst,0,length)這樣可以取出緩存保存的字元串，可以對其進行操作

}

long end = System.currentTimeMillis();

System.out.println("讀取文件文件一半內容花費：" + (end - start) + "毫秒");

}

public static void main2(String[] args) throws Exception {
int bufSize = 1024;
byte[] bs = new byte[bufSize];
ByteBuffer byteBuf = ByteBuffer.allocate(1024);
FileChannel channel = new RandomAccessFile(fff, "r").getChannel();
while (channel.read(byteBuf) != -1) {
int size = byteBuf.position();
byteBuf.rewind();
byteBuf.get(bs); // 把文件當字元串處理，直接列印做為一個例子。
System.out.print(new String(bs, 0, size));
byteBuf.clear();
}

}

public static void main(String[] args) throws Exception {
BufferedReader br = new BufferedReader(new FileReader(fff));
String line = null;
while ((line = br.readLine()) != null) {
System.out.println(line);
}
}

}

C. java 讀取大容量文件，內存溢出怎麼分段讀取（按一定容量讀取）

import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.util.Scanner;

public class TestPrint {
public static void main(String[] args) throws IOException {
String path = "你要讀的文件的路徑";
RandomAccessFile br=new RandomAccessFile(path,"rw");//這里rw看你了。要是之都就只寫r
String str = null, app = null;
int i=0;
while ((str = br.readLine()) != null) {
i++;
app=app+str;
if(i>=100){//假設讀取100行
i=0;
// 這里你先對這100行操作，然後繼續讀
app=null;
}
}
br.close();
}

}

D. JAVA怎麼快速讀取一個大文件（1G多有500萬行）

java NIO除了非同步非阻塞特性外，另外一個重要特性就是文件讀取，原理是文件地址直接映射在線程內存，不要經過操作系統，可以大大提高響應速度。

下面是例子：
http://blog.csdn.net/chenleixing/article/details/44207469