python大文件讀取
1. 如何用python快速讀取幾G以上的大文件
如果你沒那麼大的內存 解決方法有幾個：
使用swap 一次性read()讀取
系統層面分割大文件為數個小於系統內存的小文件，分別讀取
使用python 按數據大小逐塊讀取，使用完數據即釋放該部分內存：
whileTrue:
chunk_data=file_object.read(chunk_size)
ifnotchunk_data:
break
yieldchunk_data
2. python如何讀取文件大小
python讀取文件大小的代碼如下：
[python] view plainimport os
from os.path import join, getsize
def getdirsize(dir):
size = 0L
for root, dirs, files in os.walk(dir):
size += sum([getsize(join(root, name)) for name in files])
return size
if '__name__' == '__main__':
filesize = getdirsize(r'c:\windows')
print 'There are %.3f' % (size/1024/1024), 'Mbytes in c:\\windows'
3. python 讀取CSV 文件
讀取一個CSV 文件
最全的
一個簡化版本
filepath_or_buffer : str，pathlib。str, pathlib.Path, py._path.local.LocalPath or any object with a read() method (such as a file handle or StringIO)
可以是URL，可用URL類型包括：http, ftp, s3和文件。對於多文件正在准備中
本地文件讀取實例：://localhost/path/to/table.csv
**sep **: str, default 『,』
指定分隔符。如果不指定參數，則會嘗試使用逗號分隔。分隔符長於一個字元並且不是『s+』,將使用python的語法分析器。並且忽略數據中的逗號。正則表達式例子：' '
**delimiter **: str, default None
定界符，備選分隔符（如果指定該參數，則sep參數失效）
delim_whitespace : boolean, default False.
指定空格(例如』 『或者』 『)是否作為分隔符使用，等效於設定sep='s+'。如果這個參數設定為Ture那麼delimiter 參數失效。
在新版本0.18.1支持
header : int or list of ints, default 『infer』
指定行數用來作為列名，數據開始行數。如果文件中沒有列名，則默認為0，否則設置為None。如果明確設定header=0 就會替換掉原來存在列名。header參數可以是一個list例如：[0,1,3]，這個list表示將文件中的這些行作為列標題（意味著每一列有多個標題），介於中間的行將被忽略掉。
注意：如果skip_blank_lines=True 那麼header參數忽略注釋行和空行，所以header=0表示第一行數據而不是文件的第一行。
**names **: array-like, default None
用於結果的列名列表，如果數據文件中沒有列標題行，就需要執行header=None。默認列表中不能出現重復，除非設定參數mangle_pe_cols=True。
index_col : int or sequence or False, default None
用作行索引的列編號或者列名，如果給定一個序列則有多個行索引。
如果文件不規則，行尾有分隔符，則可以設定index_col=False 來是的pandas不適用第一列作為行索引。
usecols : array-like, default None
返回一個數據子集，該列表中的值必須可以對應到文件中的位置（數字可以對應到指定的列）或者是字元傳為文件中的列名。例如：usecols有效參數可能是 [0,1,2]或者是 [『foo』, 『bar』, 『baz』]。使用這個參數可以加快載入速度並降低內存消耗。
as_recarray : boolean, default False
不贊成使用：該參數會在未來版本移除。請使用pd.read_csv(...).to_records()替代。
返回一個Numpy的recarray來替代DataFrame。如果該參數設定為True。將會優先squeeze參數使用。並且行索引將不再可用，索引列也將被忽略。
**squeeze **: boolean, default False
如果文件值包含一列，則返回一個Series
**prefix **: str, default None
在沒有列標題時，給列添加前綴。例如：添加『X』 成為 X0, X1, ...
**mangle_pe_cols **: boolean, default True
重復的列，將『X』...』X』表示為『X.0』...』X.N』。如果設定為false則會將所有重名列覆蓋。
dtype : Type name or dict of column -> type, default None
每列數據的數據類型。例如 {『a』: np.float64, 『b』: np.int32}
**engine **: {『c』, 『python』}, optional
Parser engine to use. The C engine is faster while the python engine is currently more feature-complete.
使用的分析引擎。可以選擇C或者是python。C引擎快但是Python引擎功能更加完備。
converters : dict, default None
列轉換函數的字典。key可以是列名或者列的序號。
true_values : list, default None
Values to consider as True
false_values : list, default None
Values to consider as False
**skipinitialspace **: boolean, default False
忽略分隔符後的空白（默認為False，即不忽略）.
skiprows : list-like or integer, default None
需要忽略的行數（從文件開始處算起），或需要跳過的行號列表（從0開始）。
skipfooter : int, default 0
從文件尾部開始忽略。 (c引擎不支持)
skip_footer : int, default 0
不推薦使用：建議使用skipfooter ，功能一樣。
nrows : int, default None
需要讀取的行數（從文件頭開始算起）。
na_values : scalar, str, list-like, or dict, default None
一組用於替換NA/NaN的值。如果傳參，需要制定特定列的空值。默認為『1.#IND』, 『1.#QNAN』, 『N/A』, 『NA』, 『NULL』, 『NaN』, 『nan』`.
**keep_default_na **: bool, default True
如果指定na_values參數，並且keep_default_na=False，那麼默認的NaN將被覆蓋，否則添加。
**na_filter **: boolean, default True
是否檢查丟失值（空字元串或者是空值）。對於大文件來說數據集中沒有空值，設定na_filter=False可以提升讀取速度。
verbose : boolean, default False
是否列印各種解析器的輸出信息，例如：「非數值列中缺失值的數量」等。
skip_blank_lines : boolean, default True
如果為True，則跳過空行；否則記為NaN。
**parse_dates **: boolean or list of ints or names or list of lists or dict, default False
infer_datetime_format : boolean, default False
如果設定為True並且parse_dates 可用，那麼pandas將嘗試轉換為日期類型，如果可以轉換，轉換方法並解析。在某些情況下會快5~10倍。
**keep_date_col **: boolean, default False
如果連接多列解析日期，則保持參與連接的列。默認為False。
date_parser : function, default None
用於解析日期的函數，默認使用dateutil.parser.parser來做轉換。Pandas嘗試使用三種不同的方式解析，如果遇到問題則使用下一種方式。
1.使用一個或者多個arrays（由parse_dates指定）作為參數；
2.連接指定多列字元串作為一個列作為參數；
3.每行調用一次date_parser函數來解析一個或者多個字元串（由parse_dates指定）作為參數。
**dayfirst **: boolean, default False
DD/MM格式的日期類型
**iterator **: boolean, default False
返回一個TextFileReader 對象，以便逐塊處理文件。
chunksize : int, default None
文件塊的大小， See IO Tools docs for more information on iterator and chunksize.
compression : {『infer』, 『gzip』, 『bz2』, 『zip』, 『xz』, None}, default 『infer』
直接使用磁碟上的壓縮文件。如果使用infer參數，則使用 gzip, bz2, zip或者解壓文件名中以『.gz』, 『.bz2』, 『.zip』, or 『xz』這些為後綴的文件，否則不解壓。如果使用zip，那麼ZIP包中國必須只包含一個文件。設置為None則不解壓。
新版本0.18.1版本支持zip和xz解壓
thousands : str, default None
千分位分割符，如「，」或者「."
decimal : str, default 『.』
字元中的小數點 (例如：歐洲數據使用』，『).
float_precision : string, default None
Specifies which converter the C engine should use for floating-point values. The options are None for the ordinary converter, high for the high-precision converter, and round_trip for the round-trip converter.
指定
**lineterminator **: str (length 1), default None
行分割符，只在C解析器下使用。
**quotechar **: str (length 1), optional
引號，用作標識開始和解釋的字元，引號內的分割符將被忽略。
quoting : int or csv.QUOTE_* instance, default 0
控制csv中的引號常量。可選 QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3)
doublequote : boolean, default True
雙引號，當單引號已經被定義，並且quoting 參數不是QUOTE_NONE的時候，使用雙引號表示引號內的元素作為一個元素使用。
escapechar : str (length 1), default None
當quoting 為QUOTE_NONE時，指定一個字元使的不受分隔符限值。
comment : str, default None
標識著多餘的行不被解析。如果該字元出現在行首，這一行將被全部忽略。這個參數只能是一個字元，空行（就像skip_blank_lines=True）注釋行被header和skiprows忽略一樣。例如如果指定comment='#' 解析『#empty a,b,c 1,2,3』 以header=0 那麼返回結果將是以』a,b,c'作為header。
encoding : str, default None
指定字元集類型，通常指定為'utf-8'. List of Python standard encodings
dialect : str or csv.Dialect instance, default None
如果沒有指定特定的語言，如果sep大於一個字元則忽略。具體查看csv.Dialect 文檔
tupleize_cols : boolean, default False
Leave a list of tuples on columns as is (default is to convert to a Multi Index on the columns)
error_bad_lines : boolean, default True
如果一行包含太多的列，那麼默認不會返回DataFrame ，如果設置成false，那麼會將改行剔除（只能在C解析器下使用）。
warn_bad_lines : boolean, default True
如果error_bad_lines =False，並且warn_bad_lines =True 那麼所有的「bad lines」將會被輸出（只能在C解析器下使用）。
**low_memory **: boolean, default True
分塊載入到內存，再低內存消耗中解析。但是可能出現類型混淆。確保類型不被混淆需要設置為False。或者使用dtype 參數指定類型。注意使用chunksize 或者iterator 參數分塊讀入會將整個文件讀入到一個Dataframe，而忽略類型（只能在C解析器中有效）
**buffer_lines **: int, default None
不推薦使用，這個參數將會在未來版本移除，因為他的值在解析器中不推薦使用
compact_ints : boolean, default False
不推薦使用，這個參數將會在未來版本移除
如果設置compact_ints=True ，那麼任何有整數類型構成的列將被按照最小的整數類型存儲，是否有符號將取決於use_unsigned 參數
use_unsigned : boolean, default False
不推薦使用：這個參數將會在未來版本移除
如果整數列被壓縮(i.e. compact_ints=True)，指定被壓縮的列是有符號還是無符號的。
memory_map : boolean, default False
如果使用的文件在內存內，那麼直接map文件使用。使用這種方式可以避免文件再次進行IO操作。
ref：
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html
4. python怎麼讀取大概1400MB的大json文件
這才是 Pythonci 最完美的方式，既高效又快速：
with open('filename', 'r', encoding = 'utf-8') as f: for line in f: do_something(line)
5. Python按行讀取文件的簡單實現方法
Python按行讀取文件的簡單實現方法
下面小編就為大家帶來一篇Python按行讀取文件的簡單實現方法。小編覺得挺不錯的，現在就分享給大家，也給大家做個參考。
1：readline()
file = open("sample.txt")
while 1:
line = file.readline()
if not line:
break
pass # do something
file.close()
一行一行得從文件讀數據，顯然比較慢；
不過很省內存；
測試讀10M的sample.txt文件，每秒大約讀32000行；
2：fileinput
import fileinput
for line in fileinput.input("sample.txt"):
pass
寫法簡單一些，不過測試以後發現每秒只能讀13000行數據，效率比上一種方法慢了兩倍多；
3：readlines()
file = open("sample.txt")
while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something
file.close()
用同樣的數據測試，它每秒可以讀96900行數據！效率是第一種方法的3倍，第二種方法的7倍！
4：文件迭代器
每次只讀取和顯示一行，讀取大文件時應該這樣：
file = open("sample.txt")
for line in file:
pass # do something
file.close()
以上就是小編為大家帶來的Python按行讀取文件的簡單實現方法全部內容了
6. python對文本文件的讀有哪些方法,寫有哪些方法
1 文件讀取全文本操作
在一定場景下我們需要把文本全部內容讀取出來，進行處理。python提供三種函數讀取文件，分別是read readline readlines，
read()：讀取文件的全部內容，加上參數可以指定讀取的字元。
readline()：讀取文件的一行。
readlines()：讀取文件的所有行到內存中。
不同場景下我們可以選擇不同函數對文件進行讀取。
1.1 方法一
file_name = input("請輸入你要打開的文件的完整路徑及名稱")
file= open(file_name, "r")
txt=file.read()
# 全文本的處理
file.close()
使用read函數將文件中的內容全部讀取，放在字元串變數txt中。這樣操作適合於文本較小，處理簡單的情況，當文件較大時，這種方式處理時不合適的。一次性讀取較大的文件到內存中，會耗費較多的時間和資源。這時候分批處理效果更好。
1.2 方法二
file_name = input("請輸入你要打開的文件的完整路徑及名稱")
file= open(file_name, "r")
txt= file.read(4)
# 文本的處理while txt != ""txt= file.read(4)
# 批量文本處理
file.close()
這種方法適合於分批處理文本信息，每次批量讀入，批量處理，不會對內存造成較大的壓力。
1.3 方法三
file_name = input("請輸入你要打開的文件的完整路徑及名稱")
file= open(file_name, "r")for line infile.readlines():
# 處理每一行數據
file.close()
這種處理方式適合處理以行為分割特點的文本，並且文本較小，因為這種處理方式需要一次性把文件所有內容讀取到內存中。
1.4 方法四
file_name = input("請輸入你要打開的文件的完整路徑及名稱")
file= open(file_name, "r") # 這里的file時文件句柄for line infile:
# 處理每一行數據
file.close()
這種方式和方法三中的區別是分行讀入，逐行處理，不會一次性把文件所有內容都讀入到內存中，對一些大文件的處理是很有效的。
2 文件寫入文本操作
文件寫入有兩種寫入函數和一種輔助支持。
write()：向文件中寫入一個字元或者位元組流
writelines()：將一個元素全為字元串的列表寫入到文件中 需要注意的是，writelines寫入列表元素的時候會把列表元素的內容拼接到一起寫入，不會有換行和空格 。
seek()： 輔助寫入函數offset偏移量參數代表含義如下
0 - 文件開頭
1 - 當前位置
2 - 文件結尾
2.1 方法一
file_name = input("output.txt", "w+")
text= "hello world!"file_name.write(text)
file.close()
2.2 方法二
file_name = input("output.txt", "w+")
list= ["中午","早上","晚上"]
file_name.writelines(list)for line infile:
# 讀取寫入的數據，這時候發現是沒有任何內容的
file.close()
我們增加一行代碼就可以讀取到寫入的文件內容，利用seek()函數調整寫操作指針的位置，可以實現寫操作之後的正常讀取。
file_name = input("output.txt", "w+")
list= ["中午","早上","晚上"]
file_name.readlines(list)
file_name.seek(0) # 調整寫的指針到文件的開始位置for line infile:
# 讀取寫入的數據，這時候會讀出一行寫入的數據。
file.close()
7. python如何讀取文件的內容
# _*_ coding: utf-8 _*_
import pandas as pd
# 獲取文件的內容
def get_contends(path):
with open(path) as file_object:
contends = file_object.read()
return contends
# 將一行內容變成數組
def get_contends_arr(contends):
contends_arr_new = []
contends_arr = str(contends).split(']')
for i in range(len(contends_arr)):
if (contends_arr[i].__contains__('[')):
index = contends_arr[i].rfind('[')
temp_str = contends_arr[i][index + 1:]
if temp_str.__contains__('"'):
contends_arr_new.append(temp_str.replace('"', ''))
# print(index)
# print(contends_arr[i])
return contends_arr_new
if __name__ == '__main__':
path = 'event.txt'
contends = get_contends(path)
contends_arr = get_contends_arr(contends)
contents = []
for content in contends_arr:
contents.append(content.split(','))
df = pd.DataFrame(contents, columns=['shelf_code', 'robotid', 'event', 'time'])
(7)python大文件讀取擴展閱讀：
python控制語句
1、if語句，當條件成立時運行語句塊。經常與else, elif(相當於else if) 配合使用。
2、for語句，遍歷列表、字元串、字典、集合等迭代器，依次處理迭代器中的每個元素。
3、while語句，當條件為真時，循環運行語句塊。
4、try語句，與except,finally配合使用處理在程序運行中出現的異常情況。
5、class語句，用於定義類型。
6、def語句，用於定義函數和類型的方法。
8. python中怎麼讀取文件內容
用open命令打開你要讀取的文件，返回一個文件對象
然後在這個對象上執行read,readlines,readline等命令讀取文件
或使用for循環自動按行讀取文件
9. python 最快 讀取文本
python是高級語言，文件操作都是用底層介面，速度差別不大
需要注意的是大文件，一次性read()會導致內存溢出
解決方法：
對可迭代對象 f，進行迭代遍歷：for line in f，會自動地使用緩沖IO（buffered IO）以及內存管理，而不必擔心任何大文件的問題。
10. 如何用python讀取excel文件
1.首先說明我是使用的python3.5，我的office版本是2010，首先打開dos命令窗，安裝必須的兩個庫，命令是：
pip3 install xlrd
Pip3 install xlwt
2.准備好excel，例如我的一個工作文件，我放在D盤/網路經驗/11.xlsx，只有一個頁簽A，內容是一些銷售數據
3.打開pycharm，新建一個excel.py的文件，首先導入支持庫
import xlrdimport xlwt
4.針對剛入門的新手，先介紹三個知識，第一個:獲取excel的sheet名稱，第二：獲取excel行數與列數，第三：獲取第幾行第幾列的具體值，這是最常用的三個知識點
5.貼出代碼，具體分析：
(1)要操作excel，首先得打開excel，使用open_workbook(‘路徑’)
(2)要獲取行與列，使用nrows(行)，ncols(列)
(3)獲取具體的值，使用cell(row,col).value
workbook=xlrd.open_workbook(r'E:11.xlsx')print (workbook.sheet_names()) sheet2=workbook.sheet_by_name('A') nrows=sheet2.nrows ncols=sheet2.ncols print(nrows,ncols) cell_A=sheet2.cell(1,1).value print(cell_A)
6.要在excel里寫入值，就要使用write屬性,重點說明寫入是用到xlwt這個支援庫，思路是先新建excel，然後新建頁簽B，然後將一組數據寫入到B，最後保存為excel.xls，這里建議保存為2003的格式，大部分電腦都能打開，特別注意保存的excel的路徑是在python工作文件的目錄下面，貼出代碼：
stus = [['年', '月'], ['2018', '10'], ['2017', '9'], ['2016', '8']]Excel = xlwt.Workbook() # 新建excelsheet = Excel.add_sheet('B') #新建頁簽Brow = 0for stu in stus: col = 0 for s in stu: sheet.write(row, col, s) #開始寫入 col = col + 1 row = row + 1Excel.save('Excel.xls') #保存
關於如何用python讀取excel文件，環球青藤小編就和大家分享到這里了，學習是永無止境的，學習一項技能更是受益終身，所以，只要肯努力學，什麼時候開始都不晚。如果您還想繼續了解關於python編程的學習方法及素材等內容，可以點擊本站其他文章學習。