python解析文本

① 使用python對txt文本進行分析和提取

實現的方法和詳細的操作步驟如下：

1、首先，打開計算機上的pycharm編輯器，如下圖所示，然後進入下一步。

② 編程純小白想問一下，要用python進行文本分析（NPL）,學習路線應該是怎樣的（目標：熟練的分析文獻）

先學文本分析的思路方法，
比如文本表示最簡單的方式是詞袋法，把文本變成向量，每個詞是向量的一個維度，所以中文需要分詞，Python分詞找jieba分詞
文本表示向量以後，就可以開始對應你需要的任務，比如做分類聚類關聯之類的事。比如垃圾郵件分類就是建模對文本內容判斷真或假
不用讀文獻，有問題網路找博客就行了

③ 用「python」怎麼提取文件里的指定內容

python讀取文件內容的方法：

一.最方便的方法是一次性讀取文件中的所有內容並放置到一個大字元串中：

all_the_text = open('thefile.txt').read( )
# 文本文件中的所有文本
all_the_data = open('abinfile','rb').read( )
# 二進制文件中的所有數據

為了安全起見，最好還是給打開的文件對象指定一個名字，這樣在完成操作之後可以迅速關閉文件，防止一些無用的文件對象佔用內存。舉個例子，對文本文件讀取：

file_object = open('thefile.txt')
try:
all_the_text = file_object.read( )
finally:
file_object.close( )

不一定要在這里用Try/finally語句，但是用了效果更好，因為它可以保證文件對象被關閉，即使在讀取中發生了嚴重錯誤。

二.最簡單、最快，也最具Python風格的方法是逐行讀取文本文件內容，並將讀取的數據放置到一個字元串列表中：list_of_all_the_lines = file_object.readlines( )

這樣讀出的每行文本末尾都帶有" "符號；如果你不想這樣，還有另一個替代的辦法，比如：
list_of_all_the_lines = file_object.read( ).splitlines( )
list_of_all_the_lines = file_object.read( ).split(' ')
list_of_all_the_lines = [L.rstrip(' ') for L in file_object]

④ python 文本文件數據處理

1. 分隔日誌文件存為小文件
   

2. #coding:utf-8

3. #file: FileSplit.py

5. import os,os.path,time

7. def FileSplit(sourceFile, targetFolder):

8. sFile = open(sourceFile, 'r')

9. number = 100000 #每個小文件中保存100000條數據

10. dataLine = sFile.readline()

11. tempData = [] #緩存列表

12. fileNum = 1

13. if not os.path.isdir(targetFolder): #如果目標目錄不存在，則創建

14. os.mkdir(targetFolder)

15. while dataLine: #有數據

16. for row in range(number):

17. tempData.append(dataLine) #將一行數據添加到列表中

18. dataLine = sFile.readline()

19. if not dataLine :

20. break

21. tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + str(fileNum) + ".txt")

22. tFile = open(tFilename, 'a+') #創建小文件

23. tFile.writelines(tempData) #將列表保存到文件中

24. tFile.close()

25. tempData = [] #清空緩存列表

26. print(tFilename + " 創建於: " + str(time.ctime()))

27. fileNum += 1 #文件編號

29. sFile.close()

31. if __name__ == "__main__" :

32. FileSplit("access.log","access")

分類匯總小文件：

#coding:utf-8

#file: Map.py

import os,os.path,re

def Map(sourceFile, targetFolder):

sFile = open(sourceFile, 'r')

dataLine = sFile.readline()

tempData = {} #緩存列表

if not os.path.isdir(targetFolder): #如果目標目錄不存在，則創建

os.mkdir(targetFolder)

while dataLine: #有數據

p_re = re.compile(r'(GET|POST)s(.*?)sHTTP/1.[01]',re.IGNORECASE) #用正則表達式解析數據

match = p_re.findall(dataLine)

if match:

visitUrl = match[0][1]

if visitUrl in tempData:

tempData[visitUrl] += 1

else:

tempData[visitUrl] = 1

dataLine = sFile.readline() #讀入下一行數據

sFile.close()

tList = []

for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):

tList.append(key + " " + str(value) + ' ')

tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + "_map.txt")

tFile = open(tFilename, 'a+') #創建小文件

tFile.writelines(tList) #將列表保存到文件中

tFile.close()

if __name__ == "__main__" :

Map("access\access.log1.txt","access")

Map("access\access.log2.txt","access")

Map("access\access.log3.txt","access")

3. 再次將多個文件分類匯總為一個文件。

#coding:utf-8

#file: Rece.py

import os,os.path,re

def Rece(sourceFolder, targetFile):

tempData = {} #緩存列表

p_re = re.compile(r'(.*?)(d{1,}$)',re.IGNORECASE) #用正則表達式解析數據

for root,dirs,files in os.walk(sourceFolder):

for fil in files:

if fil.endswith('_map.txt'): #是rece文件

sFile = open(os.path.abspath(os.path.join(root,fil)), 'r')

dataLine = sFile.readline()

while dataLine: #有數據

subdata = p_re.findall(dataLine) #用空格分割數據

#print(subdata[0][0]," ",subdata[0][1])

if subdata[0][0] in tempData:

tempData[subdata[0][0]] += int(subdata[0][1])

else:

tempData[subdata[0][0]] = int(subdata[0][1])

dataLine = sFile.readline() #讀入下一行數據

sFile.close()

tList = []

for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):

tList.append(key + " " + str(value) + ' ')

tFilename = os.path.join(sourceFolder,targetFile + "_rece.txt")

tFile = open(tFilename, 'a+') #創建小文件

tFile.writelines(tList) #將列表保存到文件中

tFile.close()

if __name__ == "__main__" :

Rece("access","access")

⑤ Python 讀取文本文件，怎麼才能讀取一段內容

python讀取段落需要自定義函數：
from _ _future_ _ import generators

def paragraphs(fileobj, separator='\n'):
if separator[-1:] != '\n': separator += '\n' paragraph = []
for line in fileobj:
if line == separator:
if paragraph: yield ''.join(paragraph)
paragraph = []
else: paragraph.append(line)
if paragraph: yield ''.join(paragraph)

⑥ python對文件的讀操作方法有哪些

摘要 1 文件讀取全文本操作

⑦ python對文本文件的讀有哪些方法,寫有哪些方法

1 文件讀取全文本操作
在一定場景下我們需要把文本全部內容讀取出來，進行處理。python提供三種函數讀取文件，分別是read readline readlines，
read()：讀取文件的全部內容，加上參數可以指定讀取的字元。
readline()：讀取文件的一行。
readlines()：讀取文件的所有行到內存中。
不同場景下我們可以選擇不同函數對文件進行讀取。
1.1 方法一
file_name = input("請輸入你要打開的文件的完整路徑及名稱")
file= open(file_name, "r")
txt=file.read()
# 全文本的處理
file.close()
使用read函數將文件中的內容全部讀取，放在字元串變數txt中。這樣操作適合於文本較小，處理簡單的情況，當文件較大時，這種方式處理時不合適的。一次性讀取較大的文件到內存中，會耗費較多的時間和資源。這時候分批處理效果更好。
1.2 方法二
file_name = input("請輸入你要打開的文件的完整路徑及名稱")
file= open(file_name, "r")
txt= file.read(4)
# 文本的處理while txt != ""txt= file.read(4)
# 批量文本處理
file.close()
這種方法適合於分批處理文本信息，每次批量讀入，批量處理，不會對內存造成較大的壓力。
1.3 方法三
file_name = input("請輸入你要打開的文件的完整路徑及名稱")
file= open(file_name, "r")for line infile.readlines():
# 處理每一行數據
file.close()
這種處理方式適合處理以行為分割特點的文本，並且文本較小，因為這種處理方式需要一次性把文件所有內容讀取到內存中。
1.4 方法四
file_name = input("請輸入你要打開的文件的完整路徑及名稱")
file= open(file_name, "r") # 這里的file時文件句柄for line infile:
# 處理每一行數據
file.close()
這種方式和方法三中的區別是分行讀入，逐行處理，不會一次性把文件所有內容都讀入到內存中，對一些大文件的處理是很有效的。
2 文件寫入文本操作
文件寫入有兩種寫入函數和一種輔助支持。
write()：向文件中寫入一個字元或者位元組流
writelines()：將一個元素全為字元串的列表寫入到文件中 需要注意的是，writelines寫入列表元素的時候會把列表元素的內容拼接到一起寫入，不會有換行和空格 。
seek()： 輔助寫入函數offset偏移量參數代表含義如下
0 - 文件開頭
1 - 當前位置
2 - 文件結尾
2.1 方法一
file_name = input("output.txt", "w+")
text= "hello world!"file_name.write(text)
file.close()
2.2 方法二
file_name = input("output.txt", "w+")
list= ["中午","早上","晚上"]
file_name.writelines(list)for line infile:
# 讀取寫入的數據，這時候發現是沒有任何內容的
file.close()
我們增加一行代碼就可以讀取到寫入的文件內容，利用seek()函數調整寫操作指針的位置，可以實現寫操作之後的正常讀取。
file_name = input("output.txt", "w+")
list= ["中午","早上","晚上"]
file_name.readlines(list)
file_name.seek(0) # 調整寫的指針到文件的開始位置for line infile:
# 讀取寫入的數據，這時候會讀出一行寫入的數據。
file.close()

⑧ 用python讀取文本文件，對讀出的每一行進行操作，這個怎麼寫

用python讀取文本文件，對讀出的每一行進行操作，寫法如下：

f=open("test.txt","r")

whileTrue:

line=f.readline()

ifline:

pass#dosomethinghere

line=line.strip()

p=line.rfind('.')

filename=line[0:p]

print"create%s"%line

else:

break

f.close()

⑨ 如何使用 Python 正則表達式解析文本文件

試試這個方法：import re
def get_email_list(text):
pattern = re.compile(r'\b[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,4}\b')
email_list = re.findall(pattern, text)
return email_list
print get_email_list(your_text)