python快速读文件

㈠ python读写文件

读文件

    1）使用open()方法打开文件，返回一个文件对象

        原型：open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True)

        举例：f = open('test.txt', 'r')

        test.txt表示文件路径(包含文件名，这个file参数可以是绝对或者相对路径)

        r表示是读文本文件，rb是读二进制文本文件。（这个mode参数默认值就是r）

    2）使用close()方法关闭文件

        f.close()

        打开后的文件必须关闭，因为文件对象会占用系统资源，系统打开文件数量也就有限了

    3）打开文件时的异常处理

        f=open('test.txt', 'r')

        f.read()

        f.close()

        FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'

        文件读写时都有可能产生异常IOError(比如文件不存在)，这样其后面的f.read()，f.close()就不会调用。为保证无论是否异常都可以关闭文件，一般使用try ... finally来处理：

        try:

            f = open('test.txt', 'r')

            f.read()

        finally:

            if f:

                f.close()

        但这种写法过于繁琐，所以Python引入了with语句来自动调用close()方法：

        with open('test.txt', 'r') as f:

            f.read()

    4）读文件 - read()、readline() 和 readlines()

        read() 一次读取整个文件，它通常用于将文件内容放到一个字符串变量中。如果文件过大，内存不够，可以通过反复调用read(size)方法，每次最多读取size个字节的内容。

        readline() 一次读取文件中一行内容，可反复调用

        readlines() 一次读取所有内容并按行返回列表，该列表可以由for ... in ... 结构再进一步处理。

        特别注意：

        这三种方法是把每行末尾的'\n'也读进来了，如有需要就得我们手动去掉'\n'

        with open('test.txt', 'r') as f:

            list = f.readlines()

        for i in range(0, len(list)):

            list[i] = list[i].rstrip('\n')

写文件

    1）写文件和读文件是一样的，唯一区别是open文件时，传入标识符不同，即'w'或者'wb'表示写文本文件或写二进制文件

    f = open('test.txt', 'w')

    f = open('test.txt', 'wb')

    f = open('test.txt', 'a')

    f.close()

    特别注意：

    1. 如果没有这个文件，会自动创建一个新文件；如果有，就会先把原文件的内容清空再写入；若不想清空原来的内容而是直接在后面追加新的内容，就用'a'这个模式

    2. 写文件，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。

    2）写文件 - write()、writelines()

    write()方法和read()、readline()方法对应，是将字符串写入到文件中。

    writelines()方法和readlines()方法对应，也是针对 列表 的操作。它接收一个 字符串行表 作为参数，将他们写入到文件中。

    特别注意：

    换行符不会自动的加入，需要显式的加入换行符。

    f = open('test.txt', 'w')

    f.writelines(["111\n", "222\n", "333\n"])

补充说明：

1）对于非默认编码(utf-8)的文件，需要open时添加encording参数，选择对应的编码方式

2）r+, w+, a+，可读可写

3）seek()方法，移动文件指针

seek(offset[, whence]) ，offset是相对于某个位置的偏移量。位置由whence决定，默认whence=0，从开头起；whence=1，从当前位置算起；whence=2相对于文件末尾移动，通常offset取负值。

㈡ python怎么读取txt文件

方法一：

f=open("foo.txt")#返回一个文件对象
line=f.readline()#调用文件的readline()方法
whileline:
printline,#后面跟','将忽略换行符
#print(line,end='')#在Python3中使用
line=f.readline()

f.close()

方法二：
for line in open("foo.txt"):
print line,

方法三：

f=open("c:\1.txt","r")

lines=f.readlines()#读取全部内容

forlineinlines

printline

㈢ python 读取文件

各有各的特点，open是一般方法，可以打开一般的文档。
pandas模块可以处理大数据，数据分析，数据挖掘等等的用法，其里面的read_csv()方法可以打开csv格式的数据库文件，并对数据进行分块读取等等的妙用，这是open不能实现的。

一般文本数据可以用open，数据库等大体积的文件用read_csv

㈣ python对文本文件的读有哪些方法,写有哪些方法

1 文件读取全文本操作
在一定场景下我们需要把文本全部内容读取出来，进行处理。python提供三种函数读取文件，分别是read readline readlines，
read()：读取文件的全部内容，加上参数可以指定读取的字符。
readline()：读取文件的一行。
readlines()：读取文件的所有行到内存中。
不同场景下我们可以选择不同函数对文件进行读取。
1.1 方法一
file_name = input("请输入你要打开的文件的完整路径及名称")
file= open(file_name, "r")
txt=file.read()
# 全文本的处理
file.close()
使用read函数将文件中的内容全部读取，放在字符串变量txt中。这样操作适合于文本较小，处理简单的情况，当文件较大时，这种方式处理时不合适的。一次性读取较大的文件到内存中，会耗费较多的时间和资源。这时候分批处理效果更好。
1.2 方法二
file_name = input("请输入你要打开的文件的完整路径及名称")
file= open(file_name, "r")
txt= file.read(4)
# 文本的处理while txt != ""txt= file.read(4)
# 批量文本处理
file.close()
这种方法适合于分批处理文本信息，每次批量读入，批量处理，不会对内存造成较大的压力。
1.3 方法三
file_name = input("请输入你要打开的文件的完整路径及名称")
file= open(file_name, "r")for line infile.readlines():
# 处理每一行数据
file.close()
这种处理方式适合处理以行为分割特点的文本，并且文本较小，因为这种处理方式需要一次性把文件所有内容读取到内存中。
1.4 方法四
file_name = input("请输入你要打开的文件的完整路径及名称")
file= open(file_name, "r") # 这里的file时文件句柄for line infile:
# 处理每一行数据
file.close()
这种方式和方法三中的区别是分行读入，逐行处理，不会一次性把文件所有内容都读入到内存中，对一些大文件的处理是很有效的。
2 文件写入文本操作
文件写入有两种写入函数和一种辅助支持。
write()：向文件中写入一个字符或者字节流
writelines()：将一个元素全为字符串的列表写入到文件中 需要注意的是，writelines写入列表元素的时候会把列表元素的内容拼接到一起写入，不会有换行和空格 。
seek()： 辅助写入函数offset偏移量参数代表含义如下
0 - 文件开头
1 - 当前位置
2 - 文件结尾
2.1 方法一
file_name = input("output.txt", "w+")
text= "hello world!"file_name.write(text)
file.close()
2.2 方法二
file_name = input("output.txt", "w+")
list= ["中午","早上","晚上"]
file_name.writelines(list)for line infile:
# 读取写入的数据，这时候发现是没有任何内容的
file.close()
我们增加一行代码就可以读取到写入的文件内容，利用seek()函数调整写操作指针的位置，可以实现写操作之后的正常读取。
file_name = input("output.txt", "w+")
list= ["中午","早上","晚上"]
file_name.readlines(list)
file_name.seek(0) # 调整写的指针到文件的开始位置for line infile:
# 读取写入的数据，这时候会读出一行写入的数据。
file.close()

㈤ Python如何读写文本文件

1.open使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。
file_object = open('thefile.txt')
try:
all_the_text = file_object.read( )
finally:
file_object.close( )
注：不能把open语句放在try块里，因为当打开文件出现异常时，文件对象file_object无法执行close()方法。
2.读文件读文本文件input = open('data', 'r')
#第二个参数默认为r
input = open('data')

读二进制文件input = open('data', 'rb')
读取所有内容file_object = open('thefile.txt')
try:
all_the_text = file_object.read( )
finally:
file_object.close( )
读固定字节file_object = open('abinfile', 'rb')
try:
while True:
chunk = file_object.read(100)
if not chunk:
break
do_something_with(chunk)
finally:
file_object.close( )
读每行list_of_all_the_lines = file_object.readlines( )
如果文件是文本文件，还可以直接遍历文件对象获取每行：
for line in file_object:
process line
3.写文件写文本文件output = open('data.txt', 'w')
写二进制文件output = open('data.txt', 'wb')
追加写文件output = open('data.txt', 'a')

output .write("\n都有是好人")

output .close( )

写数据file_object = open('thefile.txt', 'w')
file_object.write(all_the_text)
file_object.close( )

㈥ 如何用python快速读取几G以上的大文件

如果你没那么大的内存 解决方法有几个：

1. 使用swap 一次性read()读取

2. 系统层面分割大文件为数个小于系统内存的小文件，分别读取

3. 使用python 按数据大小逐块读取，使用完数据即释放该部分内存：

whileTrue:
chunk_data=file_object.read(chunk_size)
ifnotchunk_data:
break
yieldchunk_data

㈦ python 读取文件

#!/usr/bin/python2.7
import random,re
f0=file('proxys.txt','r')
dat0=f0.readlines()
f0.close()
#提取含有$1sec的行(我理解你想按sec的大小排序。)
dat1=[]
for i in dat0:
dat1.append((i,re.search(r'\$(\d+)sec',i).group(1)))
#现在dat1里面的数据是在原来的每一行前面加了一列sec的值。
dat2=[]
for i in dat1:
if i[0]==1:
dat2.append(i[1])
#现在取出了所有sec==1的行，随机取一行
dat3=random.choice(dat2)
c1=re.search(r'((\d{1,3}\.?){4}):(\d+)',dat3).group(1)
c2=re.search(r'((\d{1,3}\.?){4}):(\d+)',dat3).group(3)

㈧ 使用 Python 读写文件

有些数据是临时的，它们在应用程序运行时存储在内存中，然后丢弃。但是有些数据是持久的。它们存储在硬盘驱动器上供以后使用，而且它们通常是用户最关心的东西。对于程序员来说，编写代码读写文件是很常见的，但每种语言处理该任务的方式都不同。本文演示了如何使用 Python 处理文件数据。

在 Linux 上，你可能已经安装了 Python。如果没有，你可以通过发行版软件仓库安装它。例如，在 CentOS 或 RHEL 上：

在 macOS 上，你可以使用 MacPorts或Homebrew安装。在 Windows 上，你可以使用Chocolatey安装。

一旦安装了 Python，打开你最喜欢的文本编辑器，准备好写代码吧。

如果你需要向一个文件中写入数据，记住有三个步骤：

这与你在计算机上编码、编辑照片或执行其他操作时使用的步骤完全相同。首先，打开要编辑的文档，然后进行编辑，最后关闭文档。

在 Python 中，过程是这样的：

这个例子中，第一行以 写 模式打开了一个文件，然后用变量 f 表示，我使用了 f 是因为它在 Python 代码中很常见，使用其他任意有效变量名也能正常工作。

在打开文件时，有不同的模式：

第二行表示向文件中写入数据，本例写入的是纯文本，但你可以写入任意类型的数据。

最后一行关闭了文件。

对于快速的文件交互，常用有一种简短的方法可以写入数据。它不会使文件保持打开状态，所以你不必记得调用 close 函数。相反，它使用 with 语法：

如果你或你的用户需要通过应用程序需要向文件中写入一些数据，然后你需要使用它们，那么你就需要读取文件了。与写入类似，逻辑一样：

同样的，这个逻辑反映了你一开始使用计算机就已知的内容。阅读文档，你可以打开、阅读，然后关闭。在计算机术语中，“打开”文件意味着将其加载到内存中。

实际上，一个文本文件内容肯定不止一行。例如，你需要读取一个配置文件、 游戏 存档或乐队下一首歌曲的歌词，正如你打开一本实体书时，你不可能立刻读完整本书，代码也只能解析已经加载到内存中的文件。因此，你可能需要遍历文件的内容。

示例的第一行指明使用 读 模式打开一个文件，然后文件交由变量 f 表示，但就像你写数据一样，变量名是任意的。 f 并没有什么特殊的，它只是单词 “file” 的最简表示，所以 Python 程序员会经常使用它。

在第二行，我们使用了 line ，另一个任意变量名，用来表示 f 的每一行。这告诉 Python 逐行迭代文件的内容，并将每一行的内容打印到输出中（在本例中为终端或IDLE）。

就像写入一样，使用 with 语法是一种更简短的方法读取数据。即不需要调用 close 方法，方便地快速交互。

使用 Python 有很多方法向文件写入数据，包括用 JSON、YAML、TOML等不同的格式写入。还有一个非常好的内置方法用于创建和维护SQLite数据库，以及许多库来处理不同的文件格式，包括图像、音频和视频等。

via: https://opensource.com/article/21/7/read-write-files-python

作者：Seth Kenlon选题：lujun9972译者：MjSeven校对：turbokernel

㈨ python中怎么读取文件内容

用open命令打开你要读取的文件，返回一个文件对象
然后在这个对象上执行read,readlines,readline等命令读取文件
或使用for循环自动按行读取文件