python文件读写编码
Ⅰ 开启数据分析的大门-数据收集：python对文件的操作
简介
我是一名应届经济学毕业生，在学习Python语言的过程中，接触到了数据分析，机器学习和人工智能，并对此特别感兴趣，现在我把整个学习过程记录下来，希望和我有相同兴趣和爱好的朋友们一同成长，期盼着各位专家的指导。
环境介绍
在整个过程当中，将采用Python和Excel，采用Python,是因为Python提供了丰富的开发框架和工具库，使用Excel是因为Excel是使用非常广泛的办公软件，我在Excel里将复杂的算法简单化，使大家快速理解各种难以理解的算法。
在开始之前，我们已经准备好了Anaconda和Excel环境。在这里省略了这个过程。
数据获陪碰取将通过tushare开放平台，后面我会介绍和演示如何应用tushare平台。
数据分析流程简介
数据分析是由数据收集开始，收集的数据经过标准化处理和整理后，通过各种算法，进行数据分析，目的是为了总结过去的 历史 数据，在数据趋势上预测未来的走势，同时对现存的环境进行优化。
我们今天先从数据收集开始。
数据收集需要应用到Python对文件的读写操作。
下面这段代码以只读方式采用’UTF-8’编码方式打开当前目录下的text1.txt文件，并输出到屏幕上。操作完毕后，关闭文件。
小贴士：在从tushare平台获取数据时，每个用户会分配到一个key，我们可以把这个key封装到这个文件里。为的是数据安全和便利性。
Python对数据的处理主要是csv文件格式，Excel和数据库。今天我们主要针对csv文芦缓谈件进行操作。为的是尽快开始我们的数据分析之旅。后面在适当的时候，我来完成对Excel和数据库的操作。
Python 读取csv文件有很多种方法，我们这里采用PANDAS库，下面是读取csv文件代码：
下面这段代码先生成数据列表，然后写入csv文件。
好了，到现在为止，Python对数据收集的基础哪团工作就算完成了，Python对文件操作有很多技巧，不是我们这一系列的重点，就不一一介绍了，有兴趣的伙伴可以查阅相关文档。
Ⅱ python 读取文本里有多种编码
读取ANSI编码文件
建立一个文件test.txt，文件格式用ANSI，内容为:
abc中文
用Python来读取
# coding=gbk
print open("Test.txt").read()
结果：abc中文
读取utf-8编码文件（无BOM）
把文件格式改成UTF-8：
结果：abc涓 枃
显然，这里需要解码：
# -*- coding: utf-8 -*-
import codecs
print open("Test.txt").read().decode("utf-8")
结果：abc中文
读取utf-8编码文件（有BOM）
某些软件在保存一个以UTF-8编码的文件时，默认会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。在有些软件可以控制是否插入BOM。如果在有BOM的情况下，在读取时需要自己去掉这些字符，python中的codecs mole定义了这个常量：
Ⅲ 使用 Python 读写文件
有些数据是临时的，它们在应用程序运行时存储在内存中，然后丢弃。但是有些数据是持久的。它们存储在硬盘驱动器上供以后使用，而且它们通常是用户最关心的东西。对于程序员来说，编写代码读写文件是很常见的，但每种语言处理该任务的方式都不同。本文演示了如何使用 Python 处理文件数据。
在 Linux 上，你可能已经安装了 Python。如果没有，你可以通过发行版软件仓库安装它。例如，在 CentOS 或 RHEL 上：
在 macOS 上，你可以使用 MacPorts或Homebrew安装。在 Windows 上，你可以使用Chocolatey安装。
一旦安装了 Python，打开你最喜欢的文本编辑器，准备好写代码吧。
如果你需要向一个文件中写入数据，记住有三个步骤：
这与你在计算机上编码、编辑照片或执行其他操作时使用的步骤完全相同。首先，打开要编辑的文档，然后进行编辑，最后关闭文档。
在 Python 中，过程是这样的：
这个例子中，第一行以 写 模式打开了一个文件，然后用变量 f 表示，我使用了 f 是因为它在 Python 代码中很常见，使用其他任意有效变量名也能正常工作。
在打开文件时，有不同的模式：
第二行表示向文件中写入数据，本例写入的是纯文本，但你可以写入任意类型的数据。
最后一行关闭了文件。
对于快速的文件交互，常用有一种简短的方法可以写入数据。它不会使文件保持打开状态，所以你不必记得调用 close 函数。相反，它使用 with 语法：
如果你或你的用户需要通过应用程序需要向文件中写入一些数据，然后你需要使用它们，那么你就需要读取文件了。与写入类似，逻辑一样：
同样的，这个逻辑反映了你一开始使用计算机就已知的内容。阅读文档，你可以打开、阅读，然后关闭。在计算机术语中，“打开”文件意味着将其加载到内存中。
实际上，一个文本文件内容肯定不止一行。例如，你需要读取一个配置文件、 游戏 存档或乐队下一首歌曲的歌词，正如你打开一本实体书时，你不可能立刻读完整本书，代码也只能解析已经加载到内存中的文件。因此，你可能需要遍历文件的内容。
示例的第一行指明使用 读 模式打开一个文件，然后文件交由变量 f 表示，但就像你写数据一样，变量名是任意的。 f 并没有什么特殊的，它只是单词 “file” 的最简表示，所以 Python 程序员会经常使用它。
在第二行，我们使用了 line ，另一个任意变量名，用来表示 f 的每一行。这告诉 Python 逐行迭代文件的内容，并将每一行的内容打印到输出中（在本例中为终端或IDLE）。
就像写入一样，使用 with 语法是一种更简短的方法读取数据。即不需要调用 close 方法，方便地快速交互。
使用 Python 有很多方法向文件写入数据，包括用 JSON、YAML、TOML等不同的格式写入。还有一个非常好的内置方法用于创建和维护sqlite数据库，以及许多库来处理不同的文件格式，包括图像、音频和视频等。
via: https://opensource.com/article/21/7/read-write-files-python
作者：Seth Kenlon选题：lujun9972译者：MjSeven校对：turbokernel
Ⅳ python3二进制文件读写直接加b不行吗
二进制模式，通常用来读取图片、视频等二进制文件。注意，它在读写的时候是以bytes类型读写的，因此获得的是一个bytes对象而不是字符串。在这个读写过程中，需要自己指定编码格式。在使用带b的模式时一定要注意传入的数据类型，确保为bytes类型。
s = 'this is a test'
b = bytes(s,encoding='utf-8')
f = open('test.txt','w')
f.write(s)
##这样没问题，正常写入了文件。
##-------------------------------------------------
s = 'this is a test'
b = bytes(s,encoding='utf-8')
f = open('test.txt','wb') ##注意多了个b
f.write(s)
##报错
TypeError: a bytes-like object is required, not 'str'
##意思是它需要一个bytes类型数据，你却给了个字符串
##---------------------------------------------------
s = 'this is a test'
b = bytes(s,encoding='utf-8')
f = open('test.txt','wb') ##注意多了个b
f.write(b) ##将变量b传给它，b是个bytes类型
二、 + 模式：
对于w+模式，在读写之前都会清空文件的内容，建议不要使用！
对于a+模式，永远只能在文件的末尾写入，有局限性，建议不要使用！
对于r+模式，也就是读写模式，配合seek()和tell()方法，可以实现更多操作。
三、 编码问题
要读取非UTF-8编码的文件，需要给open()函数传入encoding参数，例如，读取GBK编码的文件：
>>> f = open('gbk.txt', 'r', encoding='gbk')
>>> f.read()
'GBK'
遇到有些编码不规范的文件，可能会抛出UnicodeDecodeError异常，这表示在文件中可能夹杂了一些非法编码的字符。遇到这种情况，可以提供errors参数，表示如果遇到编码错误后如何处理。
>>> f = open('gbk.txt', 'r', encoding='gbk', errors='ignore')
四、 文件对象操作
每当我们用open方法打开一个文件时，将返回一个文件对象。这个对象内置了很多操作方法。下面假设，已经打开了一个f文件对象。
1. f.read(size)
读取一定大小的数据, 然后作为字符串或字节对象返回。size是一个可选的数字类型的参数，用于指定读取的数据量。当size被忽略了或者为负值，那么该文件的所有内容都将被读取并且返回。
f = open("1.txt", "r")
str = f.read()
print(str)
f.close()
如果文件体积较大，请不要使用read()方法一次性读入内存，而是read(512)这种一点一点的读。
2. f.readline()
从文件中读取一行n内容。换行符为' '。如果返回一个空字符串，说明已经已经读取到最后一行。这种方法，通常是读一行，处理一行，并且不能回头，只能前进，读过的行不能再读了。
f = open("1.txt", "r")
str = f.readline()
print(str)
f.close()
3. f.readlines()
将文件中所有的行，一行一行全部读入一个列表内，按顺序一个一个作为列表的元素，并返回这个列表。readlines方法会一次性将文件全部读入内存，所以也存在一定的风险。但是它有个好处，每行都保存在列表里，可以随意存取。
f = open("1.txt", "r")
a = f.readlines()
print(a)
f.close()
4. 遍历文件
实际上，更多的时候，我们将文件对象作为一个迭代器来使用。
# 打开一个文件
f = open("1.txt", "r")
for line in f:
print(line, end='')
# 关闭打开的文件
f.close()
这个方法很简单, 不需要将文件一次性读出，但是同样没有提供一个很好的控制，与readline方法一样只能前进，不能回退。
几种不同的读取和遍历文件的方法比较：如果文件很小，read()一次性读取最方便；如果不能确定文件大小，反复调用read(size)比较保险；如果是配置文件，调用readlines()最方便。普通情况，使用for循环更好，速度更快。
5. f.write()
将字符串或bytes类型的数据写入文件内。write()动作可以多次重复进行，其实都是在内存中的操作，并不会立刻写回硬盘，直到执行close()方法后，才会将所有的写入操作反映到硬盘上。在这过程中，如果想将内存中的修改，立刻保存到硬盘上，可以使用f.flush()方法，但这可能造成数据的不一致。
# 打开一个文件
f = open("/tmp/foo.txt", "w")
f.write("Python 是一种非常好的语言。
我喜欢Python!!
")
# 关闭打开的文件
f.close()
6. f.tell()
返回文件读写指针当前所处的位置,它是从文件开头开始算起的字节数。一定要注意了，是字节数，不是字符数。
7. f.seek()
如果要改变位置指针的位置, 可以使用f.seek(offset, from_what)方法。seek()经常和tell()方法配合使用。
from_what的值，如果是0表示从文件开头计算，如果是1表示从文件读写指针的当前位置开始计算，2表示从文件的结尾开始计算，默认为0，例如：
offset：表示偏移量。
seek(x,0) ： 从起始位置即文件首行首字符开始移动 x 个字符
seek(x,1) ： 表示从当前位置往后移动x个字符
seek(-x,2)：表示从文件的结尾往前移动x个字符
看一个例子：
>>> f = open("d:\1.txt", "rb+")
>>> f.write(b"1232312adsfalafds")
17
>>> f.tell()
17
>>> f.seek(5)
5
>>> f.read(1)
b'1'
>>> f.seek(-3, 2)
14
>>> f.read(1)
b'f'
8. f.close()
关闭文件对象。当处理完一个文件后，调用f.close()来关闭文件并释放系统的资源。文件关闭后，如果尝试再次调用该文件对象，则会抛出异常。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了，或者更糟糕的结果。也就是说大象塞进冰箱后，一定不要忘记关上冰箱的门。
Ⅳ Python中的文件读写-理论知识
Python处理两种不同类型的文件：二进制文件和文本文件。了解两者之间的差异很重要，因为它们的处理方式不同。
二进制文件
在正常计算机使用期间使用的大多数文件实际上是二进制文件，而不是文本。比如：Microsoft Word .doc文件实际上是一个二进制文件，即使它只有文本。
二进制文件的其他示例包括：
图像文件，包括.jpg，.png，.bmp，.gif，等。
数据库文件包括.mdb，.frm和.sqlite
文件，包括.doc，.xls，.pdf或者其他文件。
那是因为这些文件都有特殊处理的要求，需要特定类型的软件来打开它。例如，您需要Excel来打开.xls文件，并使用数据库程序来打开.sqlite文件。
文本文件
一方面，没有特定的编码，可以通过没有任何特殊处理的标准文本编辑器打开。但是，每个文本文件都必须遵守一组规则：
文本文件必须是可读的。他们可以（并且经常会）包含许多特殊编码，尤其是在HTML或其他标记语言中，但您仍然可以说出它的含义
文本文件中的数据按行组织。在大多数情况下，每一行都是一个独特的元素，无论是指令行还是命令。
此外，文本文件在每行的末尾都有一个看不见的字符，这使文本编辑器知道应该有一个新行。通过编程与这些文件交互时，您可以利用该字符。在Python中，它用“ n” 表示。
在哪里可以找到Python的文件I / O工具
在Python中工作时，您不必担心导入任何特定的外部库来处理文件。Python附带有“文件库”，文件I / O工具和实用程序是核心语言的内置部分。
但是在其他语言（如C ++）中，要处理文件，您必须通过包含正确的头文件来启用文件I / O工具#include <fstream>。如果您使用java编写代码，则需要使用该import java.io.*语句。
使用Python，就没有必要这样做，这是因为Python有一组内置函数，可以处理读取和写入文件所需的所有内容。
Ⅵ Python文件读写
常见的读写操作：
Python内置了读写文件的函数，用法和C是兼容的。本节介绍内容大致有：文件的打开/关闭、文件对象、文件的读写等。仅示例介绍 TXT 类型文档的读写，也就是最基础的文件读写，也需要注意编码问题；
open() close() with open(...) as ...
看以下示例就能了解 Python 的 open() 及 close() 函数。这边调用 read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示，具体使用参见下文。
在 E 盘 python_file 文件夹下新建一 a.txt，输入随意，如下：
Python 操作 打开及关闭方式 如下：
注意 open() 之后 一定要 close()。但由于文件读写时都可能产生IOError，为了保证无论是否出错都能正确地关闭文件，我们用 try ... finally 来实现：
python 简化了改写法，即用 with open(...) as ... ； 建议之后文件读写都用该写法：
上面，你肯定注意到了参数 "r"；该参数决定了打开文件的模式：只读，写入，追加等。所有可取值见如下的完全列表。这个参数是非强制的，默认文件访问模式为只读(r)。
相关参数：
File 对象
file 为一对象，它有一些内置属性，如下
file对象的属性：
read() read(size) readline() readlines()
之前的例子已经接触到了 read() 函数，该函数会会一次性读取文件的全部内容，如果能确保文件的大小，自然可以。但若文件过大，内存就爆了，所以，可以反复调用read(size)方法，每次最多读取size个字节的内容；也可调用 readline() 每次读取一行内容；而调用readlines()可以一次读取所有内容并按行返回list。总之，根据需求来。仅以 txt 文件为例，其他的文件读取需要特殊处理；另外，文件的格式编码方式也需要注意；这边仅介绍读取方法，其他的会出专题来学习。
在D:\python_file 下新建 poet.txt；示例如下，由于一个中文会占多个字节，故read(size) 部分会乱码，如：
write()
写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符'w'或者'wb'表示写文本文件或写二进制文件；'a' 对应的表示追加等。
如下示例，由于 write.txt 文件不存在，创建该文件并写入：
在上例基础上，继续，该文件被重写：
继续，这次使用追加，会在文件结尾追加：
https://blog.csdn.net/msspark/article/details/86745391
https://www.cnblogs.com/tianyiliang/p/8192703.html
https://www.cnblogs.com/camilla/p/7234657.html
https://blog.csdn.net/songlh1234/article/details/83316468
https://www.php.cn/python-tutorials-412484.html
https://blog.csdn.net/weay/article/details/80946152
https://blog.csdn.net/xc_zhou/article/details/81044836
Ⅶ python读写有中文的文件时，是否需要设置编码格式
需要：
with open("路径","模式",encoding="utf8") as f:
如果不确定编码格式，后面读取可能会出问题
Ⅷ python 文件的打开与读写
/python通过解释器内置的open()函数打开一个文件,并实现该文件与一个程序变量的关联,open()函数格式如下:
/open()函数包含有两个参数:文件名和打开模式.当文件与执行文件在同一大厅文件夹中,直接输入文件名,亦可输入文件的完整路径.打开模式是指以何种方式打开文件,python提供了7种打开模式.
/r/w/x/a模式与b/t/+模式可以组合使悉仿悄用,比如'rt'为文睁渣本只读.'rb'为二级制只读.
/文件使用结束后,需要使用close()关闭文件使用权限,释放内存.
/当文件使用文本格式打开时,读写按照字符串方式,采用计算机当前编码或指定编码.
/当文件以二进制方式打开时,读写按照字节流方式.
/python本身将文件读取为一个行序列.
Ⅸ python读写文件
读文件
1）使用open()方法打开文件，返回一个文件对象
原型：open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True)
举例：f = open('test.txt', 'r')
test.txt表示文件路径(包含文件名，这个file参数可以是绝对或者相对路径)
r表示是读文本文件，rb是读二进制文本文件。（这个mode参数默认值就是r）
2）使用close()方法关闭文件
f.close()
打开后的文件必须关闭，因为文件对象会占用系统资源，系统打开文件数量也就有限了
3）打开文件时的异常处理
f=open('test.txt', 'r')
f.read()
f.close()
FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'
文件读写时都有可能产生异常IOError(比如文件不存在)，这样其后面的f.read()，f.close()就不会调用。为保证无论是否异常都可以关闭文件，一般使用try ... finally来处理：
try:
f = open('test.txt', 'r')
f.read()
finally:
if f:
f.close()
但这种写法过于繁琐，所以Python引入了with语句来自动调用close()方法：
with open('test.txt', 'r') as f:
f.read()
4）读文件 - read()、readline() 和 readlines()
read() 一次读取整个文件，它通常用于将文件内容放到一个字符串变量中。如果文件过大，内存不够，可以通过反复调用read(size)方法，每次最多读取size个字节的内容。
readline() 一次读取文件中一行内容，可反复调用
readlines() 一次读取所有内容并按行返回列表，该列表可以由for ... in ... 结构再进一步处理。
特别注意：
这三种方法是把每行末尾的'\n'也读进来了，如有需要就得我们手动去掉'\n'
with open('test.txt', 'r') as f:
list = f.readlines()
for i in range(0, len(list)):
list[i] = list[i].rstrip('\n')
写文件
1）写文件和读文件是一样的，唯一区别是open文件时，传入标识符不同，即'w'或者'wb'表示写文本文件或写二进制文件
f = open('test.txt', 'w')
f = open('test.txt', 'wb')
f = open('test.txt', 'a')
f.close()
特别注意：
1. 如果没有这个文件，会自动创建一个新文件；如果有，就会先把原文件的内容清空再写入；若不想清空原来的内容而是直接在后面追加新的内容，就用'a'这个模式
2. 写文件，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。
2）写文件 - write()、writelines()
write()方法和read()、readline()方法对应，是将字符串写入到文件中。
writelines()方法和readlines()方法对应，也是针对 列表 的操作。它接收一个 字符串行表 作为参数，将他们写入到文件中。
特别注意：
换行符不会自动的加入，需要显式的加入换行符。
f = open('test.txt', 'w')
f.writelines(["111\n", "222\n", "333\n"])
补充说明：
1）对于非默认编码(utf-8)的文件，需要open时添加encording参数，选择对应的编码方式
2）r+, w+, a+，可读可写
3）seek()方法，移动文件指针
seek(offset[, whence]) ，offset是相对于某个位置的偏移量。位置由whence决定，默认whence=0，从开头起；whence=1，从当前位置算起；whence=2相对于文件末尾移动，通常offset取负值。
Ⅹ Python 读写文件的编码与解码问题
演示文件为docx文档，内容如下：
运行源码查看报错信息
UnicodeDecodeError: 'gbk' codec can't decode byte 0xab in position 15: illegal multibyte sequence
上述错误是一种很常见的解码错误，下面介绍该错误的解决方法
把utf-8，gbk等各种编码方式都试了一遍，还是没有解决问题然后仔细看报错信息，根据UnicodeDecodeError: 'utf-8' codec can't decode byte 0xfb in position 14: invalid start byte，猜测文件中某个字节不能解码，打开文件一看，并没有看出什么问题来
open() 函数的第三个参数不是用来野唯接收编码方式的，而磨脊信是传入一个buffering的值，此处传入了'gbk'字符串，所以系统提示传一个瞎轮整型
通过调用office的API进行操作，因为在office上能完成的操作，都能通过win32完成，所以我们选择使用win32
（Python3.5 需要安装 win32compat，里面含了 win32 的很多包）