当前位置:首页 » 编程语言 » utf8读取python

utf8读取python

发布时间: 2022-07-08 03:13:05

python的UTF-8问题

编码问题需要注意:

  1. 你的py文件是utf8编码的

  2. 在py文件开始的第一行加上 # -*- coding:utf-8 -*-

  3. 处理中文时,如果是自定义存储中文的变量,最好用 a = u'xx'形式

  4. 如果是其他来源,先decode('来源是什么编码'),再encode('utf-8')

⑵ python 读取文本里有多种编码

读取ANSI编码文件
建立一个文件test.txt,文件格式用ANSI,内容为:
abc中文
用Python来读取
# coding=gbk
print open("Test.txt").read()
结果:abc中文
读取utf-8编码文件(无BOM)
把文件格式改成UTF-8:
结果:abc涓 枃
显然,这里需要解码:
# -*- coding: utf-8 -*-
import codecs
print open("Test.txt").read().decode("utf-8")
结果:abc中文
读取utf-8编码文件(有BOM)
某些软件在保存一个以UTF-8编码的文件时,默认会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。在有些软件可以控制是否插入BOM。如果在有BOM的情况下,在读取时需要自己去掉这些字符,python中的codecs mole定义了这个常量:

⑶ 怎么在Python里使用UTF-8编码

概述
在python代码即.py文件的头部声明即可
解析
py文件中的编码
Python
默认
脚本文件
都是
ANSCII
编码的,当文件
中有非
ANSCII
编码范围内的字符的时候就要使用"编码指示"来修正一个
mole
的定义中,如果.py文件中包含中文字符(严格的说是含有非anscii字符),则需要在第一行或第二行指定编码声明:
#
-*-
coding=utf-8
-*-
#coding=utf-8
#
以上两种选其一即可
其他的编码如:gbk、gb2312也可以;否则会出现:
SyntaxError:
Non-ASCII
character
'\xe4'
in
file
test.py
on
line
3,
but
no
encoding
declared;
see
http://www.python.org/peps/pep-0263.html
for
details
python中的编码与解码
先说一下python中的字符串类型,在python中有两种字符串类型,分别是
str

unicode,他们都是basestring的
派生类

str类型是一个包含
Characters
represent
(at
least)
8-bit
bytes的序列;
unicode
的每个
unit
是一个
unicode
obj;
在str的文档中有这样的一句话:
The
string
data
type
is
also
used
to
represent
arrays
of
bytes,
e.g.,
to
hold
data
read
from
a
file.
也就是说在读取一个文件的内容,或者从网络上读取到内容时,保持的对象为str类型;如果想把一个str转换成特定编码类型,需要把str转为Unicode,然后从unicode转为特定的编码类型如:utf-8、gb2312等。
拓展内容
utf-8编码
UTF-8(8-bit
Unicode
Transformation
Format)是一种针对Unicode的可变长度
字符编码
,也是一种
前缀码
。它可以用来表示Unicode标准中的任何字符,且其编码中的第一个字节仍与ASCII兼容,这使得原来处理ASCII字符的软件无须或只须做少部分修改,即可继续使用。因此,它逐渐成为电子邮件、网页及其他存储或发送文字的应用中,优先采用的编码。
UTF-8使用一至六个字节为每个字符编码(尽管如此,2003年11月UTF-8被RFC
3629重新规范,只能使用原来Unicode定义的区域,U+0000到U+10FFFF,也就是说最多四个字节):
1、128个US-ASCII字符只需一个字节编码(Unicode范围由U+0000至U+007F)。
2、带有附加符号的拉丁文、
希腊文

西里尔字母
、亚美尼亚语、
希伯来文

阿拉伯文
、叙利亚文及它拿字母则需要两个字节编码(Unicode范围由U+0080至U+07FF)。
3、其他
基本多文种平面
(BMP)中的字符(这包含了大部分
常用字
,如大部分的汉字)使用三个字节编码(Unicode范围由U+0800至U+FFFF)。
4、其他极少使用的Unicode
辅助平面
的字符使用四至六字节编码(Unicode范围由U+10000至U+1FFFFF使用四字节,Unicode范围由U+200000至U+3FFFFFF使用五字节,Unicode范围由U+4000000至U+7FFFFFFF使用六字节)。
对上述提及的第四种字符而言,UTF-8使用四至六个字节来编码似乎太耗费资源了。但UTF-8对所有常用的字符都可以用三个字节表示,而且它的另一种选择,UTF-16编码,对前述的第四种字符同样需要四个字节来编码,所以要决定UTF-8或UTF-16哪种编码比较有效率,还要视所使用的字符的分布范围而定。不过,如果使用一些传统的压缩系统,比如DEFLATE,则这些不同编码系统间的的差异就变得微不足道了。若顾及传统压缩算法在压缩较短文字上的效果不大,可以考虑使用Unicode标准压缩格式(SCSU)。
互联网工程工作小组(IETF)要求所有互联网协议都必须支持UTF-8编码。互联网邮件联盟(IMC)建议所有电子邮件软件都支持UTF-8编码。

⑷ python从utf-8文件中读入的字符串什么编码

python 从utf-8文件中读入的字符串什么编码需要根据 Python 的版本来判断。
Python 3.x 都是 Unicode.
Python 2.x 根据文件编码。

⑸ python在utf-8下怎么识别中文

GBK: 汉字国标扩展码,基本上采用了原来GB2312-80所有的汉字及码位,并涵盖了原Unicode中所有的汉字20902,总共收录了883个符号, 21003个汉字及提供了1894个造字码位。 Microsoft简体版中文Windows 95就是以GBK为内码,又由于GBK同时也涵盖了Unicode所有CJK汉字,所以也可以和Unicode做一一对应。

⑹ Python CGI编程 UTF-8

python3的print输出会根据终端的编码进行自动转换。
要输出utf-8编码需要指定才行,可以用下面的函数来代替print。
def printRAW(*Text):
RAWOut = open(1, 'w', encoding='utf8', closefd=False)
print(*Text, file=RAWOut)
RAWOut.flush()
RAWOut.close()
用法:
printRAW('<title>读取表单</title>')

⑺ python中如何获取中文的utf8编码

  • 首先要表示一个汉字,至少需要2个字节码

  • 如果需要以utf解码你的汉字,可以用如下办法

>>>unicode('人','utf-16')
u'ucbc8'
  • 如果需要以gbk解码你的汉字,可以用如下办法

>>>unicode('人','gbk')
u'u4eba

⑻ 如何设置python的编码格式为utf-8

python的编码格式?
#coding=utf-8
这是文档编码
import sys
sys.setdefaultencoding("utf-8")
这是设置默认编码方式为utf-8
xx.encode("utf-8")
这是字符串编码操作
import codecs
codecs.open(xx,'r','utf-8"),这是文件编码读取方式

热点内容
python中ord函数 发布:2025-05-16 10:14:25 浏览:340
电脑启动后无法连接服务器 发布:2025-05-16 10:06:39 浏览:984
jar包编译过程 发布:2025-05-16 10:03:37 浏览:679
选举源码 发布:2025-05-16 09:58:59 浏览:749
超级访问陈小春应采儿 发布:2025-05-16 09:43:29 浏览:479
缓存视频合并工具最新版 发布:2025-05-16 09:35:03 浏览:195
花雨庭服务器ip地址和端口 发布:2025-05-16 09:34:58 浏览:240
同时修改多台服务器管理地址工具 发布:2025-05-16 09:20:36 浏览:422
什么配置就能玩地平线 发布:2025-05-16 09:13:46 浏览:83
python旋转图片 发布:2025-05-16 09:13:40 浏览:639