pythonascii转utf8

1. python输出到文件乱码如何解决

python代码文件的编码
py文件默认是ASCII编码，中文在显示时会做一个ASCII到系统默认编码的转换，这时就会出错：SyntaxError: Non-ASCII character。需要在代码文件的第一行或第二行添加编码指示：
1 # coding=utf-8 ##以utf-8编码储存中文字符
2 print '中文'
像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果用unicode编码，有以下三种方式：
1 s1 = u'中文' #u表示用unicode编码方式储存信息
2 s2 = unicode('中文','gbk')
unicode是一个内置函数，第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。
encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。
（2）、字符串的编码
用 u'汉字' 构造出来的是unicode类型，不用的话构造出来是str类型
str的编码是与系统环境相关的，一般就是sys.getfilesystemencoding()得到的值
所以从unicode转str，要用encode方法
从str转unicode，所以要用decode
例如：
# coding=utf-8 #默认编码格式为utf-8
s = u'中文' #unicode编码的文字
print s.encode('utf-8') #转换成utf-8格式输出
但当python中间处理非ASCII编码时，经常会出现如下错误：
UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)
0x??是超出128的数字，python在默认的情况下认为语言的编码是ascii编码，所以无法处理其他编码，需要设置python的默认编码为所需要的编码。
一个解决的方案是在代码中添加：
import sys
reload(sys)
sys.setdefaultencoding('utf-8') （其中utf-8为你想输出的字符编码）
解释：
sys.setdefaultencoding方法在python导入site.py后就删除了(具体代码查看site.py就可以看到)因此如果想用的话可以再重新load进入
总结：
u=u'unicode编码文字'
g=u.encode('gbk') #转换为gbk格式
print g #此时为乱码，因为当前环境为utf-8,gbk编码文字为乱码
str=g.decode('gbk').encode('utf-8') #以gbk编码格式读取g（因为他就是gbk编码的,需要事先知道它是GBK编码）并转换为utf-8格式输出
print str #正常显示中文（同文件输出）
安全的方法：
s.decode('gbk','ignore').encode('utf-8′) #以gbk编码读取（当然是读取gbk编码格式的文字了）并忽略错误的编码，转换成utf-8编码输出。
推荐学习《Python教程》！

2. Python 字符集编码 - UTF-8 编码

Unicode 的编码范围为 0~0x10FFFF ，如此大的范围，显然没办法像 ASCII 编码一样使用一个字节存储。为此，Unicode 制定了各种储存编码的方式，如： UTF-8 、 UTF-16 和 UTF-32 ，这些存储格式被称为 Unicode 转换格式 UTF 。

每种 Unicode 转换格式都会把一个编码存储为一到多个编码单元，如 UTF-8 的编码单元为 8 位的字节； UTF-16 的编码单元为 16 位，即 2 个字节； UTF-32 的编码单元为 32 位，即 4 个字节。

其中， UTF-8 是在互联网上使用最广泛的一种 Unicode 转换格式，具有以下显着的优势。下面，我们就先来看看 UTF-8 具有哪些有点吧~

1. UTF-8 中每个 ASCII 字符只需要一个字节去存储，因此一个 ASCII 文本本身也是一个 UTF-8 文本，即做到了向后兼容。

比如 A 的 ASCII 码对应为 0x41 ， a 的 ASCII 码对应为 0x61 ，那么 UTF-8 兼容 ASCII 也就意味着：

这里，需要再次提醒一下：Unicode 是表现形式，UTF-8 是存储形式；即 UTF-8 解码之后为 Unicode ，Unicode 可以编码成 UTF-8 。

2. UTF-8 采用字节为存储单元，因此不存在字节的大端和小段的问题。

UTF-16 和 UTF-32 的存储单元分别是 2 字节和 4 字节，因此在存储时会涉及到大小端的问题。那什么是大小端模式呢？下面我们来暂停补充一下~

关于如何获知你的环境使用的是大端模式还是小端模式，这里有个简单的方式：定义一个 short 类型的数组即可：

数字 1 在 short 类型中表示为 0x0001 ，高位为 0x00 ，低位为 0x01 。我们可以很直观地看到，数组在保存数据时，将高位 0x00 放在了高地址处，将低位 0x01 放在了低地址处。因此使用的就是小端模式。

那 UTF-8 为什么可以使用字节来作为存储单元，而不用担心字节序的问题呢？这就涉及到了 UTF-8 巧妙的编码规则~

UTF-8 最大的一个特点，就是它是一种变长的编码方式。它可以使用 1~4 个字节表示一个符号，根据不同的符号而变化字节长度。UTF-8的编码规则很简单，只有二条：

1）对于单字节符号，字节的第一位设为 0 ，后 7 位为这个符号的 Unicode 码。也就是我们上文提到的向后兼容：对于英文字母，UTF-8 编码和 ASCII 码是相同的。

2）对于使用 X 个字节存储的符号，第一个字节的前 X 位设置为 1 ，第 X+1 位设置为 0 ，后面字节的前 2 位一律设置为 10 ，剩下的位置一次填充这个符号的 Unicode 码。

下表总结了编码规则，字母 x 表示可用于编码的位：

跟据上表，解读 UTF-8 编码也非常简单：如果一个字节的第一位是 0 ，则这个字节单独就是一个字符；如果第一位是 1 ，则连续有多少个 1 ，就表示当前字符占用多少个字节。

下面，我们就来演示一下 UTF-8 编码的过程。

首先，获取汉字 鱼 的 Unicode 码：

我们不妨先对 鱼 这个汉字使用 utf-8 编码看看使用几个字节存储：

鱼 在 UTF-8 编码中使用 3 个字节存储，因此其存储的二进制的形式为 1110xxxx 10xxxxxx 10xxxxxx ，将 Unicode 1001 110001 111100 依次填充到占位符 x 的位置就得到： 11101001 10110001 10111100 。

下面，我们将上述推导得出的 11101001 10110001 10111100 转换为十六进制，验证一下是否为 b'xe9xb1xbc' ：

验证无误！

3. 怎么在Python里使用UTF-8编码

概述

在python代码即.py文件的头部声明即可

解析

py文件中的编码

Python 默认脚本文件都是 ANSCII 编码的，当文件 中有非 ANSCII 编码范围内的字符的时候就要使用"编码指示"来修正一个 mole 的定义中，如果.py文件中包含中文字符（严格的说是含有非anscii字符），则需要在第一行或第二行指定编码声明：

# -*- coding=utf-8 -*-

#coding=utf-8

# 以上两种选其一即可

其他的编码如：gbk、gb2312也可以；否则会出现:

SyntaxError: Non-ASCII character 'xe4' in file test.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

python中的编码与解码

先说一下python中的字符串类型，在python中有两种字符串类型，分别是 str 和 unicode，他们都是basestring的派生类；

str类型是一个包含Characters represent (at least) 8-bit bytes的序列；

unicode 的每个 unit 是一个 unicode obj;

在str的文档中有这样的一句话：

The string data type is also used to represent arrays of bytes, e.g., to hold data read from a file.

也就是说在读取一个文件的内容，或者从网络上读取到内容时，保持的对象为str类型；如果想把一个str转换成特定编码类型，需要把str转为Unicode,然后从unicode转为特定的编码类型如：utf-8、gb2312等。

拓展内容

utf-8编码

UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII兼容，这使得原来处理ASCII字符的软件无须或只须做少部分修改，即可继续使用。因此，它逐渐成为电子邮件、网页及其他存储或发送文字的应用中，优先采用的编码。

UTF-8使用一至六个字节为每个字符编码（尽管如此，2003年11月UTF-8被RFC 3629重新规范，只能使用原来Unicode定义的区域，U+0000到U+10FFFF，也就是说最多四个字节）：

1、128个US-ASCII字符只需一个字节编码（Unicode范围由U+0000至U+007F）。

2、带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文及它拿字母则需要两个字节编码（Unicode范围由U+0080至U+07FF）。

3、其他基本多文种平面（BMP）中的字符（这包含了大部分常用字，如大部分的汉字）使用三个字节编码（Unicode范围由U+0800至U+FFFF）。

4、其他极少使用的Unicode辅助平面的字符使用四至六字节编码（Unicode范围由U+10000至U+1FFFFF使用四字节，Unicode范围由U+200000至U+3FFFFFF使用五字节，Unicode范围由U+4000000至U+7FFFFFFF使用六字节）。

对上述提及的第四种字符而言，UTF-8使用四至六个字节来编码似乎太耗费资源了。但UTF-8对所有常用的字符都可以用三个字节表示，而且它的另一种选择，UTF-16编码，对前述的第四种字符同样需要四个字节来编码，所以要决定UTF-8或UTF-16哪种编码比较有效率，还要视所使用的字符的分布范围而定。不过，如果使用一些传统的压缩系统，比如DEFLATE，则这些不同编码系统间的的差异就变得微不足道了。若顾及传统压缩算法在压缩较短文字上的效果不大，可以考虑使用Unicode标准压缩格式（SCSU）。

互联网工程工作小组（IETF）要求所有互联网协议都必须支持UTF-8编码。互联网邮件联盟（IMC）建议所有电子邮件软件都支持UTF-8编码。

4. python写入csv文件字体设置

1、报错：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)
写入csv时，设置为gbk格式，无需再转utf-8格式

import sys
reload(sys)
sys.setdefaultencoding('gbk')
登录后复制
2、把python里面的中文字符串decode成utf-8，再encode为gbk编码
data.decode('utf-8').encode('gbk')
如果是读取csv文件的话，就反过来：
data.decode('gbk').encode('utf-8')

3、Pycharm控制台中文输出乱码问题解决方案

设置完编码后，控制台扔乱码，也可能是设置字体导致的。

试了多次之后，解决不了，重装Pycharm，然后就好了

5. python ascii 编码 怎么转化为utf-8编码

实现代码如下：
a = 'abce'
# print type(a)
b = a.decode("ascii")
# print type(b)
c = a.decode("ascii").encode("utf-8")
# print type(c)
在python中进行编码转换都是通过unicode作为中间值实现的。所以要先decode成unicode字符，然后再使用encode转换成utf-8编码的str。可以把注释取消了，看下转换过程中的类型。

6. python怎么将ascii编码转成utf8编码

python的默认的编码是ascii:
指的是你写代码默认是编码是ascii
编码的,
当然你也可以改成你想要的编码,比如在开头写个注释就用utf8编码
#
-*-coding:UTF-8-*-
字符串在Python内部的表示是unicode编码:
这个是python
3
以后才是这样的吧,