utf8unicodepython
Ⅰ python文件為什麼加utf-8
python文件加utf-8的原因:
在python中有兩種類型的字元串類型:位元組字元串和unicode的字元串,加上utf-8可以正確的輸出中文,如果不加utf-8,中文輸出之後就是亂碼
示例如下:
執行結果:
更多Python知識,請關註:Python自學網!!
Ⅱ python3中為什麼在print之前要將utf8解碼成unicode
因為data是bypes類型的數據,需要轉碼成字元串啊。decode是解碼的意思,utf8是按照什麼格式來解碼,也就是說把二進制的data轉碼成utf8的字元串。
不轉碼直接列印出來的是bytes的。字元串前面有個b的。
Ⅲ python中如何獲取中文的utf8編碼
首先要表示一個漢字,至少需要2個位元組碼
如果需要以utf解碼你的漢字,可以用如下辦法
>>>unicode('人','utf-16')
u'ucbc8'
如果需要以gbk解碼你的漢字,可以用如下辦法
>>>unicode('人','gbk')
u'u4eba
Ⅳ python中gbk、utf-8、ascii、Unicode的關系是什麼
gbk是中文編碼,utf-8和unicode一樣是通用編碼,ascii和前三者不是一類的。
一般都是用utf-8,一般不會出問題。
Ⅳ python中unicode編碼怎麼轉換為utf-8
實現代碼如下:
a = 'abce'# print type(a)b = a.decode("ascii")# print type(b)c = a.decode("ascii").encode("utf-8")# print type(c)
在python中進行編碼轉換都是通過unicode作為中間值實現的。所以要先decode成unicode字元,然後再使用encode轉換成utf-8編碼的str。可以把注釋取消了,看下轉換過程中的類型。
Ⅵ python 字元是用utf8 還是unicode
python2默認使用ascii編碼,通過在文件頭部添加【# -*- coding: utf-8 -*-】可以設置成utf8,python3默認是使用unicode。
如果解決了您的問題請採納!
如果未解決請繼續追問!
Ⅶ 怎麼在Python里使用UTF-8編碼
概述
在python代碼即.py文件的頭部聲明即可
解析
py文件中的編碼
Python
默認
腳本文件
都是
ANSCII
編碼的,當文件
中有非
ANSCII
編碼范圍內的字元的時候就要使用"編碼指示"來修正一個
mole
的定義中,如果.py文件中包含中文字元(嚴格的說是含有非anscii字元),則需要在第一行或第二行指定編碼聲明:
#
-*-
coding=utf-8
-*-
#coding=utf-8
#
以上兩種選其一即可
其他的編碼如:gbk、gb2312也可以;否則會出現:
SyntaxError:
Non-ASCII
character
'\xe4'
in
file
test.py
on
line
3,
but
no
encoding
declared;
see
http://www.python.org/peps/pep-0263.html
for
details
python中的編碼與解碼
先說一下python中的字元串類型,在python中有兩種字元串類型,分別是
str
和
unicode,他們都是basestring的
派生類
;
str類型是一個包含
Characters
represent
(at
least)
8-bit
bytes的序列;
unicode
的每個
unit
是一個
unicode
obj;
在str的文檔中有這樣的一句話:
The
string
data
type
is
also
used
to
represent
arrays
of
bytes,
e.g.,
to
hold
data
read
from
a
file.
也就是說在讀取一個文件的內容,或者從網路上讀取到內容時,保持的對象為str類型;如果想把一個str轉換成特定編碼類型,需要把str轉為Unicode,然後從unicode轉為特定的編碼類型如:utf-8、gb2312等。
拓展內容
utf-8編碼
UTF-8(8-bit
Unicode
Transformation
Format)是一種針對Unicode的可變長度
字元編碼
,也是一種
前綴碼
。它可以用來表示Unicode標准中的任何字元,且其編碼中的第一個位元組仍與ASCII兼容,這使得原來處理ASCII字元的軟體無須或只須做少部分修改,即可繼續使用。因此,它逐漸成為電子郵件、網頁及其他存儲或發送文字的應用中,優先採用的編碼。
UTF-8使用一至六個位元組為每個字元編碼(盡管如此,2003年11月UTF-8被RFC
3629重新規范,只能使用原來Unicode定義的區域,U+0000到U+10FFFF,也就是說最多四個位元組):
1、128個US-ASCII字元只需一個位元組編碼(Unicode范圍由U+0000至U+007F)。
2、帶有附加符號的拉丁文、
希臘文
、
西里爾字母
、亞美尼亞語、
希伯來文
、
阿拉伯文
、敘利亞文及它拿字母則需要兩個位元組編碼(Unicode范圍由U+0080至U+07FF)。
3、其他
基本多文種平面
(BMP)中的字元(這包含了大部分
常用字
,如大部分的漢字)使用三個位元組編碼(Unicode范圍由U+0800至U+FFFF)。
4、其他極少使用的Unicode
輔助平面
的字元使用四至六位元組編碼(Unicode范圍由U+10000至U+1FFFFF使用四位元組,Unicode范圍由U+200000至U+3FFFFFF使用五位元組,Unicode范圍由U+4000000至U+7FFFFFFF使用六位元組)。
對上述提及的第四種字元而言,UTF-8使用四至六個位元組來編碼似乎太耗費資源了。但UTF-8對所有常用的字元都可以用三個位元組表示,而且它的另一種選擇,UTF-16編碼,對前述的第四種字元同樣需要四個位元組來編碼,所以要決定UTF-8或UTF-16哪種編碼比較有效率,還要視所使用的字元的分布范圍而定。不過,如果使用一些傳統的壓縮系統,比如DEFLATE,則這些不同編碼系統間的的差異就變得微不足道了。若顧及傳統壓縮演算法在壓縮較短文字上的效果不大,可以考慮使用Unicode標准壓縮格式(SCSU)。
互聯網工程工作小組(IETF)要求所有互聯網協議都必須支持UTF-8編碼。互聯網郵件聯盟(IMC)建議所有電子郵件軟體都支持UTF-8編碼。
Ⅷ python有哪幾種編碼方式
第一種:ASCII碼。是基於拉丁字母的一套電腦編碼系統,主要用於顯示現代英語和其他西歐語言,它是現今最通用的單位元組編碼系統,並等同於國際標准IS/IEC
646。
由於計算機是美國人發明的,因此,最早只有127個字母被編碼到計算機李,也就是大小寫英文字母、數字和一些符號,這個編碼表被稱為ASCII編碼,比如大寫字母A的編碼是65,小寫字母a的編碼是97,後128個稱為擴展ASCII碼。
第二種:GBK和GB2312。能在計算機中顯示中文字元是至關重要的,然而ASCII表裡一個偏旁部首都沒有,所以我們需要一個關於中文和數字對應的關系表,一個位元組只能最多表示256個字元,用處理中文顯然一個位元組是不夠的,所以我們需要採用兩個位元組來表示,所以中國制定了GB2312編碼,用來將中文編寫進去。
第三種:Unicode。因為各個國家都有一套自己的編碼,所以無法避免沖突,因此Unicode誕生了。它可以把所有語言都統一到一套編碼里,這樣就不會存在亂碼問題了,現代操作系統和大多數編程語言都直接支持Unicode。
第四種:UFT-8。基於節約的原則,出現了把Unicode編碼轉化為可變長編碼的UTF-8編碼。而UTF-8編碼把一個Unicode字元根據不同的數字大小編碼成1-6個位元組,常用的英文字母被編碼成一個位元組,漢字通常是3個位元組,只有很生僻的字元才會被編碼成4-6個位元組,如果你要傳輸的文本包含大量英文字元,用UTF-8編碼就能節省空間。
Ⅸ Python2和3中關於str和unicode以及UTF-8的更改到底是什麼意思
Python2.x中:
str格式本質含義是「某種編碼格式」,絕大多數情況下,被引號框起來的字元串,就是str,這時的字元串編碼類型,其實就是你Python文件的編碼類型,比如在Windows里,默認用的是GBK編碼。
Unicode格式的含義就是「用unicode編碼的字元串」。Python在進入2.0版後正式定義了了Unicode字元串這個奇怪的特性,目的就是為了處理太多種語言編碼的文本。從那時開始,Python語言中的字元串類型就分為兩種:一種是傳統的Python字元串(各種花樣編碼),另一種則是新出現的Unicode。
後來到了Python3.x時代:
str格式的定義變更為」Unicode類型的字元串「,也就是說在默認情況下,被引號框起來的字元串,是使用Unicode編碼的。
而「不是Unicode的某種編碼格式」,比如UTF-8、GBK,這些編碼方式被定義為了bytes,這里的bytes和py2中的str有很多相似的地方。
Ⅹ python unicode 和utf8編碼是什麼意思
編碼是用於講二進制格式(byte)轉化為漢語,英文等文字的方式。如果是unicode,那就是一種全球通用的編碼,但是台灣用的多,mac系統是utf-8,windows你用GB2312