python16进制unicode
Ⅰ python3 16进制字符串、列表、字符串之间的转换
在Python操作数据内容时,多数情况下可能遇到下面3种类型的数据处理:
hexstring 如:ƇC532145697A8B6F'
str 如:'x1Cx53x21x45x69x7Ax8Bx6F'
list 如:[0x1C, 0x53, 0x21, 0x45, 0x69, 0x7A, 0x8B, 0x6F]
各种第三方模块(如pyDes),或者自己写的接口中,可能存在由于类型不统一需要在这3种数据中来回切换的情况。
需要用到的核心的方法如下:
list() 将对象转换为list
str() 将对象转换为str
bytearray() 将对象转换为bytearray
bytearray.fromhex() 将对象从hexstring转换为bytearray
binascii.b2a_hex() 将对象从str转换为hexstring
如:[0x53, 0x21, 0x6A] -> 'x53x21x6a'
方法:list -> bytearray -> str
如:'x53x216a' -> [0x53, 0x21, 0x6A]
方法:逐个字符转成十进制
如: [0x53, 0x21, 0x6A] -> A'
方法:list -> bytearray -> str -> hexstring
如: A' -> [0x53, 0x21, 0x6A]
方法:hexstring -> bytearray -> list
如: A' -> 'x53x21x6A'
方法:hexstring -> bytearray -> str
以上内容转自: https://blog.csdn.net/diaoxuesong/article/details/72123415#
Ⅱ python串口16进制问题
显示没错。。1、2、3、4对应的ascii/unicode码位值分别就是31h,32h,33h,34h
转回字符显示可以
print(chr(0x31))#显示"1"
Ⅲ python遇到‘\u’开头的unicode编码
web信息中常会遇到“\u4f60\u597d”类型的字符。首先’\u‘开头就基本表明是跟unicode编码相关的,“\u”后的16进制字符串是相应汉字的utf-16编码。python里decode()和encode()为我们提供了解码和编码的方法。其中decode('unicode_escape')能将此种字符串解码为unicode字符串。
比如:
有篇讲python编码的文章比较好, http://blog.csdn.net/liuxincumt/article/details/8183391
Ⅳ python3字符串都是什么编码
编码
字符串是一种数据类型,但是,字符串比较特殊的是还有一个编码问题。
因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以,一个字节能表示的最大的整数就是255(二进制11111111=十进制255),如果要表示更大的整数,就必须用更多的字节。比如两个字节可以表示的最大整数是65535,4个字节可以表示的最大整数是4294967295。
由于计算机是美国人发明的,因此,最早只有127个字母被编码到计算机里,也就是大小写英文字母、数字和一些符号,这个编码表被称为ASCII编码,比如大写字母A的编码是65,小写字母z的编码是122。
Unicode
Unicode把所有语言都统一到一套编码里,这样就不会再有乱码问题了。
Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏僻的字符,就需要4个字节)。现代操作系统和大多数编程语言都直接支持Unicode。
现在,捋一捋ASCII编码和Unicode编码的区别:ASCII编码是1个字节,而Unicode编码通常是2个字节。
字母A用ASCII编码是十进制的65,二进制的01000001;
字符0用ASCII编码是十进制的48,二进制的00110000,注意字符'0'和整数0是不同的;
汉字已经超出了ASCII编码的范围,用Unicode编码是十进制的20013,二进制的01001110 00101101。
如果把ASCII编码的A用Unicode编码,只需要在前面补0就可以,因此,A的Unicode编码是00000000 01000001。
新的问题又出现了:如果统一成Unicode编码,乱码问题从此消失了。但是,如果你写的文本基本上全部是英文的话,用Unicode编码比ASCII编码需要多一倍的存储空间,在存储和传输上就十分不划算。
所以,又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间:
字符
ASCII
Unicode
UTF-8
A 01000001 00000000 01000001 01000001
中 x 01001110 00101101 11100100 10111000 10101101
从上面的表格还可以发现,UTF-8编码有一个额外的好处,就是ASCII编码实际上可以被看成是UTF-8编码的一部分,所以,大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。
搞清楚了ASCII、Unicode和UTF-8的关系,我们就可以总结一下现在计算机系统通用的字符编码工作方式:
在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。
用记事本编辑的时候,从文件读取的UTF-8字符被转换为Unicode字符到内存里,编辑完成后,保存的时候再把Unicode转换为UTF-8保存到文件:
浏览网页的时候,服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器:
所以你看到很多网页的源码上会有类似<meta charset="UTF-8" />的信息,表示该网页正是用的UTF-8编码。
Python的字符串
在最新的Python 3版本中,字符串是以Unicode编码的,也就是说,Python的字符串支持多语言,例如:
>>> print('包含中文的str')
包含中文的str
对于单个字符的编码,Python提供了ord()函数获取字符的整数表示,chr()函数把编码转换为对应的字符:
1个中文字符经过UTF-8编码后通常会占用3个字节,而1个英文字符只占用1个字节。
在操作字符串时,我们经常遇到str和bytes的互相转换。为了避免乱码问题,应当始终坚持使用UTF-8编码对str和bytes进行转换。
Python源代码也是一个文本文件,所以,当你的源代码中包含中文的时候,在保存源代码时,就需要务必指定保存为UTF-8编码。当Python解释器读取源代码时,为了让它按UTF-8编码读取,我们通常在文件开头写上这两行
#!/usr/bin/env python3# -*- coding: utf-8 -*-
第二行注释是为了告诉Python解释器,按照UTF-8编码读取源代码,否则,你在源代码中写的中文输出可能会有乱码。
格式化:
在Python中,采用的格式化方式和C语言是一致的,用%实现,举例如下:
format % (...params)
>>> 'Hello, %s' % 'world''Hello, world'>>> 'Hi, %s, you have $%d.' % ('Michael', 1000000)'Hi, Michael, you have $1000000.'
%运算符就是用来格式化字符串的。在字符串内部,%s表示用字符串替换,%d表示用整数替换,%x表示16进制整数,有几个%?占位符,后面就跟几个变量或者值,顺序要对应好。如果只有一个%?,括号可以省略。
格式化整数和浮点数还可以指定是否补0和整数与小数的位数:
>>> '%2d-%02d' % (3, 1)' 3-01'>>> '%.2f' % 3.1415926'3.14'
有些时候,字符串里面的%是一个普通字符怎么办?这个时候就需要转义,用%%来表示一个%:
>>> 'growth rate: %d %%' % 7'growth rate: 7 %'
Ⅳ python编程(三级)1、编码、数制
在计算机中使用的是二进制,(为什么呢,因为二进制计算简单,可以用电路表示等等很多优点)。但是二进制对阅读和使用是不友好的,因此需要将二进制转换为人类使用的语言,英语,中文等,这就是编码。
最初的编码就是ASCII编码,美国信息交换码。它使用一个字节,8位二进制,可以表示128个符号。常用的1-9,26个字母以及一些英语符号等。
ascii表是不能表示中文的,因此中文也有专门的编码,诸如GB2312,GBK等。其它国家也有类似编码,因此为了方便信息的交流,也就有了统一编码,Unicode,又叫万国码。unicode用0-65535来表示所有字符,Unicode用2-4个字节存储。不同的存储方式,又不同的编码,这就是UTF-8,UTF-16,UTF-32。utf-8根据字符数字的大小,来决定存储字节,存储英文字符时用1个字节,存储汉字时用2个字节。utf-16,两个字节,utf-32,四个字节。
python3 在内存中使用的是Unicode,万国码,默认的编码是utf-8。
chr() ,转换为对应Unicode表字符
ord(),转换为对于Unicode表数字
encode(),编码,将str转换为字节流
decode(),解码,将字节流转换为str
计算机存储数据的格式是二进制,日常和数学中使用的数字是十进制,为了表达简化,因此有了十六进制、八进制。
二进制---->十进制---->八进制---》十六进制
10000001 ---》129 ---》201---》81
从上式可以看出来,进制越大,表达更大数时更简化。
二进制转十进制 ,按权展开相加
十进制转二进制,除基取余
二进制转八进制 ,从右往左,取3位转换为十进制得到即为8进制,不足3位左边补0。
八进制转二进制,每位展开得到3个二进制位
二进制转十六进制,,从右往左,取4位转换为十进制得到即为16进制,不足3位左边补0。
十六进制转二进制,每位展开得到四个二进制位
int() ,
hex(),转换为16进制
bin(),转换为二进制
oct(),转换为八进制
Ⅵ python 16进制转字符串
你的16进制的串“C7 EB CE F0 BE C6 BA F3 BC DD B3 B5”是gbk编码的,通过以下方法可以转为字符串。
>>>s="C7EBCEF0BEC6BAF3BCDDB3B5"
>>>s=s.replace("","")
>>>prints.decode("hex")
请勿酒后驾车
Ⅶ python常见数据类型
一,python整数类型所表示的数据。
1,一般用以表示一类数值:所有正整数,0和负整数;
2,整型作为最常用的,频繁参与计算的数据类型,在python3.5中解释器会自动在内存中创建-5-3000之间的(包含5,不包含3000)整型对象,也就是说在该范围内,相等都是同一个已经创建好的整型对象。范围之外的即使相等也表示不同对象,该特性随python版本而改变,不要过于依赖。
3,bool型继承了int型,他是int的子类。
4,Python2中有长整型long,数值范围更大,在python3中已取消,所有整型统一由int表示。
5,参与所有数值计算,数学运算,科学计算。这也是所有编程语言都有的数据类型,因为编程语言生而需要模拟人的思维,借助数学方式,自动计算、更好的解决大量重复性的事务,因此数值类型、整数类型在编程语言中不可或缺。
6,支持二进制(0b\0B开头),十进制,八进制(0o\0O),十六进制(0x\0X)
二,python整数和浮点型支持常规的数值运算
整数和浮点数都可参与的运算:+ - * / %(取余) //(整除) **(幂)
Python字符型:
python字符型表示的数据:
python3支持Unicode编码,由字母、数字和符号组成的形式就叫字符串,更接近或者相同与人们文字符号表示,因此在信息表示和传递时它也是最受认可的形式。在程序编写中也是非常常用,对应的可操作的方法也很多,很有意思。
字符串不可被修改,可以拼接等方法创建新字符串对象;
支持分片和下标操作;a[2:]
支持+拼接,*重复操作和成员关系in/not in;
表示形式:用单引号双引号包含起来的符号;a = str(‘sdfsdfsdf’) 或 r’\t\nabcd’ 原始字符,Bytes:b’abcd’;
6,字符串属于不可变数据类型,内部机制为了节省空间,相同的两个字符串表示相同的一个对象。a = ‘python’ b = ‘python’ a is b :True
二, 字符串支持的运算方法
1,capitalize() :首字母大写后边的字母小写 a = ‘abcd’ b = a.capitalize() b:Abcd
2,casefold() lower():字母转换为全小写
3,center(width,fillchar) :居中,width填补的长度;fillchar添加的字符
a = a.center(10,’_’) //’____abcd____’ 默认无fillchar填充空格
4,count(sub,star,end) :字母计数:sub要查询的字符
5,encode(encoding=’utf-8’,errors=’strict’) 设置编码
Errors :设置错误类型
6,endswith(suffix,star,end) : 若以suffix结尾返回True
7,expandtabs(8) :设置字符串中tab按键符的空格长度:’\tabcde’
8,find(sub,star,end) : 返回指定范围内的字符串下标,未找到返回-1
9,index(sub,star,end) :返回指定范围字符串下标未找到抛出异常
10,isalnum() :判断字符串是否是字母或数字,或字母和数字组合
11,isalpha() :判断是否全是字母
12,isdecimal() :判断字符串是否是十进制数值
13,isdigit() :判断字符串是否是数字
14,isidentifier() :判断字符串中是否包含关键字
15,islower() :判断是否全小写
16,isnumeric() :判断全是数字
17,isspace() :判断是否是空格
18,isupper() 判断是否大写
19,istitle() :判断是否首字母大写
20,join(iterable) :把可迭代对象用字符串进行分割:a.join(‘123’)
21,ljust(width,fillchar);rjust() :左对齐右对齐
22, upper() :将字符串改为大写
23,split(sep=None,maxsplit=-1) :分割一个字符串,被选中字符在字符串中删除
‘ab1cd1efg’.split(‘1’) :[‘ab’,’cd’,’efg’]
三,字符串格式化:按照规格输出字符串
format(*args,**kwargs) :args位置参数,kwargs关键字参数
‘{0:.1f}’.format(123.468) :格式化参数,小数点后保留1位四舍五入
四,字符串操作符%
1,%s :格式化字符串 ‘abcd%sdef’%’dddd’
2,%d:格式化整数
3,%o格式化无符号八进制
4,%x格式化无符号十六进制
5,%f格式化定点数
6, %e: 科学计数法格式化定点数
7,%g 根据值大小自动选%f,%e
8, %G E X :大写形式
五,格式化辅助命令:
m.n :m最小总宽度,n小数点后位数:’%12.4f’%23456.789
六,转义字符:字符串前r避免转义:r’\nhello\thi’
\n:换行符
\t:横向制表符
\':'
\":"
\b:退格符
\r:回车
\v:纵向制表符
\f:换页符
\o,\x:八进制和十六进制
\0:空字符串
Python列表list
一,Python的列表list类型表示的数据:
Python列表在cpython中被解释为长度可变的数组,用其他对象组成的连续数组。
列表中元素可以是相同或不同的数据类型;
当列表元素增加或删除时,列表对象自动进行扩展或收缩内存,保证元素之间没有缝隙,总是连续的。
Python中的列表是一个序列,也是一个容器类型
创建列表:a = []; b = [1,’python’]; c = list(); d = list((1,3,4,5))
支持切片操作list[start,stop,step]
python列表常用方法
1,append添加单个元素:list.append(object); //a.append(‘python’)
2,extend添加可迭代对象: list.extend(iterable); //a.extend(‘abcde’/[1,2,3])
3,insert 插入元素:list.insert(index,object): 在index下标前插入元素//a.insert(2,’python’)
4,clear 清空所有元素:list.clear() //a.clear()
5,pop 删除并返回一个元素:list.pop(index) //默认删除默认一个元素
remove 删除指定元素:list.remove(v) ,v元素不存在报错 //a.remove(‘c’)
7,count 返回这个值在列表中数量:list.count(value)
8, 浅拷贝一个新列表:list.()
9,sort:排序list.sort(reverse=False/True) :默认升序
排序函数:sorted(list)
10,reverse: 原地翻转:list.reverse()
11,index(value,star,stop) :指定范围内该值下标:list.index(2,0,5)
列表元素访问:
下标访问:list[1]
For循环遍历
通过下标修改元素:list[2 ] = ‘hello’
列表常用运算符:
1,比较运算符:从第一个元素开始对比
2,+ 拼接一个新列表:l1+ l2
3, 重复操作符:* ,多个列表拼接
成员关系操作符:in/ not in
逻辑运算符:and not or
列表常用的排序方法:
冒泡排序;选择排序;快速排序;归并排序
Python元组tuple
一,Python元组tuple数据类型表示的数据:
元组是受到限制的、不可改变的列表;
可以是同构也可以是异构;
元组是序列类型、是可迭代对象,是容器类型。
元组的创建: a = (1,2,3)或a=1,2,3; b = tuple(); c = tuple(iterable)
支持切片操作tuple[start,stop,step]
二,python元组常用方法
1,index(value,star,stop) :指定范围内该值下标:tuple.index(2,0,5)
2,count(value) :值出现次数
三,支持运算:
1,比较运算符:从第一个元素开始对比
2,+ 拼接一个新元组:l1+ l2
3, 重复操作符:* ,多个元组拼接
4成员关系操作符:in/ not in
逻辑运算符:and not or
四,元组的访问
下标操作;
For循环遍历访问。
Python字典类型
一,Python字典dict表示的数据:{key:value}
可根据关键字:键快速索引到对应的值;
字典是映射类型,键值对一一对应关系,不是序列;
字典元素是无序的;
字典是可迭代对象,是容器类型;
字典的创建:k = {}; k1={‘keyword’:object}; k2 = dict();
K3 = dict(mapping); dict=(iterable)
二,字典的访问:
通过key:k[‘key’]
修改key对应的值:K[‘key’] = value
For循环遍历出来的是key;
For循环键值对:for I in d.items():
For 循环enumerate: for k,v in enumerate(k1):
In/not in 成员关系查询键不支持查值
三,字典常用方法
get(key,de):获取值:k.get(key,de) //若不存在则默认输出de
pop(k,de):删除一个键值对,不存在输出de,未设置报错;
keys() :返回字典所有key组成的序列:list(k.keys()) [1,2,3];
values():返回字典所有value组成的序列:list(k.values())
items():返回键值对组成的元组为元素的序列:(类set)list(k.items())
update(e):更新字典:e可是字典或两元素组成的单位元素序列:e=[(5,6),(7,8)];
k.update(e)
clear():清空字典;
popitem()删除某个键值对,若字典为空则报错
() :浅拷贝
10, fromkeys(iterable,value=None):从可迭代对象创建字典
{}.fromkeys([1,2,3]) -----{1:None,2:None,3:None}
11,setdefault(k,d=None) :若key不存在则生成一个键值对
k.setdefault(‘keyword’)
Python 集合set
集合表示的数据:
多个元素的无序组合,集合是无序的,集合元素是唯一的;
字典的键是由集合实现的;
集合是可迭代对象
集合创建:s = {1,2}; s1 = set(); s2 = set(iterable)
集合元素的访问:
For 循环将集合所有元素全部访问一遍,不重复
常用方法:
add(object):s.add(‘hi’) 向集合添加一个元素
pop() :弹栈,集合为空则报错:删除任意一个元素;
clear():清空集合,返回一个空集合对象;
remove(object):删除一个元素,不存在和报错:s.remove(‘hi’)
update(集合):更新另一个集合,元素不存在则不更新;
() :浅拷贝
集合的运算:
交集:s1&s2;
差集,补集:s1-s2;
并集:s1|s2;
Issubset():判断是否是子集:s1.issubset(s2) s1是否s2的集合子集
Issuperset():判断是否是父集:s1.issuperset()
不可变集合:
Frozenset():返回一个空的不可变集合对象
Frozenset(iterable):
S = frozenset(iterable)
Python序列类型共同特性
一,序列类型共同特性
python序列类型有:str字符串,list列表,tuple元组
都支持下标索引,切片操作;
下标都是从0开始,都可通过下标进行访问;
拥有相同的操作符
二,支持的函数:
len(obj):返回对象长度;
list(iterable):将可迭代对象转为列表;
tuple(iterable):将可迭代对象转为元组;
str(ojb):将任何对象转为字符串形式;
max(iterable): python3中元素要是同类型,python2中元素可异构:max([‘a’,1])
min(iterable):和max类似;
sum(iterable,star=0),求可迭代对象和,默认star为0,元素不能为字符串
sorted(iterable,key=None,reverse=False)
s=[(‘a’,3),(‘b’,2),(‘c’,9)]
sorted(s,key=lambda s:s[1]) //按照数字排序
reversed(sequence):翻转序列,返回迭代器
enumerate(iterable):返回enumerate对象,其元素都是一个元组(下标,值)
zip(iter1,iter2): zip([1,2],[3,4]) ----[(1,3),(2,4)]
序列类型的切片操作:
Slice:
L[index]; 访问某个元素;
L[1:4]; 区间
L[star:stop:step]; 设置步长取区间元素
Ⅷ python为什么中文显示的都是16进制的
先试试
print each.decode('utf-8').encode('gb18030')
还不行的话,那就需要确认几个东西:
1, 你的代码里的字符是什么编码的, 比如你的secureCRT是utf8的,那么它就是utf8的。
2,export LANG=en_US.utf8,这一步是为了让linux正确的解析字节流(编码)以便对应到字符。
3,前两步之后,通过secureCRT看你输入的汉字是不会乱码的。
4,源代码的coding改成utf8,这是为了让python解析源代码时知道如何将字面常量字符串转到unicode内码。
5,如果你是py2.x,那么encode到utf8再输出。
6,如果你是Py3.x,那么直接print即可,python3.x会将unicode内码转到LANG编码。
Ⅸ python unicode编码
python unicode编码:
下面的代码创建了一个Unicode字符串,用UTF-8编码器将它编码,然后写入到一个文件中去,接着把数据从文件中读回来,解码成Unicode字符串对象,最后,打印出Unicode字符串,用以确认程序正确地运行。
在Linux中编写,在VIM中输入如下代码,保存为uniFile.py
#/home/xiaopeng/python/code/uniFile.py
'''
:Writes
aUnicodestringtoafileinutf-8andreadsitbackin
'''
CODEC='utf-8'编码方式
FILE='unicode.txt'要存的文件名
hello_out=u"Helloworld "创建了一个Unicode格式的字符串
bytes_out=hello_out.encode(CODEC)用UTF-8编码
f=open(FILE,'w')
f.write(bytes_out)写入指定文件中
f.close()
f=open(FILE,'r')
bytes_in=f.read()读取
f.close()
hello_in=bytes_in.decode(CODEC)解码
printhello_in打印
在终端中输入:python uniFile.py
结果打印出 Hello world
然后在python目录下会发现多了一个名为unicode.txt的文件,用cat命令查看一下,发现里面的内容和打印的结果一样.
把Unicode应用到实际中注意一下四点:
1程序中出现字符串时一定要加一个前缀u
2不要用str()函数,用Unicode()代替
3 不要用过时的string模块。如果传给它非ASCII码,它会把一切搞砸。
4 不到必须时不要在你的程序里编解码Unicode字符,只在你要写入文件或者数据库或者网络时,才调用encode()函数和decode()函数。