python字典去重

Ⅰ python如何列表去重取最大值

list=[('小王','第一次考试','5'),('小陈','第二次考试','7'),('小陈','第一次考试','1'),('小王','第六次考试','20')]

dic={}

list1=[]

forpersoninlist:

ifperson[0]notindic.keys():

dic[person[0]]=person

elifint(dic[person[0]][2])<int(person[2]):

dic[person[0]]=person

forvalueindic.values():

list1.append(value)

print(list1)

*.你看到的代码应该是没有缩进了，你可以右键>检查，从相应的源码中能看到相关的缩进

---------

稍等我给你写下思路：

总体的思路就是动态的改变字典dic,字典中的键是tuple的第1个元素，即人名，相应的键值就是整个tuple,如dic={'小王':('小王','第一次考试','5')};而a.这个字典中的键值对是不断增加的，b.键值是不断改变的.这里的a,b两点要怎么理解呢?

先说a.这个字典中的键值对是不断增加的?

比如说我一开始的字典是空的，然后我遍历字典的时候，我会拿每次取到的列表中的元素(即元素)的第1个元素作为键，去dic中找，看看当前dic中是否有这个键，如果没有，则我会在dic中新增一个键值对，这个键值对的键即tuple的第1个元素，相应的键值为整个tuple,举例：

当前dic为{'小王':('小王','第一次考试','5')}，假如我遍历到list中的第2个元素，即('小陈','第二次考试','7')，我会取这个tuple的第1个元素,即'小陈'，看看dic字典的键中是否有'小陈'，结果一看dic中只有一个键'小王'，没有'小陈'，则我会在dic中新增一个键值对，最后得到新的dic:{'小王':('小王','第一次考试','5'),'小陈':('小陈','第二次考试','7')}.

再一看b点:键值是不断变化的：

接上面说，此时字典dic的值为{'小王':('小王','第一次考试','5'),'小陈':('小陈','第二次考试','7')}，然后列表我遍历到了第3个元素，即('小陈','第一次考试','1')。此时前面的处理逻辑还是一样的，取tuple中的第1个元素去dic的键中找，看看是否存在，一找存在，字典dic中有'小陈'这个键了，则继续第2步，用dic中'小陈'键值tuple中的第3个元素和当前从列表中取的第1个元素为'小陈'的tuple的第3个元素相比较，如果字典中的那个大，则字典中'小陈'的键值不变，如果从列表中拿到的这个tuple中第3个值大，则将字典中'小陈'的键值整个替换为从列表中取的这个当前tuple.

最终我们得到了一个键唯一，且相应键值为首个元素相同tuples中第3个值最大的这么一个字典。

因为你要求最终得到的类型是字典，所以接下来就是如果将这个字典dic转化为你要的字典，dic.alues()得到的是dic中所有值的这么一个迭代器，然后使用for循环遍历这个迭代器，把每次迭代器中取的值都追加到列表list1中。

最终打印的list1,符合题目要求

Ⅱ python去重（汉字一样，里面的编码不一样）

• 这是一个字符串的全角和半角的问题，可以导入unicodedata中的normalize函数先把全角转换为半角，然后再用set对列表去重，参考代码如下：

list3=['热菜','凉菜','凉菜','硬菜']

set(map(lambdas:normalize('NFKC',s),list3))

输出：

{'硬菜','热菜','凉菜'}

• 扩展：

“NFKC”代表“NormalizationFormKC[CompatibilityDecomposition,]”，并将全角字符替换为半角字符，这些半角字符与Unicode等价。

Ⅲ python中对list去重的多种方法

python中对list去重的多种方法
今天遇到一个问题，在同事随意的提示下，用了 itertools.groupby 这个函数。不过这个东西最终还是没用上。
问题就是对一个list中的新闻id进行去重，去重之后要保证顺序不变。
直观方法
最简单的思路就是：

这样也可行，但是看起来不够爽。

用set

另外一个解决方案就是用set：
代码如下:

ids = [1,4,3,3,4,2,3,4,5,6,1]
ids = list(set(ids))

这样的结果是没有保持原来的顺序。

按照索引再次排序

最后通过这种方式解决：
代码如下:

ids = [1,4,3,3,4,2,3,4,5,6,1]
news_ids = list(set(ids))
news_ids.sort(ids.index)

使用itertools.grouby

文章一开始就提到itertools.grouby, 如果不考虑列表顺序的话可用这个：
代码如下:

ids = [1,4,3,3,4,2,3,4,5,6,1]
ids.sort()
it = itertools.groupby(ids)

for k, g in it:
print k

关于itertools.groupby的原理可以看这里：http://docs.python.org/2/library/itertools.html#itertools.groupby

网友补充：用rece

网友reatlk留言给了另外的解决方案。我补充并解释到这里：
代码如下:

In [5]: ids = [1,4,3,3,4,2,3,4,5,6,1]

In [6]: func = lambda x,y:x if y in x else x + [y]

In [7]: rece(func, [[], ] + ids)
Out[7]: [1, 4, 3, 2, 5, 6]

上面是我在ipython中运行的代码，其中的 lambda x,y:x if y in x else x + [y] 等价于 lambda x,y: y in x and x or x+[y] 。

Ⅳ Python中字典为什么比列表快

1、为什么Python中字典比列表快？
因为字典中是键-值对（key-value），且字典无顺序、自动去重、占用内存多，用内存换取速度。最重要的是因为字典是hash类型的。
2、那什么是hash呢？
哈希算法将任意长度的二进制值映射为较短的固定长度的二进制值，这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。
如果散列一段明文而且哪怕只更改该段落的一个字母，随后的哈希都将产生不同的值。要找到散列为同一个值的两个不同的输入，在计算上是不可能的，所以数据的哈希值可以检验数据的完整性。一般用于快速查找和加密算法。
3、dict会把所有的key变成hash 表，然后将这个表进行排序。
你通过data[key]去查data字典中一个key的时候，python会先把这个key hash成一个数字，然后拿这个数字到hash表中看没有这个数字， 如果有，拿到这个key在hash表中的索引，拿到这个索引去与此key对应的value的内存地址那取值就可以了。

Ⅳ python如何实现列表嵌套字典，字典内相同key去重，字典内另外一个key的value相加

按照你的要求编写的字典内相同key合并的Python程序如下

l=[{'a':1,'b':'haha'},{'a':3,'b':'haha'},{'a':2,'b':'xiaoming'}]

result=[]

temp=[]

for i in range(len(l)):

flag=False

suma=l[i]['a']

b=l[i]['b']

for j in range(i+1,len(l)):

if l[i]['b']==l[j]['b'] and (j not in temp):

flag=True

temp.append(i)

temp.append(j)

suma=suma+l[j]['a']

if i not in temp or flag==True:

result.append({'a':suma,'b':b})

print(result)

源代码(注意源代码的缩进)

Ⅵ 求教， Python 怎么去掉重复的词， 下面有例子。

1.如果你的txt 文件不大的话 可以直接 tmp = open('**.txt').readlines() #把内容一次性全部读取出来 是一个列表set(tmp) #这个就是把列表 去重复 然后 你可以把 这个去重后的tmp 写入到新的文件2.txt很大，那么只能一行一行的读取去重了#!/usr/bin/env python# coding=utf-8# python 2.7outfile = open('result-readline.txt', 'w') #新的文件list_1=[]for line in open('test.txt'): #老文件 tmp = line.strip() if tmp not in list_1: list_1.append(tmp) outfile.write(line)outfile.close()

Ⅶ Python数字列表去重，如何简单的既去重还能按原来的顺序输出

Python数字列表去重,还能按原来的顺序输出.

第一种方法

alist = [1, 2, 2, 4, 4, 6, 7]

b = []

for i in alist:

if i not in b:

b.append(i)

print(b)

源代码(注意源代码的缩进)

Ⅷ python常见数据类型

一,python整数类型所表示的数据。

1,一般用以表示一类数值:所有正整数,0和负整数;

2,整型作为最常用的,频繁参与计算的数据类型，在python3.5中解释器会自动在内存中创建-5-3000之间的（包含5，不包含3000）整型对象，也就是说在该范围内,相等都是同一个已经创建好的整型对象。范围之外的即使相等也表示不同对象，该特性随python版本而改变，不要过于依赖。

3,bool型继承了int型，他是int的子类。

4,Python2中有长整型long，数值范围更大，在python3中已取消，所有整型统一由int表示。

5,参与所有数值计算，数学运算，科学计算。这也是所有编程语言都有的数据类型，因为编程语言生而需要模拟人的思维，借助数学方式，自动计算、更好的解决大量重复性的事务，因此数值类型、整数类型在编程语言中不可或缺。

6,支持二进制(0b\0B开头),十进制,八进制(0o\0O),十六进制(0x\0X)

二，python整数和浮点型支持常规的数值运算

整数和浮点数都可参与的运算：+ - * / %（取余） //（整除） **（幂）

Python字符型：

python字符型表示的数据：
python3支持Unicode编码，由字母、数字和符号组成的形式就叫字符串，更接近或者相同与人们文字符号表示，因此在信息表示和传递时它也是最受认可的形式。在程序编写中也是非常常用，对应的可操作的方法也很多，很有意思。
字符串不可被修改，可以拼接等方法创建新字符串对象；
支持分片和下标操作；a[2:]
支持+拼接，*重复操作和成员关系in/not in；
表示形式：用单引号双引号包含起来的符号；a = str(‘sdfsdfsdf’) 或 r’\t\nabcd’ 原始字符，Bytes：b’abcd’；
6,字符串属于不可变数据类型，内部机制为了节省空间，相同的两个字符串表示相同的一个对象。a = ‘python’ b = ‘python’ a is b :True

二, 字符串支持的运算方法

1,capitalize() :首字母大写后边的字母小写 a = ‘abcd’ b = a.capitalize() b:Abcd

2,casefold() lower():字母转换为全小写

3,center(width,fillchar) :居中，width填补的长度；fillchar添加的字符

a = a.center(10,’_’) //’____abcd____’ 默认无fillchar填充空格

4,count(sub,star,end) :字母计数：sub要查询的字符

5,encode(encoding=’utf-8’,errors=’strict’) 设置编码

Errors :设置错误类型

6,endswith(suffix,star,end) : 若以suffix结尾返回True

7，expandtabs(8) :设置字符串中tab按键符的空格长度：’\tabcde’

8,find(sub,star,end) : 返回指定范围内的字符串下标，未找到返回-1

9，index(sub,star,end) :返回指定范围字符串下标未找到抛出异常

10，isalnum() :判断字符串是否是字母或数字，或字母和数字组合

11，isalpha() :判断是否全是字母

12，isdecimal() :判断字符串是否是十进制数值

13，isdigit() :判断字符串是否是数字

14，isidentifier() :判断字符串中是否包含关键字

15，islower() :判断是否全小写

16，isnumeric() :判断全是数字

17，isspace() :判断是否是空格

18，isupper() 判断是否大写

19，istitle() :判断是否首字母大写

20，join(iterable) :把可迭代对象用字符串进行分割：a.join(‘123’)

21,ljust(width,fillchar);rjust() :左对齐右对齐

22, upper() :将字符串改为大写

23，split(sep=None,maxsplit=-1) :分割一个字符串，被选中字符在字符串中删除

‘ab1cd1efg’.split(‘1’) :[‘ab’,’cd’,’efg’]

三，字符串格式化：按照规格输出字符串

format(*args,**kwargs) :args位置参数，kwargs关键字参数

‘{0:.1f}’.format(123.468) :格式化参数，小数点后保留1位四舍五入

四，字符串操作符%

1，%s :格式化字符串 ‘abcd%sdef’%’dddd’

2，%d:格式化整数

3，%o格式化无符号八进制

4，%x格式化无符号十六进制

5，%f格式化定点数

6, %e: 科学计数法格式化定点数

7，%g 根据值大小自动选%f,%e

8, %G E X :大写形式

五，格式化辅助命令：

m.n :m最小总宽度，n小数点后位数：’%12.4f’%23456.789

六，转义字符：字符串前r避免转义：r’\nhello\thi’

\n:换行符

\t:横向制表符

\':'

\":"

\b:退格符

\r:回车

\v:纵向制表符

\f:换页符

\o,\x:八进制和十六进制

\0:空字符串

Python列表list

一，Python的列表list类型表示的数据：

Python列表在cpython中被解释为长度可变的数组，用其他对象组成的连续数组。

列表中元素可以是相同或不同的数据类型；
当列表元素增加或删除时，列表对象自动进行扩展或收缩内存，保证元素之间没有缝隙，总是连续的。
Python中的列表是一个序列，也是一个容器类型
创建列表：a = []; b = [1,’python’]; c = list(); d = list((1,3,4,5))
支持切片操作list[start,stop,step]
python列表常用方法
1,append添加单个元素：list.append(object); //a.append(‘python’)

2,extend添加可迭代对象: list.extend(iterable); //a.extend(‘abcde’/[1,2,3])

3,insert 插入元素：list.insert(index,object): 在index下标前插入元素//a.insert(2,’python’)

4,clear 清空所有元素：list.clear() //a.clear()

5,pop 删除并返回一个元素：list.pop(index) //默认删除默认一个元素

remove 删除指定元素：list.remove(v) ,v元素不存在报错 //a.remove(‘c’)
7，count 返回这个值在列表中数量：list.count(value)

8, 浅拷贝一个新列表：list.()

9,sort:排序list.sort(reverse=False/True) :默认升序

排序函数：sorted(list)

10，reverse: 原地翻转：list.reverse()

11，index(value,star,stop) :指定范围内该值下标：list.index(2,0,5)

列表元素访问：
下标访问：list[1]
For循环遍历
通过下标修改元素：list[2 ] = ‘hello’
列表常用运算符：
1,比较运算符：从第一个元素开始对比

2，+ 拼接一个新列表：l1+ l2

3, 重复操作符：* ,多个列表拼接

成员关系操作符：in/ not in
逻辑运算符：and not or
列表常用的排序方法：
冒泡排序；选择排序；快速排序；归并排序

Python元组tuple

一，Python元组tuple数据类型表示的数据：

元组是受到限制的、不可改变的列表；
可以是同构也可以是异构；
元组是序列类型、是可迭代对象，是容器类型。
元组的创建: a = (1,2,3)或a=1,2,3; b = tuple(); c = tuple(iterable)
支持切片操作tuple[start,stop,step]

二，python元组常用方法

1,index(value,star,stop) :指定范围内该值下标：tuple.index(2,0,5)

2,count(value) ：值出现次数

三，支持运算：

1,比较运算符：从第一个元素开始对比

2，+ 拼接一个新元组：l1+ l2

3, 重复操作符：* ,多个元组拼接

4成员关系操作符：in/ not in

逻辑运算符：and not or
四，元组的访问

下标操作；
For循环遍历访问。

Python字典类型

一,Python字典dict表示的数据：{key:value}

可根据关键字：键快速索引到对应的值；
字典是映射类型，键值对一一对应关系，不是序列；
字典元素是无序的；
字典是可迭代对象，是容器类型；
字典的创建：k = {}; k1={‘keyword’:object}; k2 = dict();
K3 = dict(mapping); dict=(iterable)

二，字典的访问：

通过key：k[‘key’]

修改key对应的值：K[‘key’] = value

For循环遍历出来的是key；

For循环键值对：for I in d.items():

For 循环enumerate: for k,v in enumerate(k1):

In/not in 成员关系查询键不支持查值

三，字典常用方法

get(key,de):获取值：k.get(key,de) //若不存在则默认输出de
pop(k,de):删除一个键值对，不存在输出de，未设置报错；
keys() :返回字典所有key组成的序列：list(k.keys()) [1,2,3];
values():返回字典所有value组成的序列：list(k.values())
items():返回键值对组成的元组为元素的序列：（类set）list(k.items())
update(e):更新字典：e可是字典或两元素组成的单位元素序列：e=[(5,6),(7,8)];
k.update(e)

clear():清空字典；
popitem()删除某个键值对，若字典为空则报错
() :浅拷贝
10, fromkeys(iterable,value=None):从可迭代对象创建字典

{}.fromkeys([1,2,3]) -----{1:None,2:None,3:None}

11,setdefault(k,d=None) :若key不存在则生成一个键值对

k.setdefault(‘keyword’)

Python 集合set

集合表示的数据：
多个元素的无序组合，集合是无序的，集合元素是唯一的；
字典的键是由集合实现的；
集合是可迭代对象
集合创建：s = {1,2}; s1 = set(); s2 = set(iterable)
集合元素的访问：
For 循环将集合所有元素全部访问一遍，不重复

常用方法：
add(object):s.add(‘hi’) 向集合添加一个元素
pop() :弹栈，集合为空则报错：删除任意一个元素；
clear():清空集合，返回一个空集合对象；
remove(object):删除一个元素，不存在和报错：s.remove(‘hi’)
update(集合)：更新另一个集合，元素不存在则不更新；
() :浅拷贝
集合的运算：
交集：s1&s2;
差集,补集：s1-s2;
并集：s1|s2;
Issubset():判断是否是子集：s1.issubset(s2) s1是否s2的集合子集
Issuperset():判断是否是父集：s1.issuperset()
不可变集合：
Frozenset():返回一个空的不可变集合对象

Frozenset(iterable):

S = frozenset(iterable)

Python序列类型共同特性

一,序列类型共同特性

python序列类型有:str字符串,list列表,tuple元组
都支持下标索引，切片操作；
下标都是从0开始，都可通过下标进行访问；
拥有相同的操作符
二，支持的函数：

len(obj):返回对象长度；
list(iterable):将可迭代对象转为列表；
tuple(iterable):将可迭代对象转为元组；
str(ojb):将任何对象转为字符串形式；
max(iterable): python3中元素要是同类型，python2中元素可异构：max([‘a’,1])
min(iterable):和max类似；
sum(iterable,star=0),求可迭代对象和，默认star为0，元素不能为字符串
sorted(iterable,key=None,reverse=False)
s=[(‘a’,3),(‘b’,2),(‘c’,9)]

sorted(s,key=lambda s:s[1]) //按照数字排序

reversed(sequence):翻转序列，返回迭代器
enumerate(iterable):返回enumerate对象,其元素都是一个元组（下标，值）
zip（iter1,iter2）: zip([1,2],[3,4]) ----[(1,3),(2,4)]

序列类型的切片操作：

Slice:

L[index]; 访问某个元素；

L[1:4]; 区间

L[star:stop:step]; 设置步长取区间元素

Ⅸ python中列表如何去重

可以利用set去重

代码如下:

#coding=utf-8

li=[1,2,3,4,2,1,3,0]#列表
li2=set(li)
print(li2)

Ⅹ python列表里的字典元素合并去重

b={}
fordicin[each.items()foreachina]:
forkey,valueindic:
b[key]=value