最近在用python做数据统计,这里总结了一些最近使用时查找和总结的一些小技巧,希望能帮助在做这方面时的一些童鞋。有些技巧是很平常的用法,平时我们没有注意,但是在特定场景,这些小方法还是能带来很大的帮助。
1.在字典中将键映射到多个值上面
{'b': [4, 5, 6], 'a': [1, 2, 3]}
有时候我们在统计相同key值的时候,希望把所有相同key的条目添加到以key为键的一个字典中,然后再进行各种操作,这时候我们就可以使用下面的代码进行操作:
from collections import defaultdict d = defaultdict(list) print(d) d['a'].append(1) d['a'].append(2) d['a'].append(3) d['b'].append(4) d['b'].append(5) d['b'].append(6) print(d) print(d.get("a")) print(d.keys()) print([d.get(i) for i in d])
这里是使用了collections中的方法,这里面还拥有很多有用的方法,我们有时间在继续进行深入了解。
上面代码运行结果:
defaultdict(, {}) defaultdict(, {'b': [4, 5, 6], 'a': [1, 2, 3]}) [1, 2, 3] dict_keys(['b', 'a']) [[4, 5, 6], [1, 2, 3]]
我们将数据填入之后,相当于进行快速分组,然后遍历每个组就可以统计一些我们需要的数据。
2.迅速转换字典键值对
data = {...} zip(data.values(), data.keys())
data是我们的格式数据,使用zip后进行快速键值转换,然后可以使用max,min之类函数进行数据操作。
3.通过公共键对字典进行排序
from operator import itemgetter data = [ {'name': "bran", "uid": 101}, {'name': "xisi", "uid": 102}, {'name': "land", "uid": 103} ] print(sorted(data, key=itemgetter("name"))) print(sorted(data, key=itemgetter("uid")))
数据格式就是data,我们想要对name或者uid进行排序我们就是用代码中的方法。
运行结果:
[{'name': 'bran', 'uid': 101}, {'name': 'land', 'uid': 103}, {'name': 'xisi', 'uid': 102}] [{'name': 'bran', 'uid': 101}, {'name': 'xisi', 'uid': 102}, {'name': 'land', 'uid': 103}]
正如我们期望中的一样
4.对列表中的多个字典根据某一字段进行分组
注意注意,在进行分组前要首先对数据进行排序处理,排序字段根据实际要求来选择
即将处理的数据:
rows = [ {'name': "bran", "uid": 101, "class": 13}, {'name': "xisi", "uid": 101, "class": 11}, {'name': "land", "uid": 103, "class": 10} ]
期望处理结果:
{ 101: [{'name': 'xisi', 'class': 11, 'uid': 101},{'name': 'bran', 'class': 13, 'uid': 101}], 103: [{'name': 'land', 'class': 10, 'uid': 103}] }
我们按照uid进行分组,这里只是演示,uid一般也不会重复。
这个比较复杂一点,我们一部一步来分解
some = [('a', [1, 2, 3]), ('b', [4, 5, 6])] print(dict(some))
结果:
{'b': [4, 5, 6], 'a': [1, 2, 3]}
这里我们的目的是将元组转换成字典,这个很简单,应该都能看懂。接着我们来下一步对待处理数据进行排序:
data_one = sorted(rows, key=itemgetter("class")) print(data_one) data_two = sorted(rows, key=lambda x: (x["uid"], x["class"])) print(data_two)
这里我们提供两种排序方式原理相同,只是样式稍有区别,第一种data_one是直接使用itemgetter,按照我们前面使用过得,直接按照某一字段进行排序,可是有时候我们会有另一种要求:
先按照某一字段排序,当第一字段重复时,再按照另一字段排序。
这时我们就用第二种方法,进行多字段值排序。
排序结果如下:
[{'name': 'land', 'class': 10, 'uid': 103}, {'name': 'xisi', 'class': 11, 'uid': 101}, {'name': 'bran', 'class': 13, 'uid': 101}] [{'name': 'xisi', 'class': 11, 'uid': 101}, {'name': 'bran', 'class': 13, 'uid': 101}, {'name': 'land', 'class': 10, 'uid': 103}]
结果大家慢慢看一下,还是略有差别。
接下来就进行最后一步了,将我们刚才讲的两种方式结合起来使用:
data = dict([(g, list(k)) for g, k in groupby(data_two, key=lambda x: x["uid"])]) print(data)
我们对排序好的数据进行分组,然后生成元组列表,最后将其转换成字典,这里大功告成,我们成功将数据进行分组。
python数据统计的一些小技巧就分享到这,有需要的可以参考学习。
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
更新日志
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]