Python使用多进程运行含有任意个参数的函数

站长资源 2024/11/24 佚名

2 0 1

1. 问题引出

许多时候，我们对程序的速度都是有要求的，速度自然是越快越好。对于Python的话，一般都是使用multiprocessing这个库来实现程序的多进程化，例如：

我们有一个函数my_print，它的作用是打印我们的输入：

def my_print(x):
print(x)

但是我们嫌它的速度太慢了，因此我们要将这个程序多进程化：

from multiprocessing import Pool
 
def my_print(x):
  print(x)
 
if __name__ == "__main__":
  x = [1, 2, 3, 4, 5]
  pool = Pool()
  pool.map(my_print, x)
  pool.close()
  pool.join()

很好，现在速度与之前的单进程相比提升非常的快，但是问题来了，如果我们的参数不只有一个x，而是有多个，这样能行吗？比如现在my_print新增一个参数y：

def my_print(x, y):
print(x + y)

查看pool.map的函数说明：

def map(self, func, iterable, chunksize=None):
  '''
  Apply `func` to each element in `iterable`, collecting the results
  in a list that is returned.
  '''
  return self._map_async(func, iterable, mapstar, chunksize).get()

发现函数的参数是作为iter传进去的，但是我们现在有两个参数，自然想到使用zip将参数进行打包：

if __name__ == "__main__":
  x = [1, 2, 3, 4, 5]
  y = [1, 1, 1, 1, 1]
  zip_args = list(zip(x, y))
  pool = Pool()
  pool.map(my_print, zip_args)
  pool.close()
  pool.join()

可是执行后却发现，y参数并没有被传进去：

那么如何传入多个参数呢？这也就是本文的重点，接着往下看吧。

2. 解决方案

2.1 使用偏函数（partial）

偏函数有点像数学中的偏导数，可以让我们只关注其中的某一个变量而不考虑其他变量的影响。上面的例子中，Y始终等于1，那么我们在传入参数的时候，只需要考虑X的变化即可。

例如你有一个函数，该函数有两个参数a,b，a是不同路径的下的图片的路径，b是输出的路径。很明显，a是一直在变化的，但是因为我们要将所有图片保存在同一个文件夹下，那么b很可能一直都没变。

具体如下：

if __name__ == '__main__':# 多线程，多参数，partial版本
  x = [1, 2, 3, 4, 5]
  y = 1
 
  partial_func = partial(my_print, y=y)
  pool = Pool()
  pool.map(partial_func, x)
  pool.close()
  pool.join()

2.2 使用可变参数

在Python函数中，函数可以定义可变参数。顾名思义，可变参数就是传入的参数个数是可变的，可以是1个、2个到任意个，这就直接给我们提供了一种思路。具体如下：

def multi_wrapper(args):
  return my_print(*args)
 
def my_print(x, y):
  print(x + y)
if __name__ == "__main__": # 多线程，多参数，可变参数版本
  x = [1, 2, 3, 4, 5]
  y = [1, 1, 1, 1, 1]
  zip_args = list(zip(x, y))
 
  pool = Pool()
  pool.map(multi_wrapper, zip_args)
  pool.close()
  pool.join()

2.3 使用pathos提供的多进程库

from pathos.multiprocessing import ProcessingPool as newPool
 
if __name__ == '__main__':# 多线程，多参数，pathos版本
  x = [1, 2, 3, 4, 5]
  y = [1, 1, 1, 1, 1]
 
  pool = newPool()
  pool.map(my_print, x, y)
  pool.close()
  pool.join()

在该库的map函数下，可以看到，它允许多参数输入，其实也就是使用了可变参数：

def map(self, f, *args, **kwds):
  AbstractWorkerPool._AbstractWorkerPool__map(self, f, *args, **kwds)
  _pool = self._serve()
  return _pool.map(star(f), zip(*args)) # chunksize

2.4 使用starmap函数

if __name__ == '__main__': # 多线程，多参数，starmap版本
  x = [1, 2, 3, 4, 5]
  y = [1, 1, 1, 1, 1]
 
  zip_args = list(zip(x, y))
  pool = Pool()
  pool.starmap(my_print, zip_args)
  pool.close()
  pool.join()

3. 总结

其实在以上4种实现方法中，第1种方法的限制较多，如果该函数的其它参数都在变化的话，那么它就不能很好地工作，而剩下的方法从体验上来讲是依次递增的，它们都可以接受任意多参数的输入，但是第2种需要额外写一个函数，扣分；第3种方法需要额外安装pathos包，扣分；而最后一种方法不需要任何额外不择就可以完成，所以，推荐大家选择第4种方法！

以上这篇Python使用多进程运行含有任意个参数的函数就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

Python,多进程,参数,函数

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

评论“Python使用多进程运行含有任意个参数的函数”

暂无评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月24日

Python使用多进程运行含有任意个参数的函数

Python定义函数实现累计求和操作

python多进程使用函数封装实例

评论“Python使用多进程运行含有任意个参数的函数”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接