现在的位置: 首页 > 综合 > 正文

python类库32[多进程之Pool+Logging]

2017年12月09日 ⁄ 综合 ⁄ 共 1265字 ⁄ 字号 评论关闭

一 pool

multiprocessing.pool也就是传说中的进程池,pool的构造如下 

multiprocessing.Pool([processes[, initializer[, initargs[, maxtasksperchild]]]]) 中,

processes表示pool中进程的数目,默认地为当前CPU的核数。

initializer表示新进程的初始化函数。

initargs表示新进程的初始化函数的参数。

 

maxtasksperchild表示每个进程执行task的最大数目。

 

apply()用来为pool中的进程赋予task。

map()用来循环地为pool中的进程赋予tasks。

close()用来阻止新的task的提交到pool中,一但已有的tasks都完成后,pool将退出。

terminate()用来立即停止pool中所有的进程。

join()等待pool中所有的进程退出。

 

实例:

 

import multiprocessing
import time

def do_calculation(data):
    print(multiprocessing.current_process().name)
    time.sleep(3)
    return data * 2

def start_process():
    print ('Starting', multiprocessing.current_process().name)

if __name__ == '__main__':
    inputs = list(range(10))
    print ('Input   :' + str(inputs)) 
    
    pool_size = multiprocessing.cpu_count()
    pool = multiprocessing.Pool(processes=pool_size,
                                initializer=start_process,
                                )
    pool_outputs = pool.map(do_calculation, inputs)
    pool.close() # no more tasks
    pool.join()  # wrap up current tasks

    print ('Pool    :' + str(pool_outputs))
    

 

 

运行结果:

 

上面的实例中可以看到当前的CPU是8core的,pool中公有8个进程,但是有10个任务,其中有2个进程处理了2个任务。

 

二 logging

使用multiprocessing启动的logger来帮助调试多进程。例如:

logger = multiprocessing.log_to_stderr(logging.DEBUG)

logger.debug("Test") 

 

完!

 

抱歉!评论已关闭.