规避GIL限制

操作系统 : CentOS7.3.1611_x64

python版本:2.7.5

在多线程中使用进程池来规避GIL的限制。具体如下:

1、使用multiprocessing模块来创建进程池;

2、将计算任务分配给不同的线程;

3、在任务线程中把任务提交给之前创建的进程池;

每当有线程要执行cpu密集型任务时,就把该任务提交到进程池中,然后进程池会将任务交给运行在另一个进程中的Python解释器。 当线程等待结果时会释放GIL,而此时的计算任务是在另一个单独的Python解释器中执行的,不再受到GIL的限制了。 在多核系统中采用这个方案能轻易地利用到所有的CPU核心。

假设有这样的worker函数:

def worker(arr):
    s = 0
    for n in arr :
        arrTmp = range(1,n+1)
        if len(arrTmp) == 0 : continue
        rtmp = 1
        for i in arrTmp :
            rtmp *= i
        s += rtmp
    return s

完整代码如下:https://github.com/mike-zhang/pyExamples/blob/master/gilAvoid/gilAvoidTest1/taskCommon.py

普通单进程代码:https://github.com/mike-zhang/pyExamples/blob/master/gilAvoid/gilAvoidTest1/t1_normal.py

运行效果如下:

(py27env) [[email protected] test]$ time python t1_normal.py
('len : ', 2567)
987

real    0m17.919s
user    0m17.915s
sys     0m0.003s

使用进程池的实现:https://github.com/mike-zhang/pyExamples/blob/master/gilAvoid/gilAvoidTest1/t2_mp.py

运行效果如下:

(py27env) [[email protected] test]$ time python t2_mp.py
queue full
('len : ', 2567)
987

real    0m4.917s
user    0m18.356s
sys     0m0.146s

可以看出使用上述方法可以规避GIL的限制(测试机器为i5 4核),程序的速度得到明显的提升。