Многопроцессорная обработка Python: map vs map async

в чем разница между использованием map и map_async, они не выполняют одну и ту же функцию после распределения элементов из списка в 4 процесса. Так что неправильно предполагать, что оба работают асинхронно и параллельно.

def f(x):
   return 2*x

p=Pool(4)
l=[1,2,3,4]
out1=p.map(f,l)
#vs
out2=p.map_async(f,l)
21
python-2.7 python-multiprocessing

1 ответов

есть четыре варианта отображения заданий для обработки. Вы должны учитывать мульти-args, параллелизм, блокировку и порядок. map и map_asnyc отличаются только блокировкой. map_async не блокируется, где as map блокирует

предположим, у вас была функция 

from multiprocessing import Pool
import time

def f(x):
    print x*x

if __name__ == '__main__':
    pool = Pool(processes=4)
    pool.map(f, range(10))
    r  = pool.map_async(f, range(10))
    # DO STUFF
    print 'HERE'
    print 'MORE'
    r.wait()
    print 'DONE'

пример:

0
1
9
4
16
25
36
49
64
81
0
HERE
1
4
MORE
16
25
36
9
49
64
81
DONE

pool.map(f, range(10)) будет ждать завершения всех 10 этих вызовов функций, чтобы мы увидели все отпечатки подряд r = pool.map_async(f, range(10)) выполнит их асинхронно и только блок, когда r.wait() называется так, мы видим HERE и MORE между Но DONE всегда будет в конце

37