Как профилировать несколько подпроцессов с помощью Python multiprocessing и Memory profiler?

у меня есть утилита, которая порождает несколько рабочих с помощью Python multiprocessing модуль, и я хотел бы иметь возможность отслеживать их использование памяти через отличный memory_profiler утилита, которая делает все, что я хочу, - в частности, выборка использования памяти с течением времени и построение конечного результата (Меня не волнует профилирование строчной памяти для этого вопроса).

чтобы настроить этот вопрос, я создал более простую версию скрипт, который имеет рабочую функцию, которая выделяет память, подобную пример передана в memory_profiler библиотека. Рабочий такой:

import time

X6 = 10 ** 6
X7 = 10 ** 7

def worker(num, wait, amt=X6):
    """
    A function that allocates memory over time.
    """
    frame = []

    for idx in range(num):
        frame.extend([1] * amt)
        time.sleep(wait)

    del frame

учитывая последовательную рабочую нагрузку 4 работников следующим образом:

if __name__ == '__main__':
    worker(5, 5, X6)
    worker(5, 2, X7)
    worker(5, 5, X6)
    worker(5, 2, X7)

под управлением mprof исполняемый файл для профилирования моего скрипта занимает 70 секунд, когда каждый работник запускается один за другим. Скрипт, работает следующим образом:

$ mprof run python myscript.py

производит следующее использование памяти график:

эти рабочие идут параллельно с multiprocessing означает, что сценарий завершится так же медленно, как самый медленный рабочий (25 секунд). Этот сценарий выглядит следующим образом:

import multiprocessing as mp

if __name__ == '__main__':
    pool    = mp.Pool(processes=4)
    tasks   = [
        pool.apply_async(worker, args) for args in
        [(5, 5, X6), (5, 2, X7), (5, 5, X6), (5, 2, X7)]
    ]

    results = [p.get() for p in tasks]

профайлер памяти действительно работает, или, по крайней мере, нет ошибок при использовании mprof но результаты немного странные:

быстрый взгляд на монитор активности показывает, что на самом деле есть 6 процессов Python, один для mprof для python myscript.py и затем по одному для каждого рабочего подпроцесса. Оказывается, что mprof измеряет только использование памяти для