Как ускорить заполнение массива numpy в python?

поскольку вы выделяете непрерывные блоки, вы должны иметь возможность сделать следующее (Полностью избавиться от внутреннего цикла):

for _ in xrange(0, num_flushes):
    in_memory_blocks[:blocks_per_flush] = numpy.random.randint(
            0, _BLOCK_MAX+1, blocks_per_flush)

    print('flushing bytes stored in memory...')

    # commented out for SO; exists in actual code
    # removing this doesn't make an order-of-magnitude difference in time
    # m.update(in_memory_blocks[:blocks_per_flush])

    in_memory_blocks[:blocks_per_flush].tofile(f)

использует numpy.random.randint функция, которая выделяет целый блок памяти и заполняет его случайными целыми числами (обратите внимание на комментарий J. F. Sebastian ниже о numpy.random.randint и random.randint). Нет никакого способа (насколько я могу видеть) заполнить предварительно выделенный массив, используя случайные подпрограммы numpy. Другая проблема заключается в том, что randint numpy возвращает int64 матрицы. Если вам нужны целые числа другого размера, вы можете использовать методы ввода numpy, например numpy.тип uint8. Если вы хотите, чтобы randints охватывал весь диапазон типа, то @Джей Ф. Себастьянметод ниже с помощью numpy.случайность.bytes будет лучшим (почти в любом случае!).

однако простые тесты показывают разумные времена (того же порядка величины, что и код C). Следующий код проверяет время выделения массивов uint8 из 20,000,000 случайных целые числа, использующие метод numpy:

from timeit import Timer
t = Timer(stmt='a=numpy.uint8(numpy.random.randint(0, 100, 20000000))',
        setup='import numpy')
test_runs = 50
time = t.timeit(test_runs)/test_runs
print time

я получаю это занимает около 0,7 секунды за распределение на моем 4-летнем ноутбуке Core2 (он работает 50 раз, поэтому для запуска всего теста потребуется больше времени). Это 0.7 s за распределение 20,000,000 случайных целых чисел uint8, поэтому я ожидаю что-то около 20s для всего 500MB.

больше памяти означало бы, что вы можете выделить большие куски сразу, но вы все еще эффективно тратите время на выделение и запись 64 бит для каждого int когда вам нужно только 8 (не количественно этот эффект). Если его все еще недостаточно быстро, вы можете вызвать свою реализацию C с помощью интерфейса numpy ctypes. Это действительно довольно прост в использовании, и вы получите практически никакого замедления над чистым C.

общее сообщение Take home заключается в том, что с numpy всегда старайтесь использовать процедуры numpy там, где они существуют, помня, что возврат к C с ctypes не слишком болезнен. В целом, данная методика позволяет действительно достаточно эффективно использовать python с очень небольшим замедлением для численной обработки.

Edit: что-то еще, что только что пришло мне в голову: как было реализовано выше, я думаю, вы сделаете дополнительную ненужную копию. Если in_memory_blocks имеет длину blocks_per_flush, тогда вам лучше просто назначить ему возврат из numpy.random.randint, вместо того, чтобы выделять его в определенный поддиапазон (который в общем случае должны быть копия). Итак:

in_memory_blocks = numpy.random.randint(0, _BLOCK_MAX+1, blocks_per_flush)

а чем:

in_memory_blocks[:blocks_per_flush] = numpy.random.randint(
        0, _BLOCK_MAX+1, blocks_per_flush)

однако, приурочив это, первый случай не приводит к значительному увеличению скорости (всего около 2%), поэтому, вероятно, не стоит беспокоиться о слишком много. Я предполагаю, что подавляющее количество времени тратится на создание случайных чисел (чего я и ожидал).