Почему матрица lil и матрица dok так медленны по сравнению с общим диктом диктов?

когда я меняю ваш += просто = для 2 разреженных массивов:

for row, col in zip(rows, cols):
    #freqs[row,col] += 1
    freqs[row,col] = 1

их соответствующее время сокращается вдвое. Больше всего времени уходит на индексацию. С += это связано как __getitem__ и __setitem__.

когда врачи говорят, что dok и lil лучше для итеративного построения они означают, что легче расширить их базовые структуры данных, чем для других форматов.

когда я пытаюсь сделать csr матрица с вашим кодом, я получаю:

/ usr/lib / python2.7 / dist-пакеты/scipy/разреженные/сжатые.py: 690: SparseEfficiencyWarning: изменение структуры разреженности csr_matrix дорого. lil_matrix является более эффективным. SparseEfficiencyWarning)

и более медленная скорость 30x.

таким образом, претензии скорости относительно форматов, таких как csr, не относительно чистого Python или numpy структур.

вы можете посмотреть код Python для dok_matrix.__get_item__ и dok_matrix.__set_item__ чтобы увидеть, что происходит, когда вы делаете freq[r,c].

более быстрый способ построить свой dok будет:

freqs = dok_matrix((1000,1000))
d = dict()
for row, col in zip(rows, cols):
    d[(row, col)] = 1
freqs.update(d)

воспользовавшись тем, что a dok является подклассом словаря. Обратите внимание, что dok matrix не является словарем словарей. Его ключи кортежи, как (50,50).

еще один быстрый способ построения того же разреженного массива есть:

freqs = sparse.coo_matrix((np.ones(1000,int),(rows,cols)))

другими словами, поскольку у вас уже есть rows и cols массивы (или диапазоны), вычислить соответствующий data массив, а затем построить разреженный массив.

но если вы должны выполнять разреженные операции над Матрицей между шагами инкрементного роста, то dok или lil может быть ваш лучший выбор.

разреженные матрицы были разработаны для задач линейной алгебры, таких как решение линейного уравнения с большая разреженная матрица. Я использовал их много лет назад в MATLAB для решения конечно-разностных задач. Для этой работы расчет дружественный csr формат является конечной целью, и coo format был удобным форматом инициализации.

теперь многие из так scipy редких вопросов возникают из scikit-learn и проблемы анализа текста. Они также используются в файлах биологической базы данных. Но все же (data),(row,col) метод определения работает лучше всего.

так разреженные матрицы были никогда не предназначался для быстрого инкрементного создания. Традиционные структуры Python, такие как словари и списки, намного лучше для этого.

вот быстрее dok итерация, которая использует свои методы словаря. update кажется, работает так же быстро, как в обычном словаре. get о 3x быстрее эквивалентно индексации (freq[row,col]). Индексирование, вероятно, использует get, но должно быть много накладных расходов.

def fast_dok(rows, cols):
    freqs = dok_matrix((1000,1000))
    for row, col in zip(rows,cols):
         i = freqs.get((row,col),0)
         freqs.update({(row,col):i+1})
    return freqs

пропуск get, и просто делаю

         freqs.update({(row,col): 1)

даже быстрее-быстрее, чем defaultdict примера defaultdict, и почти так же быстро, как простая инициализация словаря ({(r, c):1 for r,c in zip(rows, cols)})