Быстрый n-мерный разреженный массив в Python / Cython

у меня есть приложение, которое включает в себя большие N-мерные массивы, которые очень разрежены. scipy.sparse имеет полезную функцию "векторизованного получения и настройки", так что Cython можно использовать для быстрого заполнения разреженной матрицы.

конечно, пакет scipy не может обрабатывать n-размеры. Есть два пакета, которые я нашел, которые делают N-мерные разреженные массивы в python sparray и ndsparse. Однако, похоже, ни одна из векторизованных функций получения и настройки не имеет.

Так Что Я нужно либо:

  • пакет python для n-мерных массивов с векторизованными get и set или
  • библиотека c для разреженных массивов, к которым я могу легко получить доступ с помощью Cython или
  • некоторые "свернуть свой собственный" вариант, который, я думаю, потребует c эквивалент python dict

для моей цели я думаю, что отображение координат n-измерения обратно в 1 или два измерения может работать. Что было бы лучше иметь дикт эквивалент я могу быстро получить доступ в цикле Цитона. Я предполагаю, что это исключает python dict.

интересно, может ли кто-нибудь дать мне пример того, как использовать объект карты c++ из Cython?

22
cython python sparse-array sparse-matrix

1 ответов

Если вы решите пойти с опцией c dict,вы можете использовать std::map C++ STL. Маловероятно, что вы найдете более быстрый или надежный собственный код, который реализует словарь/карту.

cppmap.pyx:

# distutils: language = c++

cdef extern from "<map>" namespace "std":
    cdef cppclass mymap "std::map<int, float>":
        mymap()
        float& operator[] (const int& k)

cdef mymap m = mymap()
cdef int i
cdef float value

for i in range(100):
    value = 3.0 * i**2
    m[i] = value

print m[10]

setup.py:

from distutils.core import setup
from Cython.Build import cythonize
setup(name = "cppmapapp"
  ext_modules = cythonize('*.pyx'))

Командная строка:

$ python setup.py build
$ cd build/lib.macosx-10.5-x86_64-2.7
$ python -c 'import cppmap'
300.0
5