Загрузка большого словаря с помощью Python pickle

вам действительно нужно, чтобы загрузить все сразу? Если вам не нужно все это в памяти, но только выбранные части, которые вы хотите в любой момент времени, вы можете сопоставить свой словарь с набором файлов на диске вместо одного файла... или сопоставить dict с таблицей базы данных. Итак, если вы ищете что-то, что сохраняет большие словари данных на диск или в базу данных, и может использовать маринование и кодирование (кодеки и хэш-карты), то вы можете посмотреть klepto.

klepto предоставляет абстракцию словаря для записи в базу данных, включая обработку вашей файловой системы как базы данных (т. е. запись всего словаря в один файл или запись каждой записи в собственный файл). Для больших данных я часто представляю словарь как каталог в своей файловой системе, и каждая запись должна быть файлом. klepto также предлагает алгоритмы кэширования, поэтому, если вы используете бэкэнд файловой системы для словаря, вы можете избежать некоторой скорости штраф за использование кэширования памяти.

>>> from klepto.archives import dir_archive
>>> d = {'a':1, 'b':2, 'c':map, 'd':None}
>>> # map a dict to a filesystem directory
>>> demo = dir_archive('demo', d, serialized=True) 
>>> demo['a']
1
>>> demo['c']
<built-in function map>
>>> demo          
dir_archive('demo', {'a': 1, 'c': <built-in function map>, 'b': 2, 'd': None}, cached=True)
>>> # is set to cache to memory, so use 'dump' to dump to the filesystem 
>>> demo.dump()
>>> del demo
>>> 
>>> demo = dir_archive('demo', {}, serialized=True)
>>> demo
dir_archive('demo', {}, cached=True)
>>> # demo is empty, load from disk
>>> demo.load()
>>> demo
dir_archive('demo', {'a': 1, 'c': <built-in function map>, 'b': 2, 'd': None}, cached=True)
>>> demo['c']
<built-in function map>
>>> 

klepto есть и другие флаги, такие как compression и memmode это можно использовать для настройки способа хранения данных (например, уровень сжатия, режим карты памяти и т. д.). Одинаково легко (тот же самый точный интерфейс) использовать базу данных (MySQL и т. д.) В качестве бэкэнда вместо вашей файловой системы. Вы также можете отключить кэширование памяти, поэтому каждое чтение/запись идет непосредственно в архив, просто установив cached=False.

klepto обеспечивает доступ к настройке кодировки, построив пользовательский keymap.

>>> from klepto.keymaps import *
>>> 
>>> s = stringmap(encoding='hex_codec')
>>> x = [1,2,'3',min]
>>> s(x)
'285b312c20322c202733272c203c6275696c742d696e2066756e6374696f6e206d696e3e5d2c29'
>>> p = picklemap(serializer='dill')
>>> p(x)
'\x80\x02]q\x00(K\x01K\x02U\x013q\x01c__builtin__\nmin\nq\x02e\x85q\x03.'
>>> sp = s+p
>>> sp(x)
'\x80\x02UT28285b312c20322c202733272c203c6275696c742d696e2066756e6374696f6e206d696e3e5d2c292c29q\x00.' 

klepto также предоставляет множество алгоритмов кэширования (например,mru, lru, lfu и т. д.), Чтобы помочь вам управлять кэш в памяти, и будет использовать алгоритм, делать дамп и загрузить в архив, серверная часть для вас.

вы можете использовать флаг cached=False чтобы полностью отключить кэширование памяти и непосредственно читать и записывать на диск или базу данных. Если ваши записи достаточно велики, вы может выбрать запись на диск, где вы помещаете каждую запись в свой собственный файл. Вот пример, что делает оба.

>>> from klepto.archives import dir_archive
>>> # does not hold entries in memory, each entry will be stored on disk
>>> demo = dir_archive('demo', {}, serialized=True, cached=False)
>>> demo['a'] = 10
>>> demo['b'] = 20
>>> demo['c'] = min
>>> demo['d'] = [1,2,3]

однако, хотя это должно значительно сократить время загрузки, это может замедлить общее выполнение немного... обычно лучше указать максимальное количество, чтобы держать в кэше памяти и выбрать хороший алгоритм кэширования. Вы должны играть с ним, чтобы получить правильный баланс для ваших нужд.

Get klepto здесь: https://github.com/uqfoundation

общий шаблон в Python 2.x должен иметь одну версию модуля, реализованную в чистом Python, с дополнительной ускоренной версией, реализованной как расширение C; например, pickle и cPickle. Это возлагает бремя импорта ускоренной версии и возврата к чистой версии Python на каждого пользователя этих модулей. В Python 3.0, ускоренные версии считаются деталями реализации чистых версий Python. пользователи всегда должны импортируйте стандартную версию, которая пытается импортировать ускоренную версию и возвращается к чистой версии Python. пара рассола / cPickle получила это лечение.

• Protocol version 0 является оригинальным" читаемым человеком " протоколом и обратно совместим с более ранними версиями Python.
• Protocol version 1-это старый двоичный формат, который также совместим с более ранними версиями Python.
• протокол версия 2 была представлена в Python 2.3. Он обеспечивает гораздо более эффективное маринование классов нового стиля. См. ОПТОСОЗ 307 для получения информации об улучшениях, внесенных протоколом 2.
• протокол версии 3 был добавлен в Python 3.0. Он имеет явную поддержку объектов bytes и не может быть распакован Python 2.х. это протокол по умолчанию и рекомендуемый протокол, когда совместимость с другими версиями Python 3 требуемый.
• версия протокола 4 была добавлена в Python 3.4. Он добавляет поддержку очень больших объектов, маринование больше видов объектов и некоторые оптимизации формата данных. См.PEP 3154 для получения информации об улучшениях, внесенных протоколом 4.

если ваш словарь огромен и должен быть совместим только с Python 3.4 или выше, используйте:

pickle.dump(obj, file, protocol=4)
pickle.load(file, encoding="bytes")

или:

Pickler(file, 4).dump(obj)
Unpickler(file).load()

что сказал, в 2010 году the json модуль был в 25 раз быстрее при кодировании и в 15 раз быстрее при декодировании простых типов, чем pickle. мой 2014 benchmark говорит marshal>pickle>json, а marshal's в сочетании с конкретными версиями Python.

вы пробовали использовать альтернативный формат хранения, такой как в YAML или в формате JSON? Python поддерживает JSON изначально из Python 2.6, используя json модуль, я думаю, и есть сторонние модули для YAML.

вы также можете попробовать shelve модуль.

зависит от того, как долго "долго" вы должны думать о компромиссах, которые вы должны сделать: либо иметь все данные, готовые в памяти после (долгого) запуска, либо загружать только частичные данные (тогда вам нужно разделить дату на несколько файлов или использовать SQLite или что-то вроде этого). Я сомневаюсь, что загрузка всех данных заранее из, например, sqlite в словарь принесет какие-либо улучшения.