Python сериализует лексические замыкания?

PiCloud выпустила Пиклер с открытым исходным кодом (LGPL), который может обрабатывать закрытие функций и многое другое полезное. Его можно использовать независимо от их инфраструктуры облачных вычислений - это просто обычный Пиклер. Подробно описана здесь, и вы можете загрузить код через "pip install cloud". В любом случае, он делает то, что ты хочешь. Давайте продемонстрируем это, замариновав закрытие:

import pickle
from StringIO import StringIO

import cloud

# generate a closure
def foo(bar, baz):
    def closure(waldo):
        return baz * waldo
    return closure
closey = foo(3, 5)

# use the picloud pickler to pickle to a string
f = StringIO()
pickler = cloud.serialization.cloudpickle.CloudPickler(f)
pickler.dump(closey)

#rewind the virtual file and reload
f.seek(0)
closey2 = pickle.load(f)

теперь у нас есть closey, первоначальное закрытие, и closey2, тот, который был восстановлен из сериализации строк. Давайте проверим их.

>>> closey(4)
20
>>> closey2(4)
20

красиво. Модуль-это чистый python-вы можете открыть его и легко увидеть, что заставляет магию работать. (Ответ-много кода.)

да! Я получил его (по крайней мере, я думаю) - то есть более общую проблему маринования функции. Python настолько замечательный :), я узнал большую часть этого, хотя функция dir () и несколько веб-поисков. Также замечательно, что он [надеюсь] решен, мне это тоже нужно.

Я не сделал много тестов на то, насколько надежна эта вещь co_code (вложенные fcns и т. д.), и было бы неплохо, если бы кто-то мог посмотреть, как подключить Python, чтобы функции могли автоматически мариноваться (например, они иногда может быть закрытие аргументы).

Cython module _pickle_fcn.pyx

# -*- coding: utf-8 -*-

cdef extern from "Python.h":
    object PyCell_New(object value)

def recreate_cell(value):
    return PyCell_New(value)

файл Python

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# author gatoatigrado [ntung.com]
import cPickle, marshal, types
import pyximport; pyximport.install()
import _pickle_fcn

def foo(bar, baz) :
    def closure(waldo) :
        return baz * waldo
    return closure

# really this problem is more about pickling arbitrary functions
# thanks so much to the original question poster for mentioning marshal
# I probably wouldn't have found out how to serialize func_code without it.
fcn_instance = foo("unused?", -1)
code_str = marshal.dumps(fcn_instance.func_code)
name = fcn_instance.func_name
defaults = fcn_instance.func_defaults
closure_values = [v.cell_contents for v in fcn_instance.func_closure]
serialized = cPickle.dumps((code_str, name, defaults, closure_values),
    protocol=cPickle.HIGHEST_PROTOCOL)

code_str_, name_, defaults_, closure_values_ = cPickle.loads(serialized)
code_ = marshal.loads(code_str_)
closure_ = tuple([_pickle_fcn.recreate_cell(v) for v in closure_values_])
# reconstructing the globals is like pickling everything :)
# for most functions, it's likely not necessary
# it probably wouldn't be too much work to detect if fcn_instance global element is of type
# module, and handle that in some custom way
# (have the reconstruction reinstantiate the module)
reconstructed = types.FunctionType(code_, globals(),
    name_, defaults_, closure_)
print(reconstructed(3))

спасибо,
Николас!--3-->

редактировать - более надежная глобальная обработка необходима для реальных случаев. fcn.func_code.co_names перечисляет глобальные имена.

Рецепт 500261: Названные Кортежи содержит функцию, которая определяет класс на лету. И этот класс поддерживает маринование.

вот суть:

result.__module__ = _sys._getframe(1).f_globals.get('__name__', '__main__')

в сочетании с предложение@Greg Ball создать новый класс во время выполнения он может ответить на ваш вопрос.

#!python

import marshal, pickle, new

def dump_func(f):
    if f.func_closure:
        closure = tuple(c.cell_contents for c in f.func_closure)
    else:
        closure = None
    return marshal.dumps(f.func_code), f.func_defaults, closure


def load_func(code, defaults, closure, globs):
    if closure is not None:
        closure = reconstruct_closure(closure)
    code = marshal.loads(code)
    return new.function(code, globs, code.co_name, defaults, closure)


def reconstruct_closure(values):
    ns = range(len(values))
    src = ["def f(arg):"]
    src += [" _%d = arg[%d]" % (n, n) for n in ns]
    src += [" return lambda:(%s)" % ','.join("_%d"%n for n in ns), '']
    src = '\n'.join(src)
    try:
        exec src
    except:
        raise SyntaxError(src)
    return f(values).func_closure




if __name__ == '__main__':

    def get_closure(x):
        def the_closure(a, b=1):
            return a * x + b, some_global
        return the_closure

    f = get_closure(10)
    code, defaults, closure = dump_func(f)
    dump = pickle.dumps((code, defaults, closure))
    code, defaults, closure = pickle.loads(dump)
    f = load_func(code, defaults, closure, globals())

    some_global = 'some global'

    print f(2)