Обертывание std:: vector с помощью boost:: набор индексирования векторов python
Я работаю над библиотекой C++ с привязками Python (используя boost::python), представляющими данные, хранящиеся в файле. Большинство моих полу-техническими пользователи будут использовать Python, чтобы взаимодействовать с ним, поэтому мне нужно сделать это как весть, как это возможно. Однако у меня также будут программисты на C++, использующие API, поэтому я не хочу идти на компромисс на стороне C++ для размещения Привязок Python.
большая часть библиотеки будет осуществляться из контейнеров. Чтобы сделать вещи интуитивно понятными для python пользователи, Я хотел бы, чтобы они вели себя как списки python, т. е.:
# an example compound class
class Foo:
def __init__( self, _val ):
self.val = _val
# add it to a list
foo = Foo(0.0)
vect = []
vect.append(foo)
# change the value of the *original* instance
foo.val = 666.0
# which also changes the instance inside the container
print vect[0].val # outputs 666.0
тест Setup
#include <boost/python.hpp>
#include <boost/python/suite/indexing/vector_indexing_suite.hpp>
#include <boost/python/register_ptr_to_python.hpp>
#include <boost/shared_ptr.hpp>
struct Foo {
double val;
Foo(double a) : val(a) {}
bool operator == (const Foo& f) const { return val == f.val; }
};
/* insert the test module wrapping code here */
int main() {
Py_Initialize();
inittest();
boost::python::object globals = boost::python::import("__main__").attr("__dict__");
boost::python::exec(
"import testn"
"foo = test.Foo(0.0)n" // make a new Foo instance
"vect = test.FooVector()n" // make a new vector of Foos
"vect.append(foo)n" // add the instance to the vector
"foo.val = 666.0n" // assign a new value to the instance
// which should change the value in vector
"print 'Foo =', foo.valn" // and print the results
"print 'vector[0] =', vect[0].valn",
globals, globals
);
return 0;
}
путь shared_ptr
используя shared_ptr, я могу получить то же поведение, что и выше, но это также означает, что я должен представлять все данные на C++ с помощью общих указателей, что не очень хорошо со многих точек зрения.
BOOST_PYTHON_MODULE( test ) {
// wrap Foo
boost::python::class_< Foo, boost::shared_ptr<Foo> >("Foo", boost::python::init<double>())
.def_readwrite("val", &Foo::val);
// wrap vector of shared_ptr Foos
boost::python::class_< std::vector < boost::shared_ptr<Foo> > >("FooVector")
.def(boost::python::vector_indexing_suite<std::vector< boost::shared_ptr<Foo> >, true >());
}
в моей тестовой настройке это дает тот же результат, что и pure Python:
Foo = 666.0
vector[0] = 666.0
путь vector<Foo>
использование вектора непосредственно дает хорошую чистую настройку на стороне C++. Однако результат не ведет себя так же, как чистый Python.
BOOST_PYTHON_MODULE( test ) {
// wrap Foo
boost::python::class_< Foo >("Foo", boost::python::init<double>())
.def_readwrite("val", &Foo::val);
// wrap vector of Foos
boost::python::class_< std::vector < Foo > >("FooVector")
.def(boost::python::vector_indexing_suite<std::vector< Foo > >());
}
это производит:
Foo = 666.0
vector[0] = 0.0
что "неправильно" - изменение исходного экземпляра не изменило значение внутри контейнера.
надеюсь, я не хочу слишком много
интересно, что этот код работает независимо от того, какая из двух инкапсуляций I использовать:
footwo = vect[0]
footwo.val = 555.0
print vect[0].val
что означает, что boost:: python может иметь дело с " поддельным общим владением "(через его by_proxy механизм возврата). Есть ли способ добиться того же при вставке новых элементов?
однако, если ответ Нет, я хотел бы услышать другие предложения - есть ли пример в наборе инструментов Python, где реализована аналогичная инкапсуляция коллекции, но которая не ведет себя как список python?
спасибо читая это далеко:)
2 ответов
из-за семантических различий между языками часто очень сложно применить одно многоразовое решение ко всем сценариям, когда задействованы коллекции. Самая большая проблема заключается в том, что, хотя коллекции Python напрямую поддерживают ссылки, коллекции C++ требуют уровня косвенности, например, наличия shared_ptr
типы элементов. Без этой косвенности коллекции C++ не смогут поддерживать ту же функциональность, что и коллекции Python. Например, рассмотрим два индексы, относящиеся к одному и тому же объекту:
s = Spam()
spams = []
spams.append(s)
spams.append(s)
без типов элементов типа указателя коллекция C++ не может иметь два индекса, ссылающихся на один и тот же объект. Тем не менее, в зависимости от использования и потребностей, могут быть опции, которые позволяют интерфейс Pythonic-ish для пользователей Python, сохраняя при этом одну реализацию для C++.
- наиболее подходящие для Python решение будет использовать специальный конвертер, который будет конвертировать итерируемый объект Python для коллекция C++. См.этой ответ для деталей реализации. Рассмотрим этот вариант, если:
- элементы коллекции дешевы для копирования.
- функции C++ работают только с типами rvalue (т. е.
std::vector<>
илиconst std::vector<>&
). Это ограничение не позволяет C++ вносить изменения в коллекцию Python или ее элементы.
- увеличить
vector_indexing_suite
возможности, повторное использование как можно большего количества возможностей, таких как его прокси для безопасной обработки удаления индекса и перераспределения базовой коллекции:- выставить модель с настраиваемым
HeldType
который функционирует как интеллектуальный указатель и делегирует либо экземпляр, либо прокси-объекты элемента, возвращенные изvector_indexing_suite
. - Monkey patch методы коллекции, которые вставляют элементы в коллекцию, чтобы пользовательский
HeldType
будет делегировать элемент полномочие.
- выставить модель с настраиваемым
при выставлении класса для повышения.Питон,HeldType
- это тип объекта, который внедряется в Boost.объект Python. При доступе к объекту обернутые типы, Boost.Питон вызывает get_pointer()
на HeldType
. The object_holder
класс ниже предоставляет возможность вернуть дескриптор либо экземпляру, которому он принадлежит, либо прокси-серверу элемента:
/// @brief smart pointer type that will delegate to a python
/// object if one is set.
template <typename T>
class object_holder
{
public:
typedef T element_type;
object_holder(element_type* ptr)
: ptr_(ptr),
object_()
{}
element_type* get() const
{
if (!object_.is_none())
{
return boost::python::extract<element_type*>(object_)();
}
return ptr_ ? ptr_.get() : NULL;
}
void reset(boost::python::object object)
{
// Verify the object holds the expected element.
boost::python::extract<element_type*> extractor(object_);
if (!extractor.check()) return;
object_ = object;
ptr_.reset();
}
private:
boost::shared_ptr<element_type> ptr_;
boost::python::object object_;
};
/// @brief Helper function used to extract the pointed to object from
/// an object_holder. Boost.Python will use this through ADL.
template <typename T>
T* get_pointer(const object_holder<T>& holder)
{
return holder.get();
}
С косвенной поддержкой, единственное, что оставшийся исправляет коллекцию, чтобы установить object_holder
. Один чистый и многоразовый способ поддержать это-использовать def_visitor
. Это универсальный интерфейс, который позволяет class_
объекты, которые должны быть расширены неинтрузивно. Например,vector_indexing_suite
использует эту возможность.
на custom_vector_indexing_suite
класс ниже обезьяны патчи append()
метод для делегирования исходному методу, а затем вызывает object_holder.reset()
С прокси для вновь установленного элемента. В результате object_holder
ссылка на элемент, содержащийся в коллекции.
/// @brief Indexing suite that will resets the element's HeldType to
/// that of the proxy during element insertion.
template <typename Container,
typename HeldType>
class custom_vector_indexing_suite
: public boost::python::def_visitor<
custom_vector_indexing_suite<Container, HeldType>>
{
private:
friend class boost::python::def_visitor_access;
template <typename ClassT>
void visit(ClassT& cls) const
{
// Define vector indexing support.
cls.def(boost::python::vector_indexing_suite<Container>());
// Monkey patch element setters with custom functions that
// delegate to the original implementation then obtain a
// handle to the proxy.
cls
.def("append", make_append_wrapper(cls.attr("append")))
// repeat for __setitem__ (slice and non-slice) and extend
;
}
/// @brief Returned a patched 'append' function.
static boost::python::object make_append_wrapper(
boost::python::object original_fn)
{
namespace python = boost::python;
return python::make_function([original_fn](
python::object self,
HeldType& value)
{
// Copy into the collection.
original_fn(self, value.get());
// Reset handle to delegate to a proxy for the newly copied element.
value.reset(self[-1]);
},
// Call policies.
python::default_call_policies(),
// Describe the signature.
boost::mpl::vector<
void, // return
python::object, // self (collection)
HeldType>() // value
);
}
};
обертывание должно происходить во время выполнения, и пользовательские объекты функтора не могут быть напрямую определены в классе через def()
, так что make_function()
к сожалению, ответ-Нет, вы не можете делать то, что хотите. В python все является указателем, а списки-контейнером указателей. Вектор c++ общих указателей работает, потому что базовая структура данных более или менее эквивалентна списку python. Вы просите, чтобы вектор выделенной памяти C++ действовал как вектор указателей, что невозможно сделать.
давайте посмотрим, что происходит в списках python, с эквивалентом C++ псевдокод:
foo = Foo(0.0) # Foo* foo = new Foo(0.0)
vect = [] # std::vector<Foo*> vect
vect.append(foo) # vect.push_back(foo)
в этот момент foo
и vect[0]
оба указывают на одну и ту же выделенную память, поэтому изменение *foo
изменения *vect[0]
.
теперь vector<Foo>
версия:
foo = Foo(0.0) # Foo* foo = new Foo(0.0)
vect = FooVector() # std::vector<Foo> vect
vect.append(foo) # vect.push_back(*foo)
здесь vect[0]
имеет собственную выделенную память и является копией *foo. По сути, вы не можете сделать vect[0] такой же памятью, как *foo.
на боковой ноте, будьте осторожны с пожизненным управлением footwo
при использовании std::vector<Foo>
:
footwo = vect[0] # Foo* footwo = &vect[0]
последующее добавление может потребовать перемещения выделенного хранилища для вектора и может аннулировать footwo
(&vect[0] может измениться).