Обертывание std:: vector с помощью boost:: набор индексирования векторов python

Я работаю над библиотекой C++ с привязками Python (используя boost::python), представляющими данные, хранящиеся в файле. Большинство моих полу-техническими пользователи будут использовать Python, чтобы взаимодействовать с ним, поэтому мне нужно сделать это как весть, как это возможно. Однако у меня также будут программисты на C++, использующие API, поэтому я не хочу идти на компромисс на стороне C++ для размещения Привязок Python.

большая часть библиотеки будет осуществляться из контейнеров. Чтобы сделать вещи интуитивно понятными для python пользователи, Я хотел бы, чтобы они вели себя как списки python, т. е.:

# an example compound class
class Foo:
    def __init__( self, _val ):
        self.val = _val

# add it to a list
foo = Foo(0.0)
vect = []
vect.append(foo)

# change the value of the *original* instance
foo.val = 666.0
# which also changes the instance inside the container
print vect[0].val # outputs 666.0

тест Setup

#include <boost/python.hpp>
#include <boost/python/suite/indexing/vector_indexing_suite.hpp>
#include <boost/python/register_ptr_to_python.hpp>
#include <boost/shared_ptr.hpp>

struct Foo {
    double val;

    Foo(double a) : val(a) {}
    bool operator == (const Foo& f) const { return val == f.val; }
};

/* insert the test module wrapping code here */

int main() {
    Py_Initialize();
    inittest();

    boost::python::object globals = boost::python::import("__main__").attr("__dict__");

    boost::python::exec(
        "import testn"

        "foo = test.Foo(0.0)n"         // make a new Foo instance
        "vect = test.FooVector()n"     // make a new vector of Foos
        "vect.append(foo)n"            // add the instance to the vector

        "foo.val = 666.0n"             // assign a new value to the instance
                                        //   which should change the value in vector

        "print 'Foo =', foo.valn"      // and print the results
        "print 'vector[0] =', vect[0].valn",

        globals, globals
    );

    return 0;
}

путь shared_ptr

используя shared_ptr, я могу получить то же поведение, что и выше, но это также означает, что я должен представлять все данные на C++ с помощью общих указателей, что не очень хорошо со многих точек зрения.

BOOST_PYTHON_MODULE( test ) {
    // wrap Foo
    boost::python::class_< Foo, boost::shared_ptr<Foo> >("Foo", boost::python::init<double>())
        .def_readwrite("val", &Foo::val);

    // wrap vector of shared_ptr Foos
    boost::python::class_< std::vector < boost::shared_ptr<Foo> > >("FooVector")
        .def(boost::python::vector_indexing_suite<std::vector< boost::shared_ptr<Foo> >, true >());
}

в моей тестовой настройке это дает тот же результат, что и pure Python:

Foo = 666.0
vector[0] = 666.0

путь vector<Foo>

использование вектора непосредственно дает хорошую чистую настройку на стороне C++. Однако результат не ведет себя так же, как чистый Python.

BOOST_PYTHON_MODULE( test ) {
    // wrap Foo
    boost::python::class_< Foo >("Foo", boost::python::init<double>())
        .def_readwrite("val", &Foo::val);

    // wrap vector of Foos
    boost::python::class_< std::vector < Foo > >("FooVector")
        .def(boost::python::vector_indexing_suite<std::vector< Foo > >());
}

это производит:

Foo = 666.0
vector[0] = 0.0

что "неправильно" - изменение исходного экземпляра не изменило значение внутри контейнера.

надеюсь, я не хочу слишком много

интересно, что этот код работает независимо от того, какая из двух инкапсуляций I использовать:

footwo = vect[0]
footwo.val = 555.0
print vect[0].val

что означает, что boost:: python может иметь дело с " поддельным общим владением "(через его by_proxy механизм возврата). Есть ли способ добиться того же при вставке новых элементов?

однако, если ответ Нет, я хотел бы услышать другие предложения - есть ли пример в наборе инструментов Python, где реализована аналогичная инкапсуляция коллекции, но которая не ведет себя как список python?

спасибо читая это далеко:)

2 ответов


из-за семантических различий между языками часто очень сложно применить одно многоразовое решение ко всем сценариям, когда задействованы коллекции. Самая большая проблема заключается в том, что, хотя коллекции Python напрямую поддерживают ссылки, коллекции C++ требуют уровня косвенности, например, наличия shared_ptr типы элементов. Без этой косвенности коллекции C++ не смогут поддерживать ту же функциональность, что и коллекции Python. Например, рассмотрим два индексы, относящиеся к одному и тому же объекту:

s = Spam()
spams = []
spams.append(s)
spams.append(s)

без типов элементов типа указателя коллекция C++ не может иметь два индекса, ссылающихся на один и тот же объект. Тем не менее, в зависимости от использования и потребностей, могут быть опции, которые позволяют интерфейс Pythonic-ish для пользователей Python, сохраняя при этом одну реализацию для C++.

  • наиболее подходящие для Python решение будет использовать специальный конвертер, который будет конвертировать итерируемый объект Python для коллекция C++. См.этой ответ для деталей реализации. Рассмотрим этот вариант, если:
    • элементы коллекции дешевы для копирования.
    • функции C++ работают только с типами rvalue (т. е. std::vector<> или const std::vector<>&). Это ограничение не позволяет C++ вносить изменения в коллекцию Python или ее элементы.
  • увеличить vector_indexing_suite возможности, повторное использование как можно большего количества возможностей, таких как его прокси для безопасной обработки удаления индекса и перераспределения базовой коллекции:
    • выставить модель с настраиваемым HeldType который функционирует как интеллектуальный указатель и делегирует либо экземпляр, либо прокси-объекты элемента, возвращенные из vector_indexing_suite.
    • Monkey patch методы коллекции, которые вставляют элементы в коллекцию, чтобы пользовательский HeldType будет делегировать элемент полномочие.

при выставлении класса для повышения.Питон,HeldType - это тип объекта, который внедряется в Boost.объект Python. При доступе к объекту обернутые типы, Boost.Питон вызывает get_pointer() на HeldType. The object_holder класс ниже предоставляет возможность вернуть дескриптор либо экземпляру, которому он принадлежит, либо прокси-серверу элемента:

/// @brief smart pointer type that will delegate to a python
///        object if one is set.
template <typename T>
class object_holder
{
public:

  typedef T element_type;

  object_holder(element_type* ptr)
    : ptr_(ptr),
      object_()
  {}

  element_type* get() const
  {
    if (!object_.is_none())
    {
      return boost::python::extract<element_type*>(object_)();
    }
    return ptr_ ? ptr_.get() : NULL;
  }

  void reset(boost::python::object object)
  {
    // Verify the object holds the expected element.
    boost::python::extract<element_type*> extractor(object_);
    if (!extractor.check()) return;

    object_ = object;
    ptr_.reset();
  }

private:
  boost::shared_ptr<element_type> ptr_;
  boost::python::object object_;
};

/// @brief Helper function used to extract the pointed to object from
///        an object_holder.  Boost.Python will use this through ADL.
template <typename T>
T* get_pointer(const object_holder<T>& holder)
{
  return holder.get();
}

С косвенной поддержкой, единственное, что оставшийся исправляет коллекцию, чтобы установить object_holder. Один чистый и многоразовый способ поддержать это-использовать def_visitor. Это универсальный интерфейс, который позволяет class_ объекты, которые должны быть расширены неинтрузивно. Например,vector_indexing_suite использует эту возможность.

на custom_vector_indexing_suite класс ниже обезьяны патчи append() метод для делегирования исходному методу, а затем вызывает object_holder.reset() С прокси для вновь установленного элемента. В результате object_holder ссылка на элемент, содержащийся в коллекции.

/// @brief Indexing suite that will resets the element's HeldType to
///        that of the proxy during element insertion.
template <typename Container,
          typename HeldType>
class custom_vector_indexing_suite
  : public boost::python::def_visitor<
      custom_vector_indexing_suite<Container, HeldType>>
{
private:

  friend class boost::python::def_visitor_access;

  template <typename ClassT>
  void visit(ClassT& cls) const
  {
    // Define vector indexing support.
    cls.def(boost::python::vector_indexing_suite<Container>());

    // Monkey patch element setters with custom functions that
    // delegate to the original implementation then obtain a 
    // handle to the proxy.
    cls
      .def("append", make_append_wrapper(cls.attr("append")))
      // repeat for __setitem__ (slice and non-slice) and extend
      ;
  }

  /// @brief Returned a patched 'append' function.
  static boost::python::object make_append_wrapper(
    boost::python::object original_fn)
  {
    namespace python = boost::python;
    return python::make_function([original_fn](
          python::object self,
          HeldType& value)
        {
          // Copy into the collection.
          original_fn(self, value.get());
          // Reset handle to delegate to a proxy for the newly copied element.
          value.reset(self[-1]);
        },
      // Call policies.
      python::default_call_policies(),
      // Describe the signature.
      boost::mpl::vector<
        void,           // return
        python::object, // self (collection)
        HeldType>()     // value
      );
  }
};

обертывание должно происходить во время выполнения, и пользовательские объекты функтора не могут быть напрямую определены в классе через def(), так что make_function()


к сожалению, ответ-Нет, вы не можете делать то, что хотите. В python все является указателем, а списки-контейнером указателей. Вектор c++ общих указателей работает, потому что базовая структура данных более или менее эквивалентна списку python. Вы просите, чтобы вектор выделенной памяти C++ действовал как вектор указателей, что невозможно сделать.

давайте посмотрим, что происходит в списках python, с эквивалентом C++ псевдокод:

foo = Foo(0.0)     # Foo* foo = new Foo(0.0)
vect = []          # std::vector<Foo*> vect
vect.append(foo)   # vect.push_back(foo)

в этот момент foo и vect[0] оба указывают на одну и ту же выделенную память, поэтому изменение *foo изменения *vect[0].

теперь vector<Foo> версия:

foo = Foo(0.0)      # Foo* foo = new Foo(0.0)
vect = FooVector()  # std::vector<Foo> vect
vect.append(foo)    # vect.push_back(*foo)

здесь vect[0] имеет собственную выделенную память и является копией *foo. По сути, вы не можете сделать vect[0] такой же памятью, как *foo.

на боковой ноте, будьте осторожны с пожизненным управлением footwo при использовании std::vector<Foo>:

footwo = vect[0]    # Foo* footwo = &vect[0]

последующее добавление может потребовать перемещения выделенного хранилища для вектора и может аннулировать footwo (&vect[0] может измениться).