Как использовать Elasticsearch с MongoDB?

через реки могут представлять проблемы при масштабировании. Река будет использовать тонну памяти при тяжелой работе. Я рекомендую реализовать свои собственные модели elasticsearch, или если вы используете mongoose, вы можете построить свои модели elasticsearch прямо в это или использовать mongoosastic что по сути делает это для вас.

еще одним недостатком MongoDB River является то, что вы застряли с помощью mongodb 2.4.ветвь x и ElasticSearch 0.90.X. Вы начнете искать что вы упускаете много действительно хороших функций, и проект MongoDB river просто не производит полезный продукт достаточно быстро, чтобы сохранить стабильность. Это сказало, что MongoDB River определенно не то, с чем я бы пошел в производство. Это создает больше проблем, чем стоит. Он будет случайным образом записывать под большой нагрузкой, он будет потреблять много памяти, и нет настройки, чтобы закрыть это. Кроме того, river не обновляется в реальном времени, он читает oplogs из mongodb, и это может задержать обновления для пока 5 минут в моем опыте.

недавно нам пришлось переписать большую часть нашего проекта, потому что его еженедельное Появление, что что-то идет не так с ElasticSearch. Мы даже зашли так далеко, что наняли консультанта Dev Ops, который также согласен, что лучше всего отойти от реки.

обновление: Elasticsearch-mongodb-river теперь поддерживает ES v1.4.0 и mongodb v2.6.х. Тем не менее, вы, вероятно, столкнетесь с проблемами производительности на тяжелых операции вставки / обновления, поскольку этот плагин попытается прочитать oplogs mongodb для синхронизации. Если есть много операций, так как блокировка (или защелка) разблокируется, вы заметите чрезвычайно высокое использование памяти на сервере elasticsearch. Если вы планируете провести большую операцию, река не является хорошим вариантом. Разработчики ElasticSearch по-прежнему рекомендуют вам управлять собственными индексами, напрямую взаимодействуя с их API, используя клиентскую библиотеку для вашего языка, а не используя river. Это не действительно назначение реки. Twitter-river-отличный пример того, как следует использовать реку. Это, по сути, отличный способ получения данных из внешних источников, но не очень надежный для высокого трафика или внутреннего использования.

также учтите, что mongodb-river отстает в версии, поскольку его не поддерживает организация ElasticSearch, ее поддерживает третья часть. Разработка застряла на v0.90 филиал в течение длительного времени после выпуска v1.0, и когда версия для v1.0 был выпущен не был стабильным, пока elasticsearch не выпустил v1.3.0. Версии Mongodb также отстают. Вы можете оказаться в трудном положении, когда вы хотите перейти к более поздней версии каждого, особенно с ElasticSearch при такой тяжелой разработке, со многими очень ожидаемыми функциями на пути. Оставаться в курсе последних ElasticSearch было очень важно, так как мы полагаемся на постоянное улучшение нашей функции поиска в качестве основной части нашего продукта.

в целом вы, вероятно, получите лучший продукт, если сделаете это сами. Это не так сложно. Его просто еще одна база данных для управления в вашем коде, и ее можно легко сбросить в существующие модели без серьезного рефакторинга.

Я нашел Mongo-разъем полезным. Это форма Mongo Labs (MongoDB Inc .) и может использоваться теперь с Elasticsearch 2.x

эластичный 2.X doc manager:https://github.com/mongodb-labs/elastic2-doc-manager

mongo-connector создает конвейер из кластера MongoDB в одну или несколько целевых систем, таких как Solr, Elasticsearch или другой кластер MongoDB. Он синхронизирует данные в MongoDB с целью, а затем отслеживает MongoDB oplog, не отставая от операций в MongoDB в режиме реального времени. Он был протестирован с помощью Python 2.6, 2.7 и 3.3+. Подробная документация доступна на wiki.

https://github.com/mongodb-labs/mongo-connector https://github.com/mongodb-labs/mongo-connector/wiki/Usage%20with%20ElasticSearch

вот как это сделать на mongodb 3.0. Я использовал этот хороший блог

1. установить mongodb.
2. создание каталогов данных:

$ mkdir RANDOM_PATH/node1
$ mkdir RANDOM_PATH/node2> 
$ mkdir RANDOM_PATH/node3

1. запустить экземпляры Mongod

$ mongod --replSet test --port 27021 --dbpath node1
$ mongod --replSet test --port 27022 --dbpath node2
$ mongod --replSet test --port 27023 --dbpath node3

1. настройка набора реплик:

$ mongo
config = {_id: 'test', members: [ {_id: 0, host: 'localhost:27021'}, {_id: 1, host: 'localhost:27022'}]};    
rs.initiate(config);

1. Установка Elasticsearch:

a. Download and unzip the [latest Elasticsearch][2] distribution

b. Run bin/elasticsearch to start the es server.

c. Run curl -XGET http://localhost:9200/ to confirm it is working.

1. установка и настройка реке в MongoDB:

$ bin / plugin --установить com.на GitHub.richardwilly98.elasticsearch / elasticsearch-река-монгодб

$ bin / plugin --установить elasticsearch / elasticsearch-mapper-вложения

1. создайте "реку" и индекс:

curl-XPUT 'http://localhost:8080/_river/mongodb/_meta ' - d '{ "тип": "mongodb", "в MongoDB": { "db": "mydb", "коллекция": "фу" }, "индекс": { "имя name", "тип": "случайный" } }'

1. тест в браузере:

   http://localhost:9200/_search?q=главная

поскольку mongo-connector теперь кажется мертвым, моя компания решила создать инструмент для использования потоков изменений Mongo для вывода в Elasticsearch.

наши первоначальные результаты выглядят многообещающими. Вы можете проверить это наhttps://github.com/everyone-counts/mongo-stream. Мы все еще находимся на ранней стадии разработки и будем приветствовать предложения или вклады.

река является хорошим решением, как только вы хотите иметь синхронизацию почти в реальном времени и общее решение.

Если у вас уже есть данные в MongoDB и вы хотите отправить их очень легко в Elasticsearch, как "one-shot", вы можете попробовать мой пакет в узле.js https://github.com/itemsapi/elasticbulk.

он использует узел.потоки js, чтобы вы могли импортировать данные из всего, что поддерживает потоки (т. е. MongoDB, PostgreSQL, MySQL, JSON-файлы, и т. д.)

пример для MongoDB для Elasticsearch:

установить пакеты:

npm install elasticbulk
npm install mongoose
npm install bluebird

создать скрипт, т. е. скрипт.js:

const elasticbulk = require('elasticbulk');
const mongoose = require('mongoose');
const Promise = require('bluebird');
mongoose.connect('mongodb://localhost/your_database_name', {
  useMongoClient: true
});

mongoose.Promise = Promise;

var Page = mongoose.model('Page', new mongoose.Schema({
  title: String,
  categories: Array
}), 'your_collection_name');

// stream query 
var stream = Page.find({
}, {title: 1, _id: 0, categories: 1}).limit(1500000).skip(0).batchSize(500).stream();

elasticbulk.import(stream, {
  index: 'my_index_name',
  type: 'my_type_name',
  host: 'localhost:9200',
})
.then(function(res) {
  console.log('Importing finished');
})

отправляем ваши данные:

node script.js

Это не очень быстро, но это работает для миллионов записей (благодаря потокам).