В чем разница между одним узлом и псевдо-распределенным режимом в Hadoop?

Я хотел бы знать, какова разница с точки зрения конфигурации, а также теоретической точки зрения?

используют ли эти два режима разные номера портов? или какая-то другая разница?

11
configuration hadoop mode

2 ответов

мои 2 цента.

настройка одного узла (автономная настройка)

по умолчанию Hadoop настроен для работы в распределенном или автономном режиме, как один процесс Java. Нет никаких демонов, и все работает в одном экземпляре JVM. HDFS не используется.

вам не нужно ничего делать в отношении конфигурации, кроме JAVA_HOME. Просто скачайте архив, распакуйте его, и вы хорошо идти.

псевдораспределенной режим

демоны Hadoop работают на локальной машине, таким образом имитируя кластер в малом масштабе. Различные демоны Hadoop работают в разных экземплярах JVM, но на одной машине. HDFS используется вместо локальных FS.

что касается псевдо-распределенной установки, вам нужно установить по крайней мере следующие 2 свойства вместе с JAVA_HOME:

  1. fs.default.name на core-site.xml.

  2. mapred.job.tracker in mapred-site.xml.

у вас может быть несколько datanodes и tasktrackers, но это не имеет большого смысла на одной машине.

HTH

30

настройка одного узла-это тот, где у вас есть (предположительно) один datanode и один tasktracker на одной машине.

псевдо-распределенная настройка-это когда у вас есть несколько datanodes и (предположительно) tasktrackers на одной машине. Таким образом, у вас есть несколько экземпляров службы datanode, запущенной на одной машине для эмуляции кластера с несколькими узлами.

2