Невозможно инициализировать кластер. Пожалуйста, проверьте свою конфигурацию для mapreduce.рамки.имя и соответствующие адреса серверов-отправка job2remoteClustr

недавно я обновил свой кластер с Apache Hadoop1.От 0 до CDH4.4.0. У меня есть сервер weblogic на другой машине, откуда я отправляю задания в этот удаленный кластер через клиент mapreduce. Я все еще хочу использовать MR1, а не пряжу. Я скомпилировал свой клиентский код против клиентских банок в установке CDH (/usr/lib/hadoop/client/*)

Я получаю приведенную ниже ошибку при создании экземпляра JobClient. есть много сообщений, связанных с той же проблемой, но все решения см. сценарий отправки задания в локальный кластер, а не в удаленный и, в частности, в моем случае из контейнера wls.

JobClient jc = new JobClient(conf);

Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.

но запуск из командной строки в кластере работает отлично.

ценю вашу своевременную помощь!

9
cloudera hadoop mapreduce

6 ответов

вероятно, ваше приложение смотрит на ваш старый Hadoop 1.файлы конфигурации. Может быть, ваше приложение жестко кодирует какую-то конфигурацию? Эта ошибка указывает на то, что вы используете новые клиентские библиотеки, но они не видят конфигурацию нового стиля.

Он должен существовать, так как инструменты командной строки видят их хорошо. Проверьте свой HADOOP_HOME или HADOOP_CONF_DIR переменные env тоже, хотя это то, что инструменты командной строки, как правило, поднимают, и они работают.

обратите внимание, что вам нужно установите сервис "mapreduce", а не "yarn" в CDH 4.4, чтобы сделать его совместимым с клиентами MR1. См. также '...- mr1-... артефакты в Maven.

3

У меня была аналогичная ошибка и добавил следующие банки в classpath, и это сработало для меня: hadoop-mapreduce-client-jobclient-2.2.0.2.0.6.0-76:hadoop-mapreduce-client-shuffle-2.3.0.jar:hadoop-mapreduce-client-common-2.3.0.jar

16

в моем случае эта ошибка была вызвана версией jars, убедитесь, что вы используете ту же версию, что и на сервере.

3

экспорт HADOOP_MAPRED_HOME= / cloudera/parcels / CDH-4.1.3-1.cdh4.1.3.p0.23 / lib / hadoop-0.20-mapreduce

2

Я в своем случае я запускал sqoop 1.4.5 и указывал его на последний hadoop 2.0.0-cdh4.4.0, у которого был материал пряжи, также Вот почему он жаловался.

когда я указал sqoop на hadoop-0.20/2.0.0-cdh4.4.0 (MR1 я думаю) это сработало.

2

в моем случае, как ни странно, эта ошибка была потому что в моей основной-сайте.xml-файл, я упомянул "IP-адрес", а не"имя хоста". Момент, когда я упомянул " имя хоста "вместо IP-адреса и в" core-site.xml " и " mapred.xml " и повторно установленные файлы MapReduce lib, ошибка разрешена.

1