Где Hadoop хранит журналы приложений пряжи?

Я запускаю основной пример Hortonworks'пример применения пряжи. Приложение не работает, и я хочу прочитать журналы, чтобы выяснить, почему. Но я не могу найти файлы в ожидаемом месте (/HADOOP_INSTALL_FOLDER/logs), где хранятся журналы моих заданий mapreduce.

кто-нибудь знает, где yarn хранит файлы журнала non-mapreduce? Нужно ли настраивать специальный каталог в xml-файлах?

10
hadoop logging yarn

2 ответов

журналы контейнеров должны быть под yarn.nodemanager.log-dirs:

где хранить журналы контейнера. Локализованный каталог журнала приложения будет найден в ${yarn.nodemanager.log-dirs}/application_${appid}. Каталоги журналов отдельных контейнеров будут ниже этого, в каталогах с именем container_{$contid}. Каждый каталог контейнера будет содержать файлы stderr, stdin и syslog, созданные этим контейнером.

16

log-агрегация была реализована в YARN, из-за чего местоположения файлов журнала будут отличаться по сравнению с Hadoop 1.

вы можете получить журналы вашего приложения двумя способами: WebUi и доступ к командной строке.

пожалуйста, перейдите к приведенному ниже документу, который дает вам очень четкую информацию об этой реализации агрегации журналов ПРЯЖА.

http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/

спасибо автору блога, Винод Кумар Вавилапалли.

5