Как избавиться от " использования профиля log4j по умолчанию Spark: org/apache/spark / log4j-defaults.сообщение "свойства"?
Я пытаюсь подавить
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
когда я запускаю приложение Spark. Я успешно перенаправил информационные сообщения, однако это сообщение продолжает появляться. Любые идеи будут высоко оценены.
3 ответов
еще проще, вы просто cd SPARK_HOME/conf затем mv log4j.properties.template log4j.properties откройте log4j.properties и INFO to ERROR. Вот!--5--> является корневым каталогом вашей установки spark.
некоторые могут использовать hdfs как их Spark хранения бэкэнд и найдет сообщения журнала на самом деле генерируются hdfs. Чтобы изменить это, перейдите в . Просто измените hadoop.root.logger=INFO,console to hadoop.root.logger=ERROR,console. Еще раз HADOOP_HOME является корнем вашей установки hadoop для меня это было /usr/local/hadoop.
Итак, я нашел способ сделать это. Так что в принципе, у меня была своя log4j.xml изначально, что используется, а значит мы видели это свойство. Когда-то у меня был свой "log4j".файл "свойства", это сообщение исчезло.
если вы поставите под main resources и test resources это также происходит. В этом случае удаление файла из test resources и используя только файл с main resources устраняет проблему.