Nutch нет агентов, перечисленных в ' http.агент.имя

Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in 'http.agent.name' property.
        at org.apache.nutch.fetcher.Fetcher.checkConfiguration(Fetcher.java:1166)
        at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:1068)
        at org.apache.nutch.crawl.Crawl.run(Crawl.java:135)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.nutch.crawl.Crawl.main(Crawl.java:54)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

каждый раз, когда я бегу ./ Nutch crawl urls-dir crawl-глубина 3-topN 5 . nutch решает выбросить эту ошибку. У меня есть оба моих nutch-сайта.xml & nutch-по умолчанию.XML в набор.

 <property>
  <name>http.agent.name</name>
  <value>blah</value>
  </property>

взял описание, чтобы сделать его легче читать. Но я не вижу, где еще можно указать имя агента. если у кого-нибудь есть совет, я был бы благодарен.

2 ответов


через 1.3? Если это так, убедитесь, что вы изменили nutch-сайт.xml (и не по умолчанию) во время выполнения / local/conf Изменение conf в NUTCH_HOME / conf не будет скопировано в dirs среды выполнения, если вы не перестроите с помощью ant. Кстати, почему бы вам не спросить в списке рассылки? У вас больше шансов вам помочь


попробуйте дать имя агента для http.микророботы.агенты тоже. У меня получилось. После этого я не получил этого сообщения!!!