Hadoop / MapReduce-Оптимизация Задания" Top N " Подсчета Слов MapReduce

это очень хороший вопрос, потому что вы попали в неэффективность примера подсчета слов Hadoop.

трюки для оптимизации вашей проблемы следующие:

сделать HashMap на основе группировки на локальном этапе карты, вы также можете использовать объединитель для этого. Это может выглядеть так, я использую HashMultiSet гуавы, которая облегчает хороший механизм подсчета.

    public static class WordFrequencyMapper extends
      Mapper<LongWritable, Text, Text, LongWritable> {

    private final HashMultiset<String> wordCountSet = HashMultiset.create();

    @Override
    protected void map(LongWritable key, Text value, Context context)
        throws IOException, InterruptedException {

      String[] tokens = value.toString().split("\s+");
      for (String token : tokens) {
        wordCountSet.add(token);
      }
    }

и вы излучаете результат на этапе очистки:

@Override
protected void cleanup(Context context) throws IOException,
    InterruptedException {
  Text key = new Text();
  LongWritable value = new LongWritable();
  for (Entry<String> entry : wordCountSet.entrySet()) {
    key.set(entry.getElement());
    value.set(entry.getCount());
    context.write(key, value);
  }
}

так вы сгруппировали слова в локальном блоке работы, таким образом, уменьшая использование сети с помощью немного ОЗУ. Вы также можете сделать то же самое с Combiner, но он сортируется в группу-так что это будет медленнее (особенно для строк!) чем использование HashMultiset.

чтобы просто получить верхний N, вам нужно будет только написать верхний N в этом локальном HashMultiset к сборнику выхода и агрегату результаты в вашем нормальном путе на стороне уменьшения. Это экономит пропускную способность сети, только недостатком является то, что вам нужно отсортировать кортежи подсчета слов в вашем методе очистки.

часть кода может выглядеть так:

  Set<String> elementSet = wordCountSet.elementSet();
  String[] array = elementSet.toArray(new String[elementSet.size()]);
  Arrays.sort(array, new Comparator<String>() {

    @Override
    public int compare(String o1, String o2) {
      // sort descending
      return Long.compare(wordCountSet.count(o2), wordCountSet.count(o1));
    }

  });
  Text key = new Text();
  LongWritable value = new LongWritable();
  // just emit the first n records
  for(int i = 0; i < N, i++){
    key.set(array[i]);
    value.set(wordCountSet.count(array[i]));
    context.write(key, value);
  }

надеюсь, вы получите суть делать столько же слова локально, а затем просто агрегировать верхние N из верхних N;)