Hadoop: результат FSCK показывает отсутствующие реплики

может ли кто-нибудь дать мне знать, как исправить недостающие реплики?

============================================================================

общий размер: 3447348383 B

всего dirs: 120

общее количество файлов: 98

всего блоков (проверено): 133 (avg. размер блока 25919912 B)

минимально реплицированные блоки: 133 (100.0 %)

чрезмерно реплицированные блоки: 0 (0.0 %)

Недореплицированные блоки: 21 (15.789474 %)

неправильно реплицированные блоки: 0 (0.0 %)

коэффициент репликации по умолчанию: 3

средняя репликация блока: 2.3834586

поврежденные блоки: 0

недостающие реплики: 147 (46.37224 %)

количество узлов данных: 3

количество стоек: 1

============================================================================

согласно неопределенному руководству,

поврежденные или отсутствующие блоки являются самой большой причиной для беспокойства, так как это означает, что данные были потерянный. По умолчанию fsck оставляет файлы с поврежденными или отсутствующими блоками, но вы можете сказать выполните одно из следующих действий над ними:

• переместите затронутые файлы в каталог / lost+found в HDFS, используя опцию-move. Файлы разбитые на цепи смежных блоков, чтобы помочь любым спасательным усилиям вы может попытаться.

• удалите затронутые файлы с помощью опции-delete. Файлы не могут быть восстановлены после удаляется.

вот мой вопрос Как узнать уязвимые файлы? Я уже работал с улей, чтобы получить необходимые результаты без каких-либо проблем. повлияет ли это на производительность / скорость обработки запросов.

с уважением,

Радж

1 ответов


отсутствуют реплики должны быть самовосстановлению с течением времени. Однако, если вы хотите переместить их в lost + found, вы можете использовать:

hadoop fsck / -move

или удалить их с:

hadoop fsck / -delete

Если вы просто хотите идентифицировать файлы с недостаточно реплицированными блоками, используйте:

hadoop fsck / -files -blocks -locations

Это даст вам много деталей, включая список ожидаемых / фактических отсчетов репликации блоков.