Hadoop: результат FSCK показывает отсутствующие реплики
может ли кто-нибудь дать мне знать, как исправить недостающие реплики?
============================================================================
общий размер: 3447348383 B
всего dirs: 120
общее количество файлов: 98
всего блоков (проверено): 133 (avg. размер блока 25919912 B)
минимально реплицированные блоки: 133 (100.0 %)
чрезмерно реплицированные блоки: 0 (0.0 %)
Недореплицированные блоки: 21 (15.789474 %)
неправильно реплицированные блоки: 0 (0.0 %)
коэффициент репликации по умолчанию: 3
средняя репликация блока: 2.3834586
поврежденные блоки: 0
недостающие реплики: 147 (46.37224 %)
количество узлов данных: 3
количество стоек: 1
============================================================================
согласно неопределенному руководству,
поврежденные или отсутствующие блоки являются самой большой причиной для беспокойства, так как это означает, что данные были потерянный. По умолчанию fsck оставляет файлы с поврежденными или отсутствующими блоками, но вы можете сказать выполните одно из следующих действий над ними:
• переместите затронутые файлы в каталог / lost+found в HDFS, используя опцию-move. Файлы разбитые на цепи смежных блоков, чтобы помочь любым спасательным усилиям вы может попытаться.
• удалите затронутые файлы с помощью опции-delete. Файлы не могут быть восстановлены после удаляется.
вот мой вопрос Как узнать уязвимые файлы? Я уже работал с улей, чтобы получить необходимые результаты без каких-либо проблем. повлияет ли это на производительность / скорость обработки запросов.
с уважением,
Радж
1 ответов
отсутствуют реплики должны быть самовосстановлению с течением времени. Однако, если вы хотите переместить их в lost + found, вы можете использовать:
hadoop fsck / -move
или удалить их с:
hadoop fsck / -delete
Если вы просто хотите идентифицировать файлы с недостаточно реплицированными блоками, используйте:
hadoop fsck / -files -blocks -locations
Это даст вам много деталей, включая список ожидаемых / фактических отсчетов репликации блоков.