Создать каталог в файловой системе hadoop
Я новичок в hadoop. Я пытаюсь создать каталог в hdfs, но я не могу его создать.
Я вошел в "hduser", поэтому я предположил, что /home / hduser" предварительно существует как Unix fs. Поэтому я попытался создать каталог hadoop, используя команду ниже.
[hduser@Virus ~]$ hadoop fs -mkdir /home/hduser/mydata/
14/12/03 15:04:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: `/home/hduser/mydata/': No such file or directory
после онлайн-поиска я подумал о том, что hadoop не может понять "/home/hduser" или как я использую hadoop2, где mkdir не будет работать как команда Unix "madir-p" (рекурсивно). Поэтому я попытался создать "/mydata", но не повезло.
[hduser@Virus ~]$ hadoop fs -mkdir /mydata
14/12/03 15:09:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: Cannot create directory /mydata. Name node is in safe mode.
Я попытался оставить safemode, но проблема по-прежнему сохраняется.
[hduser@Virus ~]$ hdfs dfsadmin -safemode leave
14/12/03 15:09:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Safe mode is OFF
Я также попытался с "/ user / mydata "как" / user " - это каталог, который hadoop взял в качестве дома.
[hduser@Virus ~]$ hadoop fs -mkdir /user/mydata
14/12/03 15:36:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: Cannot create directory /user/mydata. Name node is in safe mode.
теперь как отлаживать дальше?
3 ответов
чтобы выйти из безопасного режима, попробуйте ниже команду, начиная с hadoop dfsadmin -safemode
устарел в новом выпуске Hadoop:
hdfs dfsadmin -safemode leave
по умолчанию каталог в hdfs существует с '/ user / hduser 'не как / home / hduser'.
если вы попытались создать каталог напрямую, как показано ниже, он будет создан как "/ user / hduser / sampleDir".
hadoop fs -mkdir /path/to/be/created
создайте каталог / user
hadoop fs -mkdir /user
затем с вашим именем пользователя
hadoop fs -mkdir /user/yourusername
теперь попробуйте создать каталог.
список каталог
hadoop fs -ls /
выход:
Found 1 items
drwxr-xr-x - sony supergroup 0 2016-12-10 16:45 /usr
hadood fs -mkdir /app
успешно создан и проверить
hadoop fs -ls /
выход:
Found 2 items
drwxr-xr-x - sony supergroup 0 2016-12-12 04:11 /usr
drwxr-xr-x - sony supergroup 0 2016-12-10 16:45 /app