Создать каталог в файловой системе hadoop

Я новичок в hadoop. Я пытаюсь создать каталог в hdfs, но я не могу его создать.

Я вошел в "hduser", поэтому я предположил, что /home / hduser" предварительно существует как Unix fs. Поэтому я попытался создать каталог hadoop, используя команду ниже.

[hduser@Virus ~]$ hadoop fs -mkdir /home/hduser/mydata/
14/12/03 15:04:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: `/home/hduser/mydata/': No such file or directory

после онлайн-поиска я подумал о том, что hadoop не может понять "/home/hduser" или как я использую hadoop2, где mkdir не будет работать как команда Unix "madir-p" (рекурсивно). Поэтому я попытался создать "/mydata", но не повезло.

[hduser@Virus ~]$ hadoop fs -mkdir /mydata
14/12/03 15:09:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: Cannot create directory /mydata. Name node is in safe mode.

Я попытался оставить safemode, но проблема по-прежнему сохраняется.

[hduser@Virus ~]$ hdfs dfsadmin -safemode leave
14/12/03 15:09:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Safe mode is OFF

Я также попытался с "/ user / mydata "как" / user " - это каталог, который hadoop взял в качестве дома.

[hduser@Virus ~]$ hadoop fs -mkdir /user/mydata
14/12/03 15:36:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: Cannot create directory /user/mydata. Name node is in safe mode.

теперь как отлаживать дальше?

3 ответов


чтобы выйти из безопасного режима, попробуйте ниже команду, начиная с hadoop dfsadmin -safemode устарел в новом выпуске Hadoop:

 hdfs dfsadmin -safemode leave

по умолчанию каталог в hdfs существует с '/ user / hduser 'не как / home / hduser'.

если вы попытались создать каталог напрямую, как показано ниже, он будет создан как "/ user / hduser / sampleDir".

hadoop fs -mkdir /path/to/be/created

создайте каталог / user

hadoop fs -mkdir /user

затем с вашим именем пользователя

hadoop fs -mkdir /user/yourusername

теперь попробуйте создать каталог.


список каталог

hadoop fs -ls /

выход:

Found 1 items
drwxr-xr-x   - sony supergroup          0 2016-12-10 16:45 /usr

hadood fs -mkdir /app

успешно создан и проверить

hadoop fs -ls /

выход:

Found 2 items
drwxr-xr-x   - sony supergroup          0 2016-12-12 04:11 /usr
drwxr-xr-x   - sony supergroup          0 2016-12-10 16:45 /app