Как распаковать.файлы gz в новом каталоге в hadoop?

я могу думать о достижении этого через 3 разных способа.

1. использование командной строки Linux

   следующая команда работала на меня.
   

   hadoop fs -cat /tmp/Links.txt.gz | gzip -d | hadoop fs -put - /tmp/unzipped/Links.txt
   

   мой gzipped файл Links.txt.gz
   Вывод сохраняется в /tmp/unzipped/Links.txt

2. использование программы Java

   на Hadoop The Definitve Guide книги, там есть раздел Codecs. В этом разделе есть программа для Распакуйте вывод с помощью CompressionCodecFactory. Я воссоздаю этот код как есть:

   package com.myorg.hadooptests;
   
   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.fs.FileSystem;
   import org.apache.hadoop.fs.Path;
   import org.apache.hadoop.io.IOUtils;
   import org.apache.hadoop.io.compress.CompressionCodec;
   import org.apache.hadoop.io.compress.CompressionCodecFactory;
   
   import java.io.InputStream;
   import java.io.OutputStream;
   import java.net.URI;
   
   public class FileDecompressor {
       public static void main(String[] args) throws Exception {
           String uri = args[0];
           Configuration conf = new Configuration();
           FileSystem fs = FileSystem.get(URI.create(uri), conf);
           Path inputPath = new Path(uri);
           CompressionCodecFactory factory = new CompressionCodecFactory(conf);
           CompressionCodec codec = factory.getCodec(inputPath);
           if (codec == null) {
               System.err.println("No codec found for " + uri);
               System.exit(1);
           }
           String outputUri =
           CompressionCodecFactory.removeSuffix(uri, codec.getDefaultExtension());
           InputStream in = null;
           OutputStream out = null;
           try {
               in = codec.createInputStream(fs.open(inputPath));
               out = fs.create(new Path(outputUri));
               IOUtils.copyBytes(in, out, conf);
           } finally {
               IOUtils.closeStream(in);
               IOUtils.closeStream(out);
           }
       }
   }
   

   этот код принимает путь файла gz в качестве входных данных.
   Вы можете выполнить это:

   FileDecompressor <gzipped file name>
   

   например, когда я выполнял для своего файла gzipped:

   FileDecompressor /tmp/Links.txt.gz
   

   я получил распакованный файл в месте:/tmp/Links.txt

   он хранит распакованный файл в той же папке. Поэтому вам нужно изменить этот код, чтобы принять 2 входных параметра:<input file path> and <output folder>.

   после того, как вы чтобы эта программа работала, вы можете написать сценарий Shell/Perl/Python для вызова этой программы для каждого из ваших входов.

3. использование сценария свиньи

   вы можете написать простой скрипт Свиньи для достижения этого.

   я написал следующий скрипт, который работает:

   A = LOAD '/tmp/Links.txt.gz' USING PigStorage();
   Store A into '/tmp/tmp_unzipped/' USING PigStorage();
   mv /tmp/tmp_unzipped/part-m-00000 /tmp/unzipped/Links.txt
   rm /tmp/tmp_unzipped/
   

   при запуске этого скрипта распакованное содержимое сохраняется во временной папке:/tmp/tmp_unzipped. Эта папка будет contain

   /tmp/tmp_unzipped/_SUCCESS
   /tmp/tmp_unzipped/part-m-00000
   

   на part-m-00000 содержит распакованный файл.

   следовательно, нам надо явно переименовать его, используя следующую команду и, наконец, удалить :

   mv /tmp/tmp_unzipped/part-m-00000 /tmp/unzipped/Links.txt
   rm /tmp/tmp_unzipped/
   

   Итак, если вы используете этот скрипт Pig, вам просто нужно позаботиться о параметризации имени файла (ссылки.формат txt.gz и ссылки.формат txt.)

   опять же, как только вы получите этот скрипт, вы можете написать сценарий оболочки/Perl/Python, чтобы вызвать этот скрипт Свиньи для каждого из входы у вас есть.