Создание метаданных для файлов parquet

у меня есть таблица улья, которая построена поверх загрузки внешних паркетных файлов. Файлы Paruqet должны быть сгенерированы заданием spark, но из-за установки флага метаданных в false они не были сгенерированы. Мне интересно, можно ли восстановить его каким-то безболезненным способом. Структура файлов выглядит следующим образом:

/apps/hive/warehouse/test_db.db/test_table/_SUCCESS
/apps/hive/warehouse/test_db.db/test_table/_common_metadata
/apps/hive/warehouse/test_db.db/test_table/_metadata
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-20
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-21
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-22
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-23
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-24
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-25
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-26
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-27
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-28
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-29
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-30

предположим, что файл _metadata не существует или устарел. Есть ли способ воссоздать его с помощью команды hive / сгенерировать его без необходимости запуска всю работу с искрой?

13
apache-spark hadoop hive parquet

1 ответов

Ok Итак, вот дрель, метаданные могут быть доступны непосредственно с помощью паркетных инструментов. Сначала вам нужно получить нижние колонтитулы для вашего паркетного файла:

import scala.collection.JavaConverters.{collectionAsScalaIterableConverter, mapAsScalaMapConverter}

import org.apache.parquet.hadoop.ParquetFileReader
import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.conf.Configuration

val conf = spark.sparkContext.hadoopConfiguration

def getFooters(conf: Configuration, path: String) = {
  val fs = FileSystem.get(conf)
  val footers = ParquetFileReader.readAllFootersInParallel(conf, fs.getFileStatus(new Path(path)))
  footers
}

теперь вы можете получить метаданные файла следующим образом:

def getFileMetadata(conf: Configuration, path: String) = {
  getFooters(conf, path)
    .asScala.map(_.getParquetMetadata.getFileMetaData.getKeyValueMetaData.asScala)
}

теперь вы можете получить метаданные вашего файла паркета:

getFileMetadata(conf, "/tmp/foo").headOption

// Option[scala.collection.mutable.Map[String,String]] =
//   Some(Map(org.apache.spark.sql.parquet.row.metadata ->
//     {"type":"struct","fields":[{"name":"id","type":"long","nullable":false,"metadata":{"foo":"bar"}}
//     {"name":"txt","type":"string","nullable":true,"metadata":{}}]}))

мы также можем использовать извлеченные нижние колонтитулы для записи автономного файла метаданных, когда это необходимо:

import org.apache.parquet.hadoop.ParquetFileWriter

def createMetadata(conf: Configuration, path: String) = {
  val footers = getFooters(conf, path)
  ParquetFileWriter.writeMetadataFile(conf, new Path(path), footers)
}

Я надеюсь, что это ответ на ваш вопрос. Вы можете прочитать больше о фреймах данных Spark и метаданных на круто-искры ' s spark-gotchas repo.

8