Создание метаданных для файлов parquet
у меня есть таблица улья, которая построена поверх загрузки внешних паркетных файлов. Файлы Paruqet должны быть сгенерированы заданием spark, но из-за установки флага метаданных в false они не были сгенерированы. Мне интересно, можно ли восстановить его каким-то безболезненным способом. Структура файлов выглядит следующим образом:
/apps/hive/warehouse/test_db.db/test_table/_SUCCESS
/apps/hive/warehouse/test_db.db/test_table/_common_metadata
/apps/hive/warehouse/test_db.db/test_table/_metadata
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-20
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-21
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-22
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-23
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-24
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-25
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-26
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-27
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-28
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-29
/apps/hive/warehouse/test_db.db/test_table/end_date=2016-04-30
предположим, что файл _metadata
не существует или устарел. Есть ли способ воссоздать его с помощью команды hive / сгенерировать его без необходимости запуска всю работу с искрой?
1 ответов
Ok Итак, вот дрель, метаданные могут быть доступны непосредственно с помощью паркетных инструментов. Сначала вам нужно получить нижние колонтитулы для вашего паркетного файла:
import scala.collection.JavaConverters.{collectionAsScalaIterableConverter, mapAsScalaMapConverter}
import org.apache.parquet.hadoop.ParquetFileReader
import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.conf.Configuration
val conf = spark.sparkContext.hadoopConfiguration
def getFooters(conf: Configuration, path: String) = {
val fs = FileSystem.get(conf)
val footers = ParquetFileReader.readAllFootersInParallel(conf, fs.getFileStatus(new Path(path)))
footers
}
теперь вы можете получить метаданные файла следующим образом:
def getFileMetadata(conf: Configuration, path: String) = {
getFooters(conf, path)
.asScala.map(_.getParquetMetadata.getFileMetaData.getKeyValueMetaData.asScala)
}
теперь вы можете получить метаданные вашего файла паркета:
getFileMetadata(conf, "/tmp/foo").headOption
// Option[scala.collection.mutable.Map[String,String]] =
// Some(Map(org.apache.spark.sql.parquet.row.metadata ->
// {"type":"struct","fields":[{"name":"id","type":"long","nullable":false,"metadata":{"foo":"bar"}}
// {"name":"txt","type":"string","nullable":true,"metadata":{}}]}))
мы также можем использовать извлеченные нижние колонтитулы для записи автономного файла метаданных, когда это необходимо:
import org.apache.parquet.hadoop.ParquetFileWriter
def createMetadata(conf: Configuration, path: String) = {
val footers = getFooters(conf, path)
ParquetFileWriter.writeMetadataFile(conf, new Path(path), footers)
}
Я надеюсь, что это ответ на ваш вопрос. Вы можете прочитать больше о фреймах данных Spark и метаданных на круто-искры ' s spark-gotchas repo.