Как показать полное содержимое столбца в фрейме данных Spark?
Я использую spark-csv для загрузки данных в фрейм данных. Я хочу сделать простой запрос и отобразить содержание:
val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()
col кажется усеченным:
scala> results.show();
+--------------------+
| col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+
Как показать полное содержимое столбца?
10 ответов
другие решения хороши. Если это ваши цели:
- нет усечения колонн,
- без потери строк
- быстрое и
- эффективное
эти две строки полезны ...
df.persist
df.show(df.count, false) // in Scala or 'False' in Python
путем упорствовать, 2 действия исполнителя, отсчет и шоу, быстре & эффективне при использовании persist
или cache
для поддержания промежуточной базовой структуры фрейма данных в исполнителях. Подробнее о сохраняются и кэш.
results.show(20, False)
или results.show(20, false)
в зависимости от того, используете ли вы его на Java/Scala/Python
results.show(false)
покажет вам полное содержимое столбца.
показать метод по умолчанию ограничение до 20 и добавление числа перед false
появится несколько строк.
попробуйте это: пеленгатор.показать (некоторые нет) будет работать, но df.показать (df.count ()) не будет работать df.count дает тип вывода long, который не принимается df.show (), поскольку он принимает целочисленный тип.
внутри Databricks вы можете визуализировать таблицы данных в табличном формате. С командой:
display(results)
Это будет выглядеть как