Как показать полное содержимое столбца в фрейме данных Spark?

Я использую spark-csv для загрузки данных в фрейм данных. Я хочу сделать простой запрос и отобразить содержание:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

col кажется усеченным:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

Как показать полное содержимое столбца?

96
apache-spark dataframe output-formatting spark-csv

10 ответов

results.show(20, False) не будет усекать. Проверьте источник

190

Если вы ставите только результаты.show (False) не будет усекать результат

20

другие решения хороши. Если это ваши цели:

  1. нет усечения колонн,
  2. без потери строк
  3. быстрое и
  4. эффективное

эти две строки полезны ...

    df.persist
    df.show(df.count, false) // in Scala or 'False' in Python

путем упорствовать, 2 действия исполнителя, отсчет и шоу, быстре & эффективне при использовании persist или cache для поддержания промежуточной базовой структуры фрейма данных в исполнителях. Подробнее о сохраняются и кэш.

11

results.show(20, False) или results.show(20, false) в зависимости от того, используете ли вы его на Java/Scala/Python

9

ниже код поможет просмотреть все строки без усечения в каждом столбце

df.show(df.count(), False)
7

попробуйте эту команду :

df.show(df.count())
2

results.show(false) покажет вам полное содержимое столбца.

показать метод по умолчанию ограничение до 20 и добавление числа перед false появится несколько строк.

2

результаты.show (20,false) сделал трюк для меня в scala

1

попробуйте это: пеленгатор.показать (некоторые нет) будет работать, но df.показать (df.count ()) не будет работать df.count дает тип вывода long, который не принимается df.show (), поскольку он принимает целочисленный тип.

0

внутри Databricks вы можете визуализировать таблицы данных в табличном формате. С командой:

display(results)

Это будет выглядеть как

enter image description here

0