Как я могу преобразовать pyspark.язык SQL.фрейм данных.DataFrame обратно в таблицу sql в Databricks notebook

Я создал фрейм данных типа pyspark.sql.dataframe.DataFrame выполнив следующую строку: dataframe = sqlContext.sql("select * from my_data_table")

Как я могу преобразовать это обратно в таблицу sparksql, в которой я могу запускать sql-запросы?

7
apache-spark databricks pyspark python sql

1 ответов

вы можете создать свою таблицу с помощью createReplaceTempView. В вашем случае это было бы так:

dataframe.createOrReplaceTempView("mytable")

после этого вы можете запрашивать mytable С помощью среда SQL.

Если ваша версия искры ≤ 1.6.2 вы можете использовать registerTempTable

4