Отображение таблиц из конкретной базы данных с помощью Pyspark и Hive

наличие в них некоторых баз данных и таблиц в экземпляре Hive. Я хотел бы показать таблицы для некоторой конкретной базы данных (скажем, 3_db).

+------------------+--+
|  database_name   |
+------------------+--+
| 1_db             |
| 2_db             |
| 3_db             |
+------------------+--+

Если я вхожу в beeline из bash - ничего сложного там нет, я просто делаю следующее:

show databases;
show tables from 3_db;

когда я использую pyspark через IPython notebeook - мои дешевые трюки там не работают и дают мне ошибку во второй строке (Показать таблицы из 3_db) вместо этого:

sqlContext.sql('show databases').show()
sqlContext.sql('show tables from 3_db').show()

то, что кажется неправильным и почему же код работает в одном месте и не работает в другом?

1 ответов


sqlContext.sql("show tables in 3_db").show()