Как подключить HBase и Spark с помощью Python?

у меня есть смущающе параллельная задача, для которой я использую Spark для распределения вычислений. Эти вычисления находятся в Python, и я использую PySpark для чтения и предварительной обработки данных. Входные данные для моей задачи хранятся в HBase. К сожалению, мне еще предстоит найти удовлетворительный (т. е. простой в использовании и масштабируемый) способ чтения/записи данных HBase из/в Spark с помощью Python.

то, что я исследовал ранее:

  • подключение изнутри моего Python процессы, использующие happybase. Этот пакет позволяет подключаться к HBase из Python с помощью API бережливости HBase. Таким образом, я в основном пропускаю Spark для чтения/записи данных и пропускаю потенциальные оптимизации HBase-Spark. Скорость чтения кажется достаточно быстрой, но скорость записи медленная. Это мое лучшее решение.

  • использование SparkContext newAPIHadoopRDD и saveAsNewAPIHadoopDataset которые используют интерфейс MapReduce HBase. Примеры для этого были однажды включены в код Spark база (посмотреть здесь). Однако теперь они считаются устаревшими в пользу Привязок Spark HBase (посмотреть здесь). Я также нашел этот метод медленным и громоздким (для чтения, письма работали хорошо), например, как строки, возвращенные из newAPIHadoopRDD должен был быть проанализирован и преобразован различными способами, чтобы закончить с объектами Python, которые я хотел. Он также поддерживал только одну колонку за раз.

альтернативы, которые я знаю из:

  • в настоящее время я использую CDH Cloudera и версии 5.7.0 предлагает hbase-spark (примечания к выпуску CDH и подробный блоге). Этот модуль (ранее известный как SparkOnHBase) официально станет частью HBase 2.0. К сожалению, это замечательное решение работает только с Scala / Java.

  • Huawei Spark-SQL-on-HBase / Астро (я не вижу разницы между два...). Он не выглядит таким надежным и хорошо поддерживаемым, как я хотел бы, чтобы мое решение было.

11
apache-spark apache-spark-sql hbase pyspark python

1 ответов

нашел комментарий одним из создателей hbase-spark, что, похоже, предполагает, что есть способ использовать PySpark для запроса HBase с помощью Spark SQL.

и в самом деле, шаблон, описанный здесь можно применить к запросу HBase с Spark SQL с помощью PySpark, как показано в следующем примере:

from pyspark import SparkContext
from pyspark.sql import SQLContext

sc = SparkContext()
sqlc = SQLContext(sc)

data_source_format = 'org.apache.hadoop.hbase.spark'

df = sc.parallelize([('a', '1.0'), ('b', '2.0')]).toDF(schema=['col0', 'col1'])

# ''.join(string.split()) in order to write a multi-line JSON string here.
catalog = ''.join("""{
    "table":{"namespace":"default", "name":"testtable"},
    "rowkey":"key",
    "columns":{
        "col0":{"cf":"rowkey", "col":"key", "type":"string"},
        "col1":{"cf":"cf", "col":"col1", "type":"string"}
    }
}""".split())


# Writing
df.write\
.options(catalog=catalog)\  # alternatively: .option('catalog', catalog)
.format(data_source_format)\
.save()

# Reading
df = sqlc.read\
.options(catalog=catalog)\
.format(data_source_format)\
.load()

Я пробовал hbase-spark-1.2.0-cdh5.7.0.jar (как распространяется Cloudera) для этого, но попал в беду (org.apache.hadoop.hbase.spark.DefaultSource does not allow create table as select при написании, java.util.NoSuchElementException: None.get при чтении). Как оказывается, настоящая версия CDH не включает в себя изменения на hbase-spark которые позволяют интеграции Spark SQL-HBase.

что тут работа для меня-это shc пакет Spark, найдено здесь. Единственное изменение, которое я должен был сделать в вышеуказанном скрипте, - это изменить:

data_source_format = 'org.apache.spark.sql.execution.datasources.hbase'

вот как я представляю приведенный выше сценарий на моем кластере CDH, следуя примеру из shc README:

spark-submit --packages com.hortonworks:shc:1.0.0-1.6-s_2.10 --repositories http://repo.hortonworks.com/content/groups/public/ --files /opt/cloudera/parcels/CDH/lib/hbase/conf/hbase-site.xml example.py

большая часть работы на shc кажется, уже слились в hbase-spark модуль HBase, для выпуска в версии 2.0. При этом Spark SQL-запрос HBase возможен с использованием вышеупомянутого шаблона (см.:https://hbase.apache.org/book.html#_sparksql_dataframes для деталей). Мой пример выше показывает, как это выглядит для пользователей PySpark.

наконец, предостережение: мой пример данных выше имеет только строки. Преобразование данных Python не поддерживается shc, поэтому у меня были проблемы с числами и поплавки не отображаются в HBase или со странными значениями.

17