На что установить `SPARK HOME`?
установлен apache-maven-3.3.3, scala 2.11.6, затем запущен:
$ git clone git://github.com/apache/spark.git -b branch-1.4
$ cd spark
$ build/mvn -DskipTests clean package
и наконец:
$ git clone https://github.com/apache/incubator-zeppelin
$ cd incubator-zeppelin/
$ mvn install -DskipTests
затем запустил сервер:
$ bin/zeppelin-daemon.sh start
запуск простого ноутбука, начинающегося с %pyspark
, Я получил сообщение об ошибке py4j
не найден. Просто сделал pip install py4j
(ref).
теперь я получаю эту ошибку:
pyspark is not responding Traceback (most recent call last):
File "/tmp/zeppelin_pyspark.py", line 22, in <module>
from pyspark.conf import SparkConf
ImportError: No module named pyspark.conf
Я попытался установить мой SPARK_HOME
в: /spark/python:/spark/python/lib
. Никакое изменение.
1 ответов
требуются две переменные среды:
SPARK_HOME=/spark
PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-VERSION-src.zip:$PYTHONPATH