Передача массива в функцию Python Spark Lit

предположим, у меня есть массив numpy a, который содержит числа 1-10. Так это [1 2 3 4 5 6 7 8 9 10].

теперь у меня также есть фрейм данных Python Spark, к которому я хочу добавить свой массив numpy a. Я думаю, что колонка литералов справится. Поэтому я делаю следующее:

df = df.withColumn("NewColumn", F.lit(a))

это не сработает. Ошибка " неподдерживаемый тип литерала класса java.утиль.список ArrayList."

теперь, если я попробую только один элемент массива, следующим образом завод.

df = df.withColumn("NewColumn", F.lit(a[0]))

есть ли способ сделать то, что я пытаюсь? Я работаю над задачей, которую хочу выполнить в течение нескольких дней, и это самое близкое к ее завершению. Я просмотрел все связанные вопросы переполнения стека, но я не получил ответа, который искал. Любая помощь приветствуется. Спасибо.

6
apache-spark literals pyspark pyspark-sql python

1 ответов

для цикла в массиве встроенная функция

можно использовать array встроенная функция as 

a = [1,2,3,4,5,6,7,8,9,10]
df = spark.createDataFrame([['a b c d e f g h i j '],], ['col1'])
df = df.withColumn("NewColumn", F.array([F.lit(x) for x in a]))
df.show(truncate=False)

вы должны 

+--------------------+-------------------------------+
|col1                |NewColumn                      |
+--------------------+-------------------------------+
|a b c d e f g h i j |[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]|
+--------------------+-------------------------------+
root
 |-- col1: string (nullable = true)
 |-- NewColumn: array (nullable = false)
 |    |-- element: integer (containsNull = false)

использование функции udf

#udf function
def arrayUdf():
    return a
callArrayUdf = F.udf(arrayUdf, T.ArrayType(T.IntegerType()))

#calling udf function
df = df.withColumn("NewColumn", callArrayUdf())

выход такой же, как с for loop way

Обновлено

я вставляю комментарий @pault, приведенный ниже

вы можете скрыть петли, используя map: df.withColumn("NewColumn", F.array(map(F.lit, a)))

5