PySpark: изменение значений столбцов, когда другое значение столбца удовлетворяет условию

у меня есть фрейм данных PySpark, который имеет два столбца Id и rank,

+---+----+
| Id|Rank|
+---+----+
|  a|   5|
|  b|   7|
|  c|   8|
|  d|   1|
+---+----+

для каждой строки Я хочу заменить Id на "другой", если ранг больше 5.

если я использую псевдокод для объяснения:

For row in df:
  if row.Rank>5:
     then replace(row.Id,"other")

результат должен выглядеть, 

+-----+----+
|   Id|Rank|
+-----+----+
|    a|   5|
|other|   7|
|other|   8|
|    d|   1|
+-----+----+

любая подсказка как достигнуть этого? Спасибо!!!

чтобы создать этот фрейм данных:

df = spark.createDataFrame([('a',5),('b',7),('c',8),('d',1)], ["Id","Rank"])
7
apache-spark apache-spark-sql pyspark pyspark-sql spark-dataframe

1 ответов

можно использовать when и otherwise, как - 

from pyspark.sql.functions import *

df\
.withColumn('Id_New',when(df.Rank <= 5,df.Id).otherwise('other'))\
.drop(df.Id)\
.select(col('Id_New').alias('Id'),col('Rank'))\
.show()

это дает выход как -

+-----+----+
|   Id|Rank|
+-----+----+
|    a|   5|
|other|   7|
|other|   8|
|    d|   1|
+-----+----+
12