Spark и SparkSQL: как имитировать функцию окна?

описание

учитывая фрейм данных df

id |       date
---------------
 1 | 2015-09-01
 2 | 2015-09-01
 1 | 2015-09-03
 1 | 2015-09-04
 2 | 2015-09-04

Я хочу создать работающий счетчик или индекс,

  • сгруппированы по тому же id и
  • сортировка по дате в этой группе,
id |       date |  counter
--------------------------
 1 | 2015-09-01 |        1
 1 | 2015-09-03 |        2
 1 | 2015-09-04 |        3
 2 | 2015-09-01 |        1
 2 | 2015-09-04 |        2

это то, что я могу достичь с помощью функции окна, например,

val w = Window.partitionBy("id").orderBy("date")
val resultDF = df.select( df("id"), rowNumber().over(w) )

к сожалению, Spark 1.4.1 не поддерживает оконные функции для обычных фреймы данных:

org.apache.spark.sql.AnalysisException: Could not resolve window function 'row_number'. Note that, using window functions currently requires a HiveContext;

вопросы

  • как я могу достичь вышеуказанного вычисления на текущей Искре 1.4.1 без использования оконных функций?
  • когда функции окна для регулярных кадров данных будут поддерживаться в Spark?

спасибо!

9
apache-spark apache-spark-sql scala window-functions

3 ответов

вы можете сделать это с помощью RDDs. Лично я считаю, что API для RDDs имеет гораздо больше смысла - я не всегда хочу, чтобы мои данные были "плоскими", как фрейм данных.

val df = sqlContext.sql("select 1, '2015-09-01'"
    ).unionAll(sqlContext.sql("select 2, '2015-09-01'")
    ).unionAll(sqlContext.sql("select 1, '2015-09-03'")
    ).unionAll(sqlContext.sql("select 1, '2015-09-04'")
    ).unionAll(sqlContext.sql("select 2, '2015-09-04'"))

// dataframe as an RDD (of Row objects)
df.rdd 
  // grouping by the first column of the row
  .groupBy(r => r(0)) 
  // map each group - an Iterable[Row] - to a list and sort by the second column
  .map(g => g._2.toList.sortBy(row => row(1).toString))     
  .collect()

приведенное выше дает следующий результат:

Array[List[org.apache.spark.sql.Row]] = 
Array(
  List([1,2015-09-01], [1,2015-09-03], [1,2015-09-04]), 
  List([2,2015-09-01], [2,2015-09-04]))

если вы хотите, позицию внутри группы, а также, вы можете использовать zipWithIndex.

df.rdd.groupBy(r => r(0)).map(g => 
    g._2.toList.sortBy(row => row(1).toString).zipWithIndex).collect()

Array[List[(org.apache.spark.sql.Row, Int)]] = Array(
  List(([1,2015-09-01],0), ([1,2015-09-03],1), ([1,2015-09-04],2)),
  List(([2,2015-09-01],0), ([2,2015-09-04],1)))

вы мог бы сгладить это обратно в простой список / массив Row объекты, использующие FlatMap, но если вам нужно что-либо выполнить в "группе" это не будет хорошей идеей.

недостатком использования RDD, как это, является то, что это утомительно конвертировать из DataFrame в RDD и обратно.

6

можно использовать HiveContext местных DataFrames ну и, если у вас есть очень веские причины не делать этого, это, вероятно, хорошая идея в любом случае. Это значение по умолчанию SQLContext в наличии spark-shell и pyspark shell (как сейчас sparkR кажется, использует plain SQLContext) и его парсер рекомендуется Spark SQL и DataFrame руководство.

import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions.rowNumber

object HiveContextTest {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Hive Context")
    val sc = new SparkContext(conf)
    val sqlContext = new HiveContext(sc)
    import sqlContext.implicits._

    val df = sc.parallelize(
        ("foo", 1) :: ("foo", 2) :: ("bar", 1) :: ("bar", 2) :: Nil
    ).toDF("k", "v")

    val w = Window.partitionBy($"k").orderBy($"v")
    df.select($"k", $"v", rowNumber.over(w).alias("rn")).show
  }
}
7

я полностью согласен с тем, что оконные функции для фреймов данных-это путь, если у вас есть версия Spark (>=)1.5. Но если вы действительно застряли с более старой версией(e.g 1.4.1), вот хакерский способ решить эту проблему

val df = sc.parallelize((1, "2015-09-01") :: (2, "2015-09-01") :: (1, "2015-09-03") :: (1, "2015-09-04") :: (1, "2015-09-04") :: Nil)
           .toDF("id", "date")

val dfDuplicate = df.selecExpr("id as idDup", "date as dateDup")
val dfWithCounter = df.join(dfDuplicate,$"id"===$"idDup")
                      .where($"date"<=$"dateDup")
                      .groupBy($"id", $"date")
                      .agg($"id", $"date", count($"idDup").as("counter"))
                      .select($"id",$"date",$"counter")

теперь, если вы делаете dfWithCounter.show

вы получите:

+---+----------+-------+                                                        
| id|      date|counter|
+---+----------+-------+
|  1|2015-09-01|      1|
|  1|2015-09-04|      3|
|  1|2015-09-03|      2|
|  2|2015-09-01|      1|
|  2|2015-09-04|      2|
+---+----------+-------+

отметим, что date не сортируется, но counter является правильным. Также вы можете изменить порядок counter изменение <= to >= на where заявление.

3