CSV-файл может быть проанализирован с помощью Spark встроенный CSV reader. Он вернется DataFrame / DataSet при успешном чтении файла. На вершине DataFrame / DataSet, вы применяете SQL-подобные операции легко.

Используя Искру 2.x (и выше) С Java

создать объект SparkSession aka spark

import org.apache.spark.sql.SparkSession;

SparkSession spark = SparkSession
    .builder()
    .appName("Java Spark SQL Example")
    .getOrCreate();

создать схему для строки с StructType

import org.apache.spark.sql.types.StructType;

StructType schema = new StructType()
    .add("department", "string")
    .add("designation", "string")
    .add("ctc", "long")
    .add("state", "string");

создать фрейм данных из CSV-файла и применить схема к нему

Dataset<Row> df = spark.read()
    .option("mode", "DROPMALFORMED")
    .schema(schema)
    .csv("path/input.csv");

дополнительная опция для чтения данных из CSV-файла

теперь мы можем агрегировать данные двумя способами

1. В SQL способом

зарегистрировать таблицу в spark sql metastore для выполнения операции SQL

df.createOrReplaceTempView("employee");

выполнить SQL-запрос на зарегистрированном фрейме данных

Dataset<Row> sqlResult = spark.sql(
    "SELECT department, designation, state, SUM(ctc), COUNT(department)" 
        + " FROM employee GROUP BY department, designation, state");

sqlResult.show(); //for testing

мы можем даже выполнить SQL непосредственно в CSV-файле без создания таблицы с Spark В SQL

2. Цепочка объектов или программирование или Java-подобный способ

выполните необходимый импорт для функций sql

import static org.apache.spark.sql.functions.count;
import static org.apache.spark.sql.functions.sum;

использовать groupBy и agg на dataframe / dataset для выполнения count и sum по данным

Dataset<Row> dfResult = df.groupBy("department", "designation", "state")
    .agg(sum("ctc"), count("department"));
// After Spark 1.6 columns mentioned in group by will be added to result by default

dfResult.show();//for testing

зависимые библиотеки

"org.apache.spark" % "spark-core_2.11" % "2.0.0" 
"org.apache.spark" % "spark-sql_2.11" % "2.0.0"

следующее Может быть не совсем правильным, но это должно дать вам некоторое представление о том, как жонглировать данными. Это не очень красиво, следует заменить классами case и т. д., Но в качестве быстрого примера того, как использовать Spark api, я надеюсь, что этого достаточно :)

val rawlines = sc.textfile("hdfs://.../*.csv")
case class Employee(dep: String, des: String, cost: Double, state: String)
val employees = rawlines
  .map(_.split(",") /*or use a proper CSV parser*/
  .map( Employee(row(0), row(1), row(2), row(3) )

# the 1 is the amount of employees (which is obviously 1 per line)
val keyVals = employees.map( em => (em.dep, em.des, em.state), (1 , em.cost))

val results = keyVals.reduceByKey{ a,b =>
    (a._1 + b._1, b._1, b._2) # (a.count + b.count , a.cost + b.cost )
}

#debug output
results.take(100).foreach(println)

results
  .map( keyval => someThingToFormatAsCsvStringOrWhatever )
  .saveAsTextFile("hdfs://.../results")

или вы можете использовать SparkSQL:

val sqlContext = new SQLContext(sparkContext)

# case classes can easily be registered as tables
employees.registerAsTable("employees")

val results = sqlContext.sql("""select dep, des, state, sum(cost), count(*) 
  from employees 
  group by dep,des,state"""

для JSON, если ваш текстовый файл содержит один объект JSON в строке, вы можете использовать sqlContext.jsonFile(path) чтобы Spark SQL загрузил его как SchemaRDD (схема будет выведена автоматически). Затем вы можете зарегистрировать его как таблицу и запросить ее с помощью SQL. Вы также можете вручную загрузить текстовый файл как RDD[String] содержит один объект JSON на запись и использует sqlContext.jsonRDD(rdd) чтобы превратить его в SchemaRDD. jsonRDD полезно, когда вам нужно предварительно обработать ваши данные.