Объединить результаты пакетного RDD с потоковым RDD в Apache Spark

контекст: Я использую Apache Spark для агрегирования количества различных типов событий из журналов. Журналы хранятся как в Кассандре для целей исторического анализа, так и в Кафке для целей анализа в реальном времени. В каждом журнале есть дата и тип события. Для простоты предположим, что я хотел отслеживать количество журналов одного типа за каждый день.

у нас есть два RDDs, RDD пакетных данных от Cassandra и другой потоковой RDD от Кафки. Псевдокод:

CassandraJavaRDD<CassandraRow> cassandraRowsRDD = CassandraJavaUtil.javaFunctions(sc).cassandraTable(KEYSPACE, TABLE).select("date", "type");

JavaPairRDD<String, Integer> batchRDD = cassandraRowsRDD.mapToPair(new PairFunction<CassandraRow, String, Integer>() {
    @Override
    public Tuple2<String, Integer> call(CassandraRow row) {
        return new Tuple2<String, Integer>(row.getString("date"), 1);
    }
}).reduceByKey(new Function2<Integer, Integer, Integer>() {
    @Override
    public Integer call(Integer count1, Integer count2) {
        return count1 + count2;
    }
});

save(batchRDD) // Assume this saves the batch RDD somewhere

...

// Assume we read a chunk of logs from the Kafka stream every x seconds.
JavaPairReceiverInputDStream<String, String> kafkaStream =  KafkaUtils.createStream(...);
JavaPairDStream<String, Integer> streamRDD = kafkaStream.flatMapToPair(new PairFlatMapFunction<Tuple2<String, String>, String, Integer>() {
    @Override
    public Iterator<Tuple2<String, Integer> call(Tuple2<String, String> data) {
        String jsonString = data._2;
        JSON jsonObj = JSON.parse(jsonString);
        Date eventDate = ... // get date from json object
        // Assume startTime is broadcast variable that is set to the time when the job started.
        if (eventDate.after(startTime.value())) { 
            ArrayList<Tuple2<String, Integer>> pairs = new ArrayList<Tuple2<String, Integer>>();
            pairs.add(new Tuple2<String, Integer>(jsonObj.get("date"), 1));
            return pairs;
        } else {
            return new ArrayList<Tuple2<String, Integer>>(0); // Return empty list when we ignore some logs
        }
    }
}).reduceByKey(new Function2<Integer, Integer, Integer>() {
    @Override
    public Integer call(Integer count1, Integer count2) {
        return count1 + count2;
    }
}).updateStateByKey(new Function2<List<Integer>, Optional<List<Integer>>, Optional<Integer>>() {
    @Override
    public Optional<Integer> call(List<Integer> counts, Optional<Integer> state) {
        Integer previousValue = state.or(0l);
        Integer currentValue = ... // Sum of counts
        return Optional.of(previousValue + currentValue);
    }
});
save(streamRDD); // Assume this saves the stream RDD somewhere

sc.start();
sc.awaitTermination();

вопрос: как объединить результаты streamRDD с batchRDD? Допустим, что batchRDD имеет следующие данные, и это задание было выполнено в 2014-10-16:

("2014-10-15", 1000000)
("2014-10-16", 2000000)

поскольку запрос Cassandra включал только все данные до времени начала пакетного запроса, мы должны прочитать из Кафки, когда запрос будет завершен, только учитывая журналы после времени начала задания. Мы предполагаем, что запрос занимает много времени. Это означает, что мне нужно объединить исторические результаты с потоковыми результатами.

для примера:

    |------------------------|-------------|--------------|--------->
tBatchStart             tStreamStart   streamBatch1  streamBatch2

тогда предположим, что в первом пакете потока мы получили эти данные:

("2014-10-19", 1000)

затем я хочу объединить пакет RDD с этим потоком RDD, чтобы поток RDD теперь имел значение:

("2014-10-19", 2001000)

("2014-10-19", 4000)

затем поток RDD должен быть обновлен, чтобы иметь значение:

("2014-10-19", 2005000)

и так далее...

можно использовать streamRDD.transformToPair(...) для объединения данных streamRDD с данными batchRDD с помощью join, но если мы сделаем это для каждого фрагмента потока, то мы будем добавлять счетчик из batchRDD для каждого фрагмента потока, делая значение состояния "double counted", когда оно должно быть добавлено только к первому фрагменту потока.