Изменить коллекцию внутри Spark RDD foreach
Я пытаюсь добавить элементы на карту во время итерации элементов RDD. Я не получаю никаких ошибок, но изменений не происходит.
все это отлично работает, добавляя непосредственно или повторяя другие коллекции:
scala> val myMap = new collection.mutable.HashMap[String,String]
myMap: scala.collection.mutable.HashMap[String,String] = Map()
scala> myMap("test1")="test1"
scala> myMap
res44: scala.collection.mutable.HashMap[String,String] = Map(test1 -> test1)
scala> List("test2", "test3").foreach(w => myMap(w) = w)
scala> myMap
res46: scala.collection.mutable.HashMap[String,String] = Map(test2 -> test2, test1 -> test1, test3 -> test3)
но когда я пытаюсь сделать то же самое из RDD:
scala> val fromFile = sc.textFile("tests.txt")
...
scala> fromFile.take(3)
...
res48: Array[String] = Array(test4, test5, test6)
scala> fromFile.foreach(w => myMap(w) = w)
scala> myMap
res50: scala.collection.mutable.HashMap[String,String] = Map(test2 -> test2, test1 -> test1, test3 -> test3)
Я попытался распечатать содержимое карты, как это было до foreach, чтобы убедиться, что переменная такая же, и она печатает правильно:
fromFile.foreach(w => println(myMap("test1")))
...
test1
test1
test1
...
Я также напечатал измененный элемент карты внутри кода foreach, и он печатается как измененный, но когда операция завершена, карта кажется неизмененной.
scala> fromFile.foreach({w => myMap(w) = w; println(myMap(w))})
...
test4
test5
test6
...
scala> myMap
res55: scala.collection.mutable.HashMap[String,String] = Map(test2 -> test2, test1 -> test1, test3 -> test3)
преобразование RDD в массив (сбор) также отлично работает:
fromFile.collect.foreach(w => myMap(w) = w)
scala> myMap
res89: scala.collection.mutable.HashMap[String,String] = Map(test2 -> test2, test5 -> test5, test1 -> test1, test4 -> test4, test6 -> test6, test3 -> test3)
это проблема контекста? Имею ли я доступ к копии данных, которые изменяются где-то еще?
1 ответов
это становится яснее при работе на кластере Spark (не на одной машине). RDD теперь распространяется на несколько машин. Когда вы звоните foreach
, вы говорите каждой машине, что делать с куском RDD, который у нее есть. Если вы ссылаетесь на любые локальные переменные (например,myMap
), они сериализуются и отправляются на машины, чтобы они могли его использовать. Но ничего не возвращается. Итак, ваша оригинальная копия myMap
без изменений.
Я думаю, что это отвечает на ваш вопрос, но, очевидно, вы пытаясь чего-то достичь, вы не сможете достичь этого таким образом. Не стесняйтесь объяснять здесь или в отдельном вопросе, что вы пытаетесь сделать, и я постараюсь помочь.