Задача не сериализуемая: java.Ио.NotSerializableException при вызове функции вне закрытия только для классов не объектов

ответ Греги отлично объясняет, почему исходный код не работает, и два способа устранить проблему. Однако это решение не очень гибкое; рассмотрим случай, когда ваше закрытие включает вызов метода на не -Serializable класс, что у вас нет контроля над. Вы не можете добавить Serializable tag к этому классу или изменить базовую реализацию, чтобы изменить метод в функцию.

Nilesh представляет собой отличное решение для это, но решение можно сделать как более кратким, так и общим:

def genMapper[A, B](f: A => B): A => B = {
  val locker = com.twitter.chill.MeatLocker(f)
  x => locker.get.apply(x)
}

эта функция-сериализатор может затем использоваться для автоматического обертывания закрытия и вызовов методов:

rdd map genMapper(someFunc)

этот метод также имеет преимущество, не требуя дополнительных зависимостей акулы для доступа KryoSerializationWrapper, так как холод Twitter уже втянут core Spark

полный разговор полностью объясняет проблему, которая предлагает отличный способ смены парадигмы, чтобы избежать этих проблем сериализации: https://github.com/samthebest/dump/blob/master/sams-scala-tutorial/serialization-exceptions-and-memory-leaks-no-ws.md

верхний голосованный ответ в основном предлагает выбросить всю языковую функцию - то есть больше не использовать методы и использовать только функции. Действительно, в функциональном программировании методы в классах должны быть избежать, но превращение их в функции не решает проблему дизайна здесь (см. ссылку выше).

в качестве быстрого исправления в этой конкретной ситуации вы можете просто использовать @transient аннотация, чтобы сказать ему не пытаться сериализовать оскорбительное значение (здесь,Spark.ctx является пользовательским классом, а не одним из следующих имен OP):

@transient
val rddList = Spark.ctx.parallelize(list)

вы также можете реструктурировать код, чтобы rddList жил где-то еще, но это также неприятно.

будущее наверное Споры

в будущем Scala будет включать в себя эти вещи, называемые "споры", которые должны позволить нам контролировать мелкое зерно, что делает и не точно втягивается закрытием. Кроме того, это должно превратить все ошибки случайного вытягивания несериализуемых типов (или любых нежелательных значений) в ошибки компиляции, а не сейчас, что является ужасными исключениями во время выполнения / утечками памяти.

http://docs.scala-lang.org/sips/pending/spores.html

A совет по сериализации Kryo

при использовании kyro сделайте так, чтобы регистрация была необходима, это будет означать, что вы получаете ошибки вместо утечек памяти:

стратегия регистрации классов с kryo

конечно, это только дает вам контроль уровня типа, а не контроль уровня значения.

... еще больше идей.

Я решил эту проблему, используя другой подход. Вам просто нужно сериализовать объекты перед прохождением через закрытие,а затем де-сериализовать. Этот подход просто работает, даже если ваши классы не Сериализуемы, потому что он использует Kryo за кулисами. Все, что тебе нужно, это немного карри. ;)

вот пример того, как я это сделал:

def genMapper(kryoWrapper: KryoSerializationWrapper[(Foo => Bar)])
               (foo: Foo) : Bar = {
    kryoWrapper.value.apply(foo)
}
val mapper = genMapper(KryoSerializationWrapper(new Blah(abc))) _
rdd.flatMap(mapper).collectAsMap()

object Blah(abc: ABC) extends (Foo => Bar) {
    def apply(foo: Foo) : Bar = { //This is the real function }
}

Не стесняйтесь делать мля так сложно, как вы хотите, класс, объект, вложенные классы, ссылки на несколько 3-й партии библиотеки.

KryoSerializationWrapper относится к: https://github.com/amplab/shark/blob/master/src/main/scala/shark/execution/serialization/KryoSerializationWrapper.scala

Я не совсем уверен, что это относится к Scala, но на Java я решил NotSerializableException на рефакторинг мой код так, что закрытие не открыть несериализуемый

я столкнулся с подобной проблемой, и что я понимаю из ответ Греги is

object NOTworking extends App {
 new testing().doIT
}
//adding extends Serializable wont help
class testing {

val list = List(1,2,3)

val rddList = Spark.ctx.parallelize(list)

def doIT =  {
  //again calling the fucntion someFunc 
  val after = rddList.map(someFunc(_))
  //this will crash (spark lazy)
  after.collect().map(println(_))
}

def someFunc(a:Int) = a+1

}

код doIT метод пытается сериализовать someFunc(_) метод, но поскольку метод не сериализуем, он пытается сериализовать class тестирование который снова не сериализуется.

чтобы сделать ваш код работать, вы должны определить someFunc внутри doIT метод. Например:

def doIT =  {
 def someFunc(a:Int) = a+1
  //function definition
 }
 val after = rddList.map(someFunc(_))
 after.collect().map(println(_))
}

и если есть несколько функций, входящих в картину, то все эти функции должны быть доступны родительскому контексту.