Требуется ли Avro schema evolution доступ к старым и новым схемам?

если я сериализую объект, используя версию схемы 1, а затем обновляю схему до версии 2 (скажем, добавляя поле) - должен ли я использовать версию схемы 1 при последующей десериализации объекта? В идеале я хотел бы просто использовать схему версии 2 и десериализованный объект имеет значение по умолчанию для поля, которое было добавлено в схему после первоначальной сериализации объекта.

возможно, какой-то код объяснит лучше...

таблице schema1:

{"type": "record",
 "name": "User",
 "fields": [
  {"name": "firstName", "type": "string"}
 ]}

таблицы schema2:

{"type": "record",
 "name": "User",
 "fields": [
  {"name": "firstName", "type": "string"},
  {"name": "lastName", "type": "string", "default": ""}
 ]}

использование общего подхода без генерации кода:

// serialize
ByteArrayOutputStream out = new ByteArrayOutputStream();
Encoder encoder = EncoderFactory.get().binaryEncoder(out, null);
GenericDatumWriter writer = new GenericDatumWriter(schema1);
GenericRecord datum = new GenericData.Record(schema1);
datum.put("firstName", "Jack");
writer.write(datum, encoder);
encoder.flush();
out.close();
byte[] bytes = out.toByteArray();

// deserialize
// I would like to not have any reference to schema1 below here
DatumReader<GenericRecord> reader = new GenericDatumReader<GenericRecord>(schema2);
Decoder decoder = DecoderFactory.get().binaryDecoder(bytes, null);
GenericRecord result = reader.read(null, decoder);

приводит к EOFException. С помощью jsonEncoder приводит к AvroTypeException.

Я знаю, что это сработает, если я передам schema1 и schema2 в GenericDatumReader конструктор, но мне бы не хотелось хранить репозиторий всех предыдущих схем, а также как-то отслеживать из которых схема использовалась для сериализации каждого конкретного объекта.

Я также попробовал подход code-gen, сначала сериализуясь в файл, используя класс пользователя, сгенерированный из schema1:

User user = new User();
user.setFirstName("Jack");
DatumWriter<User> writer = new SpecificDatumWriter<User>(User.class);
FileOutputStream out = new FileOutputStream("user.avro");
Encoder encoder = EncoderFactory.get().binaryEncoder(out, null);
writer.write(user, encoder);
encoder.flush();
out.close();

затем обновление схемы до версии 2, регенерация класса пользователя и попытка прочитать файл:

DatumReader<User> reader = new SpecificDatumReader<User>(User.class);
FileInputStream in = new FileInputStream("user.avro");
Decoder decoder = DecoderFactory.get().binaryDecoder(in, null);
User user = reader.read(null, decoder);

но это также приводит к EOFException.

просто для сравнения, что я пытаюсь сделать, кажется, работает с protobufs...

:

option java_outer_classname = "UserProto";
message User {
    optional string first_name = 1;
}

сериализовать:

UserProto.User.Builder user = UserProto.User.newBuilder();
user.setFirstName("Jack");
FileOutputStream out = new FileOutputStream("user.data");
user.build().writeTo(out);

добавьте необязательное last_name для форматирования, восстановления UserProto и десериализации:

FileInputStream in = new FileInputStream("user.data");
UserProto.User user = UserProto.User.parseFrom(in);

как ожидается, user.getLastName() - пустая строка.

может ли что-то подобное быть сделано с Avro?