Кафка KStreams - обработка таймаутов

Я пытаюсь использовать <KStream>.process() С TimeWindows.of("name", 30000) чтобы собрать некоторые KTable значения и отправить их на. Кажется, что 30 секунд превышает интервал тайм-аута потребителя, после которого Кафка считает указанного потребителя несуществующим и освобождает раздел.

Я попытался увеличить частоту опрос и фиксация интервала чтобы избежать этого:

config.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, "5000");
config.put(StreamsConfig.POLL_MS_CONFIG, "5000");

к сожалению, эти ошибки до сих пор происходящее:

(много таких)

ERROR  o.a.k.s.p.internals.RecordCollector - Error sending record to topic kafka_test1-write_aggregate2-changelog 
org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for kafka_test1-write_aggregate2-changelog-0

а потом:

INFO   o.a.k.c.c.i.AbstractCoordinator - Marking the coordinator 12.34.56.7:9092 (id: 2147483547 rack: null) dead for group kafka_test1
WARN   o.a.k.s.p.internals.StreamThread - Failed to commit StreamTask #0_0 in thread [StreamThread-1]: 
  org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time between subsequent calls to poll() was longer than the configured session.timeout.ms, which typically implies that the poll loop is spending too much time message processing. You can address this either by increasing the session timeout or by reducing the maximum size of batches returned in poll() with max.poll.records.
at org.apache.kafka.clients.consumer.internals.ConsumerCoordinator$OffsetCommitResponseHandler.handle(ConsumerCoordinator.java:578)

ясно, что мне нужно чаще отправлять сердцебиения обратно на сервер. Как?

мой топология:

KStreamBuilder kStreamBuilder = new KStreamBuilder();
KStream<String, String> lines = kStreamBuilder.stream(TOPIC);
KTable<Windowed<String>, String>  kt = lines.aggregateByKey(
            new DBAggregateInit(),
            new DBAggregate(),
            TimeWindows.of("write_aggregate2", 30000));

DBProcessorSupplier dbProcessorSupplier = new DBProcessorSupplier();

kt.toStream().process(dbProcessorSupplier);
KafkaStreams kafkaStreams = new KafkaStreams(kStreamBuilder, streamsConfig);

kafkaStreams.start();

на KTable группирует значения по ключу каждые 30 секунд. В .init () я называю context.schedule(30000).

DBProcessorSupplier предоставляет экземпляр DBProcessor. Это реализация AbstractProcessor где все переопределения были предоставлены. Все, что они делают, это журнал, чтобы я знал, когда каждый попадает.

это довольно простая топология, но ясно, что я где-то пропустил шаг.

Edit:

Я понимаю, что могу настроить это на стороне сервера, но я надеюсь, что есть решение на стороне клиента. Мне нравится понятие разделов, доступных довольно быстро, когда клиент выходит / умирает.

Edit:

в попытке упростить задачу я удалил шаг агрегации из графика. Теперь это просто потребитель- > процессор (). (Если я отправлю потребителя непосредственно в .print() он работает v быстро, поэтому я знаю, что все в порядке). (Аналогично, если я выведу агрегацию (KTable) через .print() кажется, тоже нормально).

я обнаружил, что .process(), которые должны называть .punctuate() каждые 30 секунды фактически блокируются для переменных длин времени и выводятся несколько случайным образом (если вообще).

• основной программы
• отладочный вывод
• Поставщик Процессор
• процессор

далее:

Я установил уровень отладки в "debug" и reran. Я вижу много сообщений:

DEBUG  o.a.k.s.p.internals.StreamTask - Start processing one record [ConsumerRecord <info>

но точка останова в .punctuate() функция не попадает. Так что он делает много работы, но не дает мне возможности использовать его.