Оценка функции в скользящем окне с помощью Keras

я пытаюсь расширить алгоритм сопоставления соответствия через последовательность. Мои матчи имеют длину 20 единиц и имеют 4 канала в каждый момент времени. Я построил модель, которая инкапсулирует соответствие, я просто не могу понять, как использовать это в скользящем окне, чтобы применить его в более длинной последовательности, чтобы найти совпадения в последовательности.

у меня 2 (20, 4) вход тензоров (query и target), которые я объединяю, добавляю, выравниваю, а затем применяю простой плотный слой. У меня есть данные на этом этапе для обучения с запросом 100K, целевыми парами.

def sum_seqs(seqs):
    return K.sum(seqs, axis=3)

def pad_dims(seq):
    return K.expand_dims(seq, axis=3)

def pad_outshape(in_shape):
    return (in_shape[0], in_shape[1], in_shape[2], 1)


query = Input((20, 4))
query_pad = Lambda(pad_dims, output_shape=pad_outshape, name='gpad')(query)

target = Input((20,4))
target_pad = Lambda(pad_dims, output_shape=pad_outshape)(target)

matching = Concatenate(axis = 3)([query_pad, target_pad])
matching = Lambda(sum_seqs)(matching)

matching = Flatten()(matching)
matching = Dropout(0.1)(matching)
matching = Dense(1, activation = 'sigmoid')(matching)

match_model = Model([query, target], matching)

это отлично работает. Теперь я хочу использовать эту предварительно обученную модель для поиска более длинного target последовательность с переменным query последовательности.

кажется, это должно быть что-то вроде:

long_target = Input((100, 4))

short_target = Input((20, 4))
choose_query = Input((20, 4))

spec_match = match_model([choose_query, short_target])

mdl = TimeDistributed(spec_match)(long_target)

но TimeDistributed принимает Layer не Tensor. Есть ли обертка, которую я потерял? Я делаю что-то не так? Нужно ли переформулировать это как проблему свертки почему?

продолжение экспериментов: После целого дня битья головой о клавиатуру становится ясно, что оба TimeDistributed и backend.rnn позволяет применять модель / слой только к одному временному срезу данных. Не похоже, что есть способ сделать это. Похоже, единственное, что может "ходить" по нескольким срезам измерения времени, - это Conv1D.

Итак, я переформулировал свою проблему как свертку, но это тоже не работает. Я смог строительство Conv1D фильтр, который будет соответствовать определенному query. Это работало достаточно хорошо, и это позволило мне сканировать более длинные последовательности и получать совпадения. Но каждый фильтр уникален для каждого query Тензор и, похоже, нет способа уйти от Романа query к соответствующим Весам фильтра без обучения совершенно новый Conv1D слой. Так как моя цель-найти новое querys, которые соответствуют большинству целей, это не очень помогает.

так как мое "соответствие" требует взаимодействие цели и запроса в каждом окне, похоже, не существует способа получить взаимодействие 20-длины query тензор в каждом окне через 100-length target тензор через Conv1D.

есть ли способ сделать эту оценку типа скользящего окна в Keras / tensorflow? Это кажется таким простым, но таким далеким. Есть ли способ сделать это, который я не нахожу?

ответы и дальнейшие эксперименты.

в решения от @today и @nuric работают, но они в конечном итоге реплицируют ввод target данные в типе плитки моды. Итак, для запроса длины m будет немного ниже m копии входных данных на графике. Я надеялся найти решение, которое фактически "сдвинет" оценку по target без дублирования.

вот версия Conv1D почти решение, которое я придумал.

query_weights = []

for query, (targets, scores) in query_target_gen():
    single_query_model = Sequential()
    single_query_model.add(Conv1D(1, 20, input_shape = (20, 4)))
    single_query_model.add(Flatten())

    single_query_model.fit(targets, scores)

    query_weights.append(single_query_model.layers[0].get_weights())

multi_query_model_long_targets = Sequential()
multi_query_model_long_targets.add(Conv1D(len(query_weights), 20, input_shape = (100, 4)))

multi_query_model_long_targets.layers[0].set_weights(combine_weights(query_weights))

multi_query_model_long_targets.summary()

на combine_weights функция просто делает некоторые распаковки и перестановки матриц для стека фильтров в пути Conv1D хочет.

это решение устраняет проблему дублирования данных, но оно винтами меня другими способами. Одна основана данных ... мои данные содержат много query, target пары, но это, как правило, то же самое target много querys, так как легче генерировать реальные данные в этой ориентации. Таким образом, это затрудняет тренировку. Во-вторых, это предполагает, что каждый query работает в независимом кстати, когда на самом деле, я знаю, что query, target сопряжение-это то, что действительно важно. Поэтому имеет смысл использовать модель, которая может смотреть на многие примеры пар, а не отдельных лиц.

есть ли способ объединить оба метода? Есть ли способ сделать это так Conv1D берет как долго target тензор объединить его с постоянной query как он идет по последовательности?