В чем разница между функциями Keras MaxPooling1D и GlobalMaxPooling1D?

MaxPooling1D и GlobalMaxPooling1D описываются как операция максимального объединения временных данных.

keras.layers.pooling.MaxPooling1D(pool_size=2, strides=None, padding='valid')

Я понимаю, что GlobalMaxPooling1D не принимает входных параметров. keras.layers.pooling.GlobalMaxPooling1D()

Я просто хотел бы визуально понять, как они отличаются друг от друга в том, как они работают?

18
keras max-pooling

1 ответов

Td; lr GlobalPooling1D для временных данных принимает максимальный вектор над измерение шагов. Таким образом, тензор с формой [10, 4, 10] становится тензором с формой [10, 10] после глобального объединения. MaxPooling1D принимает Макс по шагам тоже, но ограничен pool_size для каждого шага. Итак, тензор [10, 4, 10] с pooling_size=2 и stride=1 является тензором [10, 3, 10] после MaxPooling(pooling_size=2, stride=1)

длинный ответ с графической помощью

допустим у нас есть простой предложение с 3 словами, и у нас есть векторная кодировка для слов (например,word2vec вложения). Конечно, вы обычно не используете максимальный пул и встраивание тензора, но это должно сделать для примера. Также Глобальное объединение работает по каналам, но я оставлю это из этой иллюстрации. Наконец, все становится немного сложнее с прокладкой, но нам это тоже не нужно.

Предположим, у нас есть maxPooling1D(pool_size=2, strides=1). затем 

the  [[.7, -0.2, .1]   | pool size is two                  
boy   [.8, -.3,  .2]   | so look at two words at a time    | stride=1 will
will  [.2, -.1,  .4]     and take the max over those       | move the pool down
live  [.4  -.4,  .8]]    2 vectors. Here we looking         1 word. Now we look  
                            'the' and 'boy'.                'boy' and 'will' and 
                                                            take the max.

так что это приведет к [1, 3, 3] Тензор с каждым шагом времени, являющимся максимальным над 2D-пулом. И так как у нас было 3 бассейна, мы эффективно сократили наши временные шаги с 4 до 3.

однако, если мы используем тег GlobalPooling1D мы просто возьмем максимальный вектор этого предложения (тензора), который, вероятно, является векторным представлением слова "live".

действительно, здесь как GlobalMaxPooling1D определяется в keras

class GlobalMaxPooling1D(_GlobalPooling1D):
    """Global max pooling operation for temporal data.
    # Input shape
        3D tensor with shape: `(batch_size, steps, features)`.
    # Output shape
        2D tensor with shape:
        `(batch_size, features)`
    """

    def call(self, inputs):
        return K.max(inputs, axis=1)

надеюсь, это поможет, пожалуйста, попросите меня уточнить что угодно.

кроме того, вот пример, с которым вы можете играть:

import numpy as np
from keras.models import Sequential
from keras.layers import Dense, LSTM, GlobalMaxPool1D

D = np.random.rand(10, 6, 10)

model = Sequential()
model.add(LSTM(16, input_shape=(6, 10), return_sequences=True))
model.add(MaxPooling1D(pool_size=2, strides=1))
model.add(LSTM(10))
model.add(Dense(1))
model.compile(loss='binary_crossentropy', optimizer='sgd')

# print the summary to see how the dimension change after the layers are 
# applied

print(model.summary())

# try a model with MaxGlobalPooling1D now

model = Sequential()
model.add(LSTM(16, input_shape=(6, 10), return_sequences=True))
model.add(GlobalMaxPool1D())
model.add(Dense(1))
model.compile(loss='binary_crossentropy', optimizer='sgd')

print(model.summary())
40