Использование Keras для предсказания видео (time series)

так что в принципе каждый подход имеет свои преимущества и недостатки. Давайте пройдем через те, которые вы предоставили, а затем другие, чтобы найти лучший подход:

1. LSTM: среди их самых больших преимуществ-способность изучать долгосрочные шаблоны зависимостей в ваших данных. Они были разработаны для того, чтобы иметь возможность анализировать длинные последовательности, такие как, например, речь или текст. Это также может вызвать проблемы из-за числовых параметров, которые могут быть действительно высокими. Другой типичные рекуррентные сетевые архитектуры, такие как GRU может преодолеть эти проблемы. Основным недостатком является то, что в их стандартной (последовательной реализации) невозможно разместить его на видеоданных по той же причине, почему плотные слои плохи для данных изображений - нагрузки временных и пространственных инвариантов должны быть изучены топологией, которая полностью не подходит для их эффективного улавливания. Смещение видео на пиксель вправо может полностью изменить выход вашего сеть.

   другая вещь, которая стоит упомянуть, это обучение LSTM считается похожим на поиск равновесия между двумя процессами соперничества-поиск хороших весов для A плотный-как выходные вычисления и поиск хорошей динамики внутренней памяти в последовательностях обработки. Нахождение этого равновесия может длиться очень долго, но как только его найдут - он обычно довольно стабилен и производит действительно хороший результаты.

2. Conv3D: среди их самых больших преимуществ можно легко найти способность улавливать пространственные и временные инварианты так же, как Conv2D в случае съемки. Это делает проклятие размерности гораздо менее вредным. С другой стороны - так же, как Conv1D может не дать хороших результатов с более длинными последовательностями-точно так же-отсутствие памяти может затруднить изучение длинной последовательности.

Of конечно, можно использовать различные подходы, такие как:

1. TimeDistributed + Conv2D использование TimeDistributed обертка-можно использовать некоторые pretrained convnet, например,Inception framewise, а затем последовательно анализировать карты объектов. Действительно огромным преимуществом такого подхода является возможность трансфертного обучения. Как недостаток-можно думать об этом как Conv2.5D - ему не хватает временного анализа данных.

2. ConvLSTM: эта архитектура еще не поддерживается новейшей версией Keras (на 6 марта 2017), но, как можно видеть здесь это должно быть предусмотрено в будущем. Это смесь LSTM и Conv2D и это belived, чтобы быть лучше, чем укладка Conv2D и LSTM.

конечно, это не единственный способ решить эту проблему, я упомяну еще один, который может быть полезным:

1. штабелировать: одно может легко штабелировать верхние методы для построения их окончательное решение. Е. Г. можно построить сеть, где в начале видео преобразуется с помощью TimeDistributed(ResNet) тогда выход-подача в Conv3D с множественным и агрессивным пространственным объединением и, наконец, преобразованным GRU/LSTM слой.

PS:

еще одна вещь, которая также стоит упомянуть, что форма видеоданных на самом деле 4D С (frames, width, height, channels).

PS2:

в случае, если ваш данные на самом деле 3D С (frames, width, hieght) вы действительно можете использовать классический Conv2D (путем изменения channels to frames) для анализа этих данных (которые на самом деле могут быть более вычислительно эффективными). В случае передача обучения вы должны добавить дополнительное измерение, потому что большая часть CNN модели были обучены на данных с формой (width, height, 3). Можно заметить, что ваши данные не имеют 3 канала. В этом случае обычно используется метод повторения пространственной Матрицы три раз.

PS3:

пример 2.5D подход:

input = Input(shape=input_shape)
base_cnn_model = InceptionV3(include_top=False, ..)
temporal_analysis = TimeDistributed(base_cnn_model)(input)
conv3d_analysis = Conv3D(nb_of_filters, 3, 3, 3)(temporal_analysis)
conv3d_analysis = Conv3D(nb_of_filters, 3, 3, 3)(conv3d_analysis)
output = Flatten()(conv3d_analysis)
output = Dense(nb_of_classes, activation="softmax")(output)