OpenCV: чтение кадров из VideoCapture продвигает видео в причудливо неправильное место

(я поставлю награду 500 репутации на этот вопрос, как только он будет иметь право - если вопрос не был закрыт.)

проблема в одном предложении

чтение кадров из VideoCapture продвигает видео гораздо дальше, чем предполагалось.

объяснение

мне нужно читать и анализировать кадры из 100 fps (согласно cv2 и VLC media player) видео между определенными интервалами времени. В минимальный пример, который следует, я пытаюсь прочитать все кадры в течение первых десяти секунд трехминутного видео.

я создаю cv2.VideoCapture объект, из которого я читаю кадры, пока не будет достигнуто желаемое положение в миллисекундах. В моем фактическом коде каждый кадр анализируется, но этот факт не имеет значения, чтобы продемонстрировать ошибку.

проверка текущего кадра и миллисекундного положения VideoCapture после чтения кадров дает правильные значения, поэтому VideoCapture думает это в нужном положении - но это не так. Сохранение изображения последнего кадра чтения показывает, что моя итерация сильно превышает время назначения более чем на две минуты.

что еще более странно, что если я вручную установить миллисекундное положение захвата с VideoCapture.set до 10 секунд (то же значение VideoCapture.get возвращается после чтения кадров) и сохранить изображение, видео находится (почти) справа позиция!

демо-видео файл

в случае, если вы хотите запустить MCVE, вам нужна демонстрация.видеофайл avi. Вы можете скачать его здесь.

MCVE

этот MCVE тщательно обработан и прокомментирован. Пожалуйста, оставьте комментарий под вопросом, если что-то остается неясным.

если вы используете OpenCV 3, Вы должны заменить все экземпляры cv2.cv.CV_ С cv2.. (Проблема возникает в обеих версиях для меня.)

import cv2

# set up capture and print properties
print 'cv2 version = {}'.format(cv2.__version__)
cap = cv2.VideoCapture('demo.avi')
fps = cap.get(cv2.cv.CV_CAP_PROP_FPS)
pos_msec = cap.get(cv2.cv.CV_CAP_PROP_POS_MSEC)
pos_frames = cap.get(cv2.cv.CV_CAP_PROP_POS_FRAMES)
print ('initial attributes: fps = {}, pos_msec = {}, pos_frames = {}'
      .format(fps, pos_msec, pos_frames))

# get first frame and save as picture
_, frame = cap.read()
cv2.imwrite('first_frame.png', frame)

# advance 10 seconds, that's 100*10 = 1000 frames at 100 fps
for _ in range(1000):
    _, frame = cap.read()
    # in the actual code, the frame is now analyzed

# save a picture of the current frame
cv2.imwrite('after_iteration.png', frame)

# print properties after iteration
pos_msec = cap.get(cv2.cv.CV_CAP_PROP_POS_MSEC)
pos_frames = cap.get(cv2.cv.CV_CAP_PROP_POS_FRAMES)
print ('attributes after iteration: pos_msec = {}, pos_frames = {}'
      .format(pos_msec, pos_frames))

# assert that the capture (thinks it) is where it is supposed to be
# (assertions succeed)
assert pos_frames == 1000 + 1 # (+1: iteration started with second frame)
assert pos_msec == 10000 + 10

# manually set the capture to msec position 10010
# note that this should change absolutely nothing in theory
cap.set(cv2.cv.CV_CAP_PROP_POS_MSEC, 10010)

# print properties  again to be extra sure
pos_msec = cap.get(cv2.cv.CV_CAP_PROP_POS_MSEC)
pos_frames = cap.get(cv2.cv.CV_CAP_PROP_POS_FRAMES)
print ('attributes after setting msec pos manually: pos_msec = {}, pos_frames = {}'
      .format(pos_msec, pos_frames))

# save a picture of the next frame, should show the same clock as
# previously taken image - but does not
_, frame = cap.read()
cv2.imwrite('after_setting.png', frame)

выход MCVE

на print операторы производят следующий вывод.

cv2 версия = 2.4.9.1
начальные атрибуты: fps = 100.0, pos_msec = 0.0, pos_frames = 0.0
атрибуты после чтения: pos_msec = 10010.0, pos_frames = 1001.0
атрибуты после установки msec pos вручную: pos_msec = 10010.0, pos_frames = 1001.0

как вы можете видеть, все свойства имеют ожидаемые значения.

imwrite сохраняет следующие фотографии.

first_frame.формат PNG

after_iteration.формат PNG

after_setting.формат PNG

вы можете увидеть проблему на втором снимке. Цель 9:26:15 (часы реального времени на картинке) пропустил более двух протокол. Установка целевого времени вручную (третье изображение) устанавливает видео в (почти) правильное положение.

что я делаю неправильно и как это исправить?

и

cv2 2.4.9.1 @ Ubuntu 16.04
cv2 2.4.13 @ Scientific Linux 7.3 (три компьютера)
cv2 3.1.0 @ Scientific Linux 7.3 (три компьютера)

создание захвата с

cap = cv2.VideoCapture('demo.avi', apiPreference=cv2.CAP_FFMPEG)

и

cap = cv2.VideoCapture('demo.avi', apiPreference=cv2.CAP_GSTREAMER)

в OpenCV 3 (версия 2, похоже, не имеет