Как извлечь информацию об ориентации из видео?

после просмотра тонны документации в интернете кажется, что iPhone всегда снимает видео с соотношением сторон 480x360 и применяет матрицу преобразования на видеотреке. (480x360 может измениться, но всегда одинаково для данного устройства)

вот способ изменения источника ffmpeg в проекте iOS и доступа к матрице http://www.seqoy.com/correct-orientation-for-iphone-recorded-movies-with-ffmpeg/

здесь более чистый способ поиска матрицы преобразования в iOS-4 как обнаружить (iPhone SDK), если видеофайл был записан в портретной ориентации или ландшафте.

как можно извлечь ориентацию видео в любом из вариантов ниже -
- iOS 3.2
- ffmpeg (через серверную часть командной строки)
- Руби!--11-->

любая помощь будет оценили.

6 ответов


поскольку большинство камер хранят свое вращение / ориентацию в exif-метаданных, я бы предложил использовать exifttool и рубиновая оболочка под названиемmini_exiftool, который активно поддерживается.

установить exiftool:

apt-get exiftool || brew install exiftool || port install exiftool

или использовать то, что когда-либо менеджер пакетов доступен

установить mini_exiftool:

gem install mini_exiftool

попробуй:

irb>
require 'mini_exiftool'
movie = MiniExiftool.new('test_movie.mov')
movie.orientation #=> 90

ура


из того, что я нашел до сих пор, ffmpeg не имеет возможности определять ориентацию iPhone. Но библиотека с открытым исходным кодом, mediainfo может. Пример командной строки:

$ mediainfo test.mp4 | grep Rotation
Rotation                         : 90°

больше примеров вывода из того же iphone видео:

Video
ID                               : 1
Format                           : AVC
Format/Info                      : Advanced Video Codec
Format profile                   : Baseline@L3.0
Format settings, CABAC           : No
Format settings, ReFrames        : 1 frame
Codec ID                         : avc1
Codec ID/Info                    : Advanced Video Coding
Duration                         : 7s 941ms
Bit rate mode                    : Variable
Bit rate                         : 724 Kbps
Width                            : 480 pixels
Height                           : 360 pixels
Display aspect ratio             : 4:3
Rotation                         : 90°
Frame rate mode                  : Variable
Frame rate                       : 29.970 fps
Minimum frame rate               : 28.571 fps
Maximum frame rate               : 31.579 fps
Color space                      : YUV
Chroma subsampling               : 4:2:0
Bit depth                        : 8 bits
Scan type                        : Progressive
Bits/(Pixel*Frame)               : 0.140
Stream size                      : 702 KiB (91%)
Title                            : Core Media Video
Encoded date                     : UTC 2011-06-22 15:58:25
Tagged date                      : UTC 2011-06-22 15:58:34
Color primaries                  : BT.601-6 525, BT.1358 525, BT.1700 NTSC, SMPTE 170M
Transfer characteristics         : BT.709-5, BT.1361
Matrix coefficients              : BT.601-6 525, BT.1358 525, BT.1700 NTSC, SMPTE 170M

можно использовать ffprobe. Не нужно никаких grep или любые другие дополнительные процессы или любые операции регулярного выражения для анализа вывода, Как показано в других ответах.

если вы хотите повернуть метаданные:

:
ffprobe -loglevel error -select_streams v:0 -show_entries stream_tags=rotate -of default=nw=1:nk=1 input.mp4

пример:

90

если вы хотите данные по стороны вращения матрицы дисплея:

:
ffprobe -loglevel error -select_streams v:0 -show_entries side_data=rotation -of default=nw=1:nk=1 input.mp4

пример:

-90

если вы хотите, чтобы отобразить матрица:

:
ffprobe -loglevel error -select_streams v:0 -show_entries side_data=displaymatrix -of default=nw=1:nk=1 input.mp4

пример:

00000000:            0       65536           0
00000001:       -65536           0           0
00000002:     15728640           0  1073741824

что означают параметры

  • -loglevel error опустите заголовок и другую информацию из вывода.

  • -select_streams v:0 обрабатывайте только первый видеопоток и игнорируйте все остальное. Полезно, если ваш вход содержит несколько видеопотоков, и вы хотите только информацию из одного.

  • -show_entries stream_tags=rotate выбирает для вывода rotate тег из видеопотока.

  • -of default=nw=1:nk=1 использовать по умолчанию формат, но опустите включая обертки заголовка/нижнего колонтитула раздела и каждый ключ поля.

формат

вывод ffprobe может быть отформатирован несколькими способами. Например, JSON:

ffprobe -loglevel error -show_entries stream_tags=rotate -of json input.mp4
{
    "streams": [
        {
            "tags": {
                "rotate": "90"
            },
            "side_data_list": [
                {

                }
            ]
        }
    ]

ffmpeg сообщает метаданные со значением поворота для .mov файлы:

ffmpeg -i myrotatedMOV.mov

....

Duration: 00:00:14.31, start: 0.000000, bitrate: 778 kb/s
    Stream #0:0(und): Video: h264 (Baseline) (avc1 / 0x31637661), yuv420p, 480x360, 702 kb/s, 29.98 fps, 30 tbr, 600 tbn, 1200 tbc
    Metadata:
      rotate          : 180
      creation_time   : 2013-01-09 12:47:36
      handler_name    : Core Media Data Handler
    Stream #0:1(und): Audio: aac (mp4a / 0x6134706D), 44100 Hz, mono, s16, 62 kb/s
    Metadata:
      creation_time   : 2013-01-09 12:47:36
      handler_name    : Core Media Data Handler

в моем приложении я вытаскиваю его с помощью regex, т. е. в python:

import subprocess, re    
cmd = 'ffmpeg -i %s' % pathtofile

p = subprocess.Popen(
    cmd.split(" "),
    stderr = subprocess.PIPE,
    close_fds=True
)
stdout, stderr = p.communicate()

reo_rotation = re.compile('rotate\s+:\s(?P<rotation>.*)')
match_rotation = reo_rotation.search(stderr)
rotation = match_rotation.groups()[0]

Я не пробовал это с широким диапазоном видео, только пару .movs записан с iphone5, используя ffmpeg версии 1.0. Но пока все хорошо.


похоже на ответ @HdN8, но без регулярного выражения python:

$ ffprobe   -show_streams any.MOV  2>/dev/null  | grep rotate
TAG:rotate=180

или JSON:

$ ffprobe -of json  -show_streams IMG_8738.MOV  2>/dev/null  | grep rotate
"rotate": "180",

или вы можете проанализировать JSON (или другой выходной формат).


я извлек на iOS с помощью AVAssetExportSession, AVMutableComposition и входной avassettrack's preferredTransform. Я объединяю предпочтительное преобразование с преобразованием для заполнения целевого размера.

после экспорта в файл я загружаю с помощью ASIHTTPRequest на сервер rails и отправляю данные в Amazon S3 с помощью скрепки.