Воспроизведение входящего потока RTP с помощью GStreamer

Я разрабатываю приложение GStreamer и борюсь с реализацией игрока для входящих потоков RTP. Я пытаюсь построить трубопровод вокруг элемента gstrtpbin. Я пытаюсь смоделировать трубопровод, используя конструкцию gst-launch:

VIDEO_CAPS="application/x-rtp,media=(string)video,clock-rate=(int)90000,encoding-name=(string)H264"

gst-launch -v udpsrc caps=$VIDEO_CAPS port=4444 
              ! gstrtpbin .recv_rtp_sink_0 
              ! rtph264depay ! ffdec_h264 ! xvimagesink

при запуске скрипта GStreamer сообщает об этих ошибках:

Setting pipeline to PAUSED ...
Pipeline is live and does not need PREROLL ...
Setting pipeline to PLAYING ...
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpSession:rtpsession0: ntp-ns-base = 3469468914024449000
New clock: GstSystemClock
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpSession:rtpsession0.GstPad:recv_rtp_sink: caps = application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264
/GstPipeline:pipeline0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_sink_0: caps = application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264
/GstPipeline:pipeline0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_sink_0.GstProxyPad:proxypad0: caps = application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpSession:rtpsession0.GstPad:recv_rtp_src: caps = application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpSsrcDemux:rtpssrcdemux0.GstPad:sink: caps = application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpJitterBuffer:rtpjitterbuffer0.GstPad:src: caps = application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpJitterBuffer:rtpjitterbuffer0.GstPad:sink: caps = application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpPtDemux:rtpptdemux0.GstPad:sink: caps = application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264
/GstPipeline:pipeline0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_src_0_960476599_33.GstProxyPad:proxypad1: caps = application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264, payload=(int)33
ERROR: from element /GstPipeline:pipeline0/GstUDPSrc:udpsrc0: Internal data flow error.
Additional debug info:
gstbasesrc.c(2378): gst_base_src_loop (): /GstPipeline:pipeline0/GstUDPSrc:udpsrc0:
streaming task paused, reason not-linked (-1)
Execution ended after 209381685 ns.
Setting pipeline to PAUSED ...
Setting pipeline to READY ...
/GstPipeline:pipeline0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_src_0_960476599_33: caps = NULL
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpPtDemux:rtpptdemux0.GstPad:src_33: caps = NULL
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpPtDemux:rtpptdemux0.GstPad:sink: caps = NULL
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpJitterBuffer:rtpjitterbuffer0.GstPad:sink: caps = NULL
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpJitterBuffer:rtpjitterbuffer0.GstPad:src: caps = NULL
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpSsrcDemux:rtpssrcdemux0.GstPad:src_960476599: caps = NULL
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpSsrcDemux:rtpssrcdemux0.GstPad:sink: caps = NULL
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpSession:rtpsession0.GstPad:recv_rtp_src: caps = NULL
/GstPipeline:pipeline0/GstRtpBin:rtpbin0/GstRtpSession:rtpsession0.GstPad:recv_rtp_sink: caps = NULL
/GstPipeline:pipeline0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_sink_0: caps = NULL
/GstPipeline:pipeline0/GstUDPSrc:udpsrc0.GstPad:src: caps = NULL
Setting pipeline to NULL ...
Freeing pipeline ...

Я должен упомянуть, что он работает с файлом playbin и SDP. Например, этот файл:

v=0
o=- 1188340656180883 1 IN IP4 127.0.0.1
s=Session streamed by GStreamer
i=server.sh
t=0 0
a=tool:GStreamer
a=type:broadcast
m=video 4444 RTP/AVP 96
c=IN IP4 127.0.0.1
a=rtpmap:96 H264/90000

можно использовать для игры поток такой:

gst-launch -vvv playbin uri=file://`pwd`/stream.sdp

для полноты: я использую VLC для отправки данных. Это команда:

vlc -I rc /usr/local/movies/sample.mp4 
    --screen-fps=10 :screen-caching=100 
    --sout='#transcode{vcodec=h264,venc=x264{bframes=0,keyint=40},vb=512}:
                   rtp{mux=ts,dst=127.0.0.1,port=4444}'

кто-нибудь поможет мне понять, почему сценарий запуска gst терпит неудачу? Ошибка "причина не связана" заставляет меня думать, что связь между gstrtpbin и элементами rtph264depay нарушена. Но я не знаю как это исправить.

редактировать
Следуя предложениям РАОФА, я исправил несколько ошибок в своей команде. Однако я использую ffdec_h264 и autovideosink, потому что в моей системе Windows у меня нет плагинов fluh264dec и xvimage:

gst-launch-0.10 udpsrc port=4444 caps="application/x-rtp,media=(string)video,clock-rate=(int)90000,encoding-name=(string)H264" ! .recv_rtp_sink_0 gstrtpbin ! rtpmp2tdepay ! mpegtsdemux ! ffdec_h264 ! autovideosink 

что приводит к новым ошибкам:

0:00:00.743000000   516   024070A8 ERROR                 ffmpeg .:0:: non-existing PPS referenced
0:00:00.744000000   516   024070A8 ERROR                 ffmpeg .:0:: non-existing PPS referenced
0:00:00.745000000   516   024070A8 ERROR                 ffmpeg .:0:: decode_slice_header error
0:00:00.745000000   516   024070A8 ERROR                 ffmpeg .:0:: no frame!
0:00:00.812000000   516   024070A8 ERROR                 ffmpeg .:0:: non-existing PPS referenced
0:00:00.813000000   516   024070A8 ERROR                 ffmpeg .:0:: non-existi
...
ERROR: from element /GstPipeline:pipeline0/GstUDPSrc:udpsrc0: Internal data flow
 error.
Additional debug info:
..Sourcegstreamerlibsgstbasegstbasesrc.c(2378): gst_base_src_loop (): /Gst
Pipeline:pipeline0/GstUDPSrc:udpsrc0:
streaming task paused, reason not-negotiated (-4)
Execution ended after 4790000000 ns.
Setting pipeline to PAUSED ...
Setting pipeline to READY ...
Setting pipeline to NULL ...
Freeing pipeline ...

Я все еще пытаюсь выяснить, как это исправить. Если вы можете помочь, не стесняйтесь.

Edit2
Я снова протестировал решение SDP и заметил, что ошибки" несуществующего PPS " также возникают, но видео воспроизводится. С другой стороны, роковое "ошибка внутреннего потока данных" отображается только при использовании пользовательского решения конвейера. Я подозреваю, что ошибки" несуществующего PPS " вызваны кодировщиком x264. "Внутренняя ошибка потока данных" должна быть вызвана ошибкой в моем конвейере или, возможно, ошибкой в каком-либо плагине Windows. Я проведу дальнейшие исследования...

3 ответов


насколько я могу судить, у вас есть две проблемы:

во-первых, кажется, что порядок спецификации раковины важен: а не ... ! gstrtpbin .recv_rtp_sink_0 ! ... вам нужно ... ! .recv_rtp_sink_0 gstrtpbin ! ....

во-вторых, vlc отправляет транспортный поток MPEG2-у вас есть mux=ts в РТП потоковый дескриптор вывода - но ты пытаешься depayload сырой H264 поток. Вам нужно depayload поток ts, а затем demux его, чтобы получить данные потока h264.

так, наконец, трубопровод

gst-launch-0.10 -v udpsrc port=4444 \
caps="application/x-rtp,media=(string)video,clock-rate=(int)90000,encoding-name=(string)H264" \
! .recv_rtp_sink_0 gstrtpbin ! rtpmp2tdepay \
! mpegtsdemux ! fluh264dec ! xvimagesink

работает для меня, используя TS demuxer (mpegtsdemux) и декодер h264 (fluh264dec).


gst-launch-0.10-vvvv rtspsrc location=rtsp: / / 192.168.250.100: 554 задержка=100 ! application / x-rtp,media="video",полезная нагрузка=99,тактовая частота=90000,кодировка-имя="H264" ! rtph264depay ! ffdec_h264 ! ffmpegcolorspace ! xvimagesink

это работает для меня с "Grandtec Electronic MegaPixel WIFI CAM"


вы также можете попробовать этот.

gst-launch-0.10 -v rtspsrc location="rtsp://10.107.2.217/StreamingSetting?version=1.0&action=getRTSPStream&ChannelID=1&ChannelName=Channel1" user-id=admin user-pw=admin123 caps=" application/x-rtp,media=(string)video,clock-rate=(int)90000,encoding-name=(string)H264,payload=(int)96,ssrc=(uint)237526004,clock-base=(uint)1584170994,seqnum-base=(uint)42626" port=554 ! rtph264depay queue-delay=0 ! h264parse ! decodebin2 ! queue leaky=1 ! autovideosink

его также работает, когда ваша потоковая передача по Сети безопасна, и его работы на

rtsp://10.107.2.217

RTSP Port : 554

Video Codec : H.264

надеюсь, это полезно для вас, ребята.