[FFmpeg] 如何通过实时摄像头帧图片生成 rtmp 直播流?

背景

• 已经完成用 Python 对摄像头硬件实时提取帧图像并进行一系列机械视觉处理
• 客户突然提出, 一定要通过 rtml:// 进行远程工作状态的监控

分析

• 因为硬件驱动的原因
• 系统中一个 usb camera, 同一时刻, 只能有一个加载进程来读取实时帧图像
• 如果如客户自己实验通过的:
  • 用 FFmpeg -f dshow -i video="... -f mpegts -f flv "rtmp://20878.... 形式
  • 从硬件直接拿视频并实时编译为 flv 编码的 rtmp 直播流
  • 那么, 原先软件将无法获得合法的帧图像进行业务分析

尝试

• 知道 FFmpeg 有能力从图片中编译出 avi/mp4/... 视频
• 那么一定也可以编译为 rtmp 直播流

问题

动态固定图片

尝试将实时帧图像,另外输出到硬盘固定图片文件, 内容动态变化,

命令改变为: ffmpeg -f image2 -loop 1 -i "path/2/frame.png" ...

但是, 无论怎么调整参数,都只能工作十多帧就崩溃了, 报错都是类似:

... Error while decoding stream #0:0: Invalid data found when processing input Last message repeated 1 times Past duration 0.799995 too large [flv @ 0x7fabfa001800] Failed to update header with correct duration.34.3kbits/s dup=0 drop=1120 speed=7.25x [flv @ 0x7fabfa001800] Failed to update header with correct filesize. frame= 1730 fps=109 q=5.5 Lsize= 330kB time=00:01:55.40 bitrate= 234.3kbits/s dup=0 drop=1120 speed=7.24x video:3273kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.832250% 

系列静态图片

而将帧图像持续输出为一系列有命名规模的静态图片后, 参考:

• ffmpeg Documentation
  • ffmpeg -f image2 -framerate 12 -i foo-%03d.jpeg -s WxH foo.avi
  • ffmpeg -f image2 -pattern_type glob -framerate 12 -i 'foo-*.jpeg' -s WxH foo.avi
• ffmpeg Documentation
  • ffmpeg -i frame_%d.jpg -c:v copy rotated.avi
• saveVideo: ffmpeg drops frames (use -framerate on input) Issue #74 yihui/animation
  • ffmpeg -y -framerate 30 -i Rplot%d.png -c:v libx264 30f.mp4
  • ffmpeg -y -framerate 30 -r 30 -i Rplot%d.png -c:v libx264 30fr.mp4
  • ffmpeg -y -r 30 -i Rplot%d.png -c:v libx264 30r.mp4
• ...

无论怎么折腾参数, 都无法工作, 报错为:

... Metadata: encoder : Lavf57.71.100 Stream #0:0: Video: flv1 (flv) ([2][0][0][0] / 0x0002), yuv420p, 480x270, q=2-31, 200 kb/s, 25 fps, 1k tbn, 25 tbc Metadata: encoder : Lavc57.89.100 flv Side data: cpb: bitrate max/min/avg: 0/0/200000 buffer size: 0 vbv_delay: -1 [flv @ 0x7ff53d008600] Failed to update header with correct duration. [flv @ 0x7ff53d008600] Failed to update header with correct filesize. frame= 20 fps=0.0 q=9.7 Lsize= 173kB time=00:00:00.76 bitrate=1867.3kbits/s speed=10.1x video:173kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.300397% 

所以, 综合以上, 想知道如何能通过动态图片 /实时增长的系列图片 实时编译为 rmtp 直播流?

或是说, 思路上还有什么选择?