ffmpeg-视频播放器的原理

​
​

视音频封装格式数据分为flv、mkv、 mp4、rmvb、ts等等格式

封装格式的作用

视频码流和音频码流按照一定的格式存储在一个文件中

封装格式分析工具  Elecard Format Analyzer

 

视音频数据通过解封装后得到音频压缩数据（AAC、MP3、AC-3、WMA等）

音频编码的作用

将音频采样数据（PCM等）压缩成为音频码流，从而降低音频的数据量

音频编码分析工具

暂不涉及

视音频数据通过解封装后的到的视频压缩数据（HEVC（H.265）、H.264、MPEG4、MPEG2、VP9、VP8、VC-1）

视频编码的作用

将视频像素数据（RGB、YUV等）压缩成为视频码流，从而降低视频的数据量

视频编码分析工具

Elecard Stream Eye

经过第一层解码，现在第二层解码

音频压缩数据解码为音频采样数据（PCM等）

音频采样数据作用：

保存了音频中每个采样点的值。

特点：

音频采样数据体积很大，一般情况下4分钟的PCM格式的体积为：

4*60*44100*2*2=42.3Mbyte

这里的采样率设为44100Hz，采样精度为16bit

音频采样数据查看工具： Adobe Audition

 

视频压缩数据被解码为视频像素数据（RGB 、YUV等）

视频像素数据的作用：

保存了屏幕上每个像素点的像素值

格式：

常见的像素数据格式有RGB24，RGB32、YUV420P、YUV422P、YUV444P等，

压缩编码中一般使用的是YUV格式的像素数据，最为常见的格式为YUV420P

特点视频像素数据体积大，一般情况下一小时的高清视频的RGB24格式的数据体积为

3600*25*1920*1080*3=559.9GByte

这里假定帧率为25 Hz,取样精度为8bit

YUV格式像素数据查看工具

YUV Player

RGB格式简介

Red、Green、Blue三种颜色，可以混合成世界上所有颜色，

每个像素点都是由R、G、B三个分量组成

最后是视音频的同步，也是比较难的部分