摄像头视频信号数据格式及接口技术

此文包括视频数据格式、传输协议、端子等内容。

一. 图像传感器数据格式（即图像格式，软件方面）

1.1 图像传感器数据

通常所说的30万像素或130万像素等，指的是有30万或130万个感光点。每一个感光点只能感光一种颜色。图像传感器原始数据是RAW RGB格式（R、G、B中的一种），每个像素只有一种颜色。在Sensor模组的内部会有一个ISP模块，会将Sensor采集到的数据进行插值和特效处理，例如：如果一个感光点感应的颜色是R，那么，ISP模块就会根据这个感光点周围的G、B感光点的数值来计算出此点的G、B值，那么，这一点的RGB值就被还原了，然后在编码成601或656的格式传送给Host。经过彩色插值就变成RGB。RGB 每个像素都有三种颜色，每一个的值在0~255之间。

1.2 输出的数据格式

图像传感器输出格式主要分两种：YUV（比较流行），RGB，YCbCr。

图像传感器将光信号转换为RGB三基色电信号。视频信号色差信号 由于摄像机中的原始信号和电视机、监视器里的最终信号都是RGB信号，因此使用RGB信号作为视频信号的传输和记录方式无疑会有较高的图像质量。但在实际应用中往往不是这样，因为一则这会极大地加宽视频信号带宽，增加相关设备成本；二则这也与现行的黑白电视不兼容。为此三基色信号按一定比例组合成亮度(Y)和色度(U，V)信号，它们之间的关系如下：

　　 即：蓝色差信号(B-Y)、红色差(R-Y)两个 色差信号和一个亮度信号（Y）。色差接口在XBOX、PS2、PS3、DVD中有色差信号输出。家用电视机中有色差信号输入端子，有两个插头，一个插头为蓝色代表蓝色差信号，一个插头为红色代表红色差信号。色差信号可以转换为RGB、YUV、Video等信号。为了使U、V和Y能在一个频带内传输，到达黑白/彩色视频信号接收兼容的目的，还需将这两个色度信号进行正交幅度调制。设U(t)，V(t)为色度信号，Y(t)为亮度信号，

• RGB RGB是最常见的色彩空间。这其中的RGB就是Raw RGB，是sensor的bayer阵列获取的数据（每种传感器获得对应的颜色亮度）； 但是输出的数据不等于就是图像的实际数据，模组测试时，就要写一个软件，完成数据采集（获得Raw data）－>彩色插值（目的是获得RGB格式，便于图像显示）－>图像显示；
• YUV是一种基本色差空间，被PAL，NTSC,SECAM用于符合色差视频标准。Y表示亮度，U和V表示色调。常用格式：
  ---YUV 4：4：4--YUV 4：2：2--YUV 4：2：0--YUV 4：1：1
• YCbCr是将YUV缩放和偏移的改动版本。

1.3 数据编码标准

（1）采样频率

为了保证信号的同步，采样频率必须是电视信号行频的倍数。CCIR为NTSC、PAL和SECAM制式制定的共同的电视图像采样标准：
fs＝13.5MHz
这个采样频率正好是PAL、SECAM制行频的864倍，NTSC制行频的858倍，可以保证采样时采样时钟与行同步信号同步。对于4：2：2的采样格式，亮度信号用fs频率采样，两个色差信号分别用
fs／2＝6.75MHz的频率采样。由此可推出色度分量的最小采样率是3.375MHz。

（2）分辨率

根据采样频率，可算出对于PAL和SECAM制式，每一扫描行采样864个样本点；对于NTSC制则是858个样本点。由于电视信号中每一行都包括一定的同步信号和回扫信号，故有效的图像信号样本点并没有那么多，CCIR 601规定对所有的制式，其每一行的有效样本点数为720点。由于不同的制式其每帧的有效行数不同（PAL和SECAM制为576行，NTSC制为484行），CCIR定义720×484为高清晰度电视HDTV（High Definition TV）的基本标准。实际计算机显示数字视频时，通常采用下表的参数：

电视制式 分辨率 帧 率
NTSC 640×480 30
PAL 768×576 25

（3） 数据量

CCIR 601规定，每个样本点都按8位数字化，也即有256个等级。但实际上亮度信号占220级，色度信号占225级，其它位作同步、编码等控制用。如果按fs的采样率、4：2：2的格式采样，则数字视频的数据量为：
13.5(MHz)×8(bit)＋2×6.75(MHz)×8(bit) = 27Mbyte / s
同样可以算出，如果按4：4：4的方式采样，数字视频的数据量为每秒40兆字节！按每秒27兆字节的数据率计算，一段10秒钟的数字视频要占用270兆字节的存储空间。按此数据率，一张680兆字节容量的光盘只能记录约25秒的数字视频数据信息，而且即使目前高倍速的光驱，其数据传输率也远远达不到每秒27兆字节的传输要求，视频数据将无法实时回放。这种未压缩的数字视频数据量对于目前的计算机和网络来说无论是存储或传输都是不现实的，因此，在多媒体中应用数字视频的关键问题是数字视频的压缩技术。

（4）视频压缩格式

二.视频信号（即硬件电子的电压电流信号）

视频信号协议有RGB/TTL, LVDS，VGA, HDMI, MIPI, TYPE-C, DP, BT656/601, BT1120,DVI、SDI、Camera link、HS-LINK、CoaXPress，标清CVBS、高清模拟（AHD,CVI,TVI）、COAX-FPD LINK III等。

RGB/TTL、MIPI、LVDS常用于芯片之间通讯；目前在视频会议领域CVBS、VGA、DVI、HDMI、SDI使用最广泛，在广播电视领域CVBS、HDMI、SDI使用最广泛，在安防领域CVBS、SDI使用最广泛。

--VGA是Video Graphics Array的缩写，是计算机的常用模拟输出接口。常见的分辨率有1024x768、1280x1024、1600x1200.

--HDMI是High Definition Multimedia Interface的缩写，是数字高清多媒体接口。HDMI 1.2的最大视频带宽为3.96 Gbps,这在工业相机应用比较广泛，但是在消费电子领域HDMI目前已经发展到2.0版本，最大视频带宽为14.4 Gbps。

--DVI是Digital Visual Interface的缩写，也是计算机的常用输出接口，该接口是数字接口。

--HS-LINK接口是由DALSA公司牵头定义

--SDI是Serial Digital Interface的缩写，是一种广播级的高清数字输入和输出端口，常用于广播电视的摄像机接口，SDI接口的传输速率上限为2.97Gbps.SDI接口采用和CVBS接口一样的BNC接口，采用单根铜轴进行信号传输，布线施工非常方便，传输距离可达300米，在最初的广电领域和安防领域非常受欢迎。

--CVBS是标清模拟视频信号接口，分辨率为720x576（PAL制）或者720X480（NTSC制）。

--高清模拟

AHD TVI CVI都是模拟摄像机的升级版，俗称同轴，三种名称只是用的方案系统不一样而已，相比模拟的效果清晰，和模拟的外观都是一样的bnc接口，视频线传输，优点都是实时流畅，占用储存空间小，但是和模拟的要用不同的录像机。

1. CVI，全名为“高清复合影像接口”（High Definition Composite Video Interface，HDCVI），是由浙江大华技术股份有限公司自主研发，于2012年底公布的规格；
2. TVI，全名叫“高清影像传输接口”（High Definition Transport Video Interface，HDTVI），则是由来自美国硅谷的Techpoint Inc公司研发，也是目前杭州海康威视数字技术股份有限公司主力推广的规格
3. AHD，全名为“模拟高清”（Analog High Definition），则是由韩国Nextchip公司推出的模拟高清解决方案。
   CVI、TVI、AHD在同轴线缆上实现高清传输，且传输距离增长明显;都具有相比普通模拟更高清晰度、无亮色串扰的效果;相比SDI传输更远、抗干扰能力强;相比网络高清具有没有延时、图像无损、操作方便等特点。-- AHD模拟高清摄像机，是模拟摄像头的一种，它和传统模拟设备一样操作，用普通视频线SYV-75-3或者75-5同轴线传输，但是可以实现低成本、长距离、抗干扰、无延时的百万像素级高清视频传输。--HDTVI高清视频传输接口摄像机，它是一种基于同轴电缆的高清视频传输规格。HDCVI高清复合视频高清摄像机，是一种基于同轴电缆的高清视频传输规范，采用模拟调制技术传输逐行扫描的高清视频。HDCVI技术采用自主知识产权的自适应技术，保证了在75-3及以上规格的同轴电缆至少传输500米高质量高清视频，突破了高清视频现有传输技术的传输极限。 在使用中，CVI、TVI、AHD都沿袭模拟标清传输的途径和方法，可减少施工部署的复杂度，降低辅材成本及维护复杂度，以及对施工人员的技术要求;适用于旧系统的升级改造，可在不改变原有系统的基础上，将标清轻松升级为高清。 CVI、TVI、AHD模拟高清区别

--COAX-FPD LINK III

汽车领域常用德州仪器推出的COAX-FPD LINK III的接口方案，使用同轴线传输。

不同信号接口需要通过转换芯片才能传输通信：

三.视频接口常用的连接器

视频信号常与音频信号分开传输，视频传输质量：复合视频信号 < S视频信号 < 色差分量信号<VGA < DVI <HDMI.

3.1复合视频信号（标准AV接口）

复合视频接口（AV接口或Video接口），是目前最普遍的一种视频接口，几乎所有电视机、影碟机都有这个接口。它是音频、视频分离的视频接口，一般由三个独立RCA插头（又叫梅花接口、RCA接口）组成，其中V接口连接混合视频信号，为黄色插口；L接口连接左声道声音信号，为白色插口；R接口连接右声道声音信号，为红色插口。复合视频接口有两种端子：RCA端子和BNC端子。RCA端子就是通常所说的莲花头和莲花座，BNC端子就是BNC头和BNC座。RCA端子既可用在复合视频接口，也可用在音频接口，如果用在音频接口的话，通常又叫3.5莲花头。

• BNC连接器75表示电阻，后面的3和5表示其绝缘外径(3mm/5mm )。视频线：75-3传输距离约200米；75-5传输距离约500米；75-7传递速度距离约为500--800米；75-9传递速度距离约1000---1500米；75-12传速距离约为2000----3500米。

• RCA连接器（俗称莲花头）

3.2 S-端子(或Y/C ）

S接口也是非常常见的接口，其全称是Separate Video，也称为SUPER VIDEO。S-Video连接规格是由日本人开发的一种规格，S指的是“SEPARATE（分离）”，它将亮度和色度分离输出，避免了混合视讯讯号输出时亮度和色度的相互干扰。S接口实际上是一种五芯接口，由两路视亮度信号、两路视频色度信号和一路公共屏蔽地线共五条芯线组成。

3.3 视频色差输入接口

分量视频接口也叫色差输出/输入接口，又叫3RCA。分量视频接口通常采用YPbPr和YCbCr两种标识。分量视频接口/色差端子是在S端子的基础上，把色度（C）信号里的蓝色差（b）、红色差（r）分开发送，其分辨率可达到600线以上，可以输入多种等级讯号，从最基本的480i到倍频扫描的480P，甚至720P、1080i等等。如显卡上YPbPr接口采用9针S端子（mini-DIN）然后通过色差输出线将其独立传输。

3.4 VGA

VGA是Video Graphics Adapter的缩写，信号类型为模拟类型，视频输出端的接口为15针母插座，视频输入连线端的接口为15针公插头。VGA端子含红（R）、黄（G）、篮（B）三基色信号和行（HS）、场（VS）扫描信号。

3.5 DVI+DP

DVI接口与VGA都是电脑中最常用的接口，与VGA不同的是，DVI是以全数字传输的接口，所以在画质上保证了完全无压缩的传输。但并不代表其只是在电脑中的接口，实际上，无论VGA与DVI在其他领域应用的都非常广泛，比如数字化的电视等等。

标准DP接口:宽约17MM，高约6.3MM;

DVI-D接口：DVI 24+1接口，宽约24MM,高约7.8MM，DVI-D只能传输数字信号;

DVI-I接口：DVI 24+5接口，宽约24MM,高约7.8MM，DVI-I可传输数字信号与模拟信号，可用于数模转换DVI转VGA。

3.6 DB

D型接口是电脑上常见的数据接口，因形状似字母D，故而命名。

DB9 ：宽约18MM,高约9MM，串行通信接口RS232 即DB9针接口;

DB25：宽约38MM,高约8MM，并行打印机 LPT 25孔 --DB25

DB36：宽约50MM,高约13MM，并口打印机 36针

3.7苹果系列

苹果专有的 DVI 连接器将模拟和视频信号加上 USB 和电源线合二为一。现在，苹果使用标准的 DVI 连接器，但是你可能会在旧设备上发现这些显示器连接器。

苹果系列接口主要分3个类型，见上图。

--Mini DP接口：宽约7.6MM,高约4.6MM。Mini DP接口与DP接口协议一致，可互转;

--ThunderBolt：雷电接口，宽约7.6MM,高约4.6MM。绿联Mini DP接口完美兼容雷电接口;

--Mini DVI接口：宽约11.3MM,高约7MM。

3.8 HDMI

高清晰度多媒体接口（英文：High Definition Multimedia Interface，HDMI）是一种数字化视频/音频接口技术，是适合影像传输的专用型数字化接口，其可同时传送音频和影音信号，最高数据传输速度为5Gbps。同时无需在信号传送前进行数/模或者模/数转换。HDMI可搭配宽带数字内容保护（HDCP），以防止具有著作权的影音内容遭到未经授权的复制。

常见的HDMI接口有3类，如上图示。

HDMI A TYPE：标准HDMI接口，宽约15MM, 高约5MM;

HDMI C TYPE：Mini HDMI接口，宽约10.5MM, 高约2.5MM;

HDMI D TYPE：Micro HDMI接口，宽约6MM, 高约2.3MM，手机等数码设备高清接口

3.9 USB

3.10 以太网

3.11 音频接口