封装格式
封装格式(Format)是将已经编码压缩好的视频流和音频流按照一定的格式规范,放到一个文件中。对于网络点播 而言,更加合适的术语应该叫“流媒体网络传输协议”。在互联网中使用最为广泛的协议为:
MP4:非常经典的文件格式,iOS/Android/PC Web 三端支持度都很好。但是 MP4 的视频文件头太大,结 构复杂;如果视频较长(如长达数小时),则其文件头会过大,影响视频加载速度。所以其更适用于短视频场 景。 HLS(HTTP Live Streaming):苹果公司力推的标准,iOS/Android端支持度较好,但 IE 的支持情况依赖 Flash 的二次开发工作(建议使用腾讯视频云的 Flash 播放器控件)。其精简的 m3u8 的索引结构可以规避 MP4 的索引慢问题,如果是用于点播,是非常不错的选择。
FLV:Adobe 公司所推的标准,在 PC 端有 Flash 的强力支持,但在移动终端只有 App 实现播放器才有可能 支持(建议使用腾讯视频云的 Flash 播放器控件),大部分手机端浏览器均不支持。
视频编码相关术语
编码方式 编码方式(Codec)能够对数字视频进行压缩或者解压缩(视频解码)的程序或者设备。常见的编码方式包括:
H.26X 系列,由 ITU(国际电信联盟)主导。该系列标准中,目前应用最广泛的是 H.264,其继任者为 H.265。同等画质下,H.265 的压缩率可以比 H.264 提高一倍,但受制于专利等因素,H.265 的应用尚未普 及。 MPEG 系列,由 ISO(国际标准组织机构)下属的 MPEG(运动图象专家组)主导。 其他系列,例如 Google 主导的 VP8、VP9,Real 公司主导的 RealVideo 等。
码率
码率(Bitrate)是单位时间播放连续媒体(如压缩后的音频或视频)所需的比特数量,测量单位为“比特每 秒”(bit/s或bps)。
帧率
帧率(Frame Rate)是单位时间内视频显示帧数的量度单位,测量单位为“每秒显示帧数”(Frame Per Second,FPS)或“赫兹”。
分辨率
分辨率(Resolution)是用以描述视频对细节的分辨能力,通常表示为每一个方向上的像素数量,如640 x 480 等。
GOP
GOP(Group of Pictures)是一组以 MPEG 编码的影片或视讯串流内部的连续图像,以 I 帧开头,到下一个 I 帧结束。一个 GOP 包含如下图像类型:
I 帧(Intra Coded Picture):节点编码图像。一个固定影像,且独立于其它的图像类型,每个 GOP 由此类型 的图像开始。 P 帧(Predictive Coded Picture):预测编码图像。包含来自先前的 I 帧或 P 帧的差异信息。 B 帧(Bidirectionally Predictive Coded Pictures):前后预测编码图像。包含来自先前和/或之后的I帧或 P帧的差异信息。
一个 GOP 内的帧数,称为 GOP 长度。
IDR 帧对齐
IDR 帧 (Instantaneous Decoding Refresh Picture) 是 I 帧的一种。与普通 I 帧的区别在于,一个 IDR 帧 之后的所有帧都不能引用该 IDR 帧之前的帧的内容;相反,对于普通的 I 帧,其后的 P 帧和 B 帧可以引用该普通 I 帧之前的其他 I 帧。
对于视频点播场景,播放器一般都会支持随机拖动视频到指定位置。播放器直接选择到指定位置附近的 IDR 帧进行 播放最为便捷,因为播放器可以明确知道该 IDR 帧之后的所有帧都不会引用其之前的其他 I 帧,从而可以避免较为 复杂的反向解析。
在对同一个视频进行多码率时,如果指定 IDR 帧对齐(IDR Frame Alignment),则意味着所有输出视频的 IDR 帧在时间点、帧内容方面都保持精确同步,此时播放器便可实现多码率视频平滑切换,从而不用出现较为明显 的切换卡顿。
在腾讯云点播平台中,如果在转码时指定 IDR 帧对齐,则多路输出格式的 帧率、GOP 长度、编码方式、封装格式 必须相同。
编码档次 编码档次(Profile)是针对特定应用场景的特定编码功能的集合。H.264 规定了三种主要档次:
Baseline:支持 I/P 帧,只支持无交错(Progressive)和 CAVLC,一般用于低阶或需要额外容错的应用, 如视频通话、手机视频等即时通讯领域; Main:提供 I/P/B 帧,支持无交错(Progressive)和交错(Interlaced),同样提供对于 CAVLC 和 CABAC 的支持,用于主流消费类电子产品规格如低解码(相对而言)的 MP4、便携的视频播放器、PSP 和 iPod 等;
High:在 Main 的基础上增加了 8x8 内部预测、自定义量化、无损视频编码和更多的 YUV 格式(如 4:4:4),用于广播及视频碟片存储(蓝光影片),高清电视的应用。
颜色空间 颜色空间(Color Space)使用一组值(通常使用三个、四个值或者颜色成分)表示颜色方法的抽象数学模型。
视频处理相关术语
视频降噪
所谓视频噪音,是由传感器、扫描仪电路或数码相机产生的图像的亮度或彩色随机变动。视频噪音也源自于胶片粒 度和不变的量子检测器中的点噪声。 视频噪音通常被看作图像获取中不需要的成分。而视频降噪,则是除去这些不 必要的噪声,保留视频中比较重要的细节等信息。
去隔行扫描
在模拟电视时代,播放设备的处理速度与网络带宽都存在限制。为了在确保不降低帧率的前提下降低传输码率,隔 行扫描技术应运而生,该技术可以在图像质量下降不多的情况下,将视频传输带宽降低一半。但隔行扫描带来的负 面影响也不可忽视,如清晰度较低、容易产生闪烁、图像边缘锯齿化等。 目前,视频播放设备与网络带宽都已经得到长足发展,故而隔行扫描已经在逐步淘汰。部分新型设备已经不再支持 隔行扫描。因此,对于部分历史遗留的、使用隔行扫描技术的视频,需要进行“去隔行扫描”操作。
音频编码参数
编码方式
编码方式(Codec)是将声音从模拟信号转换为数字信号(或反向转换)的方式。主要包括无损编码和有损编码两 种方式。根据采样定理,音频编码只能“无限接近”自然信号,故而所有的音频编码方式实质上都是有损的。在计 算机领域中,通常约定能够达到最高保真水平的 PCM 编码为无损编码。互联网中常见的音频编码均为有损编码, 常见的编码格式有 MP3、AAC 等。
采样率 采样率(Sample Rate)是每秒从连续信号中提取并组成离散信号的采样个数,单位为赫兹(HZ)。
码率 参见视频上文视频编码相关术语中码率(Bitrate)的描述。
声道
声道(Sound Channel)是指声音在录制(或播放)时,在不同空间位置采集(或播放)的相互独立的音频信 号。所谓声道数,也就是声音录制时的音源数量或播放时的扬声器数量。