智能手机中的视频解码

2018-11-28 19:00 [复制链接] 74 0

作者 | Video++极链科技移动端Team祁晟暘
整理 | 包包
说到移动端解码视频,主要就是两种,一种是使用硬件进行解码,另一种就是使用软件来解码。说到解码就需要说一下手机的CPU,比如说市面上的高通骁龙845,海思麒麟980,三星猎户座9810还有苹果A12,这些其实严格意义上并不是CPU,而是SoC(System on a Chip),它由CPU、GPU、DSP 等芯片集成在一起。

(图: 高通骁龙845模块图)


其中DSP就是我们硬解音视频的主角。DSP就是数字信号处理(Digital Signal Processing),专门负责音视频解码方面的算法处理。他对视频解码的能力远大于CPU,里面固定了一些特定的算法,使之能快速的解开容器,并将解出来的视频流每帧转YUV(YCbCr)格式,然后交给GPU 转成RGB 并最终渲染出来。其中CPU不会做大负担的事,所以使用率不高,使用硬解视频基本不会造成手机发热。

(图:使用DSP解码简略流程)


软解就是DSP做的事全部软解就是DSP做的事全部交给CPU做,CPU负担较大,通常使用率要在20以上,分辨率和码率的提升会进一步加大CPU的消耗。CPU较差的手机没几分钟就会明显发热。那软解的优势在哪儿呢?因为DSP作为硬件,算法已经完全固定下来(部分可以通过固件更新),所以只能解码它所支持的,如果对编码处理不同有可能就无法解码成功。而软解则可扩展性强,它可以将所需要解析的步骤、格式等全部写入程序中,然后需要什么就对应进行解码。所以有些时候硬解可能会发生绿屏或者花屏,而软解则正常。目前主流的软解就是ffmpeg,配合OpenGL ES等用于成像功能的SDK就可以实现简单的播放器。

(图:使用软件解码简略流程)


我这儿再说说苹果移动设备方面的硬解吧。系统iOS 8以前所有的硬解都无法让开发者深入开发,只能通过系统播放器AVPlayer来播放视频,或者通过访问系统私有api,很不方便。
iOS 8起苹果开放了将硬件解析的库让开发者能够调用,就是VideoToolBox。说到这个可以先看看苹果SoC支持哪些方面的硬解。容器方面仍旧为通用的mp4,mov,m4a,其中视频流压缩格式支持的为A4-A6的H.264/AVC/MPEG-4 Part 10 (until profile 100 and up to level 5.1),MPEG-4 Part 2 和H.263;芯片A7起添加了H.264's profile 110,它允许各个颜色通道从8 位编码增加到10 位,这使更高级别的色彩细节成为可能,这个功能通常用于电视台或者媒体编辑行业。
从A11开始苹果SoC中的DSP也对新的编码格式H.265进行了支持,H.265旨在在有限带宽下传输更高质量的网络视频,仅需原先的一半带宽即可播放相同质量的视频,这个对目前日常使用习惯向偏向移动设备是一个利好的编码格式。
平常我们所说的mp4和MPEG-4不是一个内容,mp4 只是一个容器,它包含有视频流Video Stream 比如H.264和音频流Audio Stream 比如aac,而MPEG-4就是视频流的一个标准压缩格式。苹果设备以前没有办法播放flv容器的视频,只能完全通过软解,而如果这个flv封装的是一个标准的H.264和aac,那么开发者只需要靠CPU去解开该视频的容器(如ffmpeg的demuxer),拿到H.264的视频流和aac的音频流,将视频流交给VideoToolBox处理,则视频的解码可以依靠DSP,也就降低了CPU 的负荷,最终使用DSL或OpenGL ES进行成像(使用GPU)。

(图:借助VideoToolBox实现视频流使用DSP解码简略流程)



使用道具 举报 只看该作者 回复
最新评论 | 正序浏览
只看楼主|楼层直达:
*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|站点地图|Video++ ( 沪ICP备14042830-6号

Powered by video++

快速回复 返回顶部 返回列表