热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

MediaCodec视频解码流程详解及参考demo

一、MediaCodec简介MediaCodec是Android自带的底层多媒体支持架构的一部分(通常与MediaExtractor,MediaSync

一、MediaCodec简介

        MediaCodec是Android自带的底层多媒体支持架构的一部分(通常与 MediaExtractor,MediaSync,MediaMuxer,MediaCrypto,MediaDrm,Image,Surface 和 AudioTrack 一起使用)。可以用来访问底层媒体编解码器,即编码器/解码器的组件。

        使用MediaCodec编解码即我们常说的硬编解码,它的优势是使用底层硬件编解码,效率比软编解码FFmpeg要高出不少。但劣势是由于硬编解码依赖于手机厂商的硬件设计,导致不同机型的效果可能千差万别,不好管控和统一。

        因此在实际开发中,使用软编解码或硬编解码还是要看具体的实际场景。


二、MediaCodec生命周期

        MediaCodec 有三种状态,分别是执行(Executing)、停止(Stopped)和释放(Released),其中执行和停止分别有三个子状态,执行的三个字状态分别是 Flushed、Running 和 Stream-of-Stream,停止的三个子状态分别是 Uninitialized、Configured 和 Error,MediaCodec 生命周期示意图如下:

        同步模式下:

         异步模式下:

         当创建了 MediaCodec 之后,是处于未初始化的 Uninitialized 状态,调用 configure 方法之后就处于 Configured 状态,调用了 start 方法之后,就处于 Executing 状态。

        在 Executing 状态下开始处理数据,它又有三个子状态,分别是:Flushed、RunningEnd of Stream。当一调用 start 方法之后,就进入了 Flushed 状态,从输入缓冲区队列中取出一个缓冲区就进入了 Running 状态,当入队的缓冲区带有 EOS 标志时, 就会切换到 End of Stream 状态, MediaCodec 不再接受入队的缓冲区,但是仍然会对已入队的且没有进行编解码操作的缓冲区进行操作、输出,直到输出的缓冲区带有 EOS 标志,表示编解码操作完成了。

        在 Executing 状态下可以调用 flush 方法,使 MediaCodec 切换到 Flushed 状态。

        在 Executing 状态下可以调用 stop 方法,使 MediaCodec 切换到 Uninitialized 状态,然后再次调用 configure 方法进入 Configured 状态。另外,当调用 reset 方法也会进入到 Uninitialized 状态。

        当不再需要 MediaCodec 时,调用 release 方法将它释放掉,进入 Released 状态。

        当 MediaCodec 工作发生异常时,会进入到 Error 状态,此时还是可以通过 reset 方法恢复过来,进入 Uninitialized 状态。


三、MediaCodec解码流程

        下面将讲解使用mediacodec对mp4的视频文件进行解码的API使用流程。本文主要是采用同步的解码方式。

        解码流程工作模型:

 


1、创建mediacodec并初始化

        可通过createDecoderByType来创建mediacodec:

mediaCodec = MediaCodec.createDecoderByType("video/avc");

        上面表示创建了一个解码器,并指定了解码类型为avc的视频解码器。

        初始化主要是为了给这个解码器设置一些格式,配置等,如下完整的创建和初始代码:

private void initMediaCodecSys() {try {//创建mediaCodec = MediaCodec.createDecoderByType("video/avc");//格式mediaFormat = MediaFormat.createVideoFormat("video/avc", 1280, 720);mediaExtractor = new MediaExtractor();//MP4 文件存放位置mediaExtractor.setDataSource(MainActivity.MP4_PLAY_PATH);Log.d(TAG, "getTrackCount: " + mediaExtractor.getTrackCount());for (int i = 0; i

2、视频解码线程

        视频解码线程主要内容就是进行解码的流程控制。这个阶段的相应API有如下:

// 获取可用的输入缓冲区的索引public int dequeueInputBuffer (long timeoutUs)// 获取输入缓冲区public ByteBuffer getInputBuffer(int index)// 将填满数据的inputBuffer提交到编码队列public final void queueInputBuffer(int index,int offset, int size, long presentationTimeUs, int flags)// 获取已成功编解码的输出缓冲区的索引public final int dequeueOutputBuffer(BufferInfo info, long timeoutUs)// 获取输出缓冲区public ByteBuffer getOutputBuffer(int index)// 释放输出缓冲区public final void releaseOutputBuffer(int index, boolean render)

        获取可用的输入缓冲区的索引:

int inputIndex = mediaCodec.dequeueInputBuffer(-1);

        获取输入缓冲区:

ByteBuffer byteBuffer = mediaCodec.getInputBuffer(inputIndex);

        读取相关数据:

//读取一片或者一帧数据
int sampSize = mediaExtractor.readSampleData(byteBuffer, 0);
//读取时间戳
long time = mediaExtractor.getSampleTime();

        将填满数据的inputBuffer提交到编码队列:

if (sampSize > 0 && time > 0) {mediaCodec.queueInputBuffer(inputIndex, 0, sampSize, time, 0);//读取一帧后必须调用,提取下一帧//控制帧率在30帧左右mSpeedController.preRender(time);mediaExtractor.advance();
}

        获取已成功编解码的输出缓冲区的索引:

BufferInfo bufferInfo = new BufferInfo();
int outIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);

        输出缓冲区:

if (outIndex >= 0) {mediaCodec.releaseOutputBuffer(outIndex, true);
}

        完整的视频解码线程代码如下:

/*** Play the MP4 file Thread* 解码主流程*/
private class DecoderMP4Thread extends Thread {long pts = 0;@Overridepublic void run() {super.run();while (!isDecodeFinish) {int inputIndex = mediaCodec.dequeueInputBuffer(-1);Log.d(TAG, "inputIndex: " + inputIndex);if (inputIndex >= 0) {ByteBuffer byteBuffer = mediaCodec.getInputBuffer(inputIndex);//读取一片或者一帧数据int sampSize = mediaExtractor.readSampleData(byteBuffer, 0);//读取时间戳long time = mediaExtractor.getSampleTime();if (sampSize > 0 && time > 0) {mediaCodec.queueInputBuffer(inputIndex, 0, sampSize, time, 0);//读取一帧后必须调用,提取下一帧//控制帧率在30帧左右mSpeedController.preRender(time);mediaExtractor.advance();}}BufferInfo bufferInfo = new BufferInfo();int outIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);if (outIndex >= 0) {mediaCodec.releaseOutputBuffer(outIndex, true);}}}
}

3、解码结束关闭回收

        完成解码播放后,对相关内存回收和关闭处理:

public void close() {try {Log.d(TAG, "close start");if (mediaCodec != null) {isDecodeFinish = true;try {if (mDecodeMp4Thread != null) {mDecodeMp4Thread.join(2000);}} catch (InterruptedException e) {Log.e(TAG, "InterruptedException " + e);}boolean isAlive = mDecodeMp4Thread.isAlive();Log.d(TAG, "close end isAlive :" + isAlive);mediaCodec.stop();mediaCodec.release();mediaCodec = null;mSpeedController.reset();}} catch (IllegalStateException e) {e.printStackTrace();}instance = null;
}

        至此,整个视频解码流程就讲解完毕。


四、demo运行

        本人写了一个最简单的demo,使用mediacodec对mp4文件进行纯视频的解码播放,采用同步方式。

        该demo的解码对象mp4文件是内置在了raw/video.mp4,如果需要替换视频文件,可以替换这里:

         demo运行效果如下:

         点击START进行播放:

         播放过程中点击STOP可以停止播放。

        完整例子已经放到github上,如下:

        https://github.com/weekend-y/mediacodec_demo/tree/master/MediaCodec_DecodeMP4

        


推荐阅读
  • Android工程师面试准备及设计模式使用场景
    本文介绍了Android工程师面试准备的经验,包括面试流程和重点准备内容。同时,还介绍了建造者模式的使用场景,以及在Android开发中的具体应用。 ... [详细]
  • 本文介绍了解决二叉树层序创建问题的方法。通过使用队列结构体和二叉树结构体,实现了入队和出队操作,并提供了判断队列是否为空的函数。详细介绍了解决该问题的步骤和流程。 ... [详细]
  • 高质量SQL书写的30条建议
    本文提供了30条关于优化SQL的建议,包括避免使用select *,使用具体字段,以及使用limit 1等。这些建议是基于实际开发经验总结出来的,旨在帮助读者优化SQL查询。 ... [详细]
  • 栈和队列的共同处和不同处
    本文主要介绍了栈和队列的共同处和不同处。栈和队列都是由几个数据特性相同的元素组成的有限序列,也就是线性表。队列是限定仅在表的一端插入元素、在另一端删除元素的线性表,遵循先进先出的原则。栈是限定仅在表尾进行插入或删除操作的线性表,遵循后进先出的原则。 ... [详细]
  • 深入理解Kafka服务端请求队列中请求的处理
    本文深入分析了Kafka服务端请求队列中请求的处理过程,详细介绍了请求的封装和放入请求队列的过程,以及处理请求的线程池的创建和容量设置。通过场景分析、图示说明和源码分析,帮助读者更好地理解Kafka服务端的工作原理。 ... [详细]
  • 李逍遥寻找仙药的迷阵之旅
    本文讲述了少年李逍遥为了救治婶婶的病情,前往仙灵岛寻找仙药的故事。他需要穿越一个由M×N个方格组成的迷阵,有些方格内有怪物,有些方格是安全的。李逍遥需要避开有怪物的方格,并经过最少的方格,找到仙药。在寻找的过程中,他还会遇到神秘人物。本文提供了一个迷阵样例及李逍遥找到仙药的路线。 ... [详细]
  • 重入锁(ReentrantLock)学习及实现原理
    本文介绍了重入锁(ReentrantLock)的学习及实现原理。在学习synchronized的基础上,重入锁提供了更多的灵活性和功能。文章详细介绍了重入锁的特性、使用方法和实现原理,并提供了类图和测试代码供读者参考。重入锁支持重入和公平与非公平两种实现方式,通过对比和分析,读者可以更好地理解和应用重入锁。 ... [详细]
  • 本文介绍了在Android开发中使用软引用和弱引用的应用。如果一个对象只具有软引用,那么只有在内存不够的情况下才会被回收,可以用来实现内存敏感的高速缓存;而如果一个对象只具有弱引用,不管内存是否足够,都会被垃圾回收器回收。软引用和弱引用还可以与引用队列联合使用,当被引用的对象被回收时,会将引用加入到关联的引用队列中。软引用和弱引用的根本区别在于生命周期的长短,弱引用的对象可能随时被回收,而软引用的对象只有在内存不够时才会被回收。 ... [详细]
  • STL迭代器的种类及其功能介绍
    本文介绍了标准模板库(STL)定义的五种迭代器的种类和功能。通过图表展示了这几种迭代器之间的关系,并详细描述了各个迭代器的功能和使用方法。其中,输入迭代器用于从容器中读取元素,输出迭代器用于向容器中写入元素,正向迭代器是输入迭代器和输出迭代器的组合。本文的目的是帮助读者更好地理解STL迭代器的使用方法和特点。 ... [详细]
  • 深入解析Linux下的I/O多路转接epoll技术
    本文深入解析了Linux下的I/O多路转接epoll技术,介绍了select和poll函数的问题,以及epoll函数的设计和优点。同时讲解了epoll函数的使用方法,包括epoll_create和epoll_ctl两个系统调用。 ... [详细]
  • 本文介绍了一道经典的状态压缩题目——关灯问题2,并提供了解决该问题的算法思路。通过使用二进制表示灯的状态,并枚举所有可能的状态,可以求解出最少按按钮的次数,从而将所有灯关掉。本文还对状压和位运算进行了解释,并指出了该方法的适用性和局限性。 ... [详细]
  • linux进阶50——无锁CAS
    1.概念比较并交换(compareandswap,CAS),是原⼦操作的⼀种,可⽤于在多线程编程中实现不被打断的数据交换操作࿰ ... [详细]
  • 第七课主要内容:多进程多线程FIFO,LIFO,优先队列线程局部变量进程与线程的选择线程池异步IO概念及twisted案例股票数据抓取 ... [详细]
  • 本文介绍了Android 7的学习笔记总结,包括最新的移动架构视频、大厂安卓面试真题和项目实战源码讲义。同时还分享了开源的完整内容,并提醒读者在使用FileProvider适配时要注意不同模块的AndroidManfiest.xml中配置的xml文件名必须不同,否则会出现问题。 ... [详细]
  • 本文介绍了栈和队列的区别及其特点。栈是一种先进后出的线性表,只能在表的一端进行插入和删除操作;队列是一种先进先出的线性表,只能在表的一端进行插入和在另一端进行删除操作。栈和队列是两种广泛使用的线性数据结构,它们的基本操作具有特殊性。栈的遍历需要遍历整个栈才能取出数据,并需要为数据开辟临时空间,而队列基于地址指针进行遍历,可以从头或尾部开始遍历,但不能同时遍历,且无需开辟临时空间。栈和队列在程序设计中具有重要应用。 ... [详细]
author-avatar
一截藏青线
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有