技术标签: 每日笔记
0.视频播放器原理
编码
录像(视频)、录音(音频),实质上是一个压缩采集到的图像或者音频数据的过程,这个过程又称为编码。那为什么需要编码(压缩)呢?因为设备采集到的音视频数据太大了,如果不进行压缩,占用的空间太大,不利于传输等。
解码
播放视频或者音频文件,实质上是一个解压缩的过程,这个过程又称为解码。那为什么又要解码(解压缩)呢?因为播放器播放需要的是音频采样数据、视频像素数据,通俗一点来说就是需要的是编码之前的数据,所以需要解码来获取。
如下图展示了播放器播放视频的原理:
1.什么是ffmpeg?
1.ffmpeg 是音视频处理核心技术,要成为音视频领域的开发高手,不可不学 ffmpeg,一个完整的跨平台解决方案,用于录制,转换和流式传输音频和视频的技术。
2.腾讯视频、爱奇艺、阿里影音、均有大量 音视频开发工程师的需求。
3.ffmpeg 源代码 采用 c 编写
2.ffmpeg 音视频编/解码 流程图
如下所示流程图:
如上图所示,音视频文件已流形式经编码 encode 之后成为 packet,packet 被解码之后成为视频帧frame
3.ffmpeg 常用 struct
AVFormatContext
AVFormatContext 主要存储视音频封装格式中包含的信息
AVStream
AVStream 存储一个视频/音频流的相关数据
AVCodecContext
流解码器容器-每个AVStream对应一个AVCodecContext,存储该视频/音频流使用解码方式的相关数据、如 codec_type 编码器类型。
AVCodec
解码器-每个AVCodecContext中对应一个AVCodec,包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。
AVPacket
视频,每个结构一般是存一帧;音频可能有好几帧
帧(stream)数据编码后的数据,或解码为 帧(stream) 数据前的数据存储格式为AVPacket
AVFrame
包(Packet)数据解码之后以帧(frame)的结构存在。
4.ffmpeg 常用Api
av_register_all()
注册所有 ffmpeg 解码器, 如果需要使用支持特定类型音视频解码的解码器则需要使用 void av_register_input_format(AVInputFormat *format);
avformat_alloc_output_context2()
初始化输出码流的AVFormatContext。
avio_open()
创建并初始化AVIOContext以访问 url 指示的资源。
av_new_stream()
创建新流,此新流用于添加到新的媒体文件
avcodec_find_encoder()
查找编码器,一般是用来将数据帧进行编码,并生成新的输出文件。
avcodec_open2()
打开编码器
avformat_write_header()
写文件头(对于某些没有文件头的封装格式,不需要此函数。比如说MPEG2TS)。
avcodec_encode_video2()
将 frame 进行编码,并转化为 packet 进行存储
av_write_frame()
Write a packet to an output media file. 将编码后的视频码流写入文件
flush_encoder()
Write the stream trailer to an output media file and free the file private data。
将流预告片写入输出媒体文件并释放文件私人数据。
其实上述常用Api 是一个视频流文件进行编码并输出编码后文件常用的Api
ffmpeg编码视频的流程图
如下所示:
ffmpeg解码视频的流程图
4 分享-解决问题的思路
最近接触 ffmpeg 是因为部门业务需要,之前个人从未接触过 ffmpeg。
4.1 业务目标
通过调用 ffmpeg Api 实现截取视频任意一帧。
4.2 出现的问题
1.个人对视频当中某一帧获取流程不是很了解;
2.读源码过程中 有些 ffmpeg Api 看不懂;
4.3 问题的根本原因
1.对视频播放的本质不清楚,其实视频的本质是一帧一帧的图片拼接起来的结果;
2.没有耐心读 ffmpeg 源码,因为没学过c ;
3.对未知的从未尝试过的事情有些许排斥。
4.4 解决问题的方案
1.了解视频播放原理-知道了解码、编码等问题 (完成100%)
2.了解ffmpeg、解码、编码(所以解决方案的第一步是前提)、学习编码/解码相关流程,(毕竟视频的生成、播放与编解码是分不开的)、以及相关Api (完成100%)
3.尝试读前辈代码、并提取实现业务的 keycode、文档输出等。(2018-10-23日晚上下班前输出相关文档)
同时还有音视频同步,这个是很重要的。
1、FFmpeg常用命令实战
FFmpeg音视频处理流程讲解
FFmpeg基本信息查询命令
文章浏览阅读2.9k次,点赞8次,收藏14次。测试主要做什么?这完全都体现在测试流程中,同时测试流程是面试问题中出现频率最高的,这不仅是因为测试流程很重要,而是在面试过程中这短短的半小时到一个小时的时间,通过测试流程就可以判断出应聘者是否合适,故在测试流程中包含了测试工作的核心内容,例如需求分析,测试用例的设计,测试执行,缺陷等重要的过程。..._测试过程管理中包含哪些过程
文章浏览阅读870次,点赞16次,收藏19次。1.背景介绍政府数字化政务是指政府利用数字技术、互联网、大数据、人工智能等新技术手段,对政府政务进行数字化改革,提高政府工作效率,提升政府服务质量的过程。随着人工智能(AI)和机器学习(ML)技术的快速发展,政府数字化政务中的人工智能与机器学习应用也逐渐成为政府改革的重要内容。政府数字化政务的人工智能与机器学习应用涉及多个领域,包括政策决策、政府服务、公共安全、社会治理等。在这些领域,人工...
文章浏览阅读219次,点赞2次,收藏4次。系统主要的用户为用户、管理员,他们的具体权限如下:用户:用户登录后可以对管理员上传的学习视频进行学习。用户可以选择题型进行练习。用户选择小程序提供的考研科目进行相关训练。用户可以进行水平测试,并且查看相关成绩用户可以进行错题集的整理管理员:管理员登录后可管理个人基本信息管理员登录后可管理个人基本信息管理员可以上传、发布考研的相关例题及其分析,并对题型进行管理管理员可以进行查看、搜索考研题目及错题情况。_mysql刷题软件
文章浏览阅读1.4k次。myelipse里有UML1和UML2两种方式,UML2功能更强大,但是两者生成过程差别不大1.建立Test工程,如下图,uml包存放uml类图package com.zz.domain;public class User {private int id;private String name;public int getId() {return id;}public void setId(int..._根据以下java代码画出类图
文章浏览阅读174次。需求:一个topic包含很多个表信息,需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。发送到Kafka中的数据原本最外层原本没有pkDay和project,只有data和name。因为担心data里面会空值,所以根同事商量,让他们在最外层添加了project和pkDay字段。pkDay字段用于表的自动分区,proejct和name合起来用于自动拼接hive表的名称为 ..._flume拦截器自定义开发 kafka
文章浏览阅读380次。原标题:Java Spring中同时访问多种不同数据库 多样的工作要求,可以使用不同的工作方法,只要能获得结果,就不会徒劳。开发企业应用时我们常常遇到要同时访问多种不同数据库的问题,有时是必须把数据归档到某种数据仓库中,有时是要把数据变更推送到第三方数据库中。使用Spring框架时,使用单一数据库是非常容易的,但如果要同时访问多个数据库的话事件就变得复杂多了。本文以在Spring框架下开发一个Sp..._根据输入的不同连接不同的数据库
文章浏览阅读3.6k次,点赞9次,收藏25次。本案例描述了晶振屏蔽以及开关电源变压器屏蔽对系统稳定工作的影响, 硬件设计时应考虑。_eft电路图
文章浏览阅读1.1k次。对于物料价格的更改,可以采取不同的手段:首先,我们来介绍MR21的方式。 需要说明的是,如果要对某一产品进行价格修改,必须满足的前提条件是: ■ 1、必须对价格生效的物料期间与对应会计期间进行开启; ■ 2、该产品在该物料期间未发生物料移动。执行MR21,例如更改物料1180051689的价格为20000元,系统提示“对于物料1180051689 存在一个当前或未来标准价格”,这是因为已经对该..._mr21 对于物料 zba89121 存在一个当前或未来标准价格
文章浏览阅读7.4k次,点赞3次,收藏13次。[文章导读]联想启天M420是一款商用台式电脑,预装的是win10系统,用户还是喜欢win7系统,该台式机采用的intel 8代i5 8500CPU,在安装安装win7时有很多问题,在安装win7时要在BIOS中“关闭安全启动”和“开启兼容模式”,并且安装过程中usb不能使用,要采用联想win7新机型安装,且默认采用的uefi+gpt模式,要改成legacy+mbr引导,那么联想启天M420台式电..._启天m420刷bios
文章浏览阅读2.7k次,点赞2次,收藏9次。一,为什么要冗余数据互联网数据量很大的业务场景,往往数据库需要进行水平切分来降低单库数据量。水平切分会有一个patition key,通过patition key的查询能..._保证冗余性
文章浏览阅读88次。是时候闭环Java应用了 原创 2016-08-16 张开涛 你曾经因为部署/上线而痛苦吗?你曾经因为要去运维那改配置而烦恼吗?在我接触过的一些部署/上线方式中,曾碰到过以下一些问题:1、程序代码和依赖都是人工上传到服务器,不是通过工具进行部署和发布;2、目录结构没有规范,jar启动时通过-classpath任意指定;3、fat jar,把程序代码、配置文件和依赖jar都打包到一个jar中,改配置..._那么需要把上面的defaultjavatyperesolver类打包到插件中
文章浏览阅读909次。1.得下载一个番茄插件,按alt+g才可以有函数跳转功能。2.不安装番茄插件,按F12也可以有跳转功能。3.进公司的VS工程是D:\sync\build\win路径,.sln才是打开工程的方式,一个是VS2005打开的,一个是VS2013打开的。4.公司库里的线程接口,在CmThreadManager.h 里,这个里面是我们的线程库,可以直接拿来用。CreateUserTaskThre..._番茄助手颜色