Qtffmpeg API存储和显示摄像头视频
Qt中ffmpeg API存储和显示摄像头视频的功能需要之前写的视频ffmpegAPI的视频播放的流程。
代码源码位置:https://download.csdn.net/download/qq_43812868/88157743?spm=1001.2014.3001.5503
一、存储和显示摄像头的视频的流程
这是读取打开视频文件的流程,视频文件在avformat_open_input参数中,最终将数据传递到av_frame_alloc创建的AVFrame。
这个是存储的流程,将第一部分的AVFrame数据传递进来,之后通过av_interleaved_write_frame写入到媒体文件。
二、相关结构体介绍
在了解使用api之前,还需要先了解一下ffmpeg中的相关结构体,在了解了这些结构体之后,可以更容易的理解代码。
AVFormatContext:此结构体存储音视频封装格式中包含的信息,并且这个结构体是贯穿整个播放流程的。在这个结构体中主要包含AVInputFormat,AVOutputFormat、AVStream等。
struct AVInputFormat *iformat; // 输入数据的封装格式
AVIOContext *pb; // 输入数据的缓存
unsigned int nb_streams; // 音视频流的个数
AVStream **streams; // 音视频流
char filename[1024]; // 文件名
int64_t duration; // 时长(单位:微秒us,转换为秒需要除以1000000)
int bit_rate; // 比特率(单位bps,转换为kbps需要除以1000)
AVDictionary *metadata; // 元数据
**AVCodecContext:**是一个描述编解码器上下文的结构体,包含了众多编解码器需要的参数信息。
enum AVMediaType codec_type; // 编解码器的类型(视频,音频...)
struct AVCodec *codec; // 采用的解码器AVCodec(H.264,MPEG2...)
int bit_rate; // 平均比特率
uint8_t *extradata; int extradata_size; // 针对特定编码器包含的附加信息(例如对于H.264解码器来说,存储SPS,PPS等)
AVRational time_base; // 根据该参数,可以把PTS转化为实际的时间(单位为秒s)
int width, height; // 如果是视频的话,代表宽和高
int refs; // 运动估计参考帧的个数(H.264的话会有多帧,MPEG2这类的一般就没有了)
int sample_rate; // 采样率(音频)
int channels; // 声道数(音频)
enum AVSampleFormat sample_fmt; // 采样格式
int profile; // 型(H.264里面就有,其他编码标准应该也有)
int level; // 级(和profile差不太多)
AVCodec:是存储编码器信息的结构体。
const char *name; // 编解码器的名字的简称
const char *long_name; // 编解码器名字的全称
enum AVMediaType type; // 指明了类型,是视频,音频,还是字幕
enum AVCodecID id; // ID,不重复
const AVRational *supported_framerates; // 支持的帧率(仅视频)
const enum AVPixelFormat *pix_fmts; // 支持的像素格式(仅视频),如RGB24、YUV420P等。
const int *supported_samplerates; // 支持的采样率(仅音频)
const enum AVSampleFormat *sample_fmts; // 支持的采样格式(仅音频)
const uint64_t *channel_layouts; // 支持的声道数(仅音频)
int priv_data_size; // 私有数据的大小
AVFrame:该结构描述解码的(原始的)音频或视频数据。AVFrame必须使用av_frame_alloc()进行分配。请注意,这只是分配AVFrame本身,必须管理数据的缓冲区通过其他方式。AVFrame必须使用av_frame_free()释放。
AVPacket:是存储压缩编码数据相关信息的结构体。
uint8_t *data; // 压缩编码的数据。
/* 例如对于H.264来说。1个AVPacket的data通常对应一个NAL。
注意:在这里只是对应,而不是一模一样。他们之间有微小的差别:使用FFMPEG类库分离出多媒体文件中的H.264码流。因此在使用FFMPEG进行音视频处理的时候,常常可以将得到的AVPacket的data数据直接写成文件,从而得到音视频的码流文件。*/
int size; // data的大小
int64_t pts; // 显示时间戳
int64_t dts; // 解码时间戳
int stream_index; // 标识该AVPacket所属的视频/音频流。
三、ffmpeg函数介绍
int avformat_alloc_output_context2 (AVFormatContext **ctx, ff_const59 AVOutputFormat *oformat, const char *format_name, const char *filename);
功能:为输出格式分配AVFormatContext。
参数:
ctx:设置为创建的格式上下文,或者在失败时设置为NULL;
oformat:如果使用NULL format_name和filename,则用于分配上下文的格式;
format_name:如果使用NULL文件名,则用于分配上下文的输出格式的名称;
filename:用于分配上下文的文件名,可以是NULL;
返回值:
AVCodec* avcodec_find_encoder (enum AVCodecID id);
功能:根据AVCodecID寻找已经注册的编码器;
参数:已经注册的编码器ID;
返回值:返回寻找到的编码器;
AVStream* avformat_new_stream (AVFormatContext *s, const AVCodec *c);
功能:为AVFormatContext添加一个新的流;
参数:
s:媒体文件
c:编码器,如果为空,与新流相对应的AVCodecContext将被初始化以使用该编解码器。这是需要的,例如,要设置特定于编解码器的默认值,因此如果已知,则应提供编解码器
返回值:新创建的流或出现错误时为NULL;
AVCodecContext* avcodec_alloc_context3 (const AVCodec *codec);
功能:分配AVCodecContext并将其字段设置为默认值;
参数:如果非NULL,则分配专用数据并初始化给定编解码器的默认值。然后用不同的编解码器调用avcodec_open2()是非 法的。如果为NULL,则编解码器特定的默认值将不会初始化,这可能会导致次优的默认设置(这主要对编码器很重 要,例如libx264)。
返回值:AVCodecContext已填充默认值或失败时为NULL;
int avcodec_open2 (AVCodecContext *avctx, const AVCodec *codec, AVDictionary **options);
功能:初始化AVCodecContext以使用给定的AVCodec。在使用此函数之前,必须使用avcodec_alloc_text3()分配上下文。
参数:
avctx:要初始化的上下文;
codec:要为其打开此上下文的编解码器。如果之前已将非NULL编解码器传递给avcodec_alloc_text3()或此上下文,则此参数必须为NULL或等于之前传递的编解码器;
options:一个充满AVCodecContext和编解码器专用选项的字典。返回时,此对象将填充未找到的选项。可以为nullptr;
返回值:成功时为零,错误时为负值;
int avcodec_parameters_from_context (AVCodecParameters *par, const AVCodecContext *codec);
功能:根据提供的编解码器上下文中的值填充参数结构。par中任何分配的字段都将被释放,并替换为编解码器中相应字段的副本;
参数:
par:AVCodecParamteres结构体;
codec:编码器上下文;
返回值:>=成功时为0,失败时为负AVERROR代码;
int avio_open(AVIOContext **s, const char *url, int flags);
功能:创建并初始化AVIOContext以访问url指示的资源。
参数:
s 用于返回指向创建的AVIOContext的指针。如果发生故障,则指向的值将设置为NULL;
url 要访问url的资源;
flags 标志用于控制url指示的资源的方式的标志将被打开;
返回值:return>=0如果成功,则为负值,对应于发生故障时的AVERROR代码
av_warn_unused_result int avformat_write_header (AVFormatContext *s, AVDictionary **options);
功能:分配流专用数据并将流头写入输出媒体文件。
参数:
s 媒体文件句柄,必须使用avformat_alloc_context()进行分配。其oformat字段必须设置为所需的输出格 式;其pb字段必须设置为已打开的AVIOContext;
options充满AVFormatContext和muxer私有选项的AVDictionary。返回时,此参数将被销毁,并替换为包含未 找到的选项的dict。可能为NULL;
返回值:如果编解码器尚未在avformat_INIT中完全初始化,则AVSTREAM_INIT_IN_WRITE_HEADER成功;如果编解码 器已在avformat_INIT中完全启动,则AVSTEAM_INIT_INIT_OUTPUT成功;如果失败,则为负AVERROR。
void av_packet_rescale_ts (AVPacket *pkt, AVRational tb_src, AVRational tb_dst);
功能:将数据包中的有效时间字段(时间戳/持续时间)从一个时基转换为另一个时基。具有未知值(AV_NOPTS_VALUE)的时间戳将被忽略。
参数:
pkt 将对其执行转换的pkt数据包;
tb_src 源时基,其中表示pkt中的定时字段;
tb_dst 目标时基,定时字段将转换为该时基;
返回值:
int av_interleaved_write_frame(AVFormatContext *s, AVPacket *pkt);
功能:将数据包写入输出媒体文件,确保正确交错;
参数:
s 媒体文件句柄
pkt 包含要写入的数据的数据包。
返回值:成功时为0,错误时为负AVERROR
四、代码
#ifndef FFMPEGAPISAVEVIDEO_H
#define FFMPEGAPISAVEVIDEO_H
#include <QObject>
#include <QDebug>
#include <QThread>
extern "C"{
#include "libavutil/avassert.h"
#include "libavutil/channel_layout.h"
#include "libavutil/opt.h"
#include "libavutil/imgutils.h"
#include "libavformat/avformat.h"
#include "libswscale/swscale.h"
#include "libswresample/swresample.h"
#include "libavdevice/avdevice.h"
#include "libavcodec/avcodec.h"
}
#define MaxFrameNum 10
class ffmpegApiSaveVideo : public QObject
{
Q_OBJECT
public:
struct VideoInfo{
//分辨率
int wideth;
int hight;
//码率
int kbps;
//图像编码
AVPixelFormat pixFormat;
//帧数
int fps;
//编码格式
AVCodecID codecId;
//封装格式
QString packageFormat;
};
explicit ffmpegApiSaveVideo(QObject *parent = nullptr);
~ffmpegApiSaveVideo();
QVector<AVFrame *> m_FrameVector;
void insertFrame(AVFrame *frame);
void init(QString filePath,AVCodecContext *pCodecCtx,VideoInfo videoInfo);
void stopWrite();
private:
void initOutput(QByteArray filepath);
void addStreamToftc(AVFormatContext *oc);
void open_video(AVCodec *codec, AVDictionary *opt_arg);
int write_frame(AVFormatContext *fmt_ctx, const AVRational *time_base, AVStream *st, AVPacket *pkt);
private:
AVFormatContext *m_pOFormatCtx = nullptr;
AVOutputFormat *m_pOutFmt = nullptr; //定义一个输出的格式结构体
AVCodecContext *m_pCodecCtx = nullptr;
AVCodecContext *m_ICodecCtx = nullptr;
AVCodec *m_pCodec = nullptr;
AVStream *m_pStream = nullptr;
AVFrame* m_pIFrameYUV = nullptr;
SwsContext* m_imgYUV_convert_ctx = nullptr;
int m_next_pts = 0; //视频时间戳
bool issave = false;
VideoInfo m_videoInfo;
signals:
public slots:
void writeVideo();
};
#endif // FFMPEGAPISAVEVIDEO_H
#include "ffmpegapisavevideo.h"
ffmpegApiSaveVideo::ffmpegApiSaveVideo(QObject *parent) : QObject(parent)
{
}
ffmpegApiSaveVideo::~ffmpegApiSaveVideo()
{
}
void ffmpegApiSaveVideo::insertFrame(AVFrame *frame)
{
if(m_FrameVector.length()>MaxFrameNum){
m_FrameVector.pop_front();
}
m_FrameVector.append(frame);
}
void ffmpegApiSaveVideo::init(QString filePath, AVCodecContext *pCodecCtx, ffmpegApiSaveVideo::VideoInfo videoInfo)
{
m_videoInfo = videoInfo;
m_ICodecCtx = pCodecCtx;
initOutput(filePath.toUtf8());
uint8_t *pIBuffer; //开辟存储像素点的存储地址
int pixSize = av_image_get_buffer_size(m_videoInfo.pixFormat,m_ICodecCtx->width, m_ICodecCtx->height,16);
//创建保存空间,底层使用malloc进行内存空间的开辟。
pIBuffer = static_cast<uint8_t *>(av_malloc(static_cast<size_t>(pixSize)));
//创建图像转换之后的帧
m_pIFrameYUV = av_frame_alloc();
av_image_fill_arrays(m_pIFrameYUV->data,
m_pIFrameYUV->linesize,
pIBuffer,
m_videoInfo.pixFormat,
1280,
720,
16);
m_imgYUV_convert_ctx = sws_getContext(m_ICodecCtx->width,
m_ICodecCtx->height,
m_ICodecCtx->pix_fmt,
1280,
720,
m_videoInfo.pixFormat,
SWS_BICUBIC, nullptr, nullptr, nullptr);
issave = true;
}
void ffmpegApiSaveVideo::stopWrite()
{
issave = false;
}
void ffmpegApiSaveVideo::writeVideo()
{
while(issave){
int ret;
int got_packet=0;
AVPacket pkt;
if(m_FrameVector.isEmpty()){
continue;
}
AVFrame *pIFrame = m_FrameVector.front();
int length = m_FrameVector.length();
m_FrameVector.pop_front();
if(pIFrame == nullptr){
continue;
}
sws_scale(m_imgYUV_convert_ctx, static_cast<uint8_t const * const *>(pIFrame->data),
pIFrame->linesize,0, m_ICodecCtx->height, m_pIFrameYUV->data,
m_pIFrameYUV->linesize);
m_pIFrameYUV->pts = m_next_pts ;
av_init_packet(&pkt);
/* 编码图像*/
ret = avcodec_send_frame(m_pCodecCtx, m_pIFrameYUV);
if (ret < 0) {
qDebug()<<"Error sending the frame to the encoder";
return;
}
ret = avcodec_receive_packet(m_pCodecCtx, &pkt);
if (ret < 0) {
qDebug()<<"Error encoding audio frame";
return;
}
ret = write_frame(m_pOFormatCtx, &m_pCodecCtx->time_base, m_pStream, &pkt);
QThread::msleep(10);
av_packet_unref(&pkt);
}
av_write_trailer(m_pOFormatCtx);
avcodec_free_context(&m_pCodecCtx);
/*关闭输出文件*/
if (!(m_pOutFmt->flags & AVFMT_NOFILE))
avio_closep(&m_pOFormatCtx->pb);
/*释放流*/
avformat_free_context(m_pOFormatCtx);
}
void ffmpegApiSaveVideo::initOutput(QByteArray filepath)
{
int ret;
//根据文件路径判断获取编码格式,写入到oc中。向m_pOFormatCtx中写入数据
avformat_alloc_output_context2(&m_pOFormatCtx, nullptr, nullptr, filepath.data());//为输出格式分配一个AVFormatContext。
if(!m_pOFormatCtx)
{
printf("无法从文件扩展名推断出输出格式:使用h264。\n");
avformat_alloc_output_context2(&m_pOFormatCtx, nullptr, m_videoInfo.packageFormat.toUtf8(), filepath.data());
}
//添加流 向m_pOutFmt和m_pCodecCtx m_pCodec写入数据。
addStreamToftc(m_pOFormatCtx);
/*现在所有参数都设置好了,我们可以打开音频和视频编解码器并分配必要的编码缓冲器*/
AVDictionary *opt = nullptr;//AVDictionary是一个健值对存储工具
open_video(m_pCodec,opt);
av_dump_format(m_pOFormatCtx,0,filepath.data(),1);// TODO:
/* 打开输出文件(如果需要) */
if(!(m_pOFormatCtx->flags & AVFMT_NOFILE))
{
//创建并初始化AVIOContext以访问url指示的资源。
ret=avio_open(&m_pOFormatCtx->pb,filepath.data(),AVIO_FLAG_WRITE);
if(ret<0)
{
qDebug()<<QString("打不开'%1': %2").arg(filepath.data()).arg(av_err2str(ret));
}
}
/* 编写流头(如果有)*/
ret=avformat_write_header(m_pOFormatCtx, &opt);
if(ret<0)
{
fprintf(stderr, "打开输出文件时发生错误: %s\n",av_err2str(ret));
}
// 创建 缓存区
}
//*添加输出流。 */
void ffmpegApiSaveVideo::addStreamToftc(AVFormatContext *fct)
{
int i;
/* find the encoder */
m_pOutFmt = m_pOFormatCtx->oformat;
m_pOutFmt->video_codec = m_videoInfo.codecId;//设置编码格式
m_pCodec = avcodec_find_encoder(m_pOutFmt->video_codec);
if (!(m_pCodec))
{
qDebug()<<"Could not find encoder for :" << avcodec_get_name(m_pOutFmt->video_codec);
return;
}
//给媒体文件添加一个流
m_pStream = avformat_new_stream(fct, nullptr);
if (!m_pStream) {
qDebug()<<"Could not allocate stream";
return;
}
m_pStream->id = static_cast<int>(fct->nb_streams-1);
//创建 编码 上下文。
m_pCodecCtx = avcodec_alloc_context3(m_pCodec);
av_opt_set(m_pCodecCtx->priv_data, "tune", "zerolatency", 0);//解决avcodec_receive_packet返回为-11的问题
if (!m_pCodecCtx) {
qDebug()<<"Could not alloc an encoding context";
return;
}
switch((m_pCodec)->type)
{
case AVMEDIA_TYPE_AUDIO:{
m_pCodecCtx->sample_fmt = (m_pCodec)->sample_fmts ?(m_pCodec)->sample_fmts[0] : AV_SAMPLE_FMT_FLTP;
m_pCodecCtx->bit_rate = 64000;
m_pCodecCtx->sample_rate = 44100;
if ((m_pCodec)->supported_samplerates) {
m_pCodecCtx->sample_rate = (m_pCodec)->supported_samplerates[0];
for (i = 0; (m_pCodec)->supported_samplerates[i]; i ) {
if ((m_pCodec)->supported_samplerates[i] == 44100)
m_pCodecCtx->sample_rate = 44100;
}
}
m_pCodecCtx->channels = av_get_channel_layout_nb_channels(m_pCodecCtx->channel_layout);
m_pCodecCtx->channel_layout = AV_CH_LAYOUT_STEREO;
if ((m_pCodec)->channel_layouts) {
m_pCodecCtx->channel_layout = (m_pCodec)->channel_layouts[0];
for (i = 0; (m_pCodec)->channel_layouts[i]; i ) {
if ((m_pCodec)->channel_layouts[i] == AV_CH_LAYOUT_STEREO)
m_pCodecCtx->channel_layout = AV_CH_LAYOUT_STEREO;
}
}
m_pCodecCtx->channels = av_get_channel_layout_nb_channels(m_pCodecCtx->channel_layout);
m_pStream->time_base = (AVRational){ 1, m_pCodecCtx->sample_rate };
break;
}
case AVMEDIA_TYPE_VIDEO:{
m_pCodecCtx->codec_id = m_pOutFmt->video_codec;
m_pCodecCtx->bit_rate = m_videoInfo.kbps; //平均比特率,例子代码默认值是400000
/* 分辨率必须是2的倍数。*/
m_pCodecCtx->width = m_videoInfo.wideth;
m_pCodecCtx->height = m_videoInfo.hight;
/*时基:这是基本的时间单位(以秒为单位)表示其中的帧时间戳。 对于固定fps内容,时基应为1 /framerate,时间戳增量应为等于1。*/
m_pStream->time_base = (AVRational){1,m_videoInfo.fps}; //帧率设置 帧率为25;
m_pCodecCtx->time_base = m_pStream->time_base;
m_pCodecCtx->gop_size = 12; /* 最多每十二帧发射一帧内帧 */
m_pCodecCtx->pix_fmt = m_videoInfo.pixFormat;
if(m_pCodecCtx->codec_id == AV_CODEC_ID_MPEG2VIDEO)
{
/* 只是为了测试,我们还添加了B帧 */
m_pCodecCtx->max_b_frames = 2;
}
if(m_pCodecCtx->codec_id == AV_CODEC_ID_MPEG1VIDEO)
{
/*需要避免使用其中一些系数溢出的宏块。
*普通视频不会发生这种情况,因为
*色度平面的运动与亮度平面不匹配。 */
m_pCodecCtx->mb_decision = 2;
}
break;
}
default:
break;
}
/* 某些格式希望流头分开。 */
if (fct->oformat->flags & AVFMT_GLOBALHEADER)
m_pCodecCtx->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
}
void ffmpegApiSaveVideo::open_video(AVCodec *codec, AVDictionary *opt_arg)
{
int ret;
AVCodecContext *c = m_pCodecCtx;
AVDictionary *opt = nullptr;//AVDictionary用来保存音视频文件的metadata
ret = av_dict_copy(&opt, opt_arg, 0);
/* open the codec */
ret = avcodec_open2(c, codec, &opt);
av_dict_free(&opt);
if (ret < 0)
{
qDebug()<<"Could not open video codec:"<<av_err2str(ret);
return;
}
/* 将流参数复制到多路复用器*/
ret=avcodec_parameters_from_context(m_pStream->codecpar, c);
if(ret<0)
{
qDebug()<<"Could not copy the stream parameters";
return;
}
}
int ffmpegApiSaveVideo::write_frame(AVFormatContext *fmt_ctx, const AVRational *time_base, AVStream *st, AVPacket *pkt)
{
/* 将输出数据包时间戳值从编解码器重新调整为流时基 */
av_packet_rescale_ts(pkt, *time_base, st->time_base);
pkt->stream_index = st->index;
/*将压缩的帧写入媒体文件。*/
// log_packet(fmt_ctx, pkt);
return av_interleaved_write_frame(fmt_ctx, pkt);
}
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhiheebb
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
excel图片置于文字下方的方法
PHP中文网 06-27 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
微信提示登录环境异常是什么意思原因
PHP中文网 04-09 -
微信运动停用后别人还能看到步数吗
PHP中文网 07-22 -
微信人名旁边有个图标有什么用
PHP中文网 03-11