Python使用PyAV提取视频关键帧的实践
作者:文艺酱Jayce 发布时间:2023-04-29 23:45:04
1.软件环境??
Windows10
教育版64位Python
3.6.3PyAV
8.0.3
2.问题描述??
在提取视频文件的关键内容时,手动查看会非常耗时。即使你快进视频,一个小时的视频也需要超过10
分钟;通常,一秒钟的视频包含24帧
图像。如果你能捕获
视频中的关键帧
(key frame,你可以把它理解成论文里面的摘要,看完关键帧就知道这个视频主要在讲什么了
),尤其是在长时间拍摄类似镜头的场景中,对图像进行重复数据消除将有助于过滤掉大多数噪声帧
,并最大程度地提取视频的核心内容。
随着短视频越来越流行,视频的内容分析与文本的内容分析一样重要。然而,如果每个分析师都想看每一段视频,那就需要太多时间。即使使用快进功能,节省的时间仍然不够。此外,由于人为疏忽,内容分析会出现错误和遗漏。相较于基于文本的内容分析,会发现一个主要的区别:查看文本内容可以一目十行,并且没有强制的前后时间线。相反,观看流媒体必须消耗流媒体的长度。然后我们会有一个问题:我们能一目了然地看到流媒体吗?事实上,视频流中的大量信息是冗余的,并且信息量非常低。信息量仅集中在一个关键帧(也称为信息帧
或I帧
)图片中。如果你把这些图片一张一张地放在面前,你也可以做到像文本内容一样一目十行,减少人为疏忽。
关于视频的相关概念可以看一下这个博客:
音视频pts、dts基本概念及理解
那么有没有什么方法能够高效的提取视频的关键帧呢
3.解决方法??
当然有啦,这就是我们今天的主角——PyAV
:
PyAV
是 FFmpeg
的Pythonic
绑定,其目标是提供FFmpeg
底层库的所有功能。 PyAV
通过容器、流、数据包、编解码器和帧直接和精确地访问视频媒体。同时,它能够方便的和其他库进行对接,并帮助您从其他包(例如 Numpy
和 Pillow
)获取和修改数据,提取视频关键帧就更不在话下了!
不废话了,直接上代码:
'''
===========================================
@author: jayce
@file: extract_video_keyframes_av.py
@time: 2022/4/11 21:42
===========================================
'''
import av
import os
import shutil
path_to_video = r'E:\Code\Python\extract_video_keyframes\test video.mp4'
output_dir = r'E:\Code\Python\extract_video_keyframes\pyav'
# # 提取全部帧
# container = av.open(path_to_video)
#
# for frame in container.decode(video=0):
# frame.to_image().save(r'E:\Code\Python\比例尺鉴定\20220410比例尺鉴定\extract_video_keyframes\pyav\frame-%04d.png' % frame.index)
def extract_video_keyframes(path_to_video, output_dir):
try:
os.makedirs(output_dir, exist_ok=True)
# 提取关键帧
with av.open(path_to_video) as container:
# 表示我们只想查看关键帧
stream = container.streams.video[0]
stream.codec_context.skip_frame = 'NONKEY'
for frame in container.decode(stream):
print(frame)
# 使用frame.pts的原因是frame.index对skip_frame没有意义,因为关键帧是从所有的帧中抽取中独立的图像,而pts显示的就是这些独立图像的index;
# DTS(Decoding Time Stamp):即解码时间戳,这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
# PTS(Presentation Time Stamp):即显示时间戳,这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。
frame.to_image().save(os.path.join(output_dir, 'temporary-image-{:04d}.png'.format(frame.pts)))
except Exception as e:
print('Program error occurred:{}'.format(repr(e)))
if __name__ == "__main__":
extract_video_keyframes(path_to_video, output_dir)
# shutil.rmtree(output_dir)
4.结果预览
来源:https://blog.csdn.net/qq_15969343/article/details/126077566
猜你喜欢
- 结合mysql数据库查询,实现分页效果@user.route("/user_list",methods=['PO
- PL/SQL是由Oracle公司对标准SQL进行扩展,专用于Oracle数据库中程序设计的专用语言,属第三代过程式程序设计语言。从Oracl
- post, put请求的参数有两种形式一种是把参数拼接在url中 对应postman第二种是把参数放在body中 对应postman在Pyt
- 前言这篇文章将详细讲解开始图像形态学知识,主要介绍图像腐蚀处理和膨胀处理。数学形态学(Mathematical Morphology)是一种
- 首先确保装了Python,我装的是2.x版本,对了,我的操作系统是WIN7,其实对于Python来说,什么操作系统并不重要。Python内置
- Player.playState0 Undefined Windows Media Player is in an undefined st
- 前言 网传的七天学Python的路线如下,我觉得可以在学过此表中前几天的内容后,就可以回头来学习一下列表推导式:它综合了列表、fo
- mssql的每个varchar、text字段都被自动插入一段js代码,即使删除这段代码,如果没有从源头上解决,几分钟后,js代码就又会自动插
- 这是一套适用于JavaScript程序的编码规范。它基于Sun的Java程序编码规范。但进行了大幅度的修改, 因为JavaScript不是J
- 简单版本学生信息管理系统,用python基础语法实现,基于python 3.6容错率很高的代码,做了很多异常处理功能,出错也不会丢失信息启动
- 高阶函数是在Python中一个非常有用的功能函数,所谓高阶函数就是一个函数可以用来接收另一个函数作为参数,这样的函数叫做高阶函数。pytho
- 在PHP中,我们不能用const直接定义数组常量,但是const可以定义字符串常量,结合eval()函数使字符串常量能执行。所以,我们可以用
- TRUNCATE TABLE (Transact-SQL)Removes all rows from a table without log
- 我们小组讨论的话题是tab(标签)在使用时的禁忌。在讨论的开始,大家很快产生了六个感兴趣的话题:如何处理海量的tab?在浏览器中关掉tab之
- 在 python 代码中可以看到一些常见的 trick,在这里做一个简单的小结。json 字符串格式化在开发 web 应用的时候经常会用到
- 提起Apple,大部分人都会提起Apple的设计,除了Apple里拥有一批天才设计师外,还因为乔布斯对于设计有着苛刻的要求。所以在IT界,A
- 本文实例讲述了Python中itertools模块用法,分享给大家供大家参考。具体分析如下:一般来说,itertools模块包含创建有效迭代
- 在Git简介一文中已经对Git进行了简单的介绍,但是理论知识过于枯燥,加上本人专业知识不够扎实,使得初学者在Git的使用上还是会有很大的困难
- 如下所示:#coding=utf-8#读取图片 返回图片某像素点的b,g,r值import cv2import numpy as npimg
- 当我们在使用php开发的时候,基本不需要关心热更新这件事的,因为PHP本身已经帮我处理好了,只需要提交代码,PHP重新解释一遍即可。而go则