Pygame与OpenCV联合播放视频并保证音画同步
作者:h281001460 发布时间:2021-09-04 22:23:11
Pygame是一个超好用的SDL绑定。自从有了Pygame,妈妈再也不用担心我内存泄漏了。
但是这里有一个问题,Pygame的Movie模块已经废弃多年,这次做课题项目却要在一个游戏中来段视频播放。有点蒙圈。Ren'py提供的解决方案是使用libav,我尝试了一早上也搞不明白pyav怎么用。后来干脆用手边的OpenCV硬读视频吧。
这里说下第三方库:
pygame
numpy
opencv-python
其中,numpy是Anaconda自带,我没自己装过不知道,但是其他两个都是可以用pip直接安装的。
其实Pygame使用opencv或者moviepy不少见,就是使用pygame的pygame.surfarray接口可以把numpy矩阵转化为surface,而这些视频读取库能把每帧转为numpy矩阵。这部分在下面代码中都会体现。
我测试的视频是来自ドラッグオンドラグーン(龙背上的骑兵3)的一段音游部分。音乐就是用pygame的音频模块随便播放下就好。但是注意,视频帧率必须设置为跟你的视频一致,我这里是25fps。建议稍微多设置一点,比如25.5帧是对应25帧最好的选择。因为留有余地。
平时你的游戏基本不可能莫名其妙的在逻辑中出现视频播放,所以尽量单独播放视频,防止帧数掉出25.当然现代电脑这种情况比较少。
上图:
还是喜欢零姐啊!!!
下面是基本的实现代码
# -*- coding:utf-8 -*-
import pygame
import sys
import cv2
import numpy as np
import os
if __name__ == '__main__':
pygame.init() # 初始化pygame
FPS = 25.5
#设置窗口位置
os.environ['SDL_VIDEO_WINDOW_POS']="%d,%d" % (50,70)
FPSClock = pygame.time.Clock()
size = width, height = 1280, 720 # 设置窗口大小
screen = pygame.display.set_mode(size) # 显示窗口
pygame.display.set_caption(u'打字游戏:反应练习')
color = (255, 255, 255) # 设置颜色
ogg=pygame.mixer.Sound("game.ogg")
# pygame.mixer.music.load("")
videoCapture = cv2.VideoCapture("test.mp4")
ogg.play()
while True:
a=pygame.time.get_ticks()
if videoCapture.isOpened():
#从opncv读一段视频进来
ret, frame = videoCapture.read()
#下面这句可以获取图像大小
# print('frame.shape:', frame.shape)
#
# rot90(m, k=1, axes=(0, 1)
# m是要旋转的数组(矩阵),
# k是旋转的次数,默认旋转1次,
# 那是顺时针还是逆时针呢?
# 正数表示逆时针,而k为负数时则是对数组进行顺时针方向的旋转。
# 视频结束时会丢出一个ValueError异常
try:
frame = np.rot90(frame,k=-1)
except:
continue
frame = pygame.surfarray.make_surface(frame)
frame=pygame.transform.flip(frame,False,True)
# frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
screen.blit(frame, (0,0))
# print()
for event in pygame.event.get(): # 遍历所有事件
if event.type == pygame.QUIT: # 如果单击关闭窗口,则退出
sys.exit()
pygame.display.flip() # 更新全部显示
time_next= FPSClock.tick(FPS)
b=pygame.time.get_ticks()
pygame.quit() # 退出pygame
好了。这样就实现了pygame播放视频~~~~
才怪呢。
因为手欠,拖动了以下窗口,然后发现,程序居然一直停留在拖动前的最后一帧,但我的音频还是在播放,当我松开鼠标的时候,视频图像才重新开始显示,这样造成视音频的同步上的问题,使鼠标松开后的视频直接跟不上音频。
尤其是这个部分是音游,一旦不同步,节奏对不上,感觉是要疯。
这问题太难受了。
于是动手解决吧……
也不难,就是时间方面的问题。掌控时间,就是掌握了全局。
于是方案如下:
方案1:通过时间和跳帧。通过计算时间【就是时间差大于某个阈值,比如100ms】发现曾经发生过停止,然后进行跳帧。因为人类手速有限,所以完全可以阈值稍微大点,防止由于cpu方面的原因造成误判。
方案2:重置音频播放,计算视频播放时间,让音频回到之前的状态。这个简单点,但是这不会太精确。需要仔细考虑使用哪个方案。
理论上跳帧方案比较好,因为帧量大,误差小。并且音频感官可以不缺失。
反复比较,选用方案一
算法如下:
设已有变量:
时间参量=下一帧-上一帧
跳帧计数器=0【在循环外】
阈值=200[时间参量大于此值说明出现故障]
跳帧系统检测到阈值超标,使用以下算法跳帧:
使用 故障值/正确延时 ,得到要跳的帧数量。然后使计数器增长到这个数量,然后跳帧。
以下是带有跳帧器的代码
# -*- coding:utf-8 -*-
import pygame
import sys
import cv2
import numpy as np
import os
# 音频同步跳帧实验
# 新增:跳帧系统
if __name__ == '__main__':
pygame.init() # 初始化pygame
FPS = 25.5
# 设置窗口位置
os.environ['SDL_VIDEO_WINDOW_POS'] = "%d,%d" % (50, 70)
FPSClock = pygame.time.Clock()
size = width, height = 1280, 720 # 设置窗口大小
# screen = pygame.display.set_mode(size,pygame.FULLSCREEN) # 显示窗口
screen = pygame.display.set_mode(size) # 显示窗口
pygame.display.set_caption(u'打字游戏:反应练习')
color = (255, 255, 255) # 设置颜色
ogg = pygame.mixer.Sound("game.ogg")
# pygame.mixer.music.load("")
videoCapture = cv2.VideoCapture("test.mp4")
ogg.play()
# 真正时间
realtime = int(1000 / FPS)
# 阈值-要稍微留下空间
jumpyu = 100
# 跳帧计数器
jumpnum = 0
while True:
a = pygame.time.get_ticks()
if videoCapture.isOpened():
#这里是跳帧工具
if jumpnum != 0:
#这个函数光读东西,比read少一个解码过程,所以能省点算点
videoCapture.grab()
jumpnum -= 1
continue
ret, frame = videoCapture.read()
try:
frame = np.rot90(frame, k=-1)
except:
continue
frame = pygame.surfarray.make_surface(frame)
frame = pygame.transform.flip(frame, False, True)
# frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
screen.blit(frame, (0, 0))
# print()
for event in pygame.event.get(): # 遍历所有事件
if event.type == pygame.QUIT: # 如果单击关闭窗口,则退出
sys.exit()
pygame.display.flip() # 更新全部显示
time_next = FPSClock.tick(FPS)
b = pygame.time.get_ticks()
k = b - a
#此处检测阈值,大于阈值做记录准备跳帧
if k > jumpyu:
print('超过阈值,跳帧')
temp = (k - realtime)/realtime
tempstr=str(temp)
tempstr=tempstr[tempstr.find('.')+1:]
if len(tempstr)>1 or tempstr[0]!='0':
jumpnum+=(int(temp)+1)
print('跳小数帧')
else:
print('跳整数帧')
jumpnum+=int(temp)
print('跳'+str(jumpnum)+'帧')
pygame.quit() # 退出pygame
看看成果:为了截图拖了几下窗口,于是就已经智能跳帧了多次了。
搞定收工,这次将手贱拖动窗口造成的音画同步问题降低到最小。至少这个视频是没怎么出现节奏问题了。当然,最好的建议还是别乱拖动窗口,毕竟再精确也无法做到帧级别的完全精确。就算是全屏与窗口切换也是会有帧损失的。emm…
来源:https://blog.csdn.net/h281001460/article/details/94229007
猜你喜欢
- 设置字段可选在摆弄了一会之后,你或许会发现管理工具有个限制:编辑表单需要你填写每一个字段,然而在有些情况下,你想要某些字段是可选的。 举个例
- 前言上一篇暴力破解文章:一个简单的Python暴力破解网站登录密码脚本测试靶机为Pikachu漏洞练习平台暴力破解模块下的 &ldq
- 实现代码如下:# -*- coding: utf-8 -*-import math, random,timeimport threading
- Mysql Explain 详解一.语法explain < table_name >例如: explain select * f
- 创建测试dataframe:>>> import pandas as pd>>> df = pd.Dat
- 导语贪吃蛇,大家应该都玩过。当初第一次接触贪吃蛇的时候 ,还是我爸的数字手机,考试成绩比较好,就会得到一些小奖励,玩手机游戏肯定也在其中首位
- 1、下载python3.6的安装包: wget https://www.python.org/ftp/p
- 我们可以利用urllib来抓取远程的数据进行保存哦,以下是python3 抓取网页资源的多种方法,有需要的可以参考借鉴。1、最简单impor
- //定义一个对象数组 var data = [{ name: "jiang", age: 22 }, { name: &
- 前段时间练习过的一个小项目,今天再看看,记录一下~项目结构说明:datefile文件夹:保存车辆信息表的xlsx文件file文件夹:保存图片
- 本文实例为大家分享了js选项卡切换效果的具体实现代码,供大家参考,具体内容如下<!DOCTYPE html><html&g
- 官网: https://matplotlib.org一、版本# 01 matplotlib安装情况 import matplotlib ma
- PyQt中MainWindow, QWidget以及Dialog的区别和选择1. Qt界面分类在Qt Designer设计界面时,首先需要选
- 前言:WebDriver提供了两个关闭浏览器的方法,一个是前边使用quit()方法,另一个是close()方法close():关闭当前窗口q
- 假设我们有这样一种数据:data = [ ("apple&quo
- 前两天看的时候,所用的歌曲地址加密方式已变更。将以前的发出来供大家赏玩。解密函数是从flash里面反编译出来的,加密函数是自己根据解密函数写
- PHP attributes() 函数实例返回 XML 的 body 元素的属性和值:<?php $note=<<<
- 有些小伙伴跟小编讨论了python中使用多线程原理的问题,就聊到了关于python多线程的弊端问题,这点可能在使用的过程中大家会能感觉到。而
- “位置:首页 第一屏通栏 格式:jpg 尺寸:960*90 ……”在工作我们经常会接到这样的banner设计需求,由
- 本文先了解一个简单阈值函数,以了解一个阈值算法的具体参数。 然后比较不同阈值函数的区别。同样的,先用一副图说明本文重要大纲: #! usr/