android采用FFmpeg实现音频混合与拼接剪切
作者:徐福记456 发布时间:2023-10-04 06:51:24
标签:android,FFmpeg,音频混合,拼接剪切
接触FFmpeg有一段时间了,它是音视频开发的开源库,几乎其他所有播放器、直播平台都基于FFmpeg进行二次开发。本篇文章来总结下采用FFmpeg进行音频处理:音频混合、音频剪切、音频拼接与音频转码。
采用android studio进行开发,配置build.gradle文件:
defaultConfig {
......
externalNativeBuild {
cmake {
cppFlags ""
}
}
ndk {
abiFilters "armeabi-v7a"
}
}
另外指定cmake文件路径:
externalNativeBuild {
cmake {
path "CMakeLists.txt"
}
}
sourceSets {
main {
jniLibs.srcDirs = ['libs']
jni.srcDirs = []
}
}
从FFmpeg官网下载源码,编译成ffmpeg.so动态库,并且导入相关源文件与头文件:
然后配置cMakeLists文件:
add_library( # Sets the name of the library.
audio-handle
# Sets the library as a shared library.
SHARED
# Provides a relative path to your source file(s).
src/main/cpp/ffmpeg_cmd.c
src/main/cpp/cmdutils.c
src/main/cpp/ffmpeg.c
src/main/cpp/ffmpeg_filter.c
src/main/cpp/ffmpeg_opt.c)
add_library( ffmpeg
SHARED
IMPORTED )
set_target_properties( ffmpeg
PROPERTIES IMPORTED_LOCATION
../../../../libs/armeabi-v7a/libffmpeg.so )
include_directories(src/main/cpp/include)
find_library( log-lib
log )
target_link_libraries( audio-handle
ffmpeg
${log-lib} )
调用FFmpeg命令行进行音频处理:
/**
* 调用ffmpeg处理音频
* @param handleType handleType
*/
private void doHandleAudio(int handleType){
String[] commandLine = null;
switch (handleType){
case 0://转码
String transformFile = PATH + File.separator + "transform.aac";
commandLine = FFmpegUtil.transformAudio(srcFile, transformFile);
break;
case 1://剪切
String cutFile = PATH + File.separator + "cut.mp3";
commandLine = FFmpegUtil.cutAudio(srcFile, 10, 15, cutFile);
break;
case 2://合并
String concatFile = PATH + File.separator + "concat.mp3";
commandLine = FFmpegUtil.concatAudio(srcFile, appendFile, concatFile);
break;
case 3://混合
String mixFile = PATH + File.separator + "mix.aac";
commandLine = FFmpegUtil.mixAudio(srcFile, appendFile, mixFile);
break;
default:
break;
}
executeFFmpegCmd(commandLine);
}
其中,音频混音、合并、剪切和转码的FFmpeg命令行的拼接如下:
/**
* 使用ffmpeg命令行进行音频转码
* @param srcFile 源文件
* @param targetFile 目标文件(后缀指定转码格式)
* @return 转码后的文件
*/
public static String[] transformAudio(String srcFile, String targetFile){
String transformAudioCmd = "ffmpeg -i %s %s";
transformAudioCmd = String.format(transformAudioCmd, srcFile, targetFile);
return transformAudioCmd.split(" ");//以空格分割为字符串数组
}
/**
* 使用ffmpeg命令行进行音频剪切
* @param srcFile 源文件
* @param startTime 剪切的开始时间(单位为秒)
* @param duration 剪切时长(单位为秒)
* @param targetFile 目标文件
* @return 剪切后的文件
*/
@SuppressLint("DefaultLocale")
public static String[] cutAudio(String srcFile, int startTime, int duration, String targetFile){
String cutAudioCmd = "ffmpeg -i %s -ss %d -t %d %s";
cutAudioCmd = String.format(cutAudioCmd, srcFile, startTime, duration, targetFile);
return cutAudioCmd.split(" ");//以空格分割为字符串数组
}
/**
* 使用ffmpeg命令行进行音频合并
* @param srcFile 源文件
* @param appendFile 待追加的文件
* @param targetFile 目标文件
* @return 合并后的文件
*/
public static String[] concatAudio(String srcFile, String appendFile, String targetFile){
String concatAudioCmd = "ffmpeg -i concat:%s|%s -acodec copy %s";
concatAudioCmd = String.format(concatAudioCmd, srcFile, appendFile, targetFile);
return concatAudioCmd.split(" ");//以空格分割为字符串数组
}
/**
* 使用ffmpeg命令行进行音频混合
* @param srcFile 源文件
* @param mixFile 待混合文件
* @param targetFile 目标文件
* @return 混合后的文件
*/
public static String[] mixAudio(String srcFile, String mixFile, String targetFile){
String mixAudioCmd = "ffmpeg -i %s -i %s -filter_complex amix=inputs=2:duration=first -strict -2 %s";
mixAudioCmd = String.format(mixAudioCmd, srcFile, mixFile, targetFile);
return mixAudioCmd.split(" ");//以空格分割为字符串数组
}
FFmpeg处理混音的公式如下,其中sample1为源文件采样率、sample2为待混合文件采样率:
混音公式:value = sample1 + sample2 - (sample1 * sample2 / (pow(2, 16-1) - 1))
开启子线程,调用native方法进行音频处理:
public static void execute(final String[] commands, final OnHandleListener onHandleListener){
new Thread(new Runnable() {
@Override
public void run() {
if(onHandleListener != null){
onHandleListener.onBegin();
}
//调用ffmpeg进行处理
int result = handle(commands);
if(onHandleListener != null){
onHandleListener.onEnd(result);
}
}
}).start();
}
private native static int handle(String[] commands);
关键的native方法,是把java传入的字符串数组转成二级指针数组,然后调用FFmpeg源码中的run方法:
JNIEXPORT jint JNICALL Java_com_frank_ffmpeg_FFmpegCmd_handle
(JNIEnv *env, jclass obj, jobjectArray commands){
int argc = (*env)->GetArrayLength(env, commands);
char **argv = (char**)malloc(argc * sizeof(char*));
int i;
int result;
for (i = 0; i < argc; i++) {
jstring jstr = (jstring) (*env)->GetObjectArrayElement(env, commands, i);
char* temp = (char*) (*env)->GetStringUTFChars(env, jstr, 0);
argv[i] = malloc(1024);
strcpy(argv[i], temp);
(*env)->ReleaseStringUTFChars(env, jstr, temp);
}
//执行ffmpeg命令
result = run(argc, argv);
//释放内存
for (i = 0; i < argc; i++) {
free(argv[i]);
}
free(argv);
return result;
}
关于FFmpeg的run方法的源码如下,中间有部分省略:
int run(int argc, char **argv)
{
/****************省略********************/
//注册各个模块
avcodec_register_all();
#if CONFIG_AVDEVICE
avdevice_register_all();
#endif
avfilter_register_all();
av_register_all();
avformat_network_init();
show_banner(argc, argv, options);
term_init();
/****************省略********************/
//解析命令选项与打开输入输出文件
int ret = ffmpeg_parse_options(argc, argv);
if (ret < 0)
exit_program(1);
/****************省略********************/
//文件转换
if (transcode() < 0)
exit_program(1);
/****************省略********************/
//退出程序操作:关闭文件、释放内存
exit_program(received_nb_signals ? 255 : main_return_code);
ffmpeg_cleanup(0);
}
其中,最关键的是文件转换部分,源码如下:
static int transcode(void)
{
int ret, i;
AVFormatContext *os;
OutputStream *ost;
InputStream *ist;
int64_t timer_start;
int64_t total_packets_written = 0;
//转码方法初始化
ret = transcode_init();
if (ret < 0)
goto fail;
if (stdin_interaction) {
av_log(NULL, AV_LOG_INFO, "Press [q] to stop, [?] for help\n");
}
timer_start = av_gettime_relative();
#if HAVE_PTHREADS
if ((ret = init_input_threads()) < 0)
goto fail;
#endif
//transcode循环处理
while (!received_sigterm) {
int64_t cur_time= av_gettime_relative();
//如果遇到"q"命令,则退出循环
if (stdin_interaction)
if (check_keyboard_interaction(cur_time) < 0)
break;
//判断是否还有输出流
if (!need_output()) {
av_log(NULL, AV_LOG_VERBOSE, "No more output streams to write to, finishing.\n");
break;
}
ret = transcode_step();
if (ret < 0 && ret != AVERROR_EOF) {
char errbuf[128];
av_strerror(ret, errbuf, sizeof(errbuf));
av_log(NULL, AV_LOG_ERROR, "Error while filtering: %s\n", errbuf);
break;
}
//打印音视频流信息
print_report(0, timer_start, cur_time);
}
#if HAVE_PTHREADS
free_input_threads();
#endif
//文件末尾最后一个stream,刷新解码器buffer
for (i = 0; i < nb_input_streams; i++) {
ist = input_streams[i];
if (!input_files[ist->file_index]->eof_reached && ist->decoding_needed) {
process_input_packet(ist, NULL, 0);
}
}
flush_encoders();
term_exit();
//写文件尾,关闭文件
for (i = 0; i < nb_output_files; i++) {
os = output_files[i]->ctx;
if ((ret = av_write_trailer(os)) < 0) {
av_log(NULL, AV_LOG_ERROR, "Error writing trailer of %s: %s", os->filename, av_err2str(ret));
if (exit_on_error)
exit_program(1);
}
}
//关闭所有编码器
for (i = 0; i < nb_output_streams; i++) {
ost = output_streams[i];
if (ost->encoding_needed) {
av_freep(&ost->enc_ctx->stats_in);
}
total_packets_written += ost->packets_written;
}
if (!total_packets_written && (abort_on_flags & ABORT_ON_FLAG_EMPTY_OUTPUT)) {
av_log(NULL, AV_LOG_FATAL, "Empty output\n");
exit_program(1);
}
//关闭所有解码器
for (i = 0; i < nb_input_streams; i++) {
ist = input_streams[i];
if (ist->decoding_needed) {
avcodec_close(ist->dec_ctx);
if (ist->hwaccel_uninit)
ist->hwaccel_uninit(ist->dec_ctx);
}
}
//省略最后的释放内存
return ret;
}
来源:https://blog.csdn.net/u011686167/article/details/79135240
0
投稿
猜你喜欢
- 本文实例讲述了C#获取网页源代码的方法。分享给大家供大家参考。具体如下:public string GetPageHTML(string u
- 废话开篇:iOS与android在实现列表界面的时候是有重用机制的,目的就是减少内存开销,用时间换空间。个人感觉flutter并没有特别强调
- 本博文将为您提供自Java 7以来增加的很棒的新功能的示例。我将展示每个Java版本的至少一项重大改进,一直到2020年秋季发布的Java
- 本文实例讲述了Java简单验证身份证功能。分享给大家供大家参考,具体如下:package org.cxy.csdn.example;impo
- 摘要:vs2019新鲜出炉,配置opencv又有哪些不一样呢,这个教程将会一步一步的教你如何配置opencv和跑动opencv一个简单的项目
- Step1: 安装JDK并配置环境变量;Step2: 安装Gradle进入点击打开链接官网首页点击install gra
- 一、什么是iText?在企业的信息系统中,报表处理一直占比较重要的作用,iText是一种生成PDF报表的Java组件。通过在服务器端使用Js
- 一、什么是状态管理大到整个app的状态,用户使用app是登录状态,还是游客状态;小到一个按钮的状态,按钮是点击选中状态还是未点击状态等等,这
- 实现“摇一摇”功能,其实很简单,就是检测手机的重力感应,具体实现代码如下:1、在 AndroidManifest.xml 中添加操作权限2、
- 目前很多业务使用微服务架构,服务模块划分有这2种方式:服务功能划分业务划分不管哪种方式,一次接口调用都需要多个服务协同完成,其中一个服务出现
- 一、百度百科Sentinel 是面向分布式服务架构的高可用流量防护组件,主要以流量为切入点,从限流、流量整形、熔断降级、系统负载保护、热点防
- 前言为什么用动静态库我们在实际开发中,经常要使用别人已经实现好的功能,这是为了开发效率和鲁棒性(健壮性);因为那些功能都是顶尖的工程师已经写
- 1、 流的继承关系,以及字节流和字符流。2、 节点流FileOutputStream和FileInputStream和处理流Buffered
- 更新了AS 3.1.2之后,发现新建Kotlin类,类注释依然木有,没办法只有自己动手了。方法很简单,编辑File Header就可以啦。只
- 本文实例为大家分享了java实现简单斗地主的具体代码,供大家参考,具体内容如下第一种方法 /** * @param args */ /**
- 免责声明:本教程所有资源均来源于网络;仅用于学习交流,请勿用于任何商业行为;如需要,请使用正版授权;侵权联删。推荐最新 IntelliJ I
- 有人问我,怎么判断一个点是不是在多边形内,本来想着把这个多边形分成一个又一个三角形,如图, 然后判断这个点是不是在某个三角形中,如
- 概述在移动应用开发中,消息推送可以说是一项非常重要的功能,它能够起到提醒或者唤醒用户的作用,同时也是产品运营人员更高效地实现运营目标的重要手
- Mybatis-Spring当我们使用mybatis和spring整合后为什么下面的代码可以运行?一个问题:我就写了个mapper接口为什么
- ArrayList集合的创建非泛型创建ArrayList集合对象,可以添加任意Object子类元素至集合//非泛型创建的ArrayList集