Android音乐播放器-使用FFmpeg及OpenSLES

最新推荐文章于 2023-06-06 16:58:31 发布

zuguorui

最新推荐文章于 2023-06-06 16:58:31 发布

阅读量681

点赞数

分类专栏： FFmpeg android 文章标签： android ffmpeg 音频编码解码

本文链接：https://blog.csdn.net/zuguorui/article/details/105777540

版权

android 同时被 2 个专栏收录

15 篇文章 6 订阅

订阅专栏

FFmpeg

4 篇文章 0 订阅

订阅专栏

文章目录

一、准备工作
二、目标
三、整体架构
四、OpenSLES
五、解码
六、状态通知

在之前的文章《FFmpeg解码音频代码》中，已经实现了使用FFmpeg解码音频为PCM。这次我们利用FFmpeg以及OpenSLES来实现一个简单的音乐播放器。

一、准备工作

在开始之前，我们需要使用之前文章中编译的Android版本的FFmpeg库，如果不清楚如何编译，请查看我的文章《最新版FFmpeg移植Android：编译so库(基于NDK r20和FFmpeg-4.1.0)》。同时也可以上我的github上直接下载已经编译好的库使用。需要注意的是，由于是debug使用，因此我并没有对FFmpeg进行剪裁，因此库的体积较大。
接下来，需要知道如何将第三方so库集成在Android工程中。同样，相关知识点在之前的博客《Android NDK开发: 通过C/C++调用第三方so库》中实践过。
最后一步，就是了解基本的OpenSLES的使用方法。由于我们实现的只是最简单的播放功能，因此只要能实现基本的播放功能即可。

工程放在github上：FFmpegAudioPlayer，本篇博客只讲一些需要注意的地方。

二、目标

该音乐播放器应该实现以下几个基本目标：

解码并播放主流格式：mp3、aac、wav等
支持seek功能
能实时显示播放进度及状态
对于内嵌专辑图片的音乐文件，能够显示图片。
播放暂停
获取音频时长

三、整体架构

架构如下：

在这里插入图片描述

IAudioDataProvider是向player提供解码好的PCM数据的接口。
AudioFileDecoder2是具体的解码类，它实现了IAudioDataProvider接口，向player提供解码好的数据。
AudioFilePlayer是控制类，控制比如播放暂停、进度通知等。
Commons是存放一些诸如采样率等常量的类。
AACUtil是针对aac编码的文件获取时长的类。FFmpeg无法准确获取aac编码音频的duration。
JavaStateListener是native向Java层通知状态变更的监听类。
native-lib是面向java的jni接口封装。

四、OpenSLES

OpenSLES是一个功能非常强大的音频框架，Android对它也有支持，并且由于是在native端，性能更好，可操控性也更强。
要在Android中使用OpenSLES，必须在make文件中指定链接OpenSLES库。OpenSLES和Android的log库一样，都是Android内置的，因此我们只要指定链接它就好，无需为它单独编译库。

target_link_libraries( # Specifies the target library.
        native-lib
        android
        # 链接OpenSLES库
        OpenSLES
        # Links the target library to the log library
        # included in the NDK.
        ${log-lib}
        z
        # 链接FFmpeg及相关依赖库
        # ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libcharset.so
        # ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libiconv.so
        ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libfdk-aac.so
        ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libmp3lame.so
        ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libx264.x.so
        ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libavformat.so
        ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libavfilter.so
        ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libavcodec.so
        ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libavutil.so
        ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libswresample.so
        ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libswscale.so
        ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libpostproc.so
)

既然已经写出了，就顺道一起讲一下第三方so库的一种更简单的集成方式。在之前的博客中，我们需要使用两个函数：建立库、设定库文件位置。其实最简单的方式就是直接在target_link_libraries中直接指定库的位置即可。注意的是，由于我只编译了armv7和arm64的FFmpeg库，因此一定要在build.gradle中限制ABI。

		externalNativeBuild {
            cmake {
                arguments '-DANDROID_PLATFORM=26'
                cppFlags '-std=c++11'
            }
        }
        ndk {
            abiFilters 'armeabi-v7a', 'arm64-v8a'
        }

接着，我们需要指定OpenSLES音频源的格式。通常我们都使用如下规格

pcm格式
双声道
44.1kHz采样率
帧格式为int16，小尾端

因此设置格式时如下：

SLDataFormat_PCM pcmFormat = {SL_DATAFORMAT_PCM, 2, SL_SAMPLINGRATE_44_1, SL_PCMSAMPLEFORMAT_FIXED_16, SL_PCMSAMPLEFORMAT_FIXED_16, SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT, SL_BYTEORDER_LITTLEENDIAN};

然后是注册回调函数：

result = (*playerBufferQueue)->RegisterCallback(playerBufferQueue, audio_callback, this);

回调函数如下：

void audio_callback(SLAndroidSimpleBufferQueueItf bq, void *context)
{
    SLAudioPlayer *player = (SLAudioPlayer *)context;
    player->processAudio();
}

它调用了SLAudioPlayer的

void SLAudioPlayer::processAudio() {

    if(spareDataProvider != NULL)
    {
        dataProvider = spareDataProvider;
        spareDataProvider = NULL;
    }
    if(removeAudioDataProviderFlag)
    {
        removeAudioDataProviderFlag = false;
        dataProvider = NULL;
    }
    if(dataProvider != NULL)
    {

        int num_samples = 0;
        memset(buffer, 0, MAX_SAMPLE_COUNT * 2 * sizeof(int16_t));
        dataProvider->getAudioData(buffer, &num_samples);
        (*playerBufferQueue)->Enqueue(playerBufferQueue, buffer, num_samples * 2 * sizeof(int16_t));
    }
}

dataProvider是用来提供已解码的PCM数据的。注意num_samples作为参数传递给dataProvider->getAudioData()时，代表当前的buffer最大帧数容量是多少，dataProvider要根据此容量向buffer中写入数据。当函数结束时，此时num_samples被dataProvider->getAudioData()修改为此次获取的有效帧数。

使用OpenSLES时，如果使用buffer，一定要在初始化完成之后，手动Enqueue一下，这样OpenSLES才会开始主动向回调函数请求数据。

//主动Enqueue一次buffer，OpenSLES才会主动向我们请求数据
(*playerBufferQueue)->Enqueue(playerBufferQueue, buffer, MAX_SAMPLE_COUNT * 2 * sizeof(int16_t));

五、解码

解码和之前的《FFmpeg解码音频代码》是一致的，不同的是，这次我们将解码放在一个单独的线程中，然后使用一个有限大的buffer来存储解码的PCM数据。当buffer满时会阻塞解码线程，避免占用过多内存。

另外注意的点是一定要对buffer读写做多线程保护。

比较麻烦的是AAC音频，FFmpeg无法准确的到AAC音频的duration，因此单独写了一个工具AACUtil来获取AAC音频的长度。

FFmpeg解码的时候，内部会有信息打印出来，因此需要给FFmpeg提供一个打印log的回调：

//log回调
static void log_callback(void *ctx, int level, const char *fmt, va_list args)
{
    if(level == AV_LOG_ERROR)
    {
        __android_log_print(ANDROID_LOG_DEBUG, "FFmpeg", fmt, args);
    }else{
        __android_log_print(ANDROID_LOG_ERROR, "FFmpeg", fmt, args);
    }
}

通过下面这句向FFmpeg设置回调：

av_log_set_callback(log_callback);

由于FFmpeg打印的log速度快量又大，很可能导致AndroidStudio缓冲区满而无法正常显示，因此在不需要的时候注释掉上面那句。

六、状态通知

状态通知我是通过native调用java方法这一形式实现的。有所不同的是，这一次java方法都不是在主线程被调用的，这样就会面临JNIEnv失效的问题。因此在调用这些方法时，首先要对JNIEnv进行attach操作，让它attach到当前被调用的线程，然后才能调用Java方法。

void JavaStateListener::progressChanged(int64_t currentProgress, bool isPlayFinished) {
    LOGD("JavaStateListener: progressChanged, position = %ld", currentProgress);
    if(vm == NULL || listener == NULL || progressChangedMethod == NULL)
    {
        return;
    }

    JNIEnv *env;
    bool needDetach = false;
    if(vm->GetEnv((void **)&env, JNI_VERSION_1_6) == JNI_EDETACHED)
    {
        needDetach = true;
        if(vm->AttachCurrentThread(&env, 0) != 0)
        {
            LOGE("Error to attach env when progressChanged");
            return;
        }
    }
    env->CallVoidMethod(listener, progressChangedMethod, currentProgress, isPlayFinished);
    if(needDetach)
    {
        vm->DetachCurrentThread();
    }
}

监听器初始化时，要先解析java类找到对应的method。

JavaStateListener::JavaStateListener(JNIEnv *env, jobject listener) {
//    this->env = env;
    env->GetJavaVM(&vm);
    this->listener = env->NewGlobalRef(listener);
//    jclass cls = env->FindClass("com/zu/ffmpegaudioplayer/MainActivity");
    jclass cls = env->GetObjectClass(listener);
    this->infoGetMethod = env->GetMethodID(cls, "onInfoGet", "(JI)V");
    this->progressChangedMethod = env->GetMethodID(cls, "onProgressChanged", "(JZ)V");
    this->playStateChangedMethod = env->GetMethodID(cls, "onPlayStateChanged", "(Z)V");
}

对应的，java的监听器接口要有如下三个方法对应起来：

fun onInfoGet(duration: Long, picBufferLen: Int)
fun onProgressChanged(progress: Long, isPlayFinished: Boolean)
fun onPlayStateChanged(isPlay: Boolean)

对于播放进度的把控，由于工程较小，所以也没有特别地区分功能，因此这个任务落在了decoder身上。当然，player也可以。FFmpeg解码出的帧带的pts就是当前帧的播放时间戳。至于在什么时候进行通知，肯定是在player向decoder要数据的时候，表示player接下来就要播放这帧音频了，所以我们把这帧音频的时间戳通知给java层作为播放进度。

if(node->pts != AV_NOPTS_VALUE)
    {
        currentPosition = (int64_t)(node->pts * av_q2d(audioStream->time_base) * 1000);
//    LOGD("Current time in seconds is %ld ms", currentPosition);

        if(progressChangedCallback != NULL)
        {
            if(fileDecodeState == DECODING_FINISHED && bufferSize == 0)
            {

                progressChangedCallback(currentPosition, true);
            }
            else if(abs(currentPosition - oldPosition) >= progressUpdateInterval)
            {
                progressChangedCallback(currentPosition, false);
                oldPosition = currentPosition;
            }


        }
    }

对于FFmpeg里的时间单位，一般都是用time_base表示，它的单位是秒。AVFrame的pts则表示“显示时间戳”，它的单位是time_base，表示有pts个time_base秒。而time_base以一个结构体ACVRational，这个结构体表示一个分数，把分子和分母分开存储了，所以先用av_q2d将其转化为一个double，与pts相乘后就表示当前以秒为单位表示的时间戳。然后再乘1000，转化为毫秒ms。

至此，这个音乐播放器的关键部分已经讲完了，大家可以去我的github下载项目。

zuguorui

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
Android音乐播放器-使用FFmpeg及OpenSLES

文章目录一、准备工作二、目标三、整体架构四、OpenSLES五、解码六、状态通知在之前的文章《FFmpeg解码音频代码》中，已经实现了使用FFmpeg解码音频为PCM。这次我们利用FFmpeg以及OpenSLES来实现一个简单的音乐播放器。一、准备工作在开始之前，我们需要使用之前文章中编译的Android版本的FFmpeg库，如果不清楚如何编译，请查看我的文章《最新版FFmpeg移植An...
复制链接

扫一扫