live555+MediaCodec实现获取并解码RTSP视频（H264）

最新推荐文章于 2024-06-17 17:51:23 发布

梦曦-11

最新推荐文章于 2024-06-17 17:51:23 发布

阅读量6k

点赞数

文章标签： h264 android live555

本文链接：https://blog.csdn.net/zhongyuxin1011/article/details/75143721

版权

一、前言

本文主要内容为live555在Android平台下的移植及使用，并实现使用Android自带的MediaCodec硬解码功能。参考网上现有的live555移植教程，不同的是我编译出来的是live555.a静态库。感谢网友们的无私奉献。需要提醒的是，网上移植教程有很多，移植后怎么使用则不多，文章千千万，我这篇文章不一定能符合你的需求，很多时候你需要多参考几篇文章，然后整合成自己需要的。祝你早日成功！

感谢作者：http://blog.csdn.net/keen_zuxwang/article/details/71440588

在其基础上修改，在此表示感谢！

二、live555移植

2.1 移植目的

关于什么是live555，这里不再赘述，各种百科已经解释得很清楚了。我项目涉及的主要需求是通过RTSP地址获取到RTSP视频数据源，并解码显示和保存。为什么移植live555呢？首先，我的需求是需要获取到RTSP视频数据源转发，其次能够保存H264数据成MP4文件，最后延迟不能太高（实时性要好）。

注意：本文所说的延迟都是在局域网内环境下实测的感官感受。

2.2 几种工具（框架）对比

目前，能够通过RTSP地址获取视频显示的工具不少，但各自有自身的优缺点。比如说Vitamio，能够播放RTSP视频，但延迟不理想，解码时CPU占用率偏高；VLC for Android，功能强大，网上也有网友移植的现成库可以使用，CPU占用比较理想，还可以播放本地视频文件，但延迟还是不理想，且网友移植的库出现问题无法修改；......。

Vitamio不能获取到视频数据源，也不能保存到本地，基本上可以Pass了。VLC for Android能够获取到视频数据源，并有相应的回调方法，但需要自己重新修改并编译C代码，需要实现三个方法，且回调的数据格式与要求，实时性还是差了点。

综合考虑，最终选择移植live555。VLC也是基于live555实现的，在此基础上还是ffmpeg等。

2.3 移植过程

废话不多说，直接开干！

网上已经有很多关于live555的移植编译教程，我也参考了不少，由于没有记录下作者，无法注明，在此表示深深地感谢！

live555源码下载地址： http://www.live555.com/liveMedia/public/

注意：本文移植的live555源码版本为2017.06.04，NDK版本为r13b，使用Eclipse开发。

2.3.1 Android.mk

LOCAL_PATH := $(call my-dir)

include $(CLEAR_VARS)

LOCAL_MODULE := liblive555

LOCAL_ARM_MODE := arm

LOCAL_PRELINK_MODULE := false

LOCAL_CPPFLAGS := \
	-DNULL=0 -DSOCKLEN_T=socklen_t -DNO_SSTREAM -DBSD=1 -DNO_SSTREAM -fexceptions -DANDROID -DXLOCALE_NOT_USED

LOCAL_C_INCLUDES := \
	$(LOCAL_PATH) \
	$(LOCAL_PATH)/BasicUsageEnvironment/include \
	$(LOCAL_PATH)/BasicUsageEnvironment \
	$(LOCAL_PATH)/UsageEnvironment/include \
	$(LOCAL_PATH)/UsageEnvironment \
	$(LOCAL_PATH)/groupsock/include \
	$(LOCAL_PATH)/groupsock \
	$(LOCAL_PATH)/liveMedia/include \
	$(LOCAL_PATH)/liveMedia \

LOCAL_MODULE_TAGS := optional

LOCAL_SRC_FILES := \
	liveMedia/AC3AudioFileServerMediaSubsession.cpp \
	liveMedia/AC3AudioRTPSink.cpp \
	liveMedia/AC3AudioRTPSource.cpp \
	liveMedia/AC3AudioStreamFramer.cpp \
	liveMedia/ADTSAudioFileServerMediaSubsession.cpp \
	liveMedia/ADTSAudioFileSource.cpp \
	liveMedia/AMRAudioFileServerMediaSubsession.cpp \
	liveMedia/AMRAudioFileSink.cpp \
	liveMedia/AMRAudioFileSource.cpp \
	liveMedia/AMRAudioRTPSink.cpp \
	liveMedia/AMRAudioRTPSource.cpp \
	liveMedia/AMRAudioSource.cpp \
	liveMedia/AudioInputDevice.cpp \
	liveMedia/AudioRTPSink.cpp \
	liveMedia/AVIFileSink.cpp \
	liveMedia/Base64.cpp \
	liveMedia/BasicUDPSink.cpp \
	liveMedia/BasicUDPSource.cpp \
	liveMedia/BitVector.cpp \
	liveMedia/ByteStreamFileSource.cpp \
	liveMedia/ByteStreamMemoryBufferSource.cpp \
	liveMedia/ByteStreamMultiFileSource.cpp \
	liveMedia/DeviceSource.cpp \
	liveMedia/DigestAuthentication.cpp \
	liveMedia/DVVideoFileServerMediaSubsession.cpp \
	liveMedia/DVVideoRTPSink.cpp \
	liveMedia/DVVideoRTPSource.cpp \
	liveMedia/DVVideoStreamFramer.cpp \
	liveMedia/EBMLNumber.cpp \
	liveMedia/FileServerMediaSubsession.cpp \
	liveMedia/FileSink.cpp \
	liveMedia/FramedFileSource.cpp \
	liveMedia/FramedFilter.cpp \
	liveMedia/FramedSource.cpp \
	liveMedia/GenericMediaServer.cpp \
	liveMedia/GSMAudioRTPSink.cpp \
	liveMedia/H261VideoRTPSource.cpp \
	liveMedia/H263plusVideoFileServerMediaSubsession.cpp \
	liveMedia/H263plusVideoRTPSink.cpp \
	liveMedia/H263plusVideoRTPSource.cpp \
	liveMedia/H263plusVideoStreamFramer.cpp \
	liveMedia/H263plusVideoStreamParser.cpp \
	liveMedia/H264or5VideoFileSink.cpp \
	liveMedia/H264or5VideoRTPSink.cpp \
	liveMedia/H264or5VideoStreamDiscreteFramer.cpp \
	liveMedia/H264or5VideoStreamFramer.cpp \
	liveMedia/H264VideoFileServerMediaSubsession.cpp \
	liveMedia/H264VideoFileSink.cpp \
	liveMedia/H264VideoRTPSink.cpp \
	liveMedia/H264VideoRTPSource.cpp \
	liveMedia/H264VideoStreamDiscreteFramer.cpp \
	liveMedia/H264VideoStreamFramer.cpp \
	liveMedia/H265VideoFileServerMediaSubsession.cpp \
	liveMedia/H265VideoFileSink.cpp \
	liveMedia/H265VideoRTPSink.cpp \
	liveMedia/H265VideoRTPSource.cpp \
	liveMedia/H265VideoStreamDiscreteFramer.cpp \
	liveMedia/H265VideoStreamFramer.cpp \
	liveMedia/InputFile.cpp \
	liveMedia/JPEGVideoRTPSource.cpp \
	liveMedia/JPEGVideoSource.cpp \
	liveMedia/Locale.cpp \
	liveMedia/MatroskaDemuxedTrack.cpp \
	liveMedia/MatroskaFile.cpp \
	liveMedia/MatroskaFileParser.cpp \
	liveMedia/MatroskaFileServerDemux.cpp \
	liveMedia/MatroskaFileServerMediaSubsession.cpp \
	liveMedia/Media.cpp \
	liveMedia/MediaSession.cpp \
	liveMedia/MediaSink.cpp \
	liveMedia/MediaSource.cpp \
	liveMedia/MP3ADU.cpp \
	liveMedia/MP3ADUdescriptor.cpp \
	liveMedia/MP3ADUinterleaving.cpp \
	liveMedia/MP3ADURTPSink.cpp \
	liveMedia/MP3ADURTPSource.cpp \
	liveMedia/MP3ADUTranscoder.cpp \
	liveMedia/MP3AudioFileServerMediaSubsession.cpp \
	liveMedia/MP3AudioMatroskaFileServerMediaSubsession.cpp \
	liveMedia/MP3FileSource.cpp \
	liveMedia/MP3Internals.cpp \
	liveMedia/MP3InternalsHuffman.cpp \
	liveMedia/MP3InternalsHuffmanTable.cpp \
	liveMedia/MP3StreamState.cpp \
	liveMedia/MP3Transcoder.cpp \
	liveMedia/MPEG1or2AudioRTPSink.cpp \
	liveMedia/MPEG1or2AudioRTPSource.cpp \
	liveMedia/MPEG1or2AudioStreamFramer.cpp \
	liveMedia/MPEG1or2Demux.cpp \
	liveMedia/MPEG1or2DemuxedElementaryStream.cpp \
	liveMedia/MPEG1or2DemuxedServerMediaSubsession.cpp \
	liveMedia/MPEG1or2FileServerDemux.cpp \
	liveMedia/MPEG1or2VideoFileServerMediaSubsession.cpp \
	liveMedia/MPEG1or2VideoRTPSink.cpp \
	liveMedia/MPEG1or2VideoRTPSource.cpp \
	liveMedia/MPEG1or2VideoStreamDiscreteFramer.cpp \
	liveMedia/MPEG1or2VideoStreamFramer.cpp \
	liveMedia/MPEG2IndexFromTransportStream.cpp \
	liveMedia/MPEG2TransportFileServerMediaSubsession.cpp \
	liveMedia/MPEG2TransportStreamAccumulator.cpp \
	liveMedia/MPEG2TransportStreamFramer.cpp \
	liveMedia/MPEG2TransportStreamFromESSource.cpp \
	liveMedia/MPEG2TransportStreamFromPESSource.cpp \
	liveMedia/MPEG2TransportStreamIndexFile.cpp \
	liveMedia/MPEG2TransportStreamMultiplexor.cpp \
	liveMedia/MPEG2TransportStreamTrickModeFilter.cpp \
	liveMedia/MPEG2TransportUDPServerMediaSubsession.cpp \
	liveMedia/MPEG4ESVideoRTPSink.cpp \
	liveMedia/MPEG4ESVideoRTPSource.cpp \
	liveMedia/MPEG4GenericRTPSink.cpp \
	liveMedia/MPEG4GenericRTPSource.cpp \
	liveMedia/MPEG4LATMAudioRTPSink.cpp \
	liveMedia/MPEG4LATMAudioRTPSource.cpp \
	liveMedia/MPEG4VideoFileServerMediaSubsession.cpp \
	liveMedia/MPEG4VideoStreamDiscreteFramer.cpp \
	liveMedia/MPEG4VideoStreamFramer.cpp \
	liveMedia/MPEGVideoStreamFramer.cpp \
	liveMedia/MPEGVideoStreamParser.cpp \
	liveMedia/MultiFramedRTPSink.cpp \
	liveMedia/MultiFramedRTPSource.cpp \
	liveMedia/OggDemuxedTrack.cpp \
	liveMedia/OggFile.cpp \
	liveMedia/OggFileParser.cpp \
	liveMedia/OggFileServerDemux.cpp \
	liveMedia/OggFileServerMediaSubsession.cpp \
	liveMedia/OggFileSink.cpp \
	liveMedia/OnDemandServerMediaSubsession.cpp \
	liveMedia/ourMD5.cpp \
	liveMedia/OutputFile.cpp \
	liveMedia/PassiveServerMediaSubsession.cpp \
	liveMedia/ProxyServerMediaSession.cpp \
	liveMedia/QCELPAudioRTPSource.cpp \
	liveMedia/QuickTimeFileSink.cpp \
	liveMedia/QuickTimeGenericRTPSource.cpp \
	liveMedia/RTCP.cpp \
	liveMedia/rtcp_from_spec.c \
	liveMedia/RTPInterface.cpp \
	liveMedia/RTPSink.cpp \
	liveMedia/RTPSource.cpp \
	liveMedia/RTSPClient.cpp \
	liveMedia/RTSPCommon.cpp \
	liveMedia/RTSPRegisterSender.cpp \
	liveMedia/RTSPServer.cpp \
    liveMedia/RTSPServerRegister.cpp \
	liveMedia/RTSPServerSupportingHTTPStreaming.cpp \
	liveMedia/ServerMediaSession.cpp \
	liveMedia/SimpleRTPSink.cpp \
	liveMedia/SimpleRTPSource.cpp \
	liveMedia/StreamParser.cpp \
	liveMedia/StreamReplicator.cpp \
	liveMedia/T140TextRTPSink.cpp \
	liveMedia/TCPStreamSink.cpp \
	liveMedia/TextRTPSink.cpp \
	liveMedia/TheoraVideoRTPSink.cpp \
	liveMedia/TheoraVideoRTPSource.cpp \
    liveMedia/uLawAudioFilter.cpp \
	liveMedia/VideoRTPSink.cpp \
	liveMedia/VorbisAudioRTPSink.cpp \
	liveMedia/VorbisAudioRTPSource.cpp \
	liveMedia/VP8VideoRTPSink.cpp \
	liveMedia/VP8VideoRTPSource.cpp \
	liveMedia/VP9VideoRTPSink.cpp \
	liveMedia/VP9VideoRTPSource.cpp \
	liveMedia/WAVAudioFileServerMediaSubsession.cpp \
	liveMedia/WAVAudioFileSource.cpp \
	groupsock/GroupEId.cpp \
	groupsock/Groupsock.cpp \
	groupsock/GroupsockHelper.cpp \
	groupsock/inet.c \
	groupsock/IOHandlers.cpp \
	groupsock/NetAddress.cpp \
	groupsock/NetInterface.cpp \
	UsageEnvironment/HashTable.cpp \
	UsageEnvironment/strDup.cpp \
	UsageEnvironment/UsageEnvironment.cpp \
	BasicUsageEnvironment/BasicHashTable.cpp \
	BasicUsageEnvironment/BasicTaskScheduler.cpp \
	BasicUsageEnvironment/BasicTaskScheduler0.cpp \
	BasicUsageEnvironment/BasicUsageEnvironment.cpp \
	BasicUsageEnvironment/BasicUsageEnvironment0.cpp \
	BasicUsageEnvironment/DelayQueue.cpp \

include $(BUILD_STATIC_LIBRARY)

include $(CLEAR_VARS)

LOCAL_SRC_FILES := \
	testProgs/testRTSPClient.cpp \
			
LOCAL_C_INCLUDES := \
	$(LOCAL_PATH) \
	$(LOCAL_PATH)/BasicUsageEnvironment/include \
	$(LOCAL_PATH)/BasicUsageEnvironment \
	$(LOCAL_PATH)/UsageEnvironment/include \
	$(LOCAL_PATH)/UsageEnvironment \
	$(LOCAL_PATH)/groupsock/include \
	$(LOCAL_PATH)/groupsock \
	$(LOCAL_PATH)/liveMedia/include \
	$(LOCAL_PATH)/liveMedia \	    

LOCAL_STATIC_LIBRARIES :=liblive555 

LOCAL_MODULE := testRTSPClient

LOCAL_PRELINK_MODULE := false

LOCAL_CPPFLAGS := \
	-DNULL=0 -DSOCKLEN_T=socklen_t -DNO_SSTREAM -DBSD=1 -DNO_SSTREAM -fexceptions -DANDROID

LOCAL_MODULE_TAGS := optional

include $(BUILD_EXECUTABLE)

编译成功会生成各个平台下的liblive555.a静态库，我选用的armeabi-v7a平台下的。

2.3.2 使用liblive555.a静态库

网上移植教程很多，怎么搭建ndk开发环境不再赘述。

新建Eclipse项目，添加jni文件夹，拷贝live555源码到jni目录，修改testRTSPClient.cpp源文件，新建Android.mk和Application.mk，大体流程就是这样。

2.3.2.1 Android.mk

LOCAL_PATH := $(call my-dir)

include $(CLEAR_VARS) 
LOCAL_MODULE := live555
LOCAL_SRC_FILES := liblive555.a
include $(PREBUILT_STATIC_LIBRARY) 

include $(CLEAR_VARS)    
LOCAL_MODULE    := stdc++
LOCAL_SRC_FILES := libstdc++.a
include $(PREBUILT_STATIC_LIBRARY)

include $(CLEAR_VARS) 
LOCAL_C_INCLUDES += \
     $(LOCAL_PATH)/live/jni \
     $(LOCAL_PATH)/live/jni/BasicUsageEnvironment/include \
     $(LOCAL_PATH)/live/jni/liveMedia/include \
     $(LOCAL_PATH)/live/jni/groupsock/include \
     $(LOCAL_PATH)/live/jni/UsageEnvironment/include \

#LOCAL_SHARED_LIBRARIES := live555
LOCAL_STATIC_LIBRARIES := live555 stdc++

LOCAL_MODULE    := rtsplive555
LOCAL_SRC_FILES := \
	testRTSPClient.cpp
LOCAL_LDLIBS := -llog -lz

include $(BUILD_SHARED_LIBRARY)

2.3.2.2 Application.mk

APP_ABI := armeabi-v7a

APP_PLATFORM := android-16

APP_STL := stlport_static

APP_CPPFLAGS += -fno-rtti

2.3.2.3 Java层RTSPClient.java

package com.live555.rtsp;

import android.text.TextUtils;
import android.util.Log;

public class RTSPClient {

	public static native int start(String path);

	public void onNativeCallBack(byte[] data, int len) {
		// 获取的数据回调，加入自己的逻辑
	}

	public void onNativeError(String errorMsg) {
		if (TextUtils.isEmpty(errorMsg)) {
			return;
		}
		
		Log.d("RTSPClient", errorMsg);
	}

	public static native void stop();
}

最后编译生成librtsplive555.so文件。

需要注意的是：start(String)方法必须在子线程调用，因JNI层未加入子线程，此方法为阻塞式方法。

2.3.3 结合MediaCodec硬解码H264视频

live555在JNI连接RTSP服务器，然后回调数据给Java层，Java层利用MediaCodec解码给SurfaceView显示。具体查看代码实现。

三、例子源码

地址：https://git.oschina.net/zhongyuxin1011/live555Demo.git

四、一点说明

1.JNI只回调Video数据，Audio数据不回调，可以自行修改。

2.sps_pps数据一起发送，且只发送一次。

3.live555支持多路RTSP，本例只实现单例，可以自行查找TestRTSPClient.cpp源码修改。

4.如有错误之处，欢迎指正！

梦曦-11

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
6
评论
live555+MediaCodec实现获取并解码RTSP视频（H264）

一、前言本文主要内容为live555在Android平台下的移植及使用，并实现使用Android自带的MediaCodec硬解码功能。参考网上现有的live555移植教程，不同的是我编译出来的是live555.a静态库。感谢网友们的无私奉献。需要提醒的是，网上移植教程有很多，移植后怎么使用则不多，文章千千万，我这篇文章不一定能符合你的需求，很多时候你需要多参考几篇文章，然后整合成自己需要的。祝
复制链接

扫一扫