宗而研之
计算机视觉应用开发及部署方向
展开
-
GStreamer基础教程0:安装gstreamer(linux)
先决条件GStreamer包含在所有Linux发行版中。我们建议使用Fedora,Ubuntu(非LTS),Debian sid或OpenSuse等快速发行版的最新版本来获取最新的GStreamer版本。本节中给出的所有命令均旨在从终端输入。确保您具有安装GStreamer的超级用户(根)访问权限。在Fedora上安装GStreamer运行以下命令:dnf insta...翻译 2020-03-04 10:08:58 · 7159 阅读 · 0 评论 -
GStreamer基础教程1:Hello World
目标没有比在屏幕上打印“ Hello World”更好的关于软件库的第一印象了!但是由于我们正在处理多媒体框架,所以我们将改为播放视频。不要被下面的代码量吓到了:只有4行可以完成实际工作。剩下的就是清理代码,在C语言中,这总是有些冗长。事不宜迟,为您的第一个GStreamer应用程序做准备...Hello World将此代码复制到一个名为basic-tutorial-1.c...翻译 2020-03-04 10:18:05 · 2203 阅读 · 2 评论 -
GStreamer基础教程2:基本概念
目标上一教程介绍了如何自动构建管道。现在,我们将通过实例化每个元素并将它们链接在一起来手动构建管道。在此过程中,我们将学习: 什么是GStreamer元素以及如何创建一个元素。 如何将元素彼此连接。 如何自定义元素的行为。 如何监视总线上的错误情况并从GStreamer消息中提取信息。 Hello World将此代码复制到一个名为basic-tuto...翻译 2020-03-04 10:37:40 · 2379 阅读 · 3 评论 -
GStreamer基础教程3:动态管道
目标本教程介绍了使用GStreamer所需的其余基本概念,这些概念允许在信息可用时“动态”构建管道,而不是在应用程序开始时定义一个整体式管道。学习完本教程之后,您将具有开始播放教程的必要知识。这里的要点是: 链接元素时如何获得更好的控制。 如何收到有趣事件的通知,以便您及时做出反应。 元素可以处于的各种状态。 介绍如您所见,本教程中的管道在设置为播放状态...翻译 2020-03-04 11:42:42 · 2673 阅读 · 0 评论 -
GStreamer基础教程4:时间管理
目标本教程显示了如何使用GStreamer与时间相关的工具。尤其是:如何在管道中查询流位置或持续时间之类的信息。 如何寻找(跳到)流中的另一个位置(时间)。介绍GstQuery是一种机制,允许向元素或填充物询问一条信息。在此示例中,我们询问管道是否允许搜索(某些源(例如实时流)不允许搜索)。如果允许,那么电影放映十秒钟后,我们将使用搜索跳到另一个位置。在先前的教程中,一旦我们完...翻译 2020-03-04 17:34:52 · 1011 阅读 · 0 评论 -
GStreamer基础教程5:集成GUI工具
目标本教程展示了如何在GStreamer集成一个GUI(比如:GTK+)。最基本的原则是GStreamer处理多媒体的播放而GUI处理和用户的交互。在这个教程里面,我们可以学到:如何告诉GStreamer输出视频到一个window 如何持续的刷新GUI 在GStreamer多线程时如何保持UI的更新 一个仅发送给你订阅的消息而不是所有消息的机制介绍我们下面就用GTK+这样一个G...翻译 2020-03-12 10:05:21 · 1213 阅读 · 0 评论 -
GStreamer基础教程6:媒体格式和pad的Capabilities
目标Pad的Capabilities是一个GStreamer element的基础,因为framework大部分时间是自动处理的,所以我们几乎感觉不到它的存在。本教程比较偏向原理,介绍了:什么是Pad Capabilities 如何获得这个东西 什么时候应该去获得这个东西 为什么你需要了解他们介绍PadsPads允许信息进入或者离开一个element——就像曾经展示过得一样...翻译 2020-03-12 11:17:54 · 838 阅读 · 2 评论 -
GStreamer基础教程7:多线程和Pad的有效性
目标GStreamer会自动处理多线程这部分,但在有些情况下,你需要手动对线程做解耦。本教程会教你怎样才能做到这一点,另外也展示了Pad的有效性。主要内容包括:如何针对部分的pipeline建立一个新的线程 什么是Pad的有效性 如何复制流介绍多线程GStreamer是一个支持多线程的框架。这就说明,如果有必要它会在内部自动创建/销毁线程。比如:在应用线程中把流解出来。而且,...翻译 2020-03-12 11:31:43 · 1026 阅读 · 1 评论 -
GStreamer基础教程8:pipeline的快捷访问
目标GStreamer建立的pipeline不需要完全关闭。有多种方法可以让数据在任何时候送到pipeline中或者从pipeline中取出。本教程会展示:如何把外部数据送到pipeline中 如何把数据从pipeline中取出 如何操作这些数据介绍有几种方法可以让应用通过pipeline和数据流交互。本教程讲述了最简单的一种,因为使用了专门为这个而创建的element。专门...翻译 2020-03-12 11:43:14 · 922 阅读 · 1 评论 -
GStreamer基础教程9:收集媒体信息
目标有时你需要快速的了解一个文件(或URI)包含的媒体格式或者看看是否支持这种格式。当然你可以创建一个pipeline,设置运行,观察总线上的消息,但GStreamer提供了一个工具可以帮你做这些。本教程主要讲述:如何获得一个URI上的信息 如何确定一个URI是可以播放的介绍GstDiscover是一个在pbutils库提供的工具,接受输入URI或者URI列表,返回它们的信息。这个...翻译 2020-03-12 11:54:20 · 673 阅读 · 2 评论 -
GStreamer基础教程10:GStreamer工具
目标GStreamer提供了一系列方便使用的工具。这篇教程里不牵涉任何代码,但还是会讲一些有用的内容:如何在命令行下建立一个pipeline——完全不使用C 如何找出一个element的Capabilities 如何发现一个媒体文件的内部结构介绍这些工具就位于SDK的bin目录下。你需要把这个目录加入PATH变量,或者把当前目前切换到GStreamer SDK的bin目录。打...翻译 2020-03-12 14:00:49 · 1639 阅读 · 2 评论 -
GStreamer基础教程11:调试工具
目标有时我们的应用并没有按照我们的预期来工作,并且在总线上获得的错误信息也没有足够的内容。这时我们该怎么办呢?幸运的时,GStreamer自身提供了大量的调试信息,通常这些信息会给出一些线索,指向出错的地方。本教程主要讲述:如何在GStreamer里面获得更多地调试信息 如何把你自己的调试信息加入GStreamer的调试记录 如何获得图形化的pipeline打印调试信息调试记录...翻译 2020-03-12 14:08:46 · 1700 阅读 · 0 评论 -
GStreamer基础教程12:流式传输
目标直接播放Internet上的文件而不在本地保存就被称为流播放。我们在前面教程里已经这样做过了,使用了http://的URL。本教程展示的是在播放流的时候需要记住的几个点,特别是:如何设置缓冲 如何从打断中恢复(因为失去了时钟)介绍当在播放流的时候,一旦从网络上取到媒体数据块就会进行解码和放入显示队列。这意味着如果网络来的数据延迟了,那么显示队列就可能没有数据,播放就会停下来。...翻译 2020-03-12 14:12:39 · 1637 阅读 · 0 评论 -
GStreamer基础教程13:播放速度
目标快进,倒放和慢放是trick模式的共同技巧,它们有一个共同点就是它们都修改了播放的速度。本教程会展示如何来获得这些效果和如何进行逐帧的跳跃。主要内容是:如何来变换播放的速度,变快或者变慢,前进或者后退 如何一帧一帧的播放视频介绍快进是以超过正常速度播放媒体的一项技术,反之,慢放是以低于正常速度播放的技术。倒放和播放是一样的,只不过是从后面朝前面播放。所有这些技术做的都是修改...翻译 2020-03-12 14:18:07 · 891 阅读 · 1 评论 -
GStreamer基础教程14:常用的element
目标本教程给出了一系列开发中常用的element。它们包括大杂烩般的eleemnt(比如playbin2)以及一些调试时很有用的element。简单来说,下面用gst-launch这个工具给出一个个具体例子(命令行),你可以用-v参数可以看到Pad得Caps是如何协商的。Bins这些是Bin element,它们在内部包含其他的element,已经组成了内部的pipeline,但在...翻译 2020-03-12 14:25:38 · 1478 阅读 · 0 评论 -
GStreamer基础教程15:继承Clutter
目标Clutter是一个开源的库,用来创建快速、可移植和动态的GUI。GStreamer可以通过cluttersink这个element把clutter集成进来,允许视频像纹理一样使用。本教程会展示:如何把GStreamer pipeline的视频输出在clutter里面作为纹理来处理介绍连接GStreamer和clutter的流程实际上非常简单。我们必须使用cluttersink这...翻译 2020-03-12 14:30:06 · 458 阅读 · 0 评论 -
GStreamer基础教程16:平台相关的element
目标虽然GStreamer是跨平台的framework,但不是所有的element都是在所有平台下都有的。比如,音频和视频的sink都非常依赖于当前的window系统,根据当前的平台需要选择不同的element。当然,你在运行playbin2或者autovideosink这些element时不需要考虑跨平台的问题,但是,当你使用仅仅在特定的平台存在的sink时,这个问题就绕不过去了。本教程会介...翻译 2020-03-12 14:35:12 · 1135 阅读 · 0 评论 -
Gstreamer应用开发手册1:关于Gstreamer
在之前的Gstreamer基础教程中,介绍了gstreamer基础相关的知识,目的是起到入门的作用。接下来在应用开发手册系列教程中,将更多的从技术角度,介绍更多的概念和功能,起到更好的学习效果。1 什么是gstreamerGStreamer 是一个创建流媒体应用程序的框架。其基本设计思想来自于俄勒冈(Oregon)研究生学院有关视频管道的创意, 同时也借鉴了 DirectShow 的设计思...翻译 2020-04-28 11:58:50 · 2280 阅读 · 2 评论 -
Gstreamer应用开发手册2:初始化、元件
初始化当你准备写一个GStreamer应用程序时,你仅需要通过包含头文件gst/gst.h 来访问库函数。除此之外,不要忘记初始化 GStreamer 库。简易初始化在 GStreamer 库被使用前,主应用程序中应该先调用函数 gst_init,这个函数将会对 GStreamer 库做一些必要的初始化工作,同时也能够对 GStreamer 的命令行参数进行解析。一个典型的初始化 GStreamer 库的代码如下所示:#include <stdio.h>#include &l翻译 2020-04-28 17:46:02 · 1194 阅读 · 0 评论 -
Gstreamer应用开发手册3:箱柜、总线、消息
箱柜(Bins)箱柜是一种容器元件。你可以往箱柜中添加元件。由于箱柜本身也是一种元件,所以你可以像普通元件一样 操作箱柜。因此,先前关于元件(Elements) 那章的内容同样可以应用于箱柜。什么是箱柜箱柜允许你将一组有链接的元件组合成一个大的逻辑元件。你不再需要对单个元件进行操作,而仅仅操作箱柜。当你在构建一个复杂的 管道时,你会发现箱柜的巨大优势,因为它允许你将复杂的管道分解成一些...翻译 2020-04-28 18:23:50 · 958 阅读 · 0 评论 -
Gstreamer应用开发手册4:衬垫、缓冲区、事件
衬垫(pads)及其功能如我们在 Elements 一文中看到的那样,衬垫(Pads)是元件对外的接口。数据流从一个元件的源衬垫(source pad)到另一个元件的接收衬垫(sink pad)。衬垫的功能(capabilities)决定了一个元件所能处理的媒体类型。在这章的后续讲解中,我们将对衬垫的功能做更详细的说明。衬垫(Pads)一个衬垫的类型由 2 个特性决定:它的数据导向(d...翻译 2020-04-28 19:03:15 · 1213 阅读 · 0 评论 -
Gstreamer应用开发手册5:构建一个应用
创建一个完整应用在这一章中将会对先前的章节做个总结。它通过一个小程序来讲述 GStreamer 的各个方面:初始化库,创建元件,将元件打包进管道,播放管道中的数据内容。通过这些步骤,你将能够自己开发一个简易的,支持 Ogg/Vorbis 格式的音频播放器。第一个 Hello world 程序我们现在开始创建第一个简易的应用程序:一个基于命令行并支持 Ogg/Vorbis 格式的音频播放...翻译 2020-04-28 19:18:50 · 1065 阅读 · 0 评论 -
Gstreamer应用开发手册6:跟踪、定位、元数据
到目前为止,我们已经接触到如何创建一个处理媒体数据流的管道,并如何使它运行。更多的应用程序开发者对在媒体数据流的处理过程中能否提供反馈信息给用户,以及提供什么反馈信息给用户,更感兴趣。举例来说: 对于多媒体播放器,我们想要对播放中的音乐显示一个进度条。或者进行代码转换的应用程序可能需要一个进度条来显示当前处理的代码百分比。 GStreamer 内置了方法来支持上述功能。它通过使用查询(queryi...翻译 2020-04-29 10:43:33 · 1216 阅读 · 0 评论 -
Gstreamer应用开发手册7:接口、时钟与同步
接口在前边中我们学习过如何使用 GObject 的特性在应用程序和元件间进行简单交互。这个方法能够满足简单的直接设置,但对于比 set 和 get 更复杂的方法时就不行。为了满足一些更复杂的应用,GStreamer 使用了基于 Glib 中的 GInterface 类型的接口。这部分讲述的大多处理接口并没有给予相应代码。详情请参考 API 手册。在这里,我们仅讲述这些接口的范围和目的。UR...翻译 2020-04-29 11:33:13 · 1655 阅读 · 0 评论 -
Gstreamer应用开发手册8:缓冲
缓冲缓冲的目的是在管道中累积足够的数据,以便可以流畅地进行播放而不会中断。从(慢速)非实时网络源读取数据时通常可以完成此操作,但也可以用于实时资源。GStreamer为以下用例提供支持:开始播放之前,在内存中缓冲多达特定数量的数据,以使网络波动最小化。请参阅流缓冲。 通过快速搜索下载的数据将网络文件下载到本地磁盘。这类似于quicktime / youtube播放器。请参阅下载缓冲。...翻译 2020-04-29 13:54:05 · 1675 阅读 · 0 评论 -
Gstreamer应用开发手册9:动态控制参数
入门GStreamer属性通常是使用g_object_set()设置的,但是想实时地调用来更改流几乎是不可能的。控制器子系统提供了一种轻量级的方法来在流运行时调整GObject属性。控制器要考虑到时间影响,它通过GstControlSource控件来修改属性。控制源提供0.0到1.0的范围的时间戳的值。控件绑定将控件值映射到GObject它们绑定到的属性,将类型转换并缩放到目标属性的值范围...翻译 2020-04-29 14:23:07 · 2338 阅读 · 2 评论 -
Gstreamer应用开发手册10:线程
线程GStreamer本质上是多线程的,并且是完全线程安全的。大多数线程内部结构对应用程序都是隐藏的,这使开发更加容易。但是,在某些情况下,应用程序可能希望对其中的某些部分产生影响。GStreamer允许应用程序在管道的某些部分上强制使用多个线程。GStreamer还可以在创建线程时通知您,以便您可以配置诸如线程优先级或要使用的线程池之类的东西。在GStreamer中调度GStre...翻译 2020-04-29 15:03:39 · 1355 阅读 · 0 评论 -
Gstreamer应用开发手册11:自动加载
自动加载在前边我们学习过为 Ogg/Vorbis 文件建立一个简单的媒体播放器。通过替换元件,你同样可以建立一个播放其它文件格式的媒体播放器,像 Ogg/Speex, MP3 甚至视频格式。但是你可能更希望建立一个可以自动检测数据流的媒体格式的应用程序,该应用程序可以根据系统中可用元件自动建立一个最佳的管道。这个过程叫做自动加载(autoplugging), GStreamer 拥有一个高质量...翻译 2020-04-29 15:33:42 · 536 阅读 · 0 评论 -
Gstreamer应用开发手册12:探测函数
管道控制本文将讨论如何在你的应用程序控制管道的几种方法。本文的有些部分明显的有点难度,所以你在阅读本文之前需要一些编程知识。接下来将要讨论的包括如何如何将数据从应用程序插入到管道中, 如何从管道读取数据, 如何控制管道的速度、长度、起始点, 如何监听管道的数据处理过程。使用探测最好将探测视为可以访问Pad侦听器。从技术上讲,探针不过是可以使用gst_pad_add_probe ...翻译 2020-04-29 16:45:46 · 2858 阅读 · 0 评论 -
Gstreamer应用开发手册13:管道中添加删除数据
手动在管道中添加/删除数据许多人希望使用自己的源将数据注入到管道中,也有人希望获取管道的输出并在应用程序中处理它。强烈建议不要使用这些方法,但GStreamer会为它们提供支持。由于没有基类的任何支持,因此你需要彻底了解状态更改和同步。如果它不起作用,则有百万种方法可以使自己陷入困境。最好只编写一个插件并让基类对其进行管理。有关此主题的更多信息,请参见《插件编写者指南》。你可以将两个可能的...翻译 2020-04-29 16:50:40 · 3265 阅读 · 0 评论 -
Gstreamer应用开发手册14:替换管道元件
动态改变管道在本节中,我们讨论一些用于动态修改管道的技术。我们正在专门讨论在PLAYING状态下且不中断数据流的情况下更改管道。建立动态管道时,需要考虑一些重要事项:从管道中删除元件时,请确保未链接的衬垫上没有数据流,因为这将导致致命的管道错误。断开衬垫连接之前,请始终阻塞source衬垫(在推模式下)或sink衬垫(在拉模式下)。另请参见更改管道中的元件。 将元件添加到管道中时,请...翻译 2020-04-29 16:50:54 · 1702 阅读 · 3 评论