关于视频捕捉(About Video Capture inDshow)
1.
一个能够捕捉音频或者视频的graph图都称之为捕捉graph图。捕捉graph图比一般的文件回放graph图要复杂许多,dshow提供了一个CaptureGraph Builder COM组件使得捕捉graph图的生成更加简单。Capture GraphBuilder提供了一个ICaptureGraphBuilder2接口,这个接口提供了一些方法用来构建和控制捕捉graph。
首先创建一个Capture GraphBuilder对象和一个graphmanger对象,然后用filter graph manager作参数,调用ICaptureGraphBuilder2::SetFiltergraph来初始化CaptureGraph Builder。看下面的代码把
HRESULTInitCaptureGraphBuilder(
IGraphBuilder **ppGraph, // Receives thepointer.
ICaptureGraphBuilder2 **ppBuild // Receives thepointer.
)
{
if (!ppGraph || !ppBuild)
{
return E_POINTER;
}
IGraphBuilder *pGraph = NULL;
ICaptureGraphBuilder2 *pBuild =NULL;
pBuild->Release();
}
}
}
2. Direcshow中视频捕捉的Filter
Pin的种类
捕捉Filter一般都有两个或多个输出pin,他们输出的媒体类型都一样,比如预览pin和捕捉pin,因此根据媒体类型不能很好的区别这些pin。此时就要根据pin的功能来区别每个pin了,每个pin都有一个GUID,称为pin的种类。
如果想仔细的了解pin的种类,请看后面的相关内容Working with Pin Categories。对于大多数的应用来说,ICaptureGraphBuilder2提供了一些函数可以自动确定pin的种类。
预览pin和捕捉pin
视频捕捉Filter都提供了预览和捕捉的输出pin,预览pin用来将视频流在屏幕上显示,捕捉pin用来将视频流写入文件。
预览pin和输出pin有下面的区别:
1为了保证捕捉pin对视频帧流量,预览pin必要的时候可以停止。
2经过捕捉pin的视频帧都有时间戳,而预览pin的视频流没有时间戳。
预览pin的视频流之所以没有时间戳,原因在于filter图表管理器在视频流里加一个很小的latency,如果捕捉时间被认为就是render时间的话,视频renderFilter就认为视频流有一个小小的延迟,如果此时render filter试图连续播放,就会丢帧。去掉时间戳就保证了视频帧来了就可以播放,不用等待,也不丢桢。
Video Port pin
VideoPort是一个介于视频设备(TV)和视频卡之间的硬件设备。同过Video Port,视频数据可以直接发送到图像卡上,通过硬件的覆盖,视频可以直接在屏幕显示出来。VideoPort就是连接两个设备的。
预览pin的种类GUID为PIN_CATEGORY_PREVIEW
捕捉pin的种类GUID为PIN_CATEGORY_CAPTURE
video portpin的种类GUID为PIN_CATEGORY_VIDEOPORT
一个捕捉filter至少有一个Capture pin,另外,它可能有一个预览pin 和一个videoport pin
,或者两者都没有。一些filter有很多的capture pin,和预览pin,每一个pin都代表一种媒体类型,因此一个filter可以有一个视频capture pin,视频预览pin,音频捕捉pin,音频预览pin。
3. 预览视频(PreviewingVideo)
为了创建可以预览视频的graph,可以调用下面的代码
ICaptureGraphBuilder2 *pBuild; // Capture GraphBuilder
// Initialize pBuild (notshown).
IBaseFilter *pCap; // Video capturefilter.
hr =pBuild->RenderStream(&PIN_CATEGORY_PREVIEW,&MEDIATYPE_Video,
4. 如何捕捉视频流并保存到文件(Capture video toFile)
1)
AVI Muxfilter接收从capturepin过来的视频流,然后将其打包成AVI流。音频流也可以连接到AVIMux Filter上,这样mux filter就将视频流和视频流合成AVI流。Filewriter将AVI流写入到文件中。
构建graph图
IBaseFilter *pMux;
hr = pBuild->SetOutputFileName(
第一个参数表明文件的类型,这里表明是AVI,第二个参数是制定文件的名称。对于AVI文件,SetOutputFileName函数会创建一个AVImux Filter 和一个 File writer Filter,并且将两个filter添加到graph图中,在这个函数中,通过FileWriter Filter 请求IFileSinkFilter接口,然后调用IFileSinkFilter::SetFileName方法,设置文件的名称。然后将两个filter连接起来。第三个参数返回一个指向AVIMux的指针,同时,它也通过第四个参数返回一个IFileSinkFilter参数,如果你不需要这个参数,你可以将这个参数设置成NULL。
然后,你应该调用下面的函数将capturefilter 和AVI Mux连接起来。
hr = pBuild->RenderStream(
第5个参数就是使用的上面函数返回的pMux指针。
当捕捉音频的时候,媒体类型要设置为MEDIATYPE_Audio。如果你从两个不同的设备捕捉视频和音频,最好将音频设置成主流,avimux filter为了同步音频,会调整视频的播放速度,这样可以防止两个数据流间drift。
为了设置master流,调用IConfigAviMux::SetMasterStream方法,可以采用如下的代码:
IConfigAviMux *pConfigMux =NULL;
SetMasterStream参数的值,指的是数据流的序号,这是由调用RenderStream的次序决定的。例如,如果你调用RenderStream首先用于视频流,然后是音频,那么视频流就是0,音频流就是1。
添加编码filter
// Render the stream.
hr =pBuild->RenderStream(
&PIN_CATEGORY_CAPTURE,
pCap, pEncoder, pMux);
2)
参数MEDIASUBTYPE_Asf告诉graphbuilder,要使用wm asfwriter作为文件接收器,于是pbuild 就创建这个filter,将其添加到graph图中,然后调用IFileSinkFilter::SetFileName来设置输出文件的名字。第三个参数用来返回一个ASFwriter指针,第四个参数用来返回文件的指针。
在将任何pin连接到WM ASFWriter之前,一定要对WM ASFWriter进行一下设置。可以通过WMASF Writer的IConfigAsfWriter接口指针来进行设置。
然后调用ICaptureGraphBuilder2::RenderStream将captureFilter 和 ASF writer连接起来。
3)
如果你想将文件保存成自己的格式,你必须有自己的filewriter。看下面的代码
4)
当你将视频流保存进一个文件后,如果你想开始保存第二个文件,这时,应该首先将graph停止,然后再通过IFileSinkFilter::SetFileName改变FileWriter 的文件名称。注意,IFileSinkFilter指针你可以在SetOutputFileName时通过第四个参数返回的。
}
5)
如果想组建一个既可以预览视频,又可以将视频保存成文件的graph,只需要两次调用ICaptureGraphBuilder2::RenderStream即可。
// Render the capture stream to the mux.
hr =pBuild->RenderStream(&PIN_CATEGORY_CAPTURE,&MEDIATYPE_Video,
在上面的代码中,graph builder其实隐藏了下面的细节。
1 如果captureFilter既有preview pin也有captruepin,那么RenderStream仅仅将两个pin和renderfilter接起来。
2
5. 如何控制CaptureGraph(Controlling CaptureGraph)
Filter图表管理器可以通过IMediaControl接口控制整个graph的运行,停止和暂停。
但是,当一个graph有捕捉和预览两个数据流的时,如果想单独的控制其中一个数据流,可以通过ICaptureGraphBuilder2::ControlStream。
如何单独控制捕捉和预览数据流。
1
下面的代码,让捕捉数据流在graph开始运行1秒后开始,运行4秒后结束。
// Control the video capturestream.
REFERENCE_TIME rtStart = 1000 0000, rtStop =5000 0000;
const WORD wStartCookie = 1, wStopCookie = 2; //Arbitrary values.
hr =pBuild->ControlStream(
&PIN_CATEGORY_CAPTURE, // Pincategory.
&MEDIATYPE_Video, // Mediatype.
pCap, // Capture filter.
&rtStart,&rtStop, // Start and stop times.
wStartCookie, wStopCookie // Values for thestart and stop events.
pControl->Run();
注:只有调用IMediaControl::Run以后,这个函数才有作用。如果graph正在运行,这个设置立即生效。
ICaptureGraphBuilder2::ControlStream参数说明:
第一个参数表明需要控制的数据流,一般采用的是pin种类GUID,
第二个参数表明了媒体类型。
第三个参数指明了捕捉的filter。如果想要控制graph图中的所有捕捉filter,第二个和第三个参数都要设置成NULL。
第四和第五个参数表明了流开始和结束的时间,这是一个相对于graph开始的时间。
最后的两个参数用来设置当数据流开始和停止时能够得到的事件通知。
事件通知处理过程
ControlStream还定义了一些特定的值来表示开始和停止的时间:
MAXLONGLONG
NULL,
例如,下面的代码立即停止捕捉流。
pBuild->ControlStream(&PIN_CATEGORY_CAPTURE,&MEDIATYPE_Video, pCap,
wStartCookie, wStopCookie);
2
// Use NULL to start the previewstream:
3
Pin的缺省行为是传递sample。
例如,如果对
6. 如何配置一个视频捕捉设备
1、显示VFW驱动的视频设备对话框
如果视频捕捉设备采用的仍然是VFW方式的驱动程序,则必须支持下面三个对话框,用来设置视频设备。
- VideoSource
用来选择视频输入设备并且调整设备的设置,比如亮度和对比度。
- VideoFormat
用来设置帧的大小和位
- VideoDisplay
用来设置视频的显示参数
为了显示上面的三个对话框,你可以dothe following
1)停止graph。
2)向捕捉filter请求IAMVfwCaptureDialogs接口,如果成功,表明设备支持VFW驱动。
3)调用IAMVfwCaptureDialogs::HasDialog来检查驱动程序是否支持你请求的对话框,如果支持,返回S_OK,否则返回S_FALSE。注意不要用SUCCEDED宏。
4)如果驱动支持该对话框,调用IAMVfwCaptureDialogs::ShowDialog显示该对话框。
5)重新运行graph
代码如下
2、调整视频的质量
WDM驱动的设备支持一些属性可以用来调整视频的质量,比如亮度,对比度,饱和度,等要向调整视频的质量,dothe following
1)从捕捉filter上请求IAMVideoProcAmp接口
2)对于需要调整的任何一个属性,调用IAMVideoProcAmp::GetRange可以返回这个属性赋值的范围,缺省值,最小的增量值。IAMVideoProcAmp::Get返回当前正在使用的值。VideoProcAmpProperty枚举每个属性定义的标志。
3)调用IAMVideoProcAmp::Set来设置这个属性值。设置属性的时候,不用停止graph。
看看下面的代码是如何调整视频的质量的
HWND hTrackbar; // Handle to the trackbarcontrol.
// Initialize hTrackbar (notshown).
// Query the capture filter for theIAMVideoProcAmp interface.
3、调整视频输出格式
我们知道视频流可以有多种输出格式,一个设备可以支持16-bitRGB, 32-bit RGB, and YUYV,在每一种格式下,设备还可以调整视频帧的大小。
在WDM驱动设备上,IAMStreamConfig
捕捉Filter的捕捉pin和预览pin都支持IAMStreamConfig
);
设备还支持一系列的媒体类型,对于每一个媒体类型,设备都要支持一系列的属性,比如,帧的大小,图像缩放,帧率范围等。
通过IAMStreamConfig::GetNumberOfCapabilities获得设备所支持的媒体类型的数量。这个方法返回两个值,一个是媒体类型的数量,二是属性所需结构的大小。
这个结构的大小很重要,因为这个方法是用于视频和音频的,视频采用的是VIDEO_STREAM_CONFIG_CAPS结构,音频用AUDIO_STREAM_CONFIG_CAPS结构。
通过函数IAMStreamConfig::GetStreamCaps来枚举媒体类型,要给这个函数传递一个序号作为参数,这个函数返回媒体类型和相应的属性结构体。
// Check the size to make sure we pass in thecorrect structure.
可以调用IAMStreamConfig::SetFormat设置新的媒体类型
hr =pConfig->SetFormat(pmtConfig);
如果pin没有连接,当连接的时候就试图用新的格式,如果pin已经在连接了,它就会用的新的媒体格式重新连接。在任何一种情况下,下游的filter都有可能拒绝新的媒体格式。
在SetFormat前你可以修改VIDEO_STREAM_CONFIG_CAPS结构来重新设置媒体类型。
例如:
如果GetStreamCaps返回的是24-bitRGB format,帧的大小是320 x240
VIDEO_STREAM_CONFIG_CAPS结构里包含了该媒体类型的视频长度和宽度的最大值和最小值,还有递增的幅度值,就是每次调整视频size的幅度,例如,设备可能返回如下的值
MinOutputSize: 160 x 120
MaxOutputSize: 320 x 240
OutputGranularityX: 8 pixels (horizontal stepsize)
OutputGranularityY: 8 pixels (vertical stepsize)
这样你可以在(160, 168, 176, ... 304, 312,320)
如果想设置新的值,直接修改在GetStreamCaps函数中返回的值即可,
然后将媒体类型传递给SetFormat函数,就可修改视频格式了。
7. 将设备从系统中移走时的事件通知(Deviceremove Notify)
如果用户将一个graph正在使用的即插即用型的设备从系统中去掉,filter图表管理器就会发送一个EC_DEVICE_LOST事件通知,如果该设备又可以使用了,filter图表管理器就发送另外的一个EC_DEVICE_LOST通知,但是先前组建的捕捉filtergraph图就没法用了,用户必须重新组建graph图。
当系统中有新的设备添加时,dshow是不会发送任何通知的,所以,应用程序如果想要知道系统中何时添加新的设备,应用程序可以监控WM_DEVICECHANGE消息。
8. 从静止图像pin中捕捉图片
有些照相机,摄像头除了可以捕获视频流以外还可以捕获单张的,静止的图片。通常,静止的图片的质量要比流的质量要高。摄像头一般都一个按钮来触发,或者是支持软件触发。支持输出静态图片的摄像头一般都要提供一个静态图片pin,这个pin的种类是PIN_CATEGORY_STILL。
从设备中获取静态图片,我们一般推荐使用windowsImage Acquisition (WIA) APIs。当然,你也可以用dshow来获取图片。
在graph运行的时候利用IAMVideoControl::SetMode来触发静态的pin。代码如下
首先向captureFilter
根据不同的摄像头,你可能静态pin连接前要render
捕捉静态图片常用的filter是Sample Grabberfilter,SampleGrabber使用了一个用户定义的回调函数来处理图片。关于这个filter的详细用法,参见Usingthe Sample Grabber.。
下面的例子假设静态pin传递的是没有压缩的RGB图片。首先定义一个类,从ISampleGrabberCB继承。
// Global instance of theclass.
SampleGrabberCallbackg_StillCapCB;
然后将捕捉filter的静态pin连接到SampleGrabber,将SampleGrabber连接到Null Rendererfilter。NullRenderer仅仅是将接收到的sample丢弃掉。实际的工作都是在回调函数里进行,连接NullRenderer
// Add the Null Renderer filter to thegraph.
IBaseFilter *pNull;
hr = CoCreateInstance(CLSID_NullRendere, NULL,CLSCTX_INPROC_SERVER,
hr = pGraph->AddFilter(pSG_Filter,L"NullRender");
然后通过RenderStream将stillpin
然后调用ISampleGrabber指针,来通过这个指针可以分配内存。
设置你的回调对象
获取静态pin和samplegrabber之间连接所用的媒体类型
媒体类型包含一个BITMAPINFOHEADER结构来定义图片的格式,在程序退出前一定要释放媒体类型
看看下面的回调类吧。这个类从ISampleGrabber接口派生,但是它没有保持引用计数,因为应用程序在堆上创建这个对象,在整个graph的生存周期它都存在。
所有的工作都在BufferCB函数里完成,当有一个新的sample到来的时候,这个函数就会被sampleGrabber调用到。在下面的例子里,bitmap被写入到一个文件中
class SampleGrabberCallback : publicISampleGrabberCB
VIDEOINFOHEADER *pVideoHeader =(VIDEOINFOHEADER*)g_StillMediaType.pbFormat;
ZeroMemory(&bfh,sizeof(bfh));
bfh.bfType = 'MB'; // Little-endian for"MB".
bfh.bfSize = sizeof( bfh ) + BufferLen +cbBitmapInfoSize;
bfh.bfOffBits = sizeof( BITMAPFILEHEADER ) +cbBitmapInfoSize;
// Write the file header.
DWORD dwWritten = 0;
WriteFile( hf, &bfh, sizeof( bfh), &dwWritten, NULL );
WriteFile(hf, HEADER(pVideoHeader),cbBitmapInfoSize, &dwWritten,NULL);
WriteFile( hf, pBuffer, BufferLen,&dwWritten, NULL );
CloseHandle( hf );
return S_OK;
}
};