OpenCV是一个基于Apache2.0许可(开源)发行的跨平台计算机视觉和机器学习软件库,可以运行在Linux、Windows、Android和Mac OS操作系统上。 它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。OpenCV用C++语言编写,它具有C ++,Python,Java和MATLAB接口,并支持Windows,Linux,Android和Mac OS,OpenCV主要倾向于实时视觉应用。
OpenCvSharp 是一个OpenCV的.Net wrapper,应用最新的OpenCV库开发,使用习惯比EmguCV更接近原始的OpenCV,有详细的使用样例供参考。该库采用LGPL发行,对商业应用友好。使用OpenCvSharp,可用C#,VB.NET等语言实现多种流行的图像处理(image processing)与计算机视觉(computer vision)算法。
但是在实际使用中,由于涉及到不同编程语言之间互相调用,导致C++ 中的OpenCV与C#中的OpenCvSharp 图像数据在不同编程语言之间难以有效传递。在本文中我们将结合OpenCvSharp源码实现原理,探究两种数据之间的通信方式
1. 问题分析
在日常开发中,由于一些库不支持C#接口,因此在使用时我们需要借助动态链接库的方式,在C#中调用C++封装的应用。由于C++与C#底层编译方式不同,因此动态链接库只可以传递基础的数据类型,无法传递像Class这种高级的数据格式。
在日常开发中,我们在C#中使用OpenCvSharp进行图像处理,但是我们调用的算法是通过C++封装的动态链接库,且需要将图片数据传递到C++封装的动态链接库中进行处理,因此实现高效的实现图片数据传递是十分有必要的。常见的方式有两种:
(1)第一种方式是在C#中将图片数据转为基本数据类型byte[]数组,然后将该数据传递到C++动态链接库中,在接收到该数据后,由C++再将该数据重新转为图片数据进行处理。目前该方式经过测试,是可以实现的,但是这样有一个弊端,图片数据需要进行两次的转换,这样会导致严重浪费时间和消耗大量内存。
(2)第二种方式是在C#中将数据保存到本地,然后再C++动态链接库中读取。与上一种方式一样,这样会导致严重浪费时间和消耗大量内存。
2. 解决办法
为了解决这个问题,我们探究了一下OpenCvSharp 实现方式,通过其源码可知,OpenCvSharp 在实现时,是通过对C++中的OpenCV进行了进一步封装,将Mat数据定义成指针类型,然后以指针的方式在C++与C#中进行传递;而在C#中,重新定义了Mat数据类型,将C++传递来的Mat指针作为成员变量进行初始化,而后续基于Mat的所有操作,其低层都是通过传递这个指针进行操作的。
知道了Mat的这个数据类型的实现原理后,我们可以模仿这种方式,以指针的方式实现将OpenCvSharp的数据传递到OpenCV C++中,这样就可以快速实现数据类型传递。实现方式如下图所示。
在C#中使用OpenCvSharp获取一个图片数据,数据类型为Mat,我们可以先进行处理等操作;接下来我们可以获取OpenCvSharp的地址CvPtr
,然后在C++中使用*Mat
指针进行获取,然后通过*Mat
我们便可以获取到OpenCV C++中的Mat数据。接下来,用户就可以根据自己的需求进行处理即可。在处理完成后,在将获得新的用Mat
数据转为用*Mat
指针,然后再C#中,使用IntPtr
数据类型进行接收,然后使用OpenCvSharp的Mat以获取的指针数据为初始值初始化Mat
数据类型即获得新的Mat
数据。
通过上述方式,我们便可以很轻松的实现C#中的OpenCvSharp与C++中的OpenCv数据转换。
3. 项目创建
为方便演示,下述所有程序设计与编译皆是在Windows11环境下,使用Visual Studio 2022编辑器实现。
- OpenCV: 4.8.0
- OpenCvSharp: 4.9.0
大家可以根据上述版本进行配置,也可以使用其他版本配置,但要保证OpenCV与OpenCvSharp都是同一个基础版本的,且版本差别不要太大。
3.1 创建C++项目
使用Visual Studio 2022创建一个空的C++项目,然后添加两个文件,分别为:mat_conv.h
、mat_conv.cpp
。
接下来配置项目属性,首先配置项目输出类型,如下图所示,设置图片输出类型为动态库(.dll)
然后配置OpenCV C++项目依赖,主要是配置C++项目的包含目录、库目录以及附加依赖项三个地方,如下图所示:
| |
以下是我的项目设置信息,大家可以根据自己安装的OpenCV情况进行设置:
包含目录: C:\3rdpartylib\opencv\build\include
库目录: C:\3rdpartylib\opencv\build\x64\vc16\lib
附加依赖项: opencv_world480.lib
3.2 创建C#项目
使用Visual Studio 2022创建一个新的C#控制台项目,然后使用NuGet安装所需的程序集即可,此处只需要安装OpenCvSharp即可,如下图所示:
4. 接口测试
此处主要测试四个接口:
- 第一个接口测试在OpenCvSharp中读取一张图片,然后将图片数据传入到OpenCV中,测试传入是否成功。
- 第二个测试接口在OpenCV创建一个图片,绘制一个矩形,然后将创建好的图片传出到OpenCvSharp,测试传出数据是否成功。
- 第三个测试接口是在OpenCvSharp中读取一张图片,然后将图片数据传入到OpenCV中,并进行一步处理,该处理结果会将数据保存到另一个新的图片数据中,将该新的图片数据传出,然后在OpenCvSharp查看是否处理成功,测试该过程是否成功。
- 第四个测试接口是在OpenCvSharp中读取一张图片,然后将图片数据传入到OpenCV中,并进行一步处理,该处理结果会直接在原有数据上进行修改,然后在OpenCvSharp查看是否处理成功,测试该过程是否成功。
4.1 接口一测试
在以下文件中分别添加以下代码:
mat_conv.h
#include "opencv2/opencv.hpp"
extern "C" __declspec(dllexport) void __stdcall mat_conv1(cv::Mat * mat);
mat_conv.cpp
#include "mat_conv.h"
void mat_conv1(cv::Mat *mat)
{
cv::imshow("image", *mat);
cv::waitKey(0);
}
Program.cs
using OpenCvSharp;
using OpenCvSharp.Internal;
using System.Runtime.InteropServices;
namespace opencv_csharp
{
internal class Program
{
static void Main(string[] args)
{
Console.WriteLine("Hello, World!");
string image_path = "image.jpg";
Mat mat1 = Cv2.ImRead(image_path);
Methord.mat_conv1(mat1.CvPtr);
}
}
class Methord
{
private const string dll_path = "C:\\Users\\lenovo\\Desktop\\test_opencv\\x64\\Release\\opencv_cpp.dll";
[DllImport(dll_path, CharSet = CharSet.Unicode, CallingConvention = CallingConvention.Cdecl)]
public static extern void mat_conv1(IntPtr mat);
}
}
其中,mat_conv.h
、mat_conv.cpp
为C++项目文件,Program.cs
文件为C#项目文件。
在C++项目文件中,extern "C" __declspec(dllexport)
表示使用C语言的编译方式进行编译,并导出到dll中。mat_conv1(cv::Mat * mat)
方法主要是接受传入的Mat
指针,并使用cv::imshow("image", *mat)
将图片数据展示出来。
在C#项目中,使用[DllImport]
属性将动态链接库中的mat_conv1
读取出来,同时因为在C#中指针都是被封装为IntPtr
类型的,因此使用IntPtr
表示此处传入的参数为指针类型。在使用该接口时,直接调用该方法,并且传入指针参数,该指针参数可以通过Mat.CvPtr
直接获得。
如下图所示,程序在运行后,成功将传入的图片数据绘制出来,如下图所示,说明该接口测试成功,也证明了该方法是可行的。
4.2 接口二测试
在以下文件中分别添加以下代码:
mat_conv.h
#include "opencv2/opencv.hpp"
extern "C" __declspec(dllexport) void __stdcall mat_conv2(cv::Mat **returnValue);
mat_conv.cpp
#include "mat_conv.h"
void mat_conv2(cv::Mat** returnValue)
{
// 创建一个空白图像
cv::Mat image = cv::Mat::zeros(400, 400, CV_8UC3);
// 矩形的左上角和右下角坐标
cv::Point2f rect_start(50, 50);
cv::Point2f rect_end(350, 350);
// 矩形颜色 (B, G, R)
cv::Scalar color(255, 0, 0); // 红色
// 矩形线条粗细
int thickness = 2;
// 绘制矩形
cv::rectangle(image, rect_start, rect_end, color, thickness);
*returnValue = new cv::Mat(image);
}
Program.cs
using OpenCvSharp;
using OpenCvSharp.Internal;
using System.Runtime.InteropServices;
namespace opencv_csharp
{
internal class Program
{
static void Main(string[] args)
{
Console.WriteLine("Hello, World!");
IntPtr ptr2 = IntPtr.Zero;
Methord.mat_conv2(out ptr2);
Mat mat2 = new Mat(ptr2);
Cv2.ImShow("image2", mat2);
Cv2.WaitKey(0);
}
}
class Methord
{
private const string dll_path = "C:\\Users\\lenovo\\Desktop\\test_opencv\\x64\\Release\\opencv_cpp.dll";
[DllImport(dll_path, CharSet = CharSet.Unicode, CallingConvention = CallingConvention.Cdecl)]
public static extern void mat_conv2(out IntPtr returnValue);
}
}
其中,mat_conv.h
、mat_conv.cpp
为C++项目文件,Program.cs
文件为C#项目文件。
在C++项目文件中,mat_conv2(cv::Mat** returnValue)
主要是创建一个画布,并绘制一个矩形,然后将创建好的图片数据以指针的方式传递到C#中。
在C#项目中,使用[DllImport]
属性将动态链接库中的mat_conv2
读取出来,传出数据此处使用的时双重指针,因此使用out IntPtr
进行接收。再获取到该方法后,我们调用new Mat(IntPtr ptr)
构造方法初始化为新的Mat
数据。。
如下图所示,程序在运行后,成功将传出的图片数据绘制出来,如下图所示,说明该接口测试成功,也证明了该方法是可行的。
4.3 接口三测试
在以下文件中分别添加以下代码:
mat_conv.h
#include "opencv2/opencv.hpp"
extern "C" __declspec(dllexport) void __stdcall mat_conv3(cv::Mat * mat, cv::Mat **returnValue);
mat_conv.cpp
#include "mat_conv.h"
void mat_conv3(cv::Mat * mat, cv::Mat **returnValue)
{
cv::Mat m;
cv::cvtColor(*mat, m, cv::COLOR_BGR2GRAY);
*returnValue = new cv::Mat(m);
}
Program.cs
using OpenCvSharp;
using OpenCvSharp.Internal;
using System.Runtime.InteropServices;
namespace opencv_csharp
{
internal class Program
{
static void Main(string[] args)
{
Console.WriteLine("Hello, World!");
string image_path = "image.jpg";
Mat mat3 = Cv2.ImRead(image_path);
IntPtr ptr3 = IntPtr.Zero;
Methord.mat_conv3(mat1.CvPtr, out ptr3);
Mat mat3 = new Mat(ptr3);
Cv2.ImShow("image1", mat3);
Cv2.WaitKey(0);
}
}
class Methord
{
private const string dll_path = "C:\\Users\\lenovo\\Desktop\\test_opencv\\x64\\Release\\opencv_cpp.dll";
[DllImport(dll_path, CharSet = CharSet.Unicode, CallingConvention = CallingConvention.Cdecl)]
public static extern void mat_conv3(IntPtr mat, out IntPtr return_value);
}
}
其中,mat_conv.h
、mat_conv.cpp
为C++项目文件,Program.cs
文件为C#项目文件。
在C++项目文件中,mat_conv2(cv::Mat * mat, cv::Mat **returnValue)
方法主要是接受传入的Mat
指针,并将传入的图片数据转为灰度图,同时将转换好的图片数据以指针的方式传出到C#中。
在C#项目中,使用[DllImport]
属性将动态链接库中的mat_conv3
读取出来,其中传入数据为指针数据,所以直接使用IntPtr
即可;而对于传出数据此处使用的时双重指针,因此使用out IntPtr
进行接收。再获取到该方法后,我们调用new Mat(IntPtr ptr)
构造方法初始化为新的Mat
数据。
如下图所示,程序在运行后,成功将传入的图片数据进行灰度转换,并将转换后的图片数据成功传递出来,说明该接口测试成功,也证明了该方法是可行的。同时我们测试了该过程所需时间,仅使用了3.69毫秒。
4.4 接口四测试
在以下文件中分别添加以下代码:
mat_conv.h
#include "opencv2/opencv.hpp"
extern "C" __declspec(dllexport) void __stdcall mat_conv4(cv::Mat * mat);
mat_conv.cpp
#include "mat_conv.h"
void mat_conv4(cv::Mat* mat)
{
// 矩形的左上角和右下角坐标
cv::Point2f rect_start(50, 50);
cv::Point2f rect_end(350, 350);
// 矩形颜色 (B, G, R)
cv::Scalar color(255, 0, 0); // 红色
// 矩形线条粗细
int thickness = 2;
// 绘制矩形
cv::rectangle(*mat, rect_start, rect_end, color, thickness);
}
Program.cs
using OpenCvSharp;
using OpenCvSharp.Internal;
using System.Runtime.InteropServices;
namespace opencv_csharp
{
internal class Program
{
static void Main(string[] args)
{
Console.WriteLine("Hello, World!");
string image_path = "image.jpg";
Mat mat4 = Cv2.ImRead(image_path);
Methord.mat_conv4(mat1.CvPtr);
Cv2.ImShow("image2", mat4);
Cv2.WaitKey(0);
}
}
class Methord
{
private const string dll_path = "C:\\Users\\lenovo\\Desktop\\test_opencv\\x64\\Release\\opencv_cpp.dll";
[DllImport(dll_path, CharSet = CharSet.Unicode, CallingConvention = CallingConvention.Cdecl)]
public static extern void mat_conv4(IntPtr mat);
}
}
其中,mat_conv.h
、mat_conv.cpp
为C++项目文件,Program.cs
文件为C#项目文件。
在C++项目文件中,mat_conv4(IntPtr mat)
方法主要是接受传入的Mat
指针,并在传入的图片数据中绘制一个矩形,因为该操作是在原始数据上进行的操作,没有残生新的图像数据,所以不需要传出。
在C#项目中,使用[DllImport]
属性将动态链接库中的mat_conv4
读取出来,其中传入数据为指针数据,所以直接使用IntPtr
即可。然后该方法运行完后,我们直接查看该图像数据信息,查看是否已经被修改。
如下图所示,程序在运行后,结果如下图所示,说明该接口测试成功,也证明了该方法是可行的。
5. 总结
在项目中,我们结合OpenCvSharp源码,使用OpenCvSharp数据指针实现了在C#与C++之间传递图像数据。与传统的数据传递方式相比,该方式通过传递指针,通过指针的方式实现对同一块图像数据进行操作,避免了图像数据的来回转换,极大的节省了程序运行时间以及内存消耗。