OpenCV-图像着色（采用DNN模块导入深度学习模型）

最新推荐文章于 2024-07-13 22:05:50 发布
最新推荐文章于 2024-07-13 22:05:50 发布
阅读量1.6w 收藏 59
点赞数 36
分类专栏： OpenCV
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaitianbao/article/details/120033427
版权

深度学习 图像着色 OpenCV Caffe模型 色彩恢复
关键词由CSDN通过智能技术生成

作者：翟天保Steven
版权声明：著作权归作者所有，商业转载请联系作者获得授权，非商业转载请注明出处

实现原理

       图像着色最早是应用在图像修复方面，将一些过去的黑白旧照根据预设色盘上色，得到色彩饱满的彩色图，比如0灰度对应某个RGB数值，120灰度对应某个RGB数值等等，这也是当前OpenCV中已集成好的applycolormap（伪彩色函数）实现原理，按照不同的色盘给灰度图上色，可得到不同样式的伪彩色图，像当前深度图像、红外成像、雷达地图成像等领域就采用这类方法实现图像色彩重绘。

       若要将图像上色为符合现实逻辑的语义颜色和色调，就不能单单依靠固定的色盘方法，过去常采用的方案一般是依赖人主观的上色能力，就如PS中，可以通过控制色彩曲线、颜色占比等方法将黑白图慢慢恢复成彩色图。而随着深度学习、计算机视觉近几年的快速发展，将灰度图智能且高效地上色成为可能。基于图像着色算法和caffe、tensorflow、pytorch等深度学习框架，将相关的巨量数据集训练成具备一定预测能力的深度学习模型，通过这些模型即可实现更优的图像着色效果。

       本文通过OpenCV中DNN模块导入深度学习模型的方法，来实现图像着色效果。

具体流程

       1）加载模型信息，模型下载链接在下方，若不想用钱下载可以三连，评论留下邮箱我会尽快发送完整模型文件，确保打开即用。

string modelTxt = "colorization_deploy_v2.prototxt";
string modelBin = "colorization_release_v2.caffemodel";
Net net = dnn::readNetFromCaffe(modelTxt, modelBin);

       2）设置相关参数。

const int W_in = 224;
const int H_in = 224;

int sz[] = { 2, 313, 1, 1 };
const Mat Pts_in_hull(4, sz, CV_32F, pts_in_hull);
Ptr<dnn::Layer> class8_ab = net.getLayer("class8_ab");
class8_ab->blobs.emplace_back(Pts_in_hull);
Ptr<dnn::Layer> conv8_313_rh = net.getLayer("conv8_313_rh");
conv8_313_rh->blobs.emplace_back(Mat(1, 313, CV_32F, Scalar(2.606)));

       3）将图像转化为Lab颜色空间，提取L通道操作，这样的好处是仅操作亮度即可，如果用RGB，那要同时处理三个通道的数据，而三个参数调控难度太大。

Mat lab, L, input;
img.convertTo(img, CV_32F, 1.0 / 255);
cvtColor(img, lab, COLOR_BGR2Lab);
extractChannel(lab, L, 0);
resize(L, input, Size(W_in, H_in));
input -= 50;

       4）将L通道图像输入到网络中，前向计算，从网络输出中提取a和b通道，组合成彩色图即完成。

Size siz(result.size[2], result.size[3]);
Mat a = Mat(siz, CV_32F, result.ptr(0, 0));
Mat b = Mat(siz, CV_32F, result.ptr(0, 1));
resize(a, a, img.size());
resize(b, b, img.size());

Mat color, chn[] = { L, a, b };
merge(chn, 3, lab);
cvtColor(lab, color, COLOR_Lab2BGR);

C++测试代码

#include <opencv2/dnn.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
#include <iostream>

using namespace cv;
using namespace cv::dnn;
using namespace std;

// 通过pts_in_hull.npy转化
static float pts_in_hull[] = {
	-90., -90., -90., -90., -90., -80., -80., -80., -80., -80., -80., -80., -80., -70., -70., -70., -70., -70., -70., -70., -70.,
	-70., -70., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -50., -50., -50., -50., -50., -50., -50., -50.,
	-50., -50., -50., -50., -50., -50., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -30.,
	-30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -20., -20., -20., -20., -20., -20., -20.,
	-20., -20., -20., -20., -20., -20., -20., -20., -20., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10.,
	-10., -10., -10., -10., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 10., 10., 10., 10., 10., 10., 10.,
	10., 10., 10., 10., 10., 10., 10., 10., 10., 10., 10., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20.,
	20., 20., 20., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 40., 40., 40., 40.,
	40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 50., 50., 50., 50., 50., 50., 50., 50., 50., 50.,
	50., 50., 50., 50., 50., 50., 50., 50., 50., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60.,
	60., 60., 60., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 80., 80., 80.,
	80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 90., 90., 90., 90., 90., 90., 90., 90., 90., 90.,
	90., 90., 90., 90., 90., 90., 90., 90., 90., 100., 100., 100., 100., 100., 100., 100., 100., 100., 100., 50., 60., 70., 80., 90.,
	20., 30., 40., 50., 60., 70., 80., 90., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -20., -10., 0., 10., 20., 30., 40., 50.,
	60., 70., 80., 90., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -40., -30., -20., -10., 0., 10., 20.,
	30., 40., 50., 60., 70., 80., 90., 100., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -50.,
	-40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -60., -50., -40., -30., -20., -10., 0., 10., 20.,
	30., 40., 50., 60., 70., 80., 90., 100., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90.,
	100., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -80., -70., -60., -50.,
	-40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -90., -80., -70., -60., -50., -40., -30., -20., -10.,
	0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30.,
	40., 50., 60., 70., 80., 90., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70.,
	80., -110., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., -110., -100.,
	-90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., -110., -100., -90., -80., -70.,
	-60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., -110., -100., -90., -80., -70., -60., -50., -40., -30.,
	-20., -10., 0., 10., 20., 30., 40., 50., 60., 70., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0.
};

int main()
{
	string modelTxt = "colorization_deploy_v2.prototxt";
	string modelBin = "colorization_release_v2.caffemodel";
	string imageFile = "test.jpg";
	string original = "zhu.jpg";

	// 读取灰度图用来作颜色还原
	Mat gray = imread(original, 0);
	// 原图对比
	Mat ori = imread(original);
	imwrite(imageFile, gray);
	Mat img = imread(imageFile);
	if (img.empty()) {
		cout << "Can't read image from file: " << imageFile << endl;
		return 2;
	}

	// 预训练网络的固定输入大小
	const int W_in = 224;
	const int H_in = 224;
	Net net = dnn::readNetFromCaffe(modelTxt, modelBin);

	// 设置训练得到的参数数据
	int sz[] = { 2, 313, 1, 1 };
	const Mat Pts_in_hull(4, sz, CV_32F, pts_in_hull);
	Ptr<dnn::Layer> class8_ab = net.getLayer("class8_ab");
	class8_ab->blobs.emplace_back(Pts_in_hull);
	Ptr<dnn::Layer> conv8_313_rh = net.getLayer("conv8_313_rh");
	conv8_313_rh->blobs.emplace_back(Mat(1, 313, CV_32F, Scalar(2.606)));

	// 提取L通道灰度图，并均值化
	Mat lab, L, input;
	img.convertTo(img, CV_32F, 1.0 / 255);
	cvtColor(img, lab, COLOR_BGR2Lab);
	extractChannel(lab, L, 0);
	resize(L, input, Size(W_in, H_in));
	input -= 50;

	// L通道图像输入到网络，前向计算
	Mat inputBlob = blobFromImage(input);
	net.setInput(inputBlob);
	Mat result = net.forward();

	// 从网络输出中提取得到的a,b通道
	Size siz(result.size[2], result.size[3]);
	Mat a = Mat(siz, CV_32F, result.ptr(0, 0));
	Mat b = Mat(siz, CV_32F, result.ptr(0, 1));
	resize(a, a, img.size());
	resize(b, b, img.size());

	// 通道合并转换成彩色图
	Mat color, chn[] = { L, a, b };
	merge(chn, 3, lab);
	cvtColor(lab, color, COLOR_Lab2BGR);

	// 结果展示
	color.convertTo(color, CV_8U, 255.);
	imshow("color", color);

	imshow("gray", gray);

	imshow("ori", ori);

	waitKey();
	return 0;
}

测试效果

图1 原图
图2 灰度图
图3 着色图

       不难看出，还原的着色图还是比较符合现实语义色调的，不过还是同原图的一些色彩有所差异，毕竟数据量有限。这个数据集当初估计没少放黄色调的图，处理了好多图像都偏暗黄系。

       注意：测试中发现，OpenCV版本为4以上，debug和release都没问题；3.4版本的debug没问题，release总是报错。所以建议用OpenCV4。

代码下载链接：

OpenCV&DNN-深度学习实现图像着色-互联网文档类资源-CSDN下载

       如果函数有什么可以改进完善的地方，非常欢迎大家指出，一同进步何乐而不为呢~

       如果文章帮助到你了，可以点个赞让我知道，我会很快乐~加油！

翟天保Steven
关注
专栏目录
OpenCV dnn调用keras生成的深度学习模型，判断图像分类
08-31
在本项目中，我们将探讨如何将使用Keras构建的深度学习模型应用于OpenCV的dnn模块，以实现交通标志的图像分类。Keras是一个高级神经网络API，它可以在TensorFlow等后端上运行，而OpenCV的dnn模块则允许我们在计算机...
OpenCV-基于自定义色条实现灰度图上色
热门推荐
翟天保的博客
11-23 1万+
OpenCV&C++代码实现灰度图基于色条自定义上色
opencv dnn模块 示例(11) 灰度图彩色化 colorization
热爱生活，忠于自己
03-12 1664
opencv dnn模块对灰度图（彩色图L通道）进行彩色化，推理出a,b通道， 合并L,a,b转换成彩色图。
OpenCV进阶（9）基于OpenCV的图像着色
weixin_43229348的博客
10-12 3305
有时技术会增强艺术,有时它会破坏艺术。 为黑白电影着色是一个可以追溯到 1902 年的非常古老的想法。几十年来，许多电影创作者反对为黑白电影着色的想法，并认为这是对他们艺术的破坏。今天，它被认为是对艺术形式的一种改进。 如果算法不使用任何用户输入，那不是很酷吗？ 1.定义着色问题 链接：https://pan.baidu.com/s/14_my8daL2SxgFVymQy-0Dg 提取码：1v8m # Select desired model net = caffe.Net('../models/co.
[资源]ResNet caffemodel[百度网盘]
北屯的家
11-25 6748
1、均值文件下载链接 链接：https://pan.baidu.com/s/1YerXs0WK0TH1v0Eo70A9ZA 提取码：l6wl 2、ResNet-50-model.caffemodel下载链接 链接：https://pan.baidu.com/s/10j_czd9D4lUZpK5uW2iV9g 提取码：womr 3、ResNet-50-model.prototxt下载...
[OpenCV实战]17 基于卷积神经网络的OpenCV图像着色
You and Me
04-10 6817
目录 1 彩色图像着色 1.1 定义着色问题 1.2 CNN彩色化结构 1.3 从 中恢复彩色图像 1.4 具有颜色再平衡的多项式损失函数 1.5 着色结果 2 OpenCV中实现着色 2.1 模型下载 2.2加载量化信息 2.3 将图像转换为CIE Lab颜色空间 3 代码 3.1 图像着色代码 3.2 视频着色代码 4 参考 技术有时会提高艺术，但有时也会破坏艺...
OpenCV&DNN-深度学习实现图像着色
09-01
OpenCV 4及以上版本包含了DNN（Deep Neural Networks）模块，它支持加载预训练的深度学习模型，例如那些在大型图像数据集上训练的模型。这些模型可以用来进行图像分类、目标检测、语义分割等任务，当然也包括图像...
opencv-dnn模块调用YOLO模型进行目标检测
10-09
该文件中代码通过C++和opencv的DNN模块调用darknet训练的yolo检测模型，实现目标检测。
opencv-python-4.10.0.84.tar.gz
06-26
7. 机器学习与深度学习：OpenCV支持多种机器学习算法（如SVM、决策树、随机森林），并且集成了TensorFlow和DNN模块，可以直接应用预训练的深度学习模型。 8. 实时AR：通过摄像头和图像处理，可以实现增强现实应用，...
OpenCV-Python调用训练好的深度学习模型进行常见物体识别
03-24
本文将详细介绍如何使用OpenCV-Python调用预先训练好的深度学习模型来实现常见物体的识别，特别关注人和车辆的识别。 首先，深度学习是一种模拟人脑神经网络的工作方式，通过大量的数据训练，能够自动学习并提取...
使用OpenCV进行灰度图像重新着色的示例
SVIPCODE的博客
09-12 154
在计算机视觉和图像处理领域，OpenCV是一个广泛使用的开源库，提供了许多用于处理图像和视频的功能。其中之一是dnn（深度神经网络）模块，它允许我们使用预训练的深度学习模型来执行各种任务，包括图像着色。在上面的代码中，我们首先将模型的输出reshape为合适的形状，并调整为与原始灰度图像相同的尺寸。接下来，我们将加载要重新着色的灰度图像，并为其准备输入。函数加载了灰度图像，并将其调整为模型的输入尺寸（这里假设模型需要224x224的输入）。现在，我们可以将预处理后的输入传递给模型，并获取模型的输出。
使用OpenCV的dnn模块重新着色灰度图像的实例
Meta_C的博客
08-14 151
然后定义了两个函数，一个是用于将输入调整为Caffe模型所需格式的preprocess函数，另一个是用于将输出调整到正确颜色空间的postprocess函数。我们还定义了要处理的输入图像，并将其预处理为Caffe模型所需的格式。最后，我们将输出转换到正确的颜色空间，并将其后处理为RGB图像，最后展示了结果。在这个实例中，我们将使用Caffe模型来训练我们的神经网络，此模型是基于ILSVRC-2012数据集中的场景分类模型而构建的。现在，我们已经完成了使用OpenCV的dnn模块重新着色灰度图像的实例。
图像着色 使用 OpenCV ,深度学习 进行 黑白图像着色
热分享-hotdog29
07-23 3604
原文链接图像着色 使用 OpenCV ,深度学习 进行 黑白图像着色 在2019年7月23日上张贴 由hotdog发表回复 图像着色 使用OpenCV,深学习进行黑白 图像着色 在本教程中，您将学习如何使用OpenCV，深度学习和Python对黑白图像进行着色。 图像着色是获取输入灰度（黑白）图像然后产生输出彩色图像的过程，该输出彩色图像表示输入的语义颜色和色调（例如，在晴朗的晴...
【计算机视觉】实例感知图像着色 Instance-aware Image Colorization
m0_53700832的博客
02-06 1101
然后汇报了三个大型数据集的定量评估结果，并将他们的结果与最先进的着色方法进行了比较（5.2节），展示了几个具有挑战性的图像的样本着色结果（5.3节），并进行了三项消融研究（5.4节），展示了为老黑白照片上色的效果（5.6节）以及方法失败的案例（5.7节）。作者将他们的模型与现有最高水平的比较。这个数据集主要从复杂的日常场景中截取，图像包括91类目标，328000影像和2500000个标签，虽然比ImageNet和SUN的类别少，但是每一类的图像多，这有利于获得更多的每类中位于某种特定场景的能力。
OpenCV DNN模块黑白图片上色修复
guligedong的博客
02-16 3176
大家新年快乐啊，时隔多日，今天又来给博客添砖加瓦了，话不多说，我们先上效果图吧 图片左边部分是原始的黑白图像，右边是生产的彩色图片。 这个项目是基于在加利福尼亚大学，伯克利，Richard Zhang，Phillip Isola和Alexei A. Efros开发的研究工作--Colorful Image Colorization 论文地址：https://arxiv.org/pdf/1603.08511.pdf 作者项目github地址：https://github....
miniimagenet的图像预处理代码_图像着色 使用 OpenCV ,深度学习 进行 黑白图像着色
weixin_39874379的博客
11-22 366
原文链接 图像着色 使用 OpenCV ,深度学习 进行 黑白图像着色在 2019年7月23日 上张贴 由 hotdog发表回复图像着色 使用OpenCV,深学习进行黑白 图像着色在本教程中，您将学习如何使用OpenCV，深度学习和Python对黑白图像进行着色。图像着色是获取输入灰度（黑白）图像然后产生输出彩色图像的过程，该输出彩色图像表示输入的语义颜色和色调（例如，在晴朗的晴天，海洋必须是合理...
本地部署，使用ColorizeArtistic_gen.pth大模型进行图像上色
最新发布
07-13 857
ColorizeArtistic_gen.pth 作为一种基于生成对抗网络的图像上色模型，通过先进的深度学习方法和网络架构设计，在图像上色任务中取得了显著的效果。未来，随着更多的研究和开发，ColorizeArtistic_gen.pth 有望在更复杂和多样化的场景中发挥更大的作用，为图像上色技术带来更多创新和突破。ColorizeArtistic_gen.pth 是基于生成对抗网络（GAN）的图像上色模型，通过生成器和判别器的对抗训练，生成器能够学习到如何将黑白图像转换为彩色图像。
参考近百篇文献，“图像着色”最全综述
OpenCV中文网
08-27 2776
最近一段时间，修复百年前的老照片引起了大众广泛的兴趣，这些老照片往往都是黑白的，而给它们上色是修复的重要一环。其实图像着色（Image colorization）不仅仅用于对老照片的处理...
昇腾应用案例体验：(9) 黑白图像上色
Cai_deLong的博客
09-12 644
昇腾AI应用，探索人工智能的无限可能，使能千行百业 黑白图像上色 概述 黑白图像上色模型原理如下图所示，对物件包括背景色（L通道代表的灰度图）使用卷积运算提取特征，然后同样用卷积进行分类，从而尝试给出对灰度图片每个像素点的色彩预期（ab通道）。将ab通道的值Resize到原始图片宽高并与L通道叠加后，转为RGB图片即可得到彩色图像。黑白图像上色模型原理如下图所示，对物件包括背景色（L通道代表的灰度图）使用卷积运算提取特征，然后同样用卷积进行分类，从而尝试给出对灰度图片每个像素点的色彩预期（ab通道）。
OpenCV DNN模块：FCN模型实现图像分割与性别年龄预测
这篇文章提供了使用OpenCV DNN模块实现FCN模型进行图像分割以及性别与年龄预测的详细步骤，涵盖了模型选择、数据准备、网络加载和推理过程，对于理解和实践深度学习在图像处理中的应用非常有帮助。
评论 62
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

翟天保Steven

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值