自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(455)
  • 资源 (4)
  • 论坛 (1)
  • 收藏
  • 关注

原创 enas算法讲解(通俗版)

enas全称是Efficient Neural Architecture Search解决了之前nas常规算法十分耗算力的瓶颈,具体主要是使用了权重共享,具体后面可以观察到。论文链接:https://arxiv.org/abs/1802.03268看论文,对enas算法的理解还是较为晦涩,于是打算写一下通俗的理解,方便认识enas其实说起来也很简单,看一下下面的流程图:注:下图的子网络我是随意画的,不一定能够构成网络。nas需要做的是对子网络进行选择,选出一个效果最好的子网络.

2021-02-27 14:55:49 47

原创 mindspore比pytorch快?是的

华为宣传说mindspore比pytorch快,说是加了自动微风,确实在mindspore中训练不需要自己写优化的过程,不过空说无凭,试验了一下,真的快一些这里拿mnist分类的例子做实验epoch选取了10和50mindspore:# -*- coding: utf-8 -*-import osimport timeimport mindspore.nn as nnfrom mindspore.common.initializer import Normalfrom minds

2021-02-25 14:14:35 49

原创 mindspore模型训练和模型导出为onnx

mindspore是华为深度学习框架,网址为:https://www.mindspore.cn/本代码主要参考快速入门的代码,加了模型导出为onnxmindspore在模型搭建上基本上的语法和pytorch差不多只是分为了网络和模型,模型主要拿来训练和预测,而网络就是单纯的网络,网络可以拿来导出模型文件,但是预测只能使用模型训练代码如下:# -*- coding: utf-8 -*-import osimport mindspore.nn as nnfrom mindspore.

2021-02-24 15:38:44 71

原创 nni的并发能够提高训练速度吗?不能

nni提供了设置并发的方式训练默认是等于1,这里设置成了2接下来对比了一下,并发数1和2的训练时间的差别并发数=1:可以看到是20多分钟就结束了,平均不到3分钟就可以训练一个trial然后当设置并发数=2:速度慢了很多,反而达不到加速的效果说明nni使用cpu,没法使用并发进行加速,起码在本地来说并发数=2我们看一下cpu运行状态不知道是不是计算是cpu资源不够用,亦或者是python对多线程支持很差的缘故反正要是在单机上运行cpu训练,最好不要...

2021-02-22 16:10:20 21

原创 利用nni实现nas(神经网络架构搜索)

当前深度学习的模型设计较为费事,有点玄学,不过,现在是可以进行向超参数一样,搜索出最优的模型架构,于是NAS就诞生了。自从有了nni以后,nas变得容易很多了,直接就可以进行搜索。不过,目前仅仅支持随机搜索和pponni这篇文章讲过如何使用nas下面的例子就演示随机搜索,ppo运行时间较长,这里就只展示随机搜索,ppo也亲测可行,和随机搜索一样,按照下面的过程就可以。等安装nni好并且下载nni的GitHub源码以后就能进行使用了,使用过程如下:(1)进入到nni源码的nas例..

2021-02-20 21:48:14 142

原创 自动机器学习框架nni的案例使用

nni是微软开源出来的一个自动机器学习框架可以使机器学习调参更加便利安装非常简单,使用pip就行pip install nni本次使用的是最新的版本,2.0不过此时并不能使用,因为会出现:https://github.com/microsoft/nni/issues/3276解决也很简单,直接将ruamel.yaml改成ruamel_yaml将下面路径下的内容进行编辑修改即可vim /opt/AN/lib/python3.7/site-packages/nni/too

2021-02-19 22:20:08 69

原创 dll文件使用python和c++调用

dll是Windows上的动态库文件,要想使用Python调用需要使用ctypes库这个测试的dll文件是只定义了一个函数add下面测试一下效果from ctypes import cdll_dll = cdll.LoadLibrary("./dllTest.dll")res = _dll.add(3,2)print(res)运行效果:...

2021-02-15 20:53:17 104 1

原创 pytorch实现unet

unet是非常经典的图像分割的网络实现起来不是很复杂,代码如下:# -*- coding: utf-8 -*-import torchimport torch.nn as nnclass unet(nn.Module): def __init__(self): super().__init__() #conv1 self.conv1=nn.Sequential( nn.Conv2d(1,64,3), n

2021-02-06 11:14:05 95

原创 使用python批量产生马赛克数据集

import osimport cv2import numpy as np os.makedirs('dataset\\mosaic\\train',exist_ok=True)os.makedirs('dataset\\mosaic\\test',exist_ok=True)locsx=np.random.randint(10,200,100000).tolist()#随机产生x位置locsy=np.random.randint(10,300,100000).tolist()#随机.

2021-02-03 15:40:42 22

原创 使用python批量产生水印数据集

这里使用的较为简单的方式,直接使用的是文字作为水印代码如下:import osfrom PIL import Image, ImageDraw, ImageFontimport numpy as np os.makedirs('dataset\\watermarks\\train',exist_ok=True)os.makedirs('dataset\\watermarks\\test',exist_ok=True)locsi=np.random.randint(0,6,100.

2021-02-02 16:20:34 28 1

原创 利用torch_geometric运行gcn

pytorch出了图计算的工具torch_geometric后,gcn的实现就简单了,直接封装好了首先需要安装torch_geometric$ pip install --no-index torch-scatter -f https://pytorch-geometric.com/whl/torch-1.7.0+${CUDA}.html$ pip install --no-index torch-sparse -f https://pytorch-geometric.com/whl/torch

2021-01-28 14:39:43 55

原创 CIFAR-10 图片数据集制作

CIFAR-10数据集是不图片格式,需要自己制作首先使用这篇https://blog.csdn.net/ctwy291314/article/details/83864405制作image然后自己制作labelimport osfrom shutil import copyfile,movels=['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']for

2021-01-27 18:06:52 26

原创 c++版openvino使用

之前写过一篇文章:python版openvino使用还是使用同一个模型,代码如下:#include<iostream>#include<opencv2/core.hpp>#include<opencv2/highgui.hpp>#include<opencv2/imgproc.hpp>#include<opencv2/opencv.hpp>#include<inference_engine.hpp>#include

2021-01-25 17:18:51 65

原创 openvino在不同batchsize下的性能对比

之前写过一篇关于tensorrt的:tensorrt在不同batchsize下的性能对比模型还是使用的这篇文章的模型,只是将其转换成了openvino模型了,然后使用benchmark进去测试benchmark要想使用需要自己进行编译:https://blog.csdn.net/zhou_438/article/details/112974101然后就可以进行测试了举个具体的例子,下面的命令是batchsize=32:benchmark_app.exe -m ctdet_coco_d

2021-01-25 13:40:39 51 1

原创 keras剪枝-量化-推理

tensorflow提供了一个优化工具tensorflow_model_optimization ,专门针对keras进行模型优化主要可以进行剪枝、量化和权重聚类这里主要使用前面两个数据集使用以前的文章:mnn模型从训练-转换-预测具体训练代码如下import tempfileimport osimport tensorflow as tfimport numpy as npfrom tensorflow import kerasfrom tensorflow.keras i

2021-01-23 16:58:30 116 2

原创 openvino在win10编译

openvino安装很简单,直接下载安装包在默认位置安装即可安装很容易,不过有的工具需要自己编译才能使用找到下面的路径:C:\Program Files (x86)\Intel\openvino_2021.2.185\inference_engine\samples\cpp打开cmd,进入到上面的路径,然后运行静待一会就可以编译成功具体编译好的结果,并不在当前路径,而是在这里现在就可以使用上图的EXE程序了,不过可能会出现缺dll的情况,此时去安装openvi...

2021-01-21 22:51:38 32

原创 onnx、openvino和mnn推理速度对比

onnx、openvino和mnn都是作为cpu推理的框架,推理速度这里进行对比一下模型使用的python版openvino使用这篇 文章onnx文件对比代码如下:from openvino.inference_engine import IECoreimport onnxruntimeimport MNNimport numpy as npimport cv2import timemodel="ctdet_coco_dlav0_512.onnx"mnnmodel="ctdet

2021-01-20 11:04:00 130 2

原创 python版openvino使用

openvino作为一个优秀的cpu推理引擎这里使用一下python版api使用之前需要编译安装openvinohttps://docs.openvinotoolkit.org/latest/openvino_docs_get_started_get_started_windows.html安装好以后,直接pip installopenvino安装python版的openvino实际上,python版的api也是调用的c++编译好的openvino,这就是为啥使用python版,也需要.

2021-01-19 16:53:17 237 2

原创 tensorrt在不同batchsize下的性能对比

tensorrt利用GPU进行加速,天然的GPU是适合并行计算,因此加大batchsize是优化tensorrt常见的方式之一tensorrt默认是batchsize=1,接下来做几个实验进行观察模型是直接下载的这个网站的onnx文件拿到onnx文件后,我们需要转换成tensorrt的引擎文件/opt/TensorRT-7.1.3.4/bin/trtexec --onnx=ctdet_coco_dlav0_512.onnx --saveEngine=ctdet_coco_dlav0_512

2021-01-19 14:57:46 174

原创 onnx文件转rrt文件并运行trt文件(python版)

tensorrt作为一个优秀的gpu推理引擎,支持的深度学习框架和算子也十分的丰富这里模型依然使用这个模型文件转换onnx为rrt文件rrt作为tensorrt推理的引擎文件因此使用其他机器学习的框架都需进行转换转换如下:import osimport tensorrt as trtTRT_LOGGER = trt.Logger()model_path='FashionMNIST.onnx'engine_file_path = "FashionMNIST.trt"EXP

2021-01-13 14:53:57 122

原创 ncnn环境编译及其模型使用

ncnn编译过程腾讯在GitHub上虽然写的很清楚,不过我试了两台电脑均不能成功编译环境于是开始摸索注意:我这里是在win10上面进行编译的,因为想在win10上面编写代码,因此需要一个vs2019的环境首先编译protobuf ,我直接使用那个zip下载链接,但是在新建build文件夹的过程不成功,因为会提示我有重复的build文件,因此我新建的tmp,实际上是一样的只是在到时候编译ncnn的时候需要修改路径就行protobuf 编译过程如下:cd protobuf-3.4.0

2021-01-11 14:14:22 135 4

原创 深度学习模型文件mnn量化实践

转化成mnn模型虽然可以进行推理不过模型文件可能较大或者运行较慢的情况特别是在移动设备等边缘设备上,算力和储存空间受限因此压缩模型是一个急需的工作mnn自带了量化工具,环境安装很简单,这文章编译就可以使用量化了mnn模型文件是使用的是之前的文章训练并转化的mnn文件在使用之前需要新建一个json文件,里面配置好内容preprocessConfig.json{ "format":"GRAY", "mean":[ 127.5 ],

2021-01-07 17:17:26 122

原创 linux下编译mnn

mnn主要分为4个需要编译的库(1)推理部分编译(2)编译训练部分(3)转换部分编译(4)量化模型编译编译需要依赖cmake、gcc、lib和protobuf一般前三个库是安装好了,因此这里就只安装protobufgit clone https://github.com/google/protobuf.gitcd protobufgit submodule update --init --recursive./autogen.sh./configuremakema

2021-01-07 16:35:02 50

原创 FashionMNIST数据集保存为图片

这个保存就很简单,因为使用过pytorch里面加载FashionMNIST数据集,就会生成这样一个文件里面有两个文件于是加载就非常简单了import torchimport cv2import numpy as nptrain_data=torch.load("training.pt")[0].numpy()test_data=torch.load("test.pt")[0].numpy()print(train_data.shape)print(test_data.sh

2021-01-07 16:19:21 48 2

原创 pytorch训练的模型在onnx和mnn中的使用(python+cpp调用)

pytorch自身部署较麻烦,一般使用onnx和mnn较为实用训练模型的代码:import torchimport torch.nn as nnimport torchvisionimport torchvision.transforms as transformsimport torch.optim as optimfrom torch.optim import lr_schedulerimport torch.onnxif __name__ == '__main__':

2020-12-30 15:30:52 210

原创 vs2019离线安装OnnxRuntime

onnx作为一个非常优秀的跨平台的深度学习工具,其他框架训练的模型均可在上进行使用部署,作为cpu平台部署的利器,因为不像gpu平台,英伟达提供了tensorrt进行假如部署这里是在win10上面进行安装编译这个平台不过,由于网络问题,根本没法在vs2019的nuget里面检索到onnx于是只能选择离线的安装方式具体也不复杂(1)去下载安装包https://www.nuget.org/检索onnx下载红色框出来的部分,具体下载也很简单,点击就能看到点击就会出现下载链.

2020-12-29 11:23:36 91

原创 win10下编译和使用mnn

mnn在win上进行编译并不如意,因为官方提供的文档根本很难成功进行编译,各种bug报个不停因此打算记录一下较简单的编译方式:(1)去github下载mnn源码git clonehttps://github.com/alibaba/MNN(2)打开vs2019专用的命令行窗口因为我是64位的系统,因此选择的x64 native tools command prompt for vs2019(3)cd到mnn源码的路径里(4)mkdir build(5)cd bui...

2020-12-28 17:05:47 111

原创 c++读取mnn模型

之前写了一篇文章训练了一个模型,并转换成mnn模型 ,并且使用了python进行调用不过并没有使用c++进行调用模型还是使用那篇文章的模型,调用代码如下:#include <iostream>#include<opencv2/core.hpp>#include<opencv2/imgproc.hpp>#include<opencv2/highgui.hpp>#include<MNN/Interpreter.hpp>#incl

2020-12-28 16:37:37 119 1

原创 xgboost模型训练到部署

训练代码:from numpy import loadtxtfrom xgboost import XGBClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scoredataset = loadtxt('data.csv', delimiter=",")X=dataset[:,0:8]Y=dataset[:,8]seed = 7test

2020-12-22 22:14:41 83

原创 利用numpy生成指定范围的数据

假如有这样一个需求,生成8个字段,每个字段可指定范围,模拟这样的数据,代码很简单import numpy as npimport pandas as pdlenth=2000size=8#定义每个字段的范围dic={}dic['min1']=1#字段1的最小值dic['max1']=20#字段1的最大值dic['min2']=1dic['max2']=20dic['min3']=1dic['max3']=20dic['min4']=1dic['max4']=20dic

2020-12-22 22:04:00 180

原创 绘制后台执行训练模型的图

如果没有使用tensor board这样的可视化训练模型的框架,但是还是想要知道训练的过程中指标的状态下面这个代码演示的是,gan的后台训练的可视化代码,因为我们直接使用nohup执行,而未指定名称,默认追加的日志文件名为nohup.out思路十分简单,使用正则去匹配相对于的数据,然后进行绘制具体代码如下:import reimport matplotlib.pyplot as plt#read log data_data = open('nohup.out').read()#g

2020-12-22 21:56:43 22

原创 mnn模型从训练-转换-预测

之前写过一个文章转换mnn模型但是没有从头开始,而是直接使用的一个模型,本文想直接从头到尾直接做一下训练:import matplotlib.pyplot as pltimport numpy as npimport osimport PILimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersfrom tensorflow.keras.models impor

2020-12-22 17:54:45 189

原创 terminate called after throwing an instance of ‘std::runtime_error‘ what(): numpy type does not m

在MNN的python中将转tensor对象MNN.Tensor((1,224, 224,3), MNN.Halide_Type_Float,image,MNN.Tensor_DimensionType_Tensorflow)出现terminate called after throwing an instance of 'std::runtime_error' what(): numpy type does not matchAborted (core dumped)原因是数据

2020-12-21 17:12:04 76

原创 使用百度AI开放平台处理数据集

手里一堆人脸数据集需要处理,总不能手动,太费事了于是使用一下百度的AI开放平台,地址如下:https://cloud.baidu.com/product/face使用起来非常简单,首先需要平台创建应用,此时就会有AK和SK这个用于获取token,有了token就可以直接请求了获取token的代码:注意填上做自己的AK和SK # encoding:utf-8import requests # client_id 为官网获取的AK, client_secret 为官网获.

2020-12-17 15:34:46 111 1

原创 mtcnn 人脸对齐

很多自拍脸并不是正的,特别是很多妹子自拍歪着头的,但是很多任务需要的图需要不是歪着头这个时候就需要转换git clone https://github.com/urbaneman/Face_crop_align_mtcnnmkdir t1 mkdir t2python Face_align_crop.py --input_path t1 --output_path ./t2 --face_size 512看下效果:...

2020-12-03 16:49:11 34

原创 manjaro安装mpv

mpv作为十分好用的视频播放器,一直想体验,今天就折腾了一下安装十分简单sudo pacman -Sy mpv静待一会就安装成功成功以后正常是能够打开的,不过我的mpv的图标死活打不开,视频也就播放不了于是查找原因,输入命令行mpv:mpv: error while loading shared libraries: libglslang.so.11: cannot open shared object file: No such file or director说明我们缺少

2020-11-19 22:03:52 86

原创 manjaro安装百度网盘

manjaro里面安装网盘实际上非常简单,不需要那么复杂,首先需要去http://pan.baidu.com/download下载deb版的:然后deb没法直接使用,需要转换一下,转换工具为:debtap直接解压deb后的文件不能使用,需要debtap转成pacman可使用的格式sudo debtap ./baidunetdisk_3.5.0_amd64.deb回车几下就可以直接得到结果==> Extracting package data...==>..

2020-11-15 18:18:43 448

原创 AssertionError: We don‘t support load_inference_model in imperative mode

加载推理的模型 文件出错:You are using Paddle compiled with TensorRT, but TensorRT dynamic library is not found. Ignore this if TensorRT is not needed.Traceback (most recent call last): File "test_deploy.py", line 4, in <module> program, feed_vars, fetc

2020-11-13 14:06:18 323 1

原创 制作val_list.txt和train_list.txt

语意分割如果只有数据集(只有图片),没有val_list.txt等文件,可参考如下代码:##制作label listimport osimport pandas as pdfrom sklearn.model_selection import train_test_splitDATAPATH='/home/aistudio/work/dataset/'lab_train_lists=os.listdir(DATAPATH+'lab_train')lab_train_lists.sor

2020-11-01 21:49:31 135

原创 爱上python系列------数据集(一):数据集获取api:cbsodata

cbsodata是荷兰统计局的数据开放的数据获取的api平时研究数据科学的时候,都是自己去下载数据集,而cbsodata可以使用api获取i数据使用之前需要安装:pip install cbsodata当然conda安装也是可以的:conda install cbsodata使用案例:import pandas as pdimport cbsodata as cbname='81251ned'df=pd.DataFrame(cb.get_data(name))p.

2020-10-31 17:21:45 79

FashionMNIST的jpg格式数据

FashionMNIST的jpg格式数据

2021-01-07

apple2orange.zip

这是cyclegan的数据集,可以用来训练苹果和橘子之间进行相互转换,就是橘子可以生成苹果,苹果也是可以生成橘子,这就是cyclegan干的活

2020-04-03

ma2banma.zip

cyclegan需要的数据集,可以用来训练马和斑马之间进行相互转换,就是斑马可以生成马,斑马也是可以生成马,这就是cyclegan干的活

2020-04-03

Roy Thomas Fielding博士论文REST(中文版)

Roy Thomas Fielding博士论文REST(中文版) Fielding将他对互联网软件的架构原则,定名为 REST,即Representational State Transfer的缩写。

2018-11-01

喝粥也会胖的唐僧的留言板

发表于 2020-01-02 最后回复 2020-02-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除