机器学习
濯君
求知,内敛,有趣,勤静
展开
-
TensorFlow训练模型时,自定义数据处理函数,方便快速加载数据训练模型
一:自定义数据处理函数#txt:txt文件里面存放图像名称def read_images(txt, batch_size): imagepaths, labels = list(), list() #分别存放图像路径和label images_names = [] with open('/data/' + txt, 'r') as r: images_names.extend(r.readlines()) for name in images_names原创 2020-11-12 09:45:24 · 320 阅读 · 1 评论 -
keras save model every epoch
filepath = "saved-model-{epoch:02d}-{val_acc:.2f}.h5"#模型写入名字带dict的epoch,val_acc,还可以是val_losscheckpoint = ModelCheckpoint(filepath, monitor='val_acc', verbose=1, save_best_only=False, mode='max')参考1...原创 2020-03-17 08:32:56 · 483 阅读 · 0 评论 -
keras 自定义kernel_initializer
一:对Dense层from keras import backend as Kdef my_init(shape, dtype=None): return K.random_normal(shape, dtype=dtype)model.add(Dense(64, kernel_initializer=my_init))二:对Conv2Ddef kernel_init(sh...原创 2020-03-15 21:14:36 · 3631 阅读 · 0 评论 -
AttributeError: 'Tensor' object has no attribute '_keras_history'
一:第一种可能,使用keras使用+而不是使用add。二:keras中定义的tensor和tensorflow(theano)当中给的tensor类型是不同的。需要使用Lambda层进行转换,比如下面的from keras import backend as Kabs_x = K.abs(conv_2)直接用K.abs会报错,换成下面这种方式就不会报错from keras.layer...原创 2020-03-13 18:56:43 · 1298 阅读 · 0 评论 -
TensorFlow将ckpt模型转为pb模型
# -*- coding: utf-8 -*-import tensorflow as tffrom tensorflow.python.framework import graph_utilimport osos.environ['CUDA_DEVICE_ORDER'] = 'PCI_BUS_ID'os.environ['CUDA_VISIBLE_DEVICES'] = '1'imp...原创 2020-02-28 10:25:23 · 1604 阅读 · 3 评论 -
机器学习面试笔记
1.softmax函数的定义是什么?softmax:sigmoid:rectified linear unit (ReLU):2.神经网络为什么会产生梯度消失现象?原创 2020-02-28 10:22:05 · 153 阅读 · 0 评论 -
机器学习算法模型(无监督学习)
1.k-means clustering不适合处理非球型数据;运行速度快;适用大规模数据集;运行结果因为随机数可能不一样;2.Agglomerative clustering(不能predict )有三种聚合方式:ward, average, completeward: 适用大部分数据average, complete:若cluster的数量大小相差较大时,适用;可以使用dendr...原创 2019-09-01 09:17:36 · 733 阅读 · 0 评论 -
机器学习模型计算accuracy
一:分类问题from sklearn.metrics import accuracy_scorefrom sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(train_x, train_y, test_size=0.33, random_sta...原创 2019-09-01 10:54:58 · 4461 阅读 · 1 评论 -
数据挖掘(数据预处理,特征工程)
1.StandardScaler确保处理后的特征均值为0,方差为1,但是不确保特征任何特定的最大,最小值2.RobustScaler与StandardScaler类似,确保所有特征scale在同一规模,但是使用属性median,quartiles,忽视outliers的影响3.MinMaxScaler将特征值范围scale到0,14.Normalizer将数据点映射到半径为1的圆;...原创 2019-09-01 20:05:44 · 318 阅读 · 0 评论 -
机器学习(模型评估——各类交叉验证方法使用)
一:K折交叉验证from sklearn.model_selection import cross_val_scorefrom sklearn.datasets import load_irisfrom sklearn.linear_model import LogisticRegressioniris = load_iris()logreg = LogisticRegression()...原创 2019-09-02 21:24:31 · 866 阅读 · 0 评论 -
机器学习——模型评估方法
一:confusion_matrixfrom sklearn.metrics import confusion_matrixconfusion = confusion_matrix(y_test, pred_logreg)print("Confusion matrix:\n{}".format(confusion))二:Accuracy三:Precision, recall, a...原创 2019-09-03 15:58:26 · 571 阅读 · 0 评论 -
机器学习——使用pipeline简化预处理,构建模型过程
一:使用pipeline进行数据预处理,模型构建from sklearn.pipeline import Pipelinepipe = Pipeline([("scaler", MinMaxScaler()), ("svm", SVC())])#有两个步骤pipe.fit(X_train, y_train) #自动对数据进行scaler,再用scale之后的数据输入SVC构建模型prin...原创 2019-09-04 11:30:57 · 2334 阅读 · 1 评论 -
Kaggle--处理缺失值
一:按缺失百分比去除缺失值过多的特征#缺失超过77%的特征被去除many_null_cols = [col for col in train_x.columns if train_x[col].isnull().sum() / train_x.shape[0] > 0.77]many_null_cols_test = [col for col in test.columns if te...原创 2019-09-05 11:49:00 · 663 阅读 · 0 评论 -
机器学习算法模型特点总结
1.回归问题可以使用的模型Linear and Polynomial Regression,Neural Networks,Regression Trees,Random Forests,Support Vector Regression,Naive Bayes2.KNeighborsClassifier特点:解决分类问题;neighbors的值设的越小,模型越复杂,方差大;nei...原创 2019-08-30 22:01:35 · 1413 阅读 · 0 评论 -
pytorch实现CNN模型(spatial XuNet)加载测试模型
from __future__ import print_functionimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsimport argparseimpor...原创 2019-08-06 22:37:04 · 1145 阅读 · 0 评论 -
机器学习(周志华) 参考答案 第三章 线性模型 3.4
4.选择两个UCI数据集,比较10折交叉验证法和留一法所估计出的对率回归的错误率。选取了UCI上iris数据集,内部共150个数据,3种类别,每类50个样本。 每次选择两类做二分类计算,做3轮计算。每轮选取100个样本,10折法选45正45反,剩下10个作为验证,一共10组,共验证100例;留一法每次留1个做验证,一共100组,也是100例。每个方法最终验证300例,直接比较错误分类的个数...转载 2018-08-28 19:56:03 · 3459 阅读 · 2 评论 -
机器学习(周志华) 参考答案 第三章 线性模型 3.5
一:西瓜数据集3.0 二:代码# -*- coding: utf-8 -*-%线性判别分析(LDA) 西瓜数据集3.0ɑx = xlsread('E:\Program Files\octave\watmalen3.0.xlsx', 'Sheet1', 'A1:Q2');y = xlsread('E:\Program Files\octave\watmalen3.0.xlsx'...转载 2018-09-02 11:08:33 · 1789 阅读 · 0 评论 -
(tensorflow)使用循环神经网络模型预测正弦函数
一:代码# -*- coding: utf-8 -*-import numpy as npimport tensorflow as tfimport matplotlib as mplmpl.use('Agg') #设置只保存绘制图片,不以窗口形式显示from matplotlib import pyplot as pltfrom tensorflow.contrib imp...转载 2018-09-07 09:50:31 · 1121 阅读 · 1 评论 -
TensorBoard的基本使用
一:展示如何把TensorFlow的计算图写入日志import tensorflow as tfwith tf.name_scope('input1'): input1 = tf.constant([1.0, 2.0, 3.0], name='input1')with tf.name_scope('input2'): input2 = tf.Variable(tf....原创 2018-09-07 10:25:21 · 337 阅读 · 0 评论 -
机器学习文章收藏
用Python的pulp解决线性规划问题Linear Programming with Python and PuLP – Part 4原创 2019-03-20 11:11:49 · 238 阅读 · 0 评论 -
使用python进行数据分析和特征获取的常用函数
import pandas as pdimport numpy as npdef draw_missing_data_table(df): #得出缺失数据占总数的百分比 total=df.isnull().sum().sort_values(ascending=False) percent=(df.isnull().sum()/df.isnull().count()).sor...转载 2019-03-22 09:46:29 · 505 阅读 · 0 评论 -
Confusion Matrix(混淆矩阵)
True Positive:Interpretation: You predicted positive and it’s true.True Negative:Interpretation: You predicted negative and it’s true.False Positive: (Type 1 Error)Interpretation: You predicted ...转载 2019-03-23 11:28:00 · 745 阅读 · 0 评论 -
数据挖掘--数据预处理(1)
import pandas as pdtrain_pd = pd.read_csv(path+'training.csv') #读取数据test_pd = pd.read_csv(path+'sorted_test.csv')train_pd.info()#查看数据类型train_pd.describe()#数值型变量的统计信息train_pd.describe(include=['...原创 2019-05-03 12:02:31 · 909 阅读 · 0 评论 -
python保存和加载机器学习模型
一:使用pickle实现# Save Model Using Pickleimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionimport pickleurl = "https://raw.githubusercontent.com/jbro...转载 2019-05-03 15:39:11 · 1571 阅读 · 0 评论 -
tf.Variable与tf.get_variable的区别
尽量使用tf.get_variable,当你想共享这个变量时,这样能够更容易重构代码。tf.Variable所在的层次更低,更接近底层,有时候tf.get_variable不能使用时,tf.Variable仍然能够使用。tf.Variable__init__( initial_value=None, trainable=None, collections=None,...原创 2019-07-13 22:52:05 · 326 阅读 · 0 评论 -
Linux 下mnist.load_data()出错
1.将mnist.pkl.gz下载到本地路径~/.keras/datasets/2.使用cPickle加载下载的数据import gzipimport cPicklef = gzip.open('mnist.pkl.gz', 'rb')(X_train, y_train), (X_test, y_test) = cPickle.load(f)f.close()参考1参考2...原创 2019-07-10 15:33:45 · 1102 阅读 · 0 评论 -
pytorch实现CNN模型(spatial XuNet)训练模型
from __future__ import print_functionimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsimport argparseimport...原创 2019-08-06 09:16:56 · 2231 阅读 · 1 评论 -
机器学习(周志华) 参考答案 第三章 线性模型 3.3
一:matlab实现 1.数据的Excel处理 2.代码# -*- coding: utf-8 -*-old_l = 0;n = 0;b = [0;0;1]; %对应书中(3.25)下的B=(w;b),因为x有两个属性:密度,含糖率,所以有b三行,还有一个是w*x+b中的b。x = xlsread('E:\Program Files\octave\西瓜3.0.xlsx'...转载 2018-08-28 09:54:55 · 6142 阅读 · 1 评论