![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
老三是只猫
坚持不断的学习
展开
-
keras-预训练的ImageNet模型实现分类
import kerasimport numpy as npfrom keras.applications import vgg16,vgg19,inception_v3,resnet50,mobilenet#加载模型vgg_model = vgg16.VGG16(weights='imagenet')inception_model = inception_v3.InceptionV3...原创 2019-07-31 13:54:39 · 1323 阅读 · 0 评论 -
ROC计算-Python脚本
def ROC(X, y, c, r):#makes cross_validation for given parameters c,r. Returns FPR, TPR (averaged) dic_weight = {1:len(y)/(r*np.sum(y)), 0:len(y)/(len(y)-r*np.sum(y))} lrn = LogisticRegressio...原创 2019-07-06 08:57:42 · 288 阅读 · 0 评论 -
机器学习于安全风控领域的应用实践
基于机器学习的webshell检测(一) https://zhuanlan.zhihu.com/p/58676764基于机器学习的攻击检测(一) https://zhuanlan.zhihu.com/p/58689080原创 2019-07-15 14:40:15 · 382 阅读 · 0 评论 -
时间序列分析系列教程
时间序列分析(1) 基本概念与实战 https://zhuanlan.zhihu.com/p/60023855时间序列分析(2) ARIMA 模型 https://zhuanlan.zhihu.com/p/60648709时间序列分析(3) Linear Regression https://zhuanlan.zhihu.com/p/61757808时间序列分析(4) RNN/LST...原创 2019-07-15 14:35:24 · 987 阅读 · 0 评论 -
过拟合与欠拟合
但是从training 和 validation accuracy 和loss 之间的gap也可以看出从40epochs之后我们的模型出现了过拟合。避免过拟合的方式有很多种,比如数据增强,加入dropout层和直接微调他人已经训练好的模型。第三种方法也是迁移学习,下篇文章我们会看看如何从别人模型进行迁移学习,来减轻过拟合现象。...原创 2019-07-05 14:02:33 · 244 阅读 · 0 评论 -
sklearn-pipeline管道(一)
#coding:utf-8import numpy as npfrom sklearn import linear_model, decomposition, datasetsfrom sklearn.pipeline import Pipelinefrom sklearn.model_selection import GridSearchCVdigits = datasets.lo...原创 2019-07-08 19:30:24 · 310 阅读 · 0 评论 -
机器学习-混淆矩阵的画图方法
# #-*- coding: utf-8 -*-def cm_plot(y, yp): from sklearn.metrics import confusion_matrix cm = confusion_matrix(y, yp) import matplotlib.pyplot as plt plt.matshow(cm, cmap=plt.cm.Green...原创 2019-07-08 19:20:03 · 2116 阅读 · 0 评论 -
keras_NLP分类
'''Trains and evaluate a simple MLPon the Reuters newswire topic classification task.'''from __future__ import print_functionimport numpy as npnp.random.seed(1337) # for reproducibilityfrom ...原创 2019-07-08 19:11:03 · 551 阅读 · 0 评论 -
keras_自定义步长
## import librariesimport numpy as npnp.random.seed(123)import pandas as pdimport subprocessfrom scipy.sparse import csr_matrix, hstackfrom sklearn.metrics import mean_absolute_errorfrom sklear...原创 2019-07-08 17:43:50 · 1010 阅读 · 0 评论 -
python-wordcloud 词云万能教程
# -*- coding: utf-8 -*-"""Created on 2019/5/22 10:18@Author: Johnson@Email:593956670@qq.com@File: wordcloud教程.py"""from os import pathfrom scipy.misc import imreadfrom wordcloud import WordCl...原创 2019-07-06 09:04:56 · 352 阅读 · 0 评论 -
keras_LSTM案例分析(一)
#加载数据分析常用库import pandas as pdfrom pandas import concatfrom pandas import DataFrame,Seriesimport numpy as npimport matplotlib.pyplot as pltfrom datetime import datetimefrom keras.layers import ...原创 2019-07-11 14:06:39 · 777 阅读 · 0 评论 -
归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered)
1 概念 归一化:1)把数据变成(0,1)或者(1,1)之间的小数。主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速。2)把有量纲表达式变成无量纲表达式,便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。 标准化:在机器学习中,我们可能要处理不同种类的资料,例如,音讯和图片上的像素...转载 2019-07-26 09:41:13 · 285 阅读 · 0 评论 -
一些学习网站
cs229 机器学习 吴恩达[http://cs229.stanford.edu/syllabus.html]台大 李宏毅 机器学习[http://speech.ee.ntu.edu.tw/~tlkagk/courses.html]爱丁堡大学 机器学习与模式识别[http://www.inf.ed.ac.uk/teaching/courses/mlpr/2017/notes/]Cour...原创 2019-07-31 09:10:49 · 5211 阅读 · 3 评论 -
python-缺失值处理
#coding:utf-8import pandas as pdimport numpy as npfrom sklearn.model_selection import train_test_splitfrom multiprocessing import Poolimport xgboost as xgbpool = Pool(8)feature = [u'age', u's...原创 2019-07-17 22:42:18 · 446 阅读 · 0 评论 -
学会五种常用异常值检测方法,亡羊补牢不如积谷防饥
https://mp.weixin.qq.com/s/qAhOROsHkL8lNsbGGRGQAQ原创 2019-07-12 14:07:22 · 462 阅读 · 0 评论 -
机器学习-模型堆积(一)
import pandas as pd import numpy as np from scipy.stats import skew import xgboost as xgb from sklearn.cross_validation import KFold from sklearn.ensemble import ExtraTreesRegressor from s...原创 2019-07-11 15:48:48 · 357 阅读 · 0 评论 -
kears-LSTM时间序列(三)
from pandas import DataFramefrom pandas import Seriesfrom pandas import concatfrom pandas import read_csvfrom pandas import datetimefrom sklearn.metrics import mean_squared_errorfrom sklearn.pre...原创 2019-07-11 15:08:09 · 307 阅读 · 0 评论 -
keras-LSTM 时间序列(二)
from pandas import read_csvfrom datetime import datetime#load datadef parse(x): return datetime.strptime(x, '%Y %m %d %H')dataset = read_csv("/work/johnson_folder/biggamesData/raw.csv",parse_dat...原创 2019-07-11 14:53:08 · 629 阅读 · 0 评论 -
jupyter notebook解决输出pdf问题
jupyter notebook解决输出pdf问题详细可参考https://stackoverflow.com/questions/29156653/ipython-jupyter-problems-saving-notebook-as-pdf/52913424#52913424 大致过程是 :1.首先必须安装着两个nbconvert pandoc pip install ...转载 2019-07-08 17:03:30 · 633 阅读 · 0 评论 -
用学习曲线 learning curve来判别过拟合问题
文本结构:学习曲线是什么?怎么解读?怎么画?学习曲线是什么?学习曲线就是通过画出不同训练集大小时训练集和交叉验证的准确率,可以看到模型在新数据上的表现,进而来判断模型是否方差偏高或者偏差过高,以及增大训练集是否可以减少过拟合。当训练集和测试集的误差收敛但却很高时,为高偏差。左上角的偏差很高,训练集和验证集的准确率都很低,很可能是欠拟合。我们可以增加模型参数,比如,构建更多的特...转载 2019-06-26 23:08:55 · 396 阅读 · 0 评论 -
PCA的数学原理和可视化效果
本文机构什么是PCA数学原理可视化效果什么是PCAPCA是机器学习中对数据进行降维的一种方法。例如,我们有这样的交易数据,他有这几个特征:(日期,浏览量,访客数,下单数,成交数,成交金额),从经验可知,“浏览量”和访客数,下单数和成交数 之间会具有较强的相关关系,这种情况下,我们保留其中的两个维度就可以保证原有的信息完整。但是当我们在做降维的时候,会丢失掉一部分信息。例如,下面...转载 2019-06-26 22:48:38 · 336 阅读 · 0 评论 -
机器学习算法-朴素贝叶斯算法
朴素贝叶斯简述 朴素贝叶斯是一种简单但是非常强大的线性分类器,它在垃圾邮件分类、疾病诊断中都已经取得了很大的成功,它之所以称为朴素,是因为它假设特征之间是互相独立的,但是在现实生活中,这种假设基本上是不成立的,那么即使是假设的不成立的条件下,它依然表现良好,尤其是在小规模样本的情况下,但是,如果每个特征之间有很强的关联性和非线性问题会导致贝叶斯模型很差的分类效果。贝叶斯公式为: p(y|x)=p原创 2017-12-29 17:32:27 · 341 阅读 · 0 评论 -
缺失值处理(Imputation)
‘’’sklearn类提供了缺失值处理的基本策略,比如使用缺失值数值所在行或者列的均值,中位数,众数来替换缺失值,该类也兼容不同额缺失值编码‘’’import numpy as npfrom sklearn.preprocessing import Imputer''' missing_values : integer or "NaN", optional (default="NaN...原创 2019-06-17 19:57:20 · 5055 阅读 · 0 评论 -
sklearn数据预处理:归一化、标准化、正则化
归一化1、把数据编程(0,1)之间的小数主要是为了数据处理方便提出来的,把数据映射到0-1范围内处理,更加便捷快速2、把有量纲表达式变为无量纲表达式归一化是一种简化计算方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量归一化算法有:1、线性变换y=(x-MinValue)/(MaxValue-MinValue)2、对数函数转换y = log10(x)3、反余切函数...原创 2019-06-17 19:12:09 · 1036 阅读 · 0 评论 -
机器学习知识总结(长期更新)
分类聚类量化投资原创 2019-05-29 09:47:19 · 247 阅读 · 0 评论