tensorflow的共享变量,tf.Variable(),tf.get_variable(),tf.Variable_scope(),tf.name_scope()联系与区别

在训练深度网络时,为了减少需要训练参数的个数(比如具有simase结构的LSTM模型)、或是多机多卡并行化训练大数据大模型(比如数据并行化)等情况时 ,往往需要共享变量。另外一方面是当一个深度学习模型变得非常复杂的时候,往往存在大量的变量和操作,如何避免这些变量名和操作名的唯一不重复,同时维护 ...

2017-07-02 23:47:18

阅读数:167

评论数:0

机器学习和深度学习库速查表

机器学习和深度学习库速查表 Numpy库 Pandas Scipy Matplotlib Scikit Learn Keras Neural Networks Zoo

2017-06-01 15:32:15

阅读数:346

评论数:0

Q-Learning分析

Q-Learning算法详解: 参考博文:1、http://blog.csdn.NET/pi9nc/article/details/27649323  2、http://mnemstudio.org/path-finding-q-learning-example-1.htm

2017-05-25 20:17:54

阅读数:2667

评论数:1

RELU 激活函数及其他相关的函数

日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmoid、ReLU等等。不过好像忘了问自己一(n)件事: 为什么需要激活函数? 激活函数都有哪些?都长什么样?有哪些优缺点? 怎么选用激活函数? 本文正是基于这些问题展开的,欢迎批评指正! (此图并没...

2017-05-23 22:17:54

阅读数:170

评论数:0

TensorBoard如何调参

什么是 TensorBoard TensorBoard 是 TensorFlow 上一个非常酷的功能,我们都知道神经网络很多时候就像是个黑盒子,里面到底是什么样,是什么样的结构,是怎么训练的,可能很难搞清楚。而 TensorBoard 的作用就是可以把复杂的神经网络训练过程给可视化,可以更好...

2017-05-11 21:54:29

阅读数:2533

评论数:1

Spark聚类模型K-Means----来源Spark机器学习

import breeze.linalg.DenseVector import breeze.numerics.pow import org.apache.spark.mllib.clustering.KMeans import org.apache.spark.mllib.linalg.Vect...

2017-03-14 23:25:46

阅读数:429

评论数:0

Spark分类模型--来源Spark机器学习

import org.apache.spark.mllib.classification.{ClassificationModel, LogisticRegressionWithSGD, NaiveBayes, SVMWithSGD} import org.apache.spark.mllib.e...

2017-03-14 23:24:48

阅读数:367

评论数:0

卷积神经网络入门学

卷积神经网络算法是n年前就有的算法,只是近年来因为深度学习相关算法为多层网络的训练提供了新方法,然后现在电脑的计算能力已非当年的那种计算水平,同时现在的训练数据很多,于是神经网络的相关算法又重新火了起来,因此卷积神经网络就又活了起来。 在开始前,我们需要明确的是网上讲的卷积神经网络的相关教程一般...

2016-10-30 16:49:58

阅读数:283

评论数:0

深度学习(DL)与卷积神经网络(CNN)学习随笔-05-基于Python的LeNet之CNN

今天我们就来讨论一下LeNet的模型建立及实现。    先来看一下LeNet的结构图。由图中可得到其结构分别为输入层、s1、c1、s2、c2和输出层。    其中,输入层到s1是卷积运算;输入层输入数据batch_size个样本,每个样本是一个28∗28的图片,s1层滤波器...

2016-10-30 16:04:23

阅读数:249

评论数:0

深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-02-基于Python的卷积运算

代码中会用到一个名叫dimshuffle()的函数。dimshuffle()是一个很强大的工具,但是对于初学者来说可能会搞不懂到底有什么用,一开始我也是。但是经过多次实验,终于弄懂了dimshuffle()的作用是什么,参见dimshuffle的作用详解 [python] v...

2016-10-30 15:47:45

阅读数:301

评论数:0

深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP

本文主要介绍含有单隐层的MLP的建模及实现。建议在阅读本博文之前,先看一下LR的实现。因为LR是简化版的MLP。LR不含有单隐层,则其输入层直接连接到输出层。从何处可以看出LR是输入层直接连接输出层?借用上一博文的公式:P(Y=i|x,W,b)=softmaxi(Wx+b)。其中,x是输入层,so...

2016-10-30 15:46:04

阅读数:512

评论数:0

深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-03-基于Python的LeNet之LR

0阶张量叫标量(scarlar);1阶张量叫向量(vector);2阶张量叫矩阵(matrix)        本文主要内容:如何用python中的theano包实现最基础的分类器–LR(Logistic Regression)。    一、模型        由概率论知识总结出模型,二...

2016-10-30 15:37:05

阅读数:521

评论数:0

卷积算子计算方法(卷积运算)

卷积操作是对图像处理时,经常用到的一种操作。它具有增强原信号特征,并且能降低噪音的作用。 那么具体是如何计算的呢?且看下文。 待处理图像数据(5*5):         卷积核:(3*3) A = [17 24  01  08 15            H = [8   ...

2016-10-30 15:34:29

阅读数:162

评论数:0

theano入门学习

一、初识theano 1、theano.tensor常用数据类型 学习theano,首先要学的就是theano.tensor使用,其是基础数据结构,功能类似于Python.numpy,教程网站为:http://deeplearning.Net/software/theano/library...

2016-10-30 13:30:18

阅读数:389

评论数:0

五个例子掌握theano.scan函数

一、theano的工作原理     在theano编程中,Graph是指导theano如何对变量进行操作的唯一途径,theano变量和theano Ops(操作)是Graph的两个基本构成元素。Graph只能由theano变量(包括shared变量)或常数组成。如图所示:  ...

2016-10-28 23:39:05

阅读数:181

评论数:0

theano中训练方法和模型的一些写法

按照这theano的tutorial开始跟着写了,因为去年年底之前学习过一段时间,但是当时时间少,并且很多地方也没搞懂,大多都是看着书来模仿,结果出错不好找地方之外,自己如果根据自己的想法随便写下结果就出错了。这几天好好的学习了下。我来总结下 在softmax或者逻辑回归的代码中: 1:在教程...

2016-10-27 21:37:07

阅读数:229

评论数:0

softmax回归2

我们知道Logistic回归只能进行二分类,因为它的随机变量的取值只能是0或者1,那么如果我们面对多分类问题怎么 办?比如要将一封新收到的邮件分为垃圾邮件,个人邮件,还是工作邮件;根据病人的病情预测病人属于哪种病;对于 诸如MNIST手写数字分类(MNIST是一个手写数字识别库,相见:...

2016-09-27 22:58:33

阅读数:179

评论数:0

Softmax回归1

在本节中,我们介绍Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签  可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的,该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的,不过后面也会...

2016-09-27 22:46:03

阅读数:274

评论数:0

循环神经网络源码剖析

度学习领域的RNN(Recurrent Neural Networks)中文名又称之为:循环神经网络。# -*- coding: utf-8 -*- import numpy as np import codecs #读取txt一整个文件的内容为字符串str类型 data = open('...

2016-09-21 16:42:15

阅读数:567

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭