2018年10月_神兽乌鸦

12月 10月 09月 08月

原创 TensorFlow学习(11)——卷积神经网络

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# ====================一、载入训练数据==============================mnist = input_data.read_data_sets("../MNIST_data", one...

2018-10-31 14:19:21 258

原创 TensorFlow学习(10)——tensorboard scalar的使用

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 第一步、载入训练数据mnist = input_data.read_data_sets(train_dir="../MNIST_data", one_hot=True)# 设置批次大小batch_size = 5 # ...

2018-10-30 12:00:05 1953

原创 TensorFlow学习(9)——tensorboard name_scope的使用

2018-10-30 11:59:02 341

原创 TensorFlow学习(8)——Dropout的使用

2018-10-30 11:57:49 3106

原创 TensorFlow学习(7)——增加隐藏层优化mnist手写识别

2018-10-30 11:55:38 687

原创 TensorFlow学习(6)——简单的mnist手写识别

2018-10-30 11:54:38 161

原创 TensorFlow学习(5)——线性回归

import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt# =======================第一步、样本======================================# 从-0.5到0.5之间生成200个随机点（现在只是一个一维的数据）# 但是我们需要用到的是二维的数据因...

2018-10-30 11:53:17 206

原创 TensorFlow学习(4)——TensorFlow的简单使用

import tensorflow as tfimport numpy as np# 在这个例子中，我们的目标就是要找到合适的b和k，使得该线性模型能够把上面的样本给表示出来# 第一、使用Numpy生成一百个随机点,这就是样本x_data = np.random.rand(100)y_data = x_data*0.1 + 0.2# 第二、构造一个线性模型b = tf.Va...

2018-10-30 11:51:21 174

原创 TensorFlow学习(3)——Fetch和Feed的使用

import tensorflow as tf# ===========Fetch============input1 = tf.constant(3.0)input2 = tf.constant(2.0)input3 = tf.constant(5.0)add = tf.add(input2, input3)mul = tf.multiply(input1, add)sub =...

2018-10-30 11:49:45 262

原创 TensorFlow学习(2)——变量的使用

import tensorflow as tf# 定义一个变量x = tf.Variable([1,2])# 定义一个常量a = tf.constant([3,3])# 定义一个减法的opsub = tf.subtract(x,a)# 定义一个加法opadd = tf.add(x,sub)# 初始化所有变量，这一步很重要init = tf.global_variables_...

2018-10-30 11:48:00 195

原创 TensorFlow学习(1)——创建图和启动图

import tensorflow as tf# 创建一个一行两列的常量op（向量）m1 = tf.constant([[3, 3]])# 创建两行一列的矩阵opm2 = tf.constant([[2], [3]])# 创建一个矩阵乘法的opproduct = tf.matmul(m1, m2)# 输出print(product)# 定义一个绘画启动一个默认的Session...

2018-10-30 11:47:13 335

原创 TensorFlow常用优化器性能对比，以及各自优缺点

首先说明，本文不深入研究优化器的内部数学原理，只给出最终的结论。性能对比TensorFlow中提供了如下的对的优化器：tf.train.Optimizertf.train.GradientDescentOptimizertf.train.AdadeltaOptimizertf.train.AdagtadOptimizertf.train.AdagradDAOptimizertf.t...

2018-10-26 16:29:51 3679

原创防止过拟合的方法

防止过拟合的方法：增加数据集出现过拟合的情况大部分是因为数据量过少，然而神经网络太过于复杂，所以增加数据集是十分有利于防止过拟合的。正则化方法C=C0+λ2n∑ww2C=C_0 +\frac{ \lambda }{2n} \sum_{w}w^2C=C0+2nλ∑ww2：C0C_0C0就是原来的代价函数，现在我们在代价函数上增加一个正则化项λ2n∑ww2\frac{ \lambda...

2018-10-25 16:22:54 264

原创二次代价函数、交叉熵代价函数、对数似然代价函数的应用场景

二次代价函数的局限性首先来说一下二次代价函数的局限性，看下面这张图：假设现在使用的激活函数是sigmoid，并且代价函数是二次代价函数，我们收敛得目标是1，那么A点的梯度比较大，B点由于离目标比较近梯度小，所以是合理的；但是如果我们的收敛目标是0，那么A点离目标比较近，所以梯度应该要小于B点，但是图中明明是A点的梯度大于B点，这是不合理的。交叉熵正式由于二次大家函数的这个局限性，我们需要...

2018-10-25 11:43:40 2293

原创机器学习中权值W和偏导b与激活函数的关系

在机器学习中，我们经常会用到线性回归：y = Wx+b我们也会用到损失函数，损失函数的公式如下图：通过观察上面的式子我们发现，激活函数 σ\sigmaσ 包含着线性函数 Wx+b，这个时候损失函数就和权值W和偏置值b联系起来了。接着我们队损失函数的W和b分别进行求导：就像图中所说的，W和b的梯度跟激活函数的梯度成正比，激活函数的梯度越大，则w和b的大小调整得越快，训练收敛得越快。所以...

2018-10-25 10:58:24 3109 1

原创 TensorFlow定义隐藏层的方法

最近在学习TensorFlow，跟着教程敲了很多代码，但是也只是仅仅跟着敲，虽然也写过简单的隐藏层，但是真正要自己敲一个隐藏层还是感觉一脸懵逼，于是就有了这篇简短的博客。初学者在写隐藏层的时候通常会遇到以下两个疑问：不知道如何设置张量的维度不知道该选什么激活函数设置隐藏层维度观察下面这段关于mnist手写识别数字的代码：# 第二步、定义神经网络模型# 输入层x = tf.pla...

2018-10-24 17:05:32 3983

原创 TensorFlow中random_normal和truncated_normal的区别

区别如下：tf.random_normal() 正太分布随机数，均值mean,标准差stddevtf.truncated_normal() 截断正态分布随机数，均值mean,标准差stddev,不过只保留[mean-2stddev,mean+2stddev]范围内的随机数那么什么是正太分布呢？看下面这张图，就是正太分布的直观图：好了看完上面这张图，我们就可以理解什么是rando...

2018-10-24 14:52:54 2270

原创 Anaconda无法找到.jupyter文件的解决办法

安装Anaconda后我们打开主目录一般会看到全部文件，如下：在这里不小心你可能会删掉一些文件，那非常不安全，所以我们要更改一下打开目录。配置路目录一般在C:/用户/用户名/.jupyter/下，但是我怎么都找不到，所以这里还有一些坑。那么要如何解决呢？其实很简单，但是网上有很多错误的教程，以下是我的解决办法：打开Anaconda Prompt输jupyter notebook–g...

2018-10-21 14:01:51 9414