Zhou_Dao的博客

一.BN理论概述机器学习领域有个很重要的假设：独立同分布假设IID，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。Batch normalization就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。（BN是在传统的基础上，不仅仅只对输入层的输入数据进行标准化，还对每个隐藏层的输入进行标准化）背景知识-归一化的好处：我们知道在神经网络训练开始前，都要对输入数据做一个归一化处理，那么具体为什么需要归一.

原文tensorflow之tf.name_scope()与tf.variable_scope()的区别 - 知乎https://zhuanlan.zhihu.com/p/37711713应用source：https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/5-12-scope/其他blog...

原文https://blog.csdn.net/xinjieyuan/article/details/95760679效果# 比如这个lenght就是记录了第一个句子2个单词，第二个句子2个单词，第三个句子4个单词lenght = [2,2,4] mask_data = tf.sequence_mask(lengths=lenght)# 长度为max(lenght)ar...

本人在安装好CUDA cuDNN之后，安装tensorflow-gpu==1.12.0，运行代码报错如下：ImportError: libcublas.so.8.0: cannot open shared object file: No such file or director将tensorflow升级到，tensorflow-gpu==1.13.1之后，报错如下：ImportErr...

每次只产生一个batch的数据# coding: utf-8from __future__ import print_functionimport tensorflow as tfimport randomimport numpy as npclass ToySequenceData(object): """ 生成序列数据。每个数量可能具有不同的长度。 一...

tensorflow 的dynamic_rnn方法，我们用一个小例子来说明其用法，假设你的RNN的输入input是[2,20,128]，其中2是batch_size,20是文本最大长度，128是embedding_size，可以看出，有两个example，我们假设第二个文本长度只有13，剩下的7个是使用0-padding方法填充的。dynamic返回的是两个参数：outputs,last_stat...

tf.nn.embedding_lookup(params, ids, partition_strategy='mod', name=None, validate_indices=True, max_norm=None)第一个参数是词表的大小，有多少个词，每个词用多少维度的向量表示；第二个才是Input向量的大小，也是2维的，即Input含有多少个sequence，每个sequence含...

上一篇笔记，Tensorflow - 将序列处理成embedding - 方法1 - keras调包，也介绍了如何生成批量数据，适合处理文本序列数据，用于分类，可以视为 Tensorflow - 生成批量数据 - 方法2 。此篇笔记，Example 1 适合 时间序列 做线性回归预测,Example 2 适合用文本序列做分类（和方法2类似）。具体做法也不同：上一篇笔记，...

There are some examples to show how to save trained modelsexample 1:this code can save the model which achieves max acc; but it cannot train model based on the pre-trained model; Besides, it e...

TensorFlow学习- GPU显存占满而利用率（util）很低原因&提高方法_m0_38064529的博客-CSDN博客https://blog.csdn.net/m0_38064529/article/details/103168172参考1：TensorFlow如何提高GPU训练效率和利用率分析显卡利用率低的原因是每个训练过程中有些进程是在CPU中执行的，像load下个b...