自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Kaiyin

学习使我快乐。

原创 基于Tensorflow2.0实现图神经网络中Message Passing

近年来图神经网络越来越受到科研领域的关注,而众多的图圣经网络都是通过message passing方法来更新网络中节点的状态。 在fennlp中我通过tensorflow2.0实现了message passing并基于此实现了GAN,GCN,和GIN,并且达到了相关论文的精度。相关结果以及代码已经...

2020-04-25 16:24:48 195 0

转载 BPE, WordPiece, SentencePiece

自己开发的NLP小项目,将BERT, ALBERT和GPT2用Tensorflow2.0重写。欢迎围观 https://github.com/kyzhouhzau/fennlp 众号分享机器学习,深度学习知识和技巧,以及学习资料。 ...

2020-04-07 19:28:52 209 0

原创 是谁占用了我的显存?(深度学习显存占用分析)

自己开发的NLP小项目,将BERT, ALBERT和GPT2用Tensorflow2.0重写。欢迎围观 https://github.com/kyzhouhzau/fennlp 众号分享机器学习,深度学习知识和技巧,以及学习资料。 ...

2020-04-07 19:17:35 140 0

原创 ASCII, Unicode

众号分享机器学习,深度学习知识和技巧,以及学习资料。

2020-04-07 19:09:38 37 0

原创 Tensorflow2.0对不同层指定学习率

在使用Tensorflow编写深度学习模型的时候往往会考虑对不同的层采用不一样的优化器以及学习率,以下为其中一个案例 import tensorflow as tf from zh.model.mnist.mlp import MLP from zh.model.utils import MNIS...

2020-02-06 11:12:48 724 0

原创 如何在word中高效的引用文献(EndNote)

最近在写毕业论文,由于之前做的很多都是数学相关的工作,而且部分工作都是用英文撰写的。之前一直习惯于用LaTeX写数学相关工作,一方面是其有丰富的论文格式模板,另一方便,用LaTeX写数学公式相当美观而且易用。 本来打算毕业论文也用LaTeX写的,但无奈学校并没有提供LaTeX毕业论文模板,自...

2020-02-06 11:08:16 1134 0

原创 在word中插入公式并给公式编号

插入公式和设置编号: 在word中插入公式应当说相当简单了,可能你会想到用:插入->公式 但该方法插入公式有很大的弊端,比如说,看上去并不是很好看,比如说引用起来不方便,比如说LaTeX支持不全面。所以今天介绍一个我用的word插件叫MathType。 第一步、安装 直接https:...

2020-02-06 11:03:47 388 0

原创 深度学习模型在训练时候使用dropout为何在测试时候不使用dropout?

深度学习模型在训练时候使用dropout为何在测试时候不使用dropout? 深度学习模型训练时候使用dropout实际上只是让部分神经元在当前训练批次以一定的概率不参与更新,这样使得每一轮迭代获得的模型都是不一样的。这个过程一定程度上保持了不同模型之间最优参数设置,使得训练出的每一个模型不至于太...

2020-02-02 21:09:21 573 0

原创 L1正则L2正则的公式是什么?他们各自的特点是什么(适用场景)?

解释:L1正则由模型的参数的绝对值的和构成,L2范数由模型的参数的平方和构成。 L1正则能够有效的 1)降低模型的复杂度 2)做特征选择 这是由于当采用L1正则后模型中对于部分特征的权重会置零。这样可以有效的降低有依赖的特征,起到特征选择的作用,同时特征维度降低后模型的复杂度也随之降低。所以L1正...

2020-02-01 09:55:25 103 0

原创 dropout原理是什么(公式层面), 为什么要用?

2、dropout原理是什么(公式层面), 为什么要用? 1、dropout是一种常用的防止过拟合的方法。 在实践中,我们通常可以通过,增加训练样本,早停(即提前停止训练过程),L1\L2正则,dropout,以及batch normalize等手段来防止过拟合。 2、dropout实现了一种继承...

2020-02-01 09:52:09 242 0

原创 Adam 和随机梯度下降的区别?

1、Adam 和随机梯度下降的区别? 一、SGD 1.1 对每一个待更新参数的求梯度,并在一定的学习率下按照梯度反方向更新参数。 1.2 但该方法存在显著的弊端,例如以下这样的损失函数:在不同的参数方向一方面学习率不应当一样,因为他们的梯度程度不同,一个x1方向梯度较大,x2方向梯度较小,但...

2020-02-01 09:51:18 585 0

翻译 Protege Tutorial

Ontology Generation and Visualization with Protégé 在本文中,期望读者对本体和本体规范有基本的了解。 以下部分说明了使用Protégé编辑器生成和可视化本体,并涵盖了基本的本体定义概念。 我们将研究创建一个简单的大学本体,然后通过使用VOWL...

2018-11-05 19:27:38 241 1

翻译 Protege Tutorial

注:作者google资源Fabio Papacchini http://cgi.csc.liv.ac.uk/~frank/teaching/comp08/protege_tutorial.pdf 目标:构建如下知识网络 step1:Adding Classes Step2:Addi...

2018-11-05 18:00:52 135 0

原创 前向传播后向传播

欢迎加入人工智能学习圈:

2018-10-29 16:56:15 194 0

原创 MySQL (part2)

MySQL第七章(更高阶用法部分与上面内容重叠) apt-get安装MySQL-server和MySQL-client 启动服务:sudo service start mysql CREATE USER ‘username’@‘host’ IDENTIFIED BY ‘password’...

2018-10-19 08:46:27 89 1

原创 知识图谱实战系列(笔记)

第一章: 一、 知识图谱与人工智能 人工智能的业务架构 人工智能的技术架构 智能人机对话业务模型 人工智能发展阶段 一、 知识图谱的典型应用 在语义理解中的应用 在传统搜索中仅仅通过匹配英达,儿子,无法正确区分开这三类问题,但是当引入实体关系的结构化数据...

2018-10-09 22:27:07 3295 10

原创 JVM读书笔记

一、虚拟机创建对象的过程 类型加载检测 虚拟机遇到一条new指令时,首先将去检查这个指令参数是否在常量池中定位到一个类的符号引用,并且检查这个符号引用代表的类是否已经被加载解析和初始化过。如果没有,就必须先执行相应的加载过程。 分配内存 类的加载检测通过后,虚拟机将为新生对象分配内存(内存大小在...

2018-09-30 09:12:31 60 0

原创 MySQL(part1)

MySQL 第一章 sudo service mysql start 检查系统中是否安装mysql数据库,如果没有安装: sudo apt-get install mysql-server #mysql的服务端和核心程序。 sudo apt-get install mysq...

2018-09-19 22:15:33 137 0

原创 Towards Binary-Valued Gates for Robust LSTM Training

Towards Binary-Valued Gates for Robust LSTM Training 一、首先给出LSTM公式 it=σ(Wxixt+Whiht−1+bi),it=σ(Wxixt+Whiht−1+bi),i_t = \sigma(W_{xi}x_t + W_{hi}h_{t...

2018-09-04 19:53:53 200 1

原创 语言模型与RNN

注:cs224n 语言模型:一个用来预测下一个单词的系统模型 用公式可以表示为: P(x(t+1)=wj|x(t),...,x(1))P(x(t+1)=wj|x(t),...,x(1))P(x^{(t+1)}=w_j |x^{(t)},...,x^{(1)}) 这里wjwjw_j是...

2018-08-18 11:52:06 1318 0

原创 Tensorflow 实践中常见的错误解决方法

1、ValueError: setting an array element with a sequence. 这个错误通常是由于train_x,train_y 和 mask(test_x,test_y,mask)出现了问题。这个时候可以尝试打印部分train_x,部分train_y或mas...

2018-07-26 11:17:58 4731 4

原创 GPU 工作站安装与配置

GPU 工作站配置 GPU型号:GeForce GTX 1080Ti CPU型号: i7 8700 酷睿六核 盒装CPU处理器 主板型号:华硕PRIME Z370-A 主板 第一步 选择合适的系统 这里直接选用Centos 7系统 安装系统这部分比较简单就直接省去...

2018-07-18 16:48:56 2107 0

原创 Fine-Grained Attention Mechanism for Neural Machine Translation

Fine-Grained Attention Mechanism for Neural Machine Translation 在这篇文章中作者提出了一种fine-grained的注意力机制即每一维的context vector将获得一个单独的注意力得分。 作者证明了这种做法的合理性 ...

2018-06-01 22:08:09 371 0

原创 ATTENTION MECHANISM

ATTENTION MECHANISM 自己看过的关于attention mechanism写的比较好的博客以及文章。 1.https://blog.heuritech.com/2016/01/20/attention-mechanism/ 2.https://kexue.fm/a...

2018-05-20 19:48:50 287 0

原创 Git 版本控制

Git 版本控制 Step1: 1.git add readme.txt 2.git commit -m “add name” Step4: 1.git log –pretty=oneline 2.git log 命令显示目前提交的 Step5: 将当前版本回退到上一个版本 1....

2018-05-16 15:04:12 107 0

原创 Independently Recurrent Neural Network

Independently Recurrent Neural Network(IndRNN):Building A Longer and Deeper RNN 阅读并整理《Independently Recurrent Neural Network(IndRNN):Building A Long...

2018-05-13 22:05:02 244 0

原创 正则表达式

正则表达式

2017-12-20 13:44:26 121 0

原创 Numpy

一种多维数组对象一、创建ndarry#一切序列型对象 import numpy as np data = [6,7.5,8,0,1] arry = np.array(data)arry.dtypedtype('float64') #嵌套列表将被转化成为登场等长的多维数组 dat...

2017-09-20 19:14:59 437 0

原创 urllib

urillb 崔老师爬虫课程听课笔记。

2017-08-20 10:39:50 303 0

原创 Selenium

Selenium 催老师爬虫课程笔记

2017-08-20 10:38:43 223 0

原创 Requests

Requests崔老师爬虫系列课程学习笔记

2017-08-20 10:38:02 153 0

原创 PyQuery

Python 崔老师爬虫课程听课笔记。

2017-08-20 10:37:21 178 2

原创 Beautifulsoup

BeautifulSoup 催老师的爬虫课程学习笔记

2017-08-20 10:35:30 274 0

提示
确定要删除当前文章?
取消 删除