- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pytorch实现连续切片，类似于tf.strided_slice()
1.背景：一直使用torch进行开发，torch的友好为开发调试提供了很多方便，但是torch中有些函数没有内置，造成使用的时候必须自己实现，最近就遇到了一个连续切片的问题，问题可以想象我们往Bert中输入的是一个句子对，但是我们还需要第一个句子的表示，因此必须从句子对的表示中取出第一个或者第二个句子的表示，tensorflow中tf.strided_slice()函数有类似的功能，但是我在t...
2019-06-20 11:02:28
3311
原创 论文：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
一、译文：ABSTRACT自然语言是分层结构的:较小的单元(例如短语)嵌套在较大的单元(例如子句)中。当较大的组件结束时，嵌套在其中的所有较小的组件也必须结束。虽然标准的LSTM体系结构允许不同的神经元在不同的时间尺度上跟踪信息，但它并没有明确地偏向于对成分层次结构建模。本文提出通过对神经元进行排序来增加这种诱导偏差;一个主输入和遗忘门的向量确保当一个给定的神经元被更新时，按照顺序跟随它的...
2019-06-19 14:25:13
2190
1
转载 指数移动平均（EMA）的原理及PyTorch实现
在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以求提高测试指标并增加模型鲁棒。EMA的定义指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted Moving Average），是一种给予近期数据更高权重的平均方法。假设我们有n个数据：普通的平均数： EMA：，其中，表示前条的平均值 ()...
2019-06-12 20:04:39
25679
7
17flowers dataset for computer vision
2018-10-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人