张小彬的专栏

ABS 和 ABS+[Rush, 2015] A Neural Attention Model for Abstractive Sentence Summarization这篇 facebook 的论文是用神经网络来做生成式摘要的开山之作，后续的论文基本都会引用。而且在 github 上有开源的代码放出来，可以参考 facebook/NAMAS.模型的主要结构见下图(a)，即左边的那部分，其实本质上

The neural network perspective传统的 Autoencoder 结构如下图： 但是这种结构没法生成新数据，只能做数据压缩。怎么改进呢？可以考虑加一个正则项，让隐变量趋近一个单位高斯分布。generation_loss = mean(square(generated_image - real_image)) latent_loss = KL-Divergence(la

论文《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》CopyNet 是在 Seq2Seq + Attention 的基础上，引入了拷贝机制，对某些任务会有所擅长。模型结构如下图 实现上有关键两点（即图中右边的上下两个矩形框），Prediction with Copying and Generati...

word2vec 是 Google 于 2013年开源的一个用于获取词向量的工具包，作者是 Tomas Mikolov，不过现在他已经从 Google Brain 跳槽到了 Facebook Research，后来还参与了 fasttext 项目的研究。下面是我读博客 word2vec 中的数学原理 的一些笔记和总结。Language Model （语言模型）统计语言模型（statistical l

继上篇文章了解了一些模型的基本原理以后，这里来讲讲怎么用 gensim，主要参考官方网站的 gensim: Tutorials，这篇博文也只是简单记下一点笔记。主要有三块内容，先讲怎么把文档表示成向量空间模型（VSM，vector space model）中的稀疏向量（sparse vector）形式，然后是怎么用模型（这里叫 topic and transformations）把词袋模型（BoW，

gensimgensim 是 Radim Rehurek 写的一个用来处理文本相似度的 python 库。可以很方便的用 tfidf，LDA，LSA，word2vec 等模型，涵盖了 NLP 里常见的词袋模型，主题模型，词嵌入等。下面简单介绍一下这些概念。Vector Space model在自然语言处理中，我们经常需要表示一个文档。一种常见的做法是写成向量的形式，比如直接统计一下该文章的词频，那么

最近看了下 PyTorch 的损失函数文档，整理了下自己的理解，重新格式化了公式如下，以便以后查阅。值得注意的是，很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数，需要解释一下。因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。如果 reduce = False，那么 s...

作业总结终于来到了最后一次作业，这次主要是讲 RNN 或 LSTM 这个时序模型，感觉如果公式已经熟悉了的话（没有的话多看几遍，也可以参考我上篇博文的公式总结，囧），作业应该比上次的简单。代码量也少一些。在写代码之前要下载一些必要的模型文件，数据集等，可能比上两次麻烦点，具体看 Assignment #3 的说明就好了。我的作业代码见：cs231n/assignment3.Image Caption

RNN参考 RNN wiki 的描述，根据隐层 hth_t 接受的是上时刻的隐层（hidden layer） ht−1h_{t-1} 还是上时刻的输出（output layer）yt−1y_{t-1}，分成了两种 RNN，定义如下：Elman network 接受上时刻的隐层 ht−1h_{t-1}Jordan network 接受上时刻的输出 yt−1y_{t-1}但是看了很多的教程，感觉应

上一次作业基本已经讲了构建一个多层神经网络的基本知识，包括其结构，公式推导，训练方法。这一次主要关注卷积神经网络（CNN, Convolution Neural Network），要先读完课程笔记 CS231n Convolutional Neural Networks for Visual Recognition，基本就懂了。特别是那个解释卷积的动态图，非常形象。CNN 主要多了卷积层（convo

CNNs: Architectures, Convolution / Pooling LayersCovNet LayersConvNet 显示地假设输入是图片，卷积池化等操作大大减少了参数，比一般的全连接网络计算更高效。CNN 里具体有下面的几种结构，卷积层， Convolutional LayerDilated convolutions 就是做点乘的时候，也有个stride，而不是连续的九宫格

课程资料趁着在学校的时间，跟着 cs231n 的课程做了一下作业，感觉收获特别大，现在汇总在博客里。下面是一些官方的课程资料： 网页 备注 课程主页 主页课程介绍 课程官方笔记 貌似要 fq 软件支持 Syllabus 课件、视频、课程安排表还有一些其他有用的非官方资料： 网页 备注 课程中文翻译 智能单元公众号提供的翻译 课程视频 网易云课堂提

神经网络里的非线性是很重要且必不可少的。在全连接层之间引入非线性单元，可以让神经网络具有更强的表达能力。一个三层的神经网络可以大概写成这样子的形式，$$s = W_3\max(0, W_2\max(0,W_1x))$$ 中间的隐藏层神经元数量的大小可以自己设置。

11.1 Latent variable models 隐变量模型图模型尝试在不同的观察变量之间建立条件独立关系，另一种思路则是用隐变量模型，即 LVMs, Latent variable models，这种模型假设观察变量都是从一个共同的“隐变量”中得到的。隐变量的意思就是无法观测到，没有数据，可以人为定义个数和表示的含义。因此聚类算法中的簇就可以看做是隐变量，而有监督学习中如果给了簇的标定数据，

10.1 Introduction书里开头就引用了迈克尔·乔丹对图模型的理解，他说处理复杂系统有两个原则，模块性（modularity）个抽象性（abstraction），而概率论（probability theory）则通过因式分解（factorization）和求平均（averaging）深刻地实现了这两个原则。概率图模型有三大任务：表征（representatino），推断（Inference

9.1 Introduction前面讲过的很多概率分布其实都是属于指数家族簇，比如高斯，伯努利，泊松，狄利克雷分布等。当然，要除掉均匀分布和学生 t 分布。我们可以用指数家族分布来表示 class-conditional density，由此建立广义线性模型（GLM, Generalized Linear Model）这个生成分类器。9.2 The exponential family 指数家族指数

8.1 IntroductionLR 是一个非常重要的模型，几乎所有的机器学习职位面试都会问到。因此这章是重点，一定要看懂。8.2 Model specification把线性回归的高斯分布，换成伯努利分布，就成了逻辑斯特回归，不过这个模型其实是个分类模型，p(y|x,w)=Ber(y|sigm(wTx))p(y|\mathbf{x}, \mathbf{w}) = \text{Ber}(y|\tex

7.1 Introduction线性回归（Linear Regression）是统计学和机器学习中的主力军（work horse），当用核函数等做基函数扩充（basis function expansion）时，又可以模拟非线性关系。除了回归问题，如果用伯努利或者多努利分布代替高斯分布，那么就可以用来做分类问题（classification），下一章会讲。7.2 Model specificatio

6.1 Introduction频率学派统计学（frequentist statistics），经典统计学（classical statistics），或者叫正统的统计学（orthodox statistics），设计了一些不把参数当做随机变量的统计推断方法，从而避免了使用贝叶斯法则和先验。频率学派依赖于抽样分布（sampling distribution），而贝叶斯学派则依赖后验分布（poster

5.1 Introduction 介绍在第三章我们讨论了如果用最大化后验（MAP）做参数估计，即 θ^=argmaxp(θ|D)\hat\theta = \arg\max_p(\theta | \mathcal{D})，和计算全后验 p(θ|D)p(\theta|\mathcal{D}) 和计算后验预测密度（posterior predictive density） p(x|D)p(\mathbf{