- 博客(22)
- 资源 (41)
- 收藏
- 关注
RSS订阅原创 Deep Learning 学习随记（八）CNN（Convolutional neural network）理解
前面Andrew Ng的讲义基本看完了。Andrew讲的真是通俗易懂，只是不过瘾啊，讲的太少了。趁着看完那章convolution and pooling， 自己又去翻了翻CNN的相关东西。当时看讲义时，有一点是不太清楚的，就是讲义只讲了一次convolution和一次pooling，而且第一次的convolution很容易理解，针对一副图像来的，但是经过一次convolution和poo
2014-04-30 16:40:16
19012
原创 Deep Learning 学习随记（七）Convolution and Pooling --卷积和池化
图像大小与参数个数：前面几章都是针对小图像块处理的，这一章则是针对大图像进行处理的。两者在这的区别还是很明显的，小图像（如8*8，MINIST的28*28）可以采用全连接的方式（即输入层和隐含层直接相连）。但是大图像，这个将会变得很耗时：比如96*96的图像，若采用全连接方式，需要96*96个输入单元，然后如果要训练100个特征，只这一层就需要96*96*100个参数（W,b），训练时间将
2014-04-30 16:39:42
23402
1
原创 Deep Learning 学习随记（六）Linear Decoder 线性解码
线性解码器（Linear Decoder）前面第一章提到稀疏自编码器（http://www.cnblogs.com/bzjia-blog/p/SparseAutoencoder.html）的三层网络结构，我们要满足最后一层的输出：a（3）≈a（1）（即输入值x）的近似重建。考虑到在最后一层的a（3）=f（z（3）），这里f一般用sigmoid函数或tanh函数等非线性函数，而将输出界定在一
2014-04-30 16:39:01
4770
原创 DeepLearning学习随记（五）Deepnetwork深度网络
这一个多周忙别的事去了，忙完了，接着看讲义~这章讲的是深度网络（Deep Network）。前面讲了自学习网络，通过稀疏自编码和一个logistic回归或者softmax回归连接，显然是3层的。而这章则要讲深度（多层）网络的优势。Deep Network：为什么要使用深度网络呢？使用深度网络最主要的优势在于，它能以简洁的方式来表达比浅层网络大得多的函数集合。正式点说，可以找
2014-04-30 16:38:07
6512
原创 Deep Learning 学习随记（四）自学习和非监督特征学习
接着看讲义，接下来这章应该是Self-Taught Learning and Unsupervised Feature Learning。 含义：从字面上不难理解其意思。这里的self-taught learning指的是用非监督的方法提取特征，然后用监督方法进行分类。比如用稀疏自编码+softmax regression。对于非监督特征学习，有两种类型，一类是self-t
2014-04-30 16:37:04
4925
原创 Deep Learning 学习随记（三）Softmax regression - bzjia
讲义中的第四章，讲的是Softmax 回归。softmax回归是logistic回归的泛化版，先来回顾下logistic回归。logistic回归：训练集为{(x (1) ,y (1) ),...,(x (m) ,y (m) )}，其中m为样本数，x (i) 为特征。logistic回归是针对二分类问题的，因此类标y (i) ∈{0,1}，。其估值函数（hypothesis
2014-04-30 16:36:31
3084
原创 DeepLearning学习随记（二）Vectorized、PCA和Whitening
接着上次的记，前面看了稀疏自编码。按照讲义，接下来是Vectorized， 翻译成向量化？暂且这么认为吧。Vectorized：这节是老师教我们编程技巧了，这个向量化的意思说白了就是利用已经被优化了的数值运算来编程，矩阵的操作尽量少用for循环，用已有的矩阵运算符来操作。这里只是粗略的看了下，有些小技巧还是不错的。 PCA:PCA这个以前都接触过了，
2014-04-30 16:35:57
5446
原创 DeepLearning学习随记（一）稀疏自编码器
主要参考资料是Stanford 教授 Andrew Ng 的 Deep Learning 教程讲义：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial。这个讲义已经有人翻译了（赞一个），可以参见邓侃的新浪博客http://blog.sina.com.cn/s/blog_46d0a3930101h6nf.html。另外，博客园
2014-04-30 16:35:03
30162
原创 (C++)UrlEncode的标准实现
关于UrlEncode的实现(C++)，网上有很多不同的版本，对需要编码的字符集的选取并不统一。那么到底有没有标准呢？答案是有的，参见wiki 绝对不编码的，只有字母、数字、短横线(-)、下划线(_)、点(.)和波浪号(~)，其他字符要视情况而定，所以一般性的urlencode只需保留上述字符不进行编码。 下面给出实现：[cp
2014-04-28 18:03:46
2403
原创 用PHP发送POST请求
/** * 发送post请求 * @param string $url 请求地址 * @param array $post_data post键值对数据 * @return string */ function send_post($
2014-04-23 16:27:15
1705
原创 word2vec学习参考
最近看NLP的东西比较多。就拿现在google 基于神经网络做的 word2vec 作为博客的开始吧，今后会陆陆续续补充内容。 基本是分4块内容： 1.神经网络语言模型 (http://machinelearning.wustl.edu/mlpapers/paper_files/BengioDVJ03.pdf) 2.语言模型分层优化(http://www.i
2014-04-22 17:57:49
3788
原创 word2vec中k-means学习笔记
一、k-means算法算法描述输入：簇的数目k；包含n个对象的数据集D。输出：k个簇的集合。方法：从D中任意选择k个对象作为初始簇中心；repeat;根据簇中对象的均值，将每个对象指派到最相似的簇；更新簇均值，即计算每个簇中对象的均值；计算准则函数；until准则函数不在发生变化二、Machine Learning(Ng)算法笔记
2014-04-22 17:49:12
8339
2
原创 word2vec核心代码注释
建议对照word2vec.c看注释,标红部分为中文注释以及相应代码,added by lijiawei// Copyright 2013 Google Inc. All Rights Reserved.//// Licensed under the Apache License, Version 2.0 (the "License");// you may
2014-04-22 17:39:56
6630
5
原创 word2vec中关于霍夫曼树的应用原理
看了word2vec中虽然对霍夫曼原理有所了解。但是没有找到使用霍夫曼编码的原理。在google上搜到这篇文章，感觉写的很不错，果断转了http://xiaoquanzi.net/?p=1562013年末，Google发布的word2vec引起了一帮人的热捧，各种兴奋。时至今日，各地讨论的也不似如此频繁，也是时候写一下个人对它的理解，亦可避免被真正的有识之士鄙视。
2014-04-22 17:38:00
18168
2
原创 用word2vec 跑搜狗SogouCS语料 - 大小4G | 6.8 亿词长 | 57万词汇
[分词]单机跑，耗时： 68分钟[ 训练 ]$ time ./word2vec -train /data/sogou/sohunews_segmented_1line.txt -output /data/sogou/vectors_sohunews.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -samp
2014-04-22 17:32:24
10432
原创 word2vec阅读笔记
1一个输入层 ； 1 个隐含层； 1个输出层syn0 input -> hidden 的 weights 在code中是一个1维数组，但是应该按照二维数组来理解。 访问时实际上可以看成 syn0[i, j] i为第i个单词，j为第j个隐含单元。 大小： 词典大小 * 隐含层
2014-04-22 17:31:58
7958
3
转载 word2vec使用指导
word2vec是一个将单词转换成向量形式的工具。可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。一、理论概述（主要来源于http://licstar.net/archives/328这篇博客）1.词向量是什么自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这些符号数学化。 NLP 中最直观，也是到目前
2014-04-22 16:34:16
182697
60
原创 Deep Learning in NLP （一）词向量和语言模型
这篇博客是我看了半年的论文后，自己对 Deep Learning 在 NLP 领域中应用的理解和总结，在此分享。其中必然有局限性，欢迎各种交流，随便拍。 Deep Learning 算法已经在图像和音频领域取得了惊人的成果，但是在 NLP 领域中尚未见到如此激动人心的结果。关于这个原因，引一条我比较赞同的微博。@王威廉：Steve Renals算了一下icassp录取文章题目中包
2014-04-22 16:29:30
5791
1
原创 php调用c++程序实现web访问c++程序
最近，搞这个东西搞的好郁闷，但是最终还是找到解决方法，现在我们就用PHP调用一个C++程序，就是如JAVA里最简单的程序 Hello Fuck.首先我们应该先写一个C++程序，代码如下 ：//我首先编辑的这个C++的文件名为hello.cpp#include #include int main(int argc, char* argv[]){ cout
2014-04-22 10:14:09
6806
2
原创 Deep Learning in NLP （一）词向量和语言模型
这篇博客是我看了半年的论文后，自己对 Deep Learning 在 NLP 领域中应用的理解和总结，在此分享。其中必然有局限性，欢迎各种交流，随便拍。 Deep Learning 算法已经在图像和音频领域取得了惊人的成果，但是在 NLP 领域中尚未见到如此激动人心的结果。关于这个原因，引一条我比较赞同的微博。@王威廉：Steve Renals算了一下icassp录取文章题目中包
2014-04-09 15:09:38
61268
13
原创 word2vec学习笔记[转]
谷歌已经使用Deep Learning技术开发了许多新方法来解析语言，目前，谷歌开源了一款基于Deep Learning的学习工具——word2vec，这是首款面向大众的Deep Learning学习工具。word2vec（word to vector）顾名思义，这是一个将单词转换成向量形式的工具。通过转换，可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示
2014-04-09 14:50:18
41764
8
原创 word2vec学习
谷歌已经使用Deep Learning技术开发了许多新方法来解析语言，目前，谷歌开源了一款基于Deep Learning的学习工具——word2vec，这是首款面向大众的Deep Learning学习工具利用word2vec对关键词进行聚类http://blog.csdn.net/zhaoxinfan/article/details/11069485
2014-04-09 14:48:15
2444
OpenRS— 开放式遥感数据处理与服务平台资料
2009-06-19
TinyXML解析xml文档
2008-12-29
Web+Services发布与调用(axis,xfire).doc
2008-12-27
COM+ Services.doc
2008-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人