机器学习
文章平均质量分 67
17420
思想上的自由人,行动上的程序人
展开
-
Sinkhorn算法
从Superpoint到SuperGlue再到其它基于深度学习的图像匹配算法,几乎都用到了Sinkhorn算法,到底什么Sinkhorn算法,参考了一篇外文,写的很清晰,翻译了一下,供大家参考(注意,本文不分析Sinkhorn到底如何用于图/图像匹配,但如果看懂本文,我想这一问题就不在话下了)Sinkhorn解决的是最优传输问题,简单将就是把一个概率分布以最小代价转换成另外一个分布(此非人话,不理解也无妨,我也很讨厌这种过于学术的表述,不利于知识传播,但是确实没想出来到底怎么表述更合理更易于理解)翻译 2021-01-12 14:48:26 · 33247 阅读 · 25 评论 -
Numpy/Pytorch中函数参数dim/axis到底怎么用?
numpy或pytorch中很多函数可指定参数dim或axis。例如sum函数,dim=0或dim=1是对矩阵列/行进行求和,时间久了,就搞混了,如果是高维array/tensor,这两个参数简直就是噩梦,给人的感觉就是一个字:乱那到底如何方便合理的记住这两个参数的使用规则呢?这篇文章总结出了非常惊艳的规则,即,只有dim指定的维度是可变的,其他都是固定不变的。函数对 dim指定的维度变化时,所遍历的所有元素 进行操作例如:M = [[1,2,3],[4,5,6]]np...原创 2021-01-12 10:41:33 · 1495 阅读 · 1 评论 -
基于Gensim的Word2Vec增量式训练方法
Word2Vec训练好以后,随着时间的积累,出现一些新词,此时可能需要在已有的模型基础上重新训练,以补充这些新词汇,亦即增量式训练。本文分析了基于Gensim的Word2Vec的增量式训练方法。 数据: 以小说《人民的名义》,《明朝那些事儿》作为语料库,小说中出现的词语相对集中,且很容易找到未出现词,便于观察增量式训练效果。 过程:首先以小说《人民的...原创 2020-03-11 16:09:10 · 6200 阅读 · 5 评论 -
yacs直接读取yaml文档(python)
yacs在我理解是一种读写配置文件的python包。在机器学习领域,很多模型需要设置超参数,当超参数过多时,不方便管理,于是出现了很多类似yaml,yacs的包。关于yacs的使用,网上有一些文档,类似这篇。这些方法都需要先加载定义了一些CfgNode的文档,然后通过merge_from_file函数加载yaml. 本文要介绍的是如何直接加载yaml文件。如有文件test.yaml,内容如...原创 2019-09-05 16:12:24 · 4748 阅读 · 0 评论 -
梯度下降方法中的学习率(learning rate), 衰减因子(decay) 冲量(momentum)
本文总结自如下两个链接的内容,建议读者直接阅读链接中的文章1.https://www.jianshu.com/p/58b3fe300ecb2.https://www.jianshu.com/p/d8222a84613c学习率学习率 lr(learning rate), 梯度下降算法中迭代步长。假设待优化函数为func(x), dx为函数对变量x的导数,即下降方向。每次x的迭...转载 2019-05-23 13:26:45 · 16221 阅读 · 0 评论 -
torch.utils.data.dataloader参数collate_fn简析
torch.utils.data.DataLoader是pytorch提供的数据加载类,初始化函数如下,torch.utils.data.DataLoader(dataset,batch_size=1,shuffle=False,sampler=None,batch_sampler=None,num_workers=0,collate_fn=<function default...原创 2019-05-22 12:18:24 · 6320 阅读 · 1 评论 -
Mark:UFLDL反向传播算法及其检验调试方法——适合自己的才是好的
人工智能、机器学习泛滥。以前搜不出来,现在搜出来的太多。找自己想看的都得费半天劲。这当然是好的,有资料总比没有强。但是搞这个方向,适合自己的才是好材料。太简单,你觉得不过瘾,太深奥,你看不懂,所以文章,刚好讲到你的困惑点,对你来说才是好文章。我自己觉得,反向传播方法,UFLDL里的讲解比较适合我,通篇没有废话,简单直接,写的非常好,所以Mark一下,免得下次忘了UFLDL这个关键词,又费半...转载 2019-03-13 09:31:20 · 367 阅读 · 0 评论 -
Faster-RCNN解读材料优选
先吐槽一下,目前CSDN上的一些关于AI方面的文章都是靠为了蹭热度粗制滥造。骗人点进去,其实什么有价值的内容也没有,浪费大家时间。吐槽完毕。 1. 知乎《一文读懂Faster RCNN》,通过此文能对Faster RCNN有一个全面的了解。文章后面关于训练的部分讲的比较粗糙。 2. "Object Detection and Classificati...转载 2019-03-06 10:32:36 · 706 阅读 · 0 评论 -
matplotlib.pyplot.axis 画faster-rcnn的anchors
参考来源:https://matplotlib.org/api/_as_gen/matplotlib.pyplot.axis.html心血来潮,想用matplotlib画一下faster-rcnn中生成的基础anchors,如下,base_anchors = [[ -84.,-40., 99., 55.], [-176.,-88.,191.,103.], [-360. -184...原创 2019-01-25 11:32:05 · 339 阅读 · 1 评论 -
Jetson TX2 编译 Pytorch (Wheel)
参考https://gist.github.com/dusty-nv/ef2b372301c00c0a9d3203e42fd834261.按照注释内容修改源码2. 修改 -d参数sudo python setup.py bdist_wheel -d [the path where to save the wheel file]3.执行以下命令### before...原创 2018-11-15 10:36:45 · 3934 阅读 · 8 评论 -
Banach's Fixed Point Theorem(contraction mapping theorem,巴拿赫不动点定理)
先看一下定理描述:Theorem 1.1: Let (, ) be a complete metric space and be a map such that for some and all and in . Then has a unique fixed point in . Moreover, for any the sequence of iterates...原创 2018-11-01 16:48:23 · 6445 阅读 · 0 评论 -
PR&ML之路
先写篇初稿吧12年读研,我初次接触到机器学习模式识别(PR&ML)这个方向。当时PR&ML绝对不像今天这么火,甚至时至今日,大家也只是知道人工智能,不知道人工智能再次兴起与PR&ML有什么关系。无所谓,不研究这些确实不需要了解这些,但是如果你想入坑PR&ML,现在确实是好时机:打开网页,输入关键词“机器学习”、“模式识别”、“神经网络”、能得到太多相关文献、博客...原创 2018-10-12 12:58:18 · 600 阅读 · 1 评论 -
(转)从CNN到GCN的联系与区别——GCN从入门到精(fang)通(qi)
转载于:博客1 什么是离散卷积?CNN中卷积发挥什么作用?了解GCN之前必须对离散卷积(或者说CNN中的卷积)有一个明确的认识:如何通俗易懂地解释卷积?这个链接的内容已经讲得很清楚了,离散卷积本质就是一种加权求和。如图1所示,CNN中的卷积本质上就是利用一个共享参数的过滤器(kernel),通过计算中心像素点以及相邻像素点的加权和来构成feature map实现空间特征的提取,当然...转载 2018-09-07 10:44:43 · 3552 阅读 · 0 评论 -
Learning Convolutional Neural Networks for Graphs论文导读及代码链接
本博客主要是关于论文“Learning Convolutional Neural Networks for Graphs”的导读并记录代码链接方便大家学习。内容并非自己写的,导读部分源于文章《卷积神经网络不能处理“图”结构数据?这篇文章告诉你答案》,链接在GitHub上。目录:一、 论文导读二、链接一、论文导读本文要介绍的这一篇paper是ICML2016上一篇关于 CNN 在...转载 2018-09-06 18:23:28 · 9423 阅读 · 7 评论 -
李航博士-统计学习方法-SVM-python实现
下面的代码是根据李航博士《统计学习方法》一书写的SVM的实现。还有些问题,贴出来大家给些建议。原创 2017-11-28 16:35:33 · 1538 阅读 · 0 评论 -
李航统计学习方法EM算法三枚硬币例子Q函数推导
李航《统计学习方法》中关于EM算法有个抛三枚硬币的例子,例子没有给出Q函数的具体推导,查了很多资料,也没有满意的答案,所以自己推到了一下。哎大牛就是大牛,个人感觉EM算法理解起来不难,但是真正用起来很多问题需要讨论。比如里面涉及很多概率论的知识,条件概率,条件独立,条件期望等等,都值得研究一下原创 2017-08-29 09:18:05 · 5423 阅读 · 0 评论