zhaodongh的博客

原创 使用spark遇到的问题

1.如何设置广播变量：from pyspark.sql import SparkSessionfrom pyspark.sql import functions as Ffrom pyspark.sql import Windowfrom pyspark.sql.types import StructFieldfrom pyspark.sql.types import StructTypefrom pyspark.sql.types import StringTypefrom pyspar

原创 使用jieba所遇到的bug

1.在spark与结巴结合使用时，在主节点load一次字典，该字典只存在于spark的driver里面，但是worker进程无法共享这段内存，会导致分词时字典没用上，解决方法，在每个mapPartitions函数里添加jieba字典标识位（jieba.dt.initialized）：if not jieba.dt.initialized: jieba.load_userdict('user_dict.txt')2.jiaba的字典也可以直接传入set形式，因其源码书写并不规范化：.

原创 读end2end quantum language model

端到端的类量子语言模型计算机科学与技术专业 2117216082 赵东浩摘要: 语言模型的研究是一直是一个基础的研究课题，基于Alessandro Sordoni在信息检索领域发表的量子语言模型，本实验室提出了端到端的类量子语言模型，并将其成功应用在QA任务中。该模型通过构建新的密度矩阵来联合表示问题和答案，最后将得到的密度矩阵传到卷积神经网络[1]中。实验证明在wikiQ...

原创 tensorflow报错集锦

1.ValueError: Tensor conversion requested dtype int64 for Tensor with dtype float32: 'Tensor("loss/mul:0", shape=(), dtype=float32)'解决方法：将报错项进行格式转换tf.to_float(self.predictions))...

原创 戴尔E6420加装固态硬盘经验分享

    硬盘是三星(SAMSUNG) 860 EVO 250G SATA3 固态硬盘，挺好，下面说一下我的安装心得：电脑戴尔型号E6420，移动硬盘盒（购买）。    将固态硬盘安装到移动硬盘盒内进行分区，格式化。将处理过的固态硬盘装到原系统硬盘位置，设置AHCI模式，但主板读取不了！！！然后开始各种怀疑各种百度，最后还是没有解决（正是周末戴尔客服不上班）。    无奈只能退而求其次，将硬盘装到光...

原创 mathype，你值得拥有，regedit

转载 学习learning to rank小结

学习排序（Learning to Rank）LTR（Learning torank）学习排序是一种监督学习（SupervisedLearning）的排序方法。LTR已经被广泛应用到文本挖掘的很多领域，比如IR中排序返回的文档，推荐系统中的候选产品、用户排序，机器翻译中排序候选翻译结果等等。IR领域传统的排序方法一般通过构造相关度函数，然后按照相关度进行排序。影响相关度的因素很多，比如上面提到的tf...

转载 给明年依然年轻的我们：欲望、外界、标签、天才、时间、人生目标、现实、后悔、和经历

Denny Liu。一个喜欢创造和分享东西的人。创造过BIMP、连客、感恩社。沃顿商学院最高荣誉毕业。微信/博客主要用于分享提高个人生产力、生活战斗力的知识体系和心得。 关注微信：dennywx ｜ 微博：@奶牛Denny---今天是22岁的最后一天。几个月前，我从沃顿商学院毕业，用文凭上“最高荣誉毕业”的标签安抚了已经年过半百的老妈，然后转头辞去了毕业后的第一份工作，跟一家很受尊敬的公司、还有1...

原创 在自己电脑上建立git步骤

先查看本地git上的用户名和emian  并添加emial 生成本地的密钥，并复制该密钥  将其添加到github上  查看当前目录 并查看当前目录下的文件  在github上建立分支，初始化仓库 并用commit注释本次提交  用push命令将本地文件提交到git上  提交成功界面如下： 提交完成后，用git clone git@github.com:zhaodongh/hello.git将文件...

转载 Hinton是如何理解PCA

前言“深度学习名校课程大全” 里面给出了很多深度学习的课程， 但是说到书的话， 还是推荐 Ian Goodfellow的 “Deep Learning”， 张志华老师带来学生有翻译成中文版本。  里面就提到了Hinton 辛顿( 参考 攒说 Geoff Hinton ) 对PCA的理解，实在高明！   如果你没有看过的话，可以找来看看， 有开放的PDF版。 千万不要小看PCA， 很多人隐约知道求解...

转载 强化学习在生成对抗网络文本生成中扮演的角色

强化学习在生成对抗网络文本生成中扮演的角色（Role of RL in Text Generation by GAN）（下）2017-10-28 胡杨 AI研习社1.基础：文本生成模型的标准框架文本生成（Text Generation）通过 机器学习 + 自然语言处理 技术尝试使AI具有人类水平的语言表达能力，从一定程度上能够反应现今自然语言处理的发展水平。下面用极简的描述介绍一下文本生成技术的大...

转载 Hinton和Jordan理解的EM算法

Hinton和Jordan理解的EM算法原创 2017-10-30 史春奇 AI2ML人工智能to机器学习在“Hinton是如何理解PCA？”里面，我们体会到Hinton高人一等的见解。 Hinton, 这个深度学习的缔造者( 参考 攒说 Geoff Hinton ) ， Jordan 当世概率图模型的集大成者（参考 “乔丹上海行”）， 他们碰撞的领域，EM算法！这个是PCA外的，另外一个无监督学...

转载 阅读QA论文中遇到的一些问题

目录 1.梯度问题：... 2 再结合就应该能理解：... 4 一. 批梯度下降算法... 4 二. 随机梯度下降算法... 6 2.Dropout详解：... 7 3.交叉熵：：：：：... 11 4.EM算法和LMS算法... 17 LMS算法：... 17 EM算法：... 18 5.正则化：... 39 tensorflow学习笔记（三十八）:损失函数加上正则项... 39 tensor...

转载 这才是线性代数的本质（值得一读）

来源：http://blog.csdn.net/myan/article/details/647511转自：超级数学建模线性代数课程，无论你从行列式入手还是直接从矩阵入手，从一开始就充斥着莫名其妙。比如说，在全国一般工科院系教学中应用最广泛的同济线性代数教材（现在到了第四版），一上来就介绍逆序数这个古怪概念，然后用逆序数给出行列式的一个极不直观的定义，接着是一些简直犯傻的行列式性质和习题——把这行...

转载 如何高效阅读一篇论文？来自18位教授、主编和博士生的最好建议！

撰文 | Elisabeth Pain （翻译 何伟雄 ；审校 魏潇） 文章来源自公众号科研圈（ID：keyanquan） 即便是专业的科研从业者，也无法做到像看小说一样阅读各类研究论文——许多研究者表示他们在读论文时遇到了很多困惑和挫折。因此，《科学》（Science）邀请了十几位不同领域、不同资历的科学家来告诉我们，他们是如何做的。 虽然阅读科学论文会随着经验增长而变得容易，但是过程中遇到的困...

转载 《Inner Attention based Recurrent Neural Networks for Answer Selection》阅读笔记

转载请注明出处：西土城的搬砖日常原文链接：Inner Attention based Recurrent Neural Networks for Answer Selection来源：ACL2016问题介绍：答案选择（Answer Selection）答案选择任务就是根据问题，从候选答案中找出正确答案，这里的答案一般都是长句，做答案选择任务常用的数据集有InsuranceQA，TrecQA，Wik...