2019年03月_zycxnanwang

11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 HDFS

最近看了The Hadoop Distributed File System,2010年发表的一篇关于HDFS的论文里面详细介绍了HDFS的各个方面，虽然里面有些技术已经被淘汰或者革新了，但是里面的设计思想还值得学习的，所以写下这篇笔记。技术有限，可能会有差错，希望指出。NameNode, DataNode文件和目录是以block的形式，存储在HDFS中的。为了实现数据的容错，H...

2019-03-21 19:55:54 434

原创 MapReduce

MapReduce前几天看了google的mapreduce论文，里面有很多学习的知识点，故在此记录。其中难免有错误，希望指出，有评论立即会回。mapreduce基本概念写过一些mapreduce程序之后，觉得mapreduce程序分为两部分map阶段，输入时的<key,value>对,key一般为文件的offset,value一般为一行的字符串经过自己编写的map...

2019-03-21 19:55:16 395

原创 YARN

YARN近期读了论文， Apache Hadoop YARN:Yet Another Resource Negotiator收益匪浅，故写了一篇简单的总结，其中难免有错误，望指正。有消息看到，会立即回复。上图是yarn的的框架图，解释一下三个主要的守护进程Resource Manager(RM), Node Manager(NM), Application Master(AM)...

2019-03-18 18:57:37 683

原创决策树

决策树决策树是一种有监督的分类模型，由节点和边构成。节点分为两种，一种是树的内部节点，表示一个特征或者属性，一种是叶节点，表示一个类(标签)，边代表特征的各种取值。如下图所示.用决策树进行分类时，从根节点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子节点(每个子节点对应着该特征的一个取值)，根据这个策略一直递归下去，直到到达叶节点，最后将实例分到叶节点的类中。比...

2019-03-02 14:32:02 192

原创 RDFS简介

RDFS简介这篇博客简单介绍一下RDFS的基本语法，和一些简单的推理规则其中难免有错误，欢迎评论指出，我会立即回复的。在上篇RDF的介绍中知道，RDF是领域无关的，而RDFS可以对特定领域进行描述。具体得，RDFS是通过描述subClassOf, subPropertyOf关系，还有对Property(属性)的domain(定义域)， range(值域)进行约束，来实现对特定领域描...

2019-03-02 14:29:37 3197