- 博客(4)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 hadoop中最简单最简单的map-reduce
大多数的第一个map-reduce程序都是WordCount，但对于初学者来说，想要弄懂WordCount的流程不是一件简单的事，这里我就把WordCount拆分一下，只map不reduce。先不看程序，自己来想想，写map-reduce的程序应该有哪些步骤。1、输入输出。这就不用说了吧，任何程序都有输入输出，那么map-reduce中的输入输出又是怎么回事呢？ 思考一下，在整个程序中，肯
2015-07-16 17:14:42
1003
原创 Java调用Hadoop API
hadoop提供的Java API主要用来对文件操作。最常见的也就是读、写、遍历。总的来说，调用API的第一步获取FileSystem，可以用FileSystem fs = FileSystem.get()来获取。接下来如果是写（上传）文件，则用fs.create()，如果是读（下载）文件，则用fs.get()。然后再用FSDataInputStream、FSDataOutputStream
2015-07-15 12:13:55
836
原创 Hadoop状态页面的Browse the filesystem链接无效的问题
首先说说我的平台一个master，两个node，这3个节点都在Linux上，而eclipse在Windows上，为了操作方便，我在Windows 的host文件中添加了解析。192.168.203.149 master在eclipse上操作，一切都OK，但是用浏览器查看HDFS的时候出现问题了。输入http://http://master:50070/后的页面如下：
2015-07-15 11:31:35
990
原创 centos安装ssh免密码登录
之前搭建Hadoop伪分布的时候需要shh，但那时很顺利，没出现什么大问题，现在在装了3台虚拟机，想搭建一个真正的分布系统，结果在安装ssh这个地方始终过不去。总结几个出问题的地方：1、关闭SELINUX具体就是将 /etc/selinux/config 中的 SELINUX设为disabled。2、.ssh文件权限.ssh文件的权限必须是700，chmod 700 .
2015-07-06 18:03:25
483
用winpcap发送syn数据包后收不到ack回复
2015-04-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人