- 博客(7)
- 资源 (9)
- 收藏
- 关注
转载 Scrapy爬虫 - 获取知乎用户数据
安装Scrapy爬虫框架关于如何安装Python以及Scrapy框架,这里不做介绍,请自行网上搜索。初始化安装好Scrapy后,执行 scrapy startproject myspider接下来你会看到 myspider 文件夹,目录结构如下:scrapy.cfgmyspideritems.pypipelines.pysettings.py__in
2016-05-21 15:31:14 1925
转载 Eclipse调试Bug的七种常用技巧
本文写给那些像几年前的我一样刚刚走出校门,及一些未使用过这些高级些的调试技巧的人。记得刚刚毕业的时候,自己连断点也不会打,当时还在用JCreate ,就连毕业设计也是用 System.out 找 Bug 的,想想真的很笨。开始工作后,一个星期过去了,在一个 1 、 2 百万行的系统中找 Bug ,我依然在用 System.out ,当时最痛苦的就是修改代码,
2016-05-16 20:35:09 328
转载 hadoop中MapReduce多种join实现实例分析
一、概述 对于RDBMS中的join操作大伙一定非常熟悉,写sql的时候要十分注意细节,稍有差池就会耗时巨久造成很大的性能瓶颈,而在Hadoop中使用MapReduce框架进行join的操作时同样耗时,但是由于hadoop的分布式设计理念的特殊性,因此对于这种join操作同样也具备了一定的特殊性。本文主要对MapReduce框架对表之间的join操作的几种实现方式进行详细分析,并
2016-05-11 15:33:15 431
转载 网络HTTP、TCP、UDP、Socket知识的总结
OSI 七层模型我们一般使用的网络数据传输由下而上共有七层,分别为物理层、数据链路层、网络层、传输层、会话层、表示层、应用层,也被依次称为 OSI 第一层、第二层、⋯⋯、 第七层。如下图:
2016-05-10 21:21:20 532
原创 MapReduce设置Map和Reduce函数,但是map输出结果后,reduce没有输出,也没有报错
主要原因是reduce输入的格式和map输出的格式不一致,请注意查看格式匹配!
2016-05-10 11:07:15 5084
原创 java.io.IOException: Type mismatch in key from map:解决方法
执行MR程序的时候发生异常:java.lang.Exception: java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.LongWritable日志如下:2016-05-09 21:33:28,871 IN
2016-05-09 21:58:46 8595 1
原创 Windows 使用Eclipse配置连接hadoop,编译运行MapReduce --本地调试WordCount
1.准备工作操作系统:windows 10 开发工具:eclipse 4.5java虚拟机 :jdk-8u91-windows-x64.exehadoop版本:hadoop-2.6.4.tar.gzhadoop-eclipse插件:hadoop-eclipse-plugin-2.6.0.jar2. 安装过程2.1 jdk安装略2.2 hadoop安装解压 h
2016-05-04 10:47:20 6107 1
VC++.MFC开发(含完整代码
2011-12-08
个人理财系统
2011-12-08
个人理财系统(含完整代码与文档)
2011-12-08
个人理财系统课程设计报告书
2011-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人