- 博客(3)
- 收藏
- 关注
RSS订阅原创 编写mapreduce当中遇到的问题汇总
https://github.com/zhougit86/maven-hadoop利用双休日编写的两段代码，一段用来遍历hdfs上的一个目录来将目录中的所有txt文件压缩后并考到一个目标目录。另外一个是遍历整个hdfs当中的树，由于整个任务感觉可能比较耗时，所以打算使用多线程的方式。并且通过blockQueue的方式将任务分发出去。 首先说第一段代码：1，map时文件中每行的顺...
2018-10-28 22:43:29
1454
原创 java进度1
刷了下thinking in java，总体感觉class的写法比go舒服，很规范的感觉。多线程看了下，java不通过mutex而是通过Synchronized和volatile等关键字来同步。计划在迅速刷一版java多线程编程 然后有maven感觉和gradle用法类似，现在只清楚dependency可以给项目增加依赖的jar。以及别人是怎么定位到这个项目的 设计模式：单一职...
2018-10-23 21:34:31
92
原创 Hadoop系统感悟1
近期手动搭建了一套hadoop系统，讲下体会和一些踩过的坑 首先是将公钥在各个节点的authorized host之间同步，然后依次安装HDFS,HIVE,SQOOP等等。遇到的坑主要是SQOOP抽数的时候会寻找一个class文件在tmp/sqoop下面会提示找不到这个class需要手动拷到目录下 然后是hive的metastore互导，其实schematool就是使用了hive/...
2018-10-23 21:28:51
403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人