- 博客(6)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 5、当前日志采样格式为如下，请编写MapReduce计算第四列每个元素出现的个数
题目5、当前日志采样格式为如下，请编写MapReduce计算第四列每个元素出现的个数a,b,c,da,s,d,fd,f,g,c 就如此格式思路上面这个问题是网上很多面试指南中出现的，网上很多编程实例，但是很多把题意理解错了。很多错例只计算了第4列的数量，其他列包含了全给丢了。我认为原题的题意是计算第四列单词在全文的计数。思路来自于《Hadoop编程指南》中第...
2019-06-07 10:42:20
1033
2
原创 flink示例 - Wikipedia词条编辑实时流计算，Flink Scala api实现
flink示例 - Wikipedia词条编辑实时流计算，Flink Scala api实现Flink官方的一个示例（https://ci.apache.org/projects/flink/flink-docs-release-1.8/tutorials/datastream_api.html）作用：监控Wikipedia 实时编辑时间官方示例是Java api实现的，文章中改为了更...
2019-07-01 23:54:10
329
原创 flink start-scala-shell.sh解惑
flink start-scala-shell.sh解惑运行方式本地 /bin/start-scala-shell.sh local远端 /bin/start-scala-shell.sh remote master 8081 注：端口为8081，而非6123。之前试验的时候用了6123，怎么搞都不对 测试下面的示...
2019-07-01 18:40:32
1146
1
转载 Java反射机制
Java反射机制参考：https://www.imooc.com/learn/199（慕课网视频教程）*侵删*1. Class类Class类：类类，即类的类 public class ReflectDemo { public static void main(String[] args) {Foo foo = new Foo(); ...
2019-06-24 19:08:33
108
翻译 Hive Local Mode
Hive，MapReduce和Local ModeHive编译器（compiler）会为绝大多数查询操作生成MapReduce任务。这些任务会被提交给MapReduce集群，下面的变量指定了集群的位置：mapred.job.tracker(可用命令查看变量值：set mapred.job.tracker）一般情况下，这个变量指定了拥有多个节点的集群位置。Hadoop也提供了设置让用...
2019-06-17 11:52:28
689
翻译 Eigen库类类型作为函数参数
英文原文衔接：http://eigen.tuxfamily.org/dox/TopicFunctionTakingEigenTypes.htmlEigen库类类型作为函数参数由于Eigen使用了表达式模板（expression templates），潜在的导致了每一个表达式都可能是一个不同的类型。如果传递这样的表达式给一个矩阵(Martix type)类型参数的函数，表达式将被...
2017-03-28 19:54:57
3687
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人