- 博客(2)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
原创 大数据面试题集锦(五)
1、简答说一下hadoop的map-reduce编程模型首先map task会从本地文件系统读取数据,转换成key-value形式的键值对集合使用的是hadoop内置的数据类型,比如longwritable、text等将键值对集合输入mapper进行业务处理过程,将其转换成需要的key-value在输出之后会进行一个partition分区操作,默认使用的是hashpartitioner,可以通过重...
2018-06-19 16:39:53 6326
原创 大数据面试题集锦(四)
1.MRV1有哪些不足?1)可扩展性(对于变化的应付能力)a)JobTracker内存中保存用户作业的信息b)JobTracker使用的是粗粒度的锁2)可靠性和可用性a)JobTracker失效会多事集群中所有的运行作业,用户需手动重新提交和恢复工作流3)对不同编程模型的支持HadoopV1以MapReduce为中心的设计虽然能支持广泛的用例,但是并不适合所有大型计算,如storm,spark2....
2018-06-14 16:33:51 4023
6.3版本elk问题求助!!!!!
2018-08-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人