![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 86
秃头程序员儿
这个作者很懒,什么都没留下…
展开
-
大数据Hadoop基准测试标准你知道吗?
随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化,大数据管理技术得到了突飞猛进的发展。利用hadoop自带基准测试工具包进行集群性能测试,测试平台为CDH5.16上hadoop2.6版本。目录 /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/使用TestDFSIO、mrbench、nnbench、Terasort 、sort 几个使用较广的基准测试程序。hadoop jar /opt/cloudera/原创 2021-02-05 22:50:21 · 626 阅读 · 0 评论 -
90%面试官都会考察:说说大数据业务分析的基本步骤
典型的大数据分析包含以下几个步骤: 1 明确分析目的和思路明确数据分析目的以及确定分析思路,是确保数据分析过程有效进行的先决条件,它可以为数据的收集、处理及分析提供清晰的指引方向。目的是整个分析流程的起点。目的不明确则会导致方向性的错误。即思考:为什么要开展数据分析,通过这次数据分析要解决什么问题?当明确目的后,就要校理分析思路,并搭建分析框架,把分析目的分解成若干个不同的分析要点,即如何具体开展数据分析,需要从哪几个角度进行分析,采用哪些分析指标。只有明确了分析目的...原创 2021-01-26 21:59:24 · 520 阅读 · 0 评论