大数据技术与应用
文章平均质量分 94
?? YJ???????
这个作者很懒,什么都没留下…
展开
-
算法练习-C/C++
A金币老班将金币作为工资,发放给忠诚的学生。第一天,学生收到一枚金币;之后两天(第二天和第三天),每天收到两枚金币;之后三天(第四、五、六天),每天收到三枚金币;之后四天(第七、八、九、十天),每天收到四枚金币……;这种奖金发放模式会一直这样延续下去:当连续N天每天收到N枚金币后,学生会在之后的连续N+1天里,每天收到N+1枚金币。请计算在前K天里,骑士一共获得了多少金币。输入格式一个正整数K,表示发放金币的天数。输出格式一个正整数,即骑士收到的金币数。输入输出样例输入:6/输出:14原创 2021-03-11 00:49:19 · 872 阅读 · 1 评论 -
Hadoop全分布平台搭建-单词统计[完整]CentOS[详细]
Hadoop全分布集群搭建前言:这篇文章很长,是一个完整的Hadoop全分布集群搭建实验。代码高亮部分有完整的过程。照着就可以做出来。经验:注意文件不要写错,注意用户目录创建虚拟机操作系统:CentOS 7.4创建新的虚拟机(+)典型(推荐)(T)安装程序光盘映像文件:选择.iso文件 下载镜像文件虚拟机名称(这里我设为Master),位置在输入名称后会生成一个文件夹可自定磁盘容量用默认20G-将虚拟磁盘拆分成多个文件(M)自定义硬件-此虚拟机的内存2G(2048MB)(计算:Ma原创 2021-01-23 20:56:49 · 659 阅读 · 0 评论 -
大数据技术与应用-D2-平台搭建分布式
继D1导入JDK后查询/卸载包cd /opt/apps打开apps目录[root@localhost ~]# cd /opt/apps[root@localhost apps]# 查询所有已安装的包列出所有被安装的rpm package【rpm -qa】查询一个包是否被安装【rpm -q】[root@localhost apps]# rpm -qa 这里会看到所有的包,太多了,不知道我们到底装好了没查询jkd包rpm -qa|grep 要查询的包名[root原创 2021-01-16 01:58:20 · 589 阅读 · 0 评论 -
大数据技术与应用-D1
大数据技术与应用-D1考核点 平台搭建(Hadoop+spark) 数据采集(爬虫-request库) 数据清洗与分析 数据展示 写报告平台搭建Hadoop生态圈核心设计HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。伪分布:一台单机上运行,但用不同的进程模仿分布式运行中的各类结点。没有所谓的在多台机器上进行真正的分布式计算,故称为"伪分布式"。全分布:由3个及以上的实体机或者虚拟机组件的机群。HA架构(H原创 2021-01-15 04:15:44 · 5004 阅读 · 10 评论