航帆远洋

学习,思考,实践,总结!

【Hadoop集群】-集群搭建踩的那些坑之hadoop篇

       上篇文章说了在集群搭建的时候首先要开启ssh的公钥验证,只有开启了公钥验证后才能够使用公钥登录,但是在开启并生成公钥后还需要对秘钥文件进行授权处理,一般生成的authorized_keys可能文件的归属并不是ssh权限,所以在使用公钥验证的时候无法访问该文件,需要修改文件的归属权。 ...

2018-12-09 12:24:01

阅读数:311

评论数:0

【Hadoop集群】-集群搭建踩的那些坑之ssh篇

       用hadoop搭建的集群在启动时子节点一直无法连接到主节点,在使用hadoop集群时一直报错,也就是集群并没有搭建成功,导致了出现了上面的报错信息org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-mast...

2018-12-05 17:29:40

阅读数:59

评论数:0

【虚拟机】-VMware虚拟机三种网络模式(Centos虚拟机)

最近在学习hadoop,主要是由于hadoop的鲜明特点,不仅可以分布式处理大数据,而且可以充分发挥集群的力量,可以部署到低廉的硬件上,提供高吞吐量来访问应用程序的数据。总结一句话就是,hadoop运行机器的们门槛低,并且提供分布式的集群服务来处理大数据。现在很多公司在处理大数据时,首选的框架就是...

2018-11-23 23:35:47

阅读数:59

评论数:0

【Machine learning】-机器学习概念篇

对于没有了解过机器学习的人来说,机器学习是很神秘的,如果只是按照字面意思来理解可能会认为是机械性的学习,认为是一种概念,当然这个名称也是有误导性的。在不了解机器学习前,我也是这样认为的,这样去理解这个概念是错误的,机器学习并不是机械性的学习方法,而是计算机自己根据输入的数据,汇总出最准确的输出数据...

2016-11-03 09:54:51

阅读数:1059

评论数:0

【工具安装】-CentOS源码安装php5.6

服务器安装的是6.3版本的CentOS,默认自带的php版本是5.3,版本过低,致使最新的开源框架不能正常运行,想要运行最新的开源框架就必须升级php版本,但是服务器上有很多旧的系统在运行,如果强行升级php那么旧系统会有一些兼容性的错误,比如:mysql和mysqli、系统自定义函数的更改等等,...

2016-07-03 23:16:49

阅读数:4611

评论数:0

【疑难杂症】-CentOS-yum错误: Cannot retrieve repository metadata (repomd.xml) for repository:

Cannot retrieve repository metadata (repomd.xml) for repository: gitlab_gitlab-ce. Please verify its path and try again

2016-06-26 17:51:54

阅读数:19583

评论数:4

【工具安装】-CentOS-安装python包管理工具pip

pip是python的包管理工具,pip库中自带了很多python的开源工具包,在使用的时候直接运行pip install就可以下载并安装注册到python模块内,下文将会讨论centos中如何安装pip。 一、安装pip命令     下载pip安装包: [root@web1 xxx]# wget...

2016-06-26 13:06:07

阅读数:1178

评论数:0

【疑难杂症】-CentOS-修改python版本后yum运行出错

线上服务器使用的是CentOS 6.3,系统自带的python是2.6版本的,该版本的python已经很老了,企业大部分再用的python是2.7版本,而且公司编写的python爬虫使用的也是2.7版本的,所以就必须把系统的python升级到2.7。但是升级后,系统很多自带的工具使用报错,比如系统...

2016-06-26 12:37:39

阅读数:4402

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭