linux
张小竟
用我力所能及的事情,一步一步走向我期待的未来,交流QQ群:463175657
展开
-
MapReduce结合hbase探查二度人脉
二度人脉,通俗一点讲,好友的好友,即,查好友表,把好友找出来,再查好友表,把好友的好友找出来。mapreduce中是将hbase中以行健为分割符一行一行的运行map方法,然后map都运行结束后,完成reducer方法的运行,reduer是以map方法中context.write(key.vvalue);中key为分隔符一行一行的运行原创 2015-11-11 10:43:43 · 624 阅读 · 0 评论 -
linux权限含义
-rwxrwxrwx 首个字符-表示文件 d表示目录 l表示软连接 r:只读 w:写 x:可执行 rwx:4+2+1=7 -w- 2 --x 1原创 2015-12-27 20:43:38 · 508 阅读 · 0 评论 -
红帽linux强大的yum笔记
何为yum??? yum,是Yellow dog Updater Modified的简称,起初是由yellow dog这一发行版的开发者Terra Soft研发,用python写成,那时还叫做yup(yellow dog updater),后经杜克大学的Linux@Duke开发团队进行改进,遂有此名。yum的宗旨是自动化地升级,安装/移除rpm包,收集rpm包的相 关信息,检查依赖性并自动原创 2015-12-27 20:55:01 · 530 阅读 · 0 评论 -
centOS 安装 ZeroMQ, JZMQ错误解决
centOS安装ZeroMQ所需组件及工具:yum install gccyum install gcc-c++yum install makeyum install uuid-devel yum install libuuid-devel JZMQ安装过程中错误及所需组件:错误:autogen.sh: error: could not find libtool.原创 2016-10-02 18:31:27 · 632 阅读 · 0 评论 -
如何使用Xshell秘钥认证登录CentOS(无密码登录)
现实生活中,密钥登录服务器总比密码登录服务器要安全的多的,今天,我就来说说密钥登录服务器的步骤原创 2017-03-01 16:24:02 · 1486 阅读 · 0 评论 -
监听进程并自动重启(两种方法)
第一种方法:crontab定时任务#!/bin/shcd /opt/java2/python/data=./Beginps -fe|grep $data |grep -v grepif [ $? -ne 0 ]thenecho begin `date '+%Y%m%d %H:%S:%M'`echo "start process....."sh /opt/java2/python原创 2017-03-24 13:09:41 · 6388 阅读 · 0 评论 -
python scrapy 去重
1、Pipleline 加入如下代码:(在数据爬完后将URL塞入redis去重)class RedisInsert(object): def process_item(self,item,spider): set_redis_values_1(item['url']) return item2、Middleware加入如下代码:(在爬数据之前原创 2017-03-24 13:16:52 · 6755 阅读 · 0 评论 -
No space left on device错误解决
No space left on device错误解决磁盘没有没有空间df -h查看磁盘空间用量,该删的删呗联系我原创 2017-04-10 15:48:55 · 3772 阅读 · 0 评论 -
linux开关机命令
shutdown -h now 关机shutdown -r now 重启原创 2015-12-27 20:40:23 · 345 阅读 · 0 评论 -
linux防火墙使用
关于linux防火墙操作及使用 关闭防火墙 vi /etc/sysconfig/selinux#修改为 SELinux=disable (重启后有效) sudo service iptables stop sudo chkconfig iptables off sudo chkc原创 2015-12-27 20:39:04 · 266 阅读 · 0 评论 -
xxx is not in the sudoers file. This incident will be reported.的解决方案
1、普通账户使用sudo时,报xxx is not in the sudoers file. This incident will be reported2、输入su,转到root账户3、chmod u+w /etc/sudoers 为root赋予写权限4、修改/etc/sudoers文件 找到这行 root ALL=(ALL) ALL,在他下原创 2015-10-12 15:01:35 · 9699 阅读 · 2 评论 -
linux图形化界面更改网络配置
linux网络配置图形化界面更改原创 2015-10-13 10:49:37 · 15971 阅读 · 0 评论 -
linux文件操作常用命令
实在不好意思,小狼这几天都很忙,都没时间更新博客,今天看了一下,哇,人少了好多啊今天,我就说一下linux文件常用命令 tips:输入命令的时候要常用tab键来补全 ls 查看目录信息 ( ls / ) ls -l 等价于 ll原创 2015-10-12 10:17:19 · 380 阅读 · 0 评论 -
linux文件权限管理
小狼这几天一直在搭建hadoop伪分布集成环境,可是,对于linux基本操作不熟悉,特别是文件权限不熟悉,导致hadoop传不上去,看着别人能传,小狼却只能干瞪眼,实在是很不爽。 言归正转,权限管理d原创 2015-10-12 11:28:05 · 361 阅读 · 0 评论 -
关于jps命令-bash: jps: command not found 解决方案
centos6.3 64位有Java1.5自带,当我安装CDH4时,习惯用老的方法来查看进程是否正确启动,即jps,可是他却告知-bash: jps: command not found原因很简单,java1.5没有jps命令以下为解决方式:查看Java1.5位置[hadoop@master bin]$ which java/usr/bin/java原创 2016-01-01 16:47:05 · 63637 阅读 · 4 评论 -
关于hive环境搭建
hive的安装很简单,主要是配置mysql,以及hive的配置文件,我们采用yum下载原创 2016-01-06 15:45:45 · 366 阅读 · 0 评论 -
hadoop运营管理岩机,坏块,负载均衡
我们在企业中很容易遇到以下问题:岩机(重启无效),坏块,负载均衡。岩机,其实很简单,我们把那个进程杀死就是了。坏块怎么办,hadoop修复坏块的能力很慢,我们要等他自己修复吗???NO!!!hadoop fsck / -delete ,这个命令删除坏块。负载均衡呢,其实很多人说,可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。原创 2016-01-06 15:59:06 · 1304 阅读 · 0 评论 -
linux命令vi的使用
vi 使用: 非编辑模式:i进入编辑模式 编辑模式:esc退出编辑模式dd : 删除一行x : 删除当前字符y : 复制一行p : 粘贴:wq 保存退出:q! 不保存退出原创 2015-12-27 20:35:44 · 327 阅读 · 0 评论 -
Java SFTP操作linux
ChannelSftp 工具类为Java使用SFTP操作linux的一个工具,那么何为SFTP:sftp是Secure File Transfer Protocol的缩写,安全文件传送协议。可以为传输文件提供一种安全的网络的加密方法。sftp 与 ftp 有着几乎一样的语法和功能。SFTP 为 SSH的其中一部分,是一种传输档案至 Blogger 伺服器的安全方式。其实在SSH软件包中,已经包含了...原创 2018-06-29 09:51:36 · 1015 阅读 · 0 评论