- 博客(27)
- 收藏
- 关注
RSS订阅转载 centos配置ssh免密码登录后仍要输入密码的解决方法
前言在搭建Linux集群服务的时候，主服务器需要启动从服务器的服务，如果通过手动启动，集群内服务器几台还好，要是像阿里1000台的云梯Hadoop集群的话，轨迹启动一次集群就得几个工程师一两天时间，是不是很恐怖。如果使用免密登录，主服务器就能通过程序执行启动脚步，自动帮我们将从服务器的应用启动。而这一切就是建立在ssh服务的免密码登录之上的。所以要学习集群部署，就必须了解linux的免密码登录。第...
2018-05-25 11:03:53
2818
1
转载 hadoop2.9安装指南
1、到hadoop官网下载最新的二进制版本。 2、把压缩包上传到你的linux服务器、解压缩、配置环境变量. ps:我这里用的是centos6.9，你也可以用别的linux，譬如ubuntu。 解压缩命令： tar -zxvf hadoop-2.9.0.tar.gz 文件夹重命名：mv hadoop-2.9.0 hadoop 配置环境变量：vim /etc/profileexport PATH=....
2018-04-26 22:22:31
311
原创 python加itchat 获取微信群用户信息
失散了10多年的组织(高中同学群）建立的群，同学们“自觉”地实名了，下一步就要寻找还没有找到组织的同志，为此，爬取了群内用户清单，导出来列一下。#!/usr/bin/python #coding: utf-8import itchat,timefrom itchat.content import TEXTimport sysreload(sys) sys.setdefaultenc...
2018-04-13 15:41:16
5360
原创 katalon automation recorder 与python selenium 使用学习
近日，发现数据批量入错，由于没有数据库权限，之前应用界面重复操作，量有200多个，尝试使用selenium自动化一把给chrome安装katalon automation recorder(google应用商店，过墙) 界面操作录制脚本，export 为python脚本修改python脚本：如加上时间等待(sleep),修正katalon不支持的python语法（# ERROR: Caught e...
2018-04-09 19:16:12
3485
转载 linux系统，启动、停止、重启crontab服务
因数据库停机维护，相关定时作业无法执行，需要停crontab服务，操作如下：https://blog.csdn.net/lv_shijun/article/details/70263919情况一：正常情况（系统有service命令）重启服务命令：[root@centos6 /]# service crond restart启动服务命令：[root@centos6 /]# service crond...
2018-03-28 10:44:01
13232
转载 Linux shadow文件中密码的加密方式
1) 查看shadow文件的内容cat /etc/shadow可以得到shadow文件的内容，限于篇幅，我们举例说明：root:$1$Bg1H/4mz$X89TqH7tpi9dX1B9j5YsF.:14838:0:99999:7:::其格式为：{用户名}：{加密后的口令密码}：{口令最后修改时间距原点(1970-1-1)的天数}：{口令最小修改间隔(防止修改口令，如果时限未到，将恢复至旧口令)：{...
2018-02-13 17:09:04
23024
2
转载 sqoop连接多实例的oracle数据库事项
背景：近期使用sqoop导入oracle 数据时，按格式 --connect jdbc:oracle:thin:@IP:port:service_name时导入数据不成功，提示 ORA-12505, TNS:listener does not currently know of SID given in connect descriptor，经过查看下面的文章，原因是本次连接的数据库是使用双机RA...
2018-02-11 11:48:41
2476
转载 彻底理解MapReduce shuffle过程原理
http://blog.csdn.net/techchan/article/details/53405519MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapR
2018-01-31 21:52:28
436
转载 Linux下文件转码操作
参考文章http://blog.csdn.net/jnbbwyth/article/details/6991425/http://blog.chinaunix.net/uid-27050514-id-3721035.html查看文件编码在Linux中查看文件编码可以通过以下几种方式：1.在Vim中可以直接查看文件编码:set fileencoding即可
2018-01-30 21:08:48
12808
原创 pip 离线安装包方法
场景：内网服务器不能上外网（代理也不通！），只能通过虚拟机上下载相关包后，再scp到内网服务器，然后利用pip安装.注：以下步骤是安装单个包的，下例子以安装ipython包（较多依赖）说明步骤说明：1、使用pip download 命令下载wheel文件至下载目录~/pippackage目录下 pip install ipython --download ~/pippackag
2017-12-25 22:26:11
19501
原创 vim配置python编辑器
环境：centos7 + python2.7坑：centos7中自带的vim 版本是7.4.160,安装完成YMC后报：YouCompleteMe unavailable: requires Vim 7.4.1578+.解决方法：升级VIM 到8版本后解决vimrc配置文件：set nocompatible " be iMproved, req
2017-11-08 10:24:39
1859
转载 Python的列表推导式，字典推导式，集合推导式使用方法
推导式分为列表推导式（list），字典推导式(dict)，集合推导式(set)三种1.列表推导式也叫列表解析式。功能：是提供一种方便的列表创建方法，所以，列表解析式返回的是一个列表格式：用中括号括起来，中间用for语句，后面跟if语句用作判读，满足条件的传到for语句前面用作构建先的列表[x**2 for item in item_list if item>2]例子：1
2017-10-31 21:14:08
406
原创 python操作hiveserver2相关工具集
1、pyhs2,已没有更新维护https://github.com/BradRuderman/pyhs22、pyhivehttps://github.com/dropbox/PyHive3、impylahttps://github.com/cloudera/impyla
2017-10-24 15:10:08
868
转载 jdbc远程连接hiveserver2
在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveServe
2017-10-23 11:29:15
826
转载 sqoop操作之HDFS导出到ORACLE
注意：在导出前需要先创建待导出的表结构。如果导出的表在数据库中不存在则会报错；如果重复导出多次，表中的数据会重复；create table EMP_DEMO as select * from EMP where 1=2;create table SALGRADE_DEMO as select * from SALGRADE where 1=2; 导出表的所有字段sqo
2017-10-22 21:56:03
1833
转载 Hadoop HDFS本地存储目录结构解析
Hadoop HDFS本地存储目录结构解析原创 2016年05月19日 11:38:21标签：hadoop/hdfs/metadata/9207
2017-10-18 12:44:30
536
转载 du 使用详解 查看一级目录大小
du -h --max-depth=1 |grep [TG] |sort #查找上G和T的目录并排序du -sh #统计当前目录的大小，以直观方式展现du -h --max-depth=1 |grep 'G' |sort #查看上G目录并排序du -sh --max-depth=1 #查看当前目录下所有一级子目录文件夹大小du -h --max-depth=1 |sort #查
2017-10-18 11:51:19
3120
转载 Hive 桶的分区
总结：分桶关键字 clustered by(columname) into N buckets 抽取sampletable函数(bucket X out of Y)要求x<y，y 是N的倍数或者因子。Y为倍数时，缩小抽取量，因子时，会加大抽取量（即多桶），X代表第几桶！
2017-10-17 09:02:49
367
转载 linux服务器端口查看的方法
1、用netstat查看： [grid@rac121 admin]$ netstat -anp | grep oracle(Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.)udp
2017-10-10 12:34:32
1930
原创 Python网络编程笔记
1、多线程类Socketserverclass XiaoIceServer(SocketServer.BaseRequestHandler) : def setup(self): pass def handle(self): #data=self.request.recv(1024) 坑自己了 xi=XiaoI
2017-09-16 20:47:50
181
转载 CentOS 7 SSH 免密登录的方法
先决条件3 台 CentOS 7HOSTNAMEIPROLEserver110.8.26.197Masterserver210.8.26.196Slave1server310.8.26.195Slave2步骤1. 用 root 用户登录。每台服务器都生成公钥，再合并到
2017-07-27 22:28:12
1019
转载 CentOS7.0安装JDK1.8
1.检查一下系统中的jdk版本[java] view plaincopy $>java -version java version "1.7.0_"OpenJDK Runtime Environment (IcedTea6 1.11.1) (rhel-1.45.1.11.1.el6-x86_64)OpenJDK 64-Bit Serve
2017-06-07 12:44:27
2668
原创 利用 django+wechat-python-sdk 创建微信服务器接入
版本说明 ：python 2.7.10, Django (1.6.11.6),centos7步骤说明： A、django 建立项目 django-admin.py startproject projtest 之后启动服务器，看看是否正确： cd projtest
2017-06-05 09:18:17
6237
原创 oracle9i 闪回操作
1、用timestamp select * from tab_name as of timestamp (to_timestamp(2008060115,yyyymmddhh24mi)
2008-06-17 21:54:00
268
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人