自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 linux安装python3及使用pip安装第三方库

1.下载Python3 可从windows下载后上传Linux   https://www.python.org/downloads/ 也可以直接在linux下载 wget https://www.python.org/ftp/python/3.6.1/Python-3.x....

2020-04-10 00:43:23 71 0

原创 centos上zookeeper分布式安装部署

1. 在官网下载zookeeper安装文件,本文安装的版本是3.4.5 http://archive.apache.org/dist/zookeeper/ 2. 下载完成后通过ftp上传到虚拟机,再解压 tar -xzvf zookeeper-3.4.5.tar.gz 3. 将解压后的文件...

2020-03-22 23:58:06 69 0

原创 pyspark中部分***ByKey的用法

准备工作 import pyspark from pyspark import SparkContext from pyspark import SparkConf conf=SparkConf().setAppName("lg").setMaster('loca...

2020-02-22 17:13:40 199 0

原创 pyspark中RDD常用操作

准备工作: import pyspark from pyspark import SparkContext from pyspark import SparkConf conf=SparkConf().setAppName("lg").setMaster('lo...

2020-02-21 17:05:46 216 0

原创 centOS7安装mysql及填坑过程

一、安装过程 1.安装相关依赖 yum -y install make gcc-c++ cmake bison-devel ncurses-devel 2.从搜狐镜像获取源码 wget http://mirrors.sohu.com/mysql/MySQL-5.7/mysql-bo...

2019-11-23 12:54:15 144 0

原创 Java中使用ExecutorService和Future对任务运行时间进行限制

详情见实例代码 public class CheckTimeOut { public static void main(String[] args) { int threadNum = 5; int timeOut = 6; // 获取线程池 ExecutorServ...

2019-07-25 23:47:21 888 0

原创 Java客户端操作HDFS

1. 在Eclipse或者IDEA中新建Maven项目 2.设置pom.xml文件,添加hadoop-comm、hadoop-hdfs和jdk.tools依赖 <dependency> <groupId>org.apache.h...

2018-09-03 10:56:10 268 0

原创 寻找丑数Java实现

题目:把只包含因子2、3和5的数称作丑数(Ugly Number)。例如6、8都是丑数,但14不是,因为它包含因子7。 习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。  丑数即:可分解为质数的乘积,且质数只能是2,3或5。   Java实现代码如下: public cla...

2018-08-25 20:51:51 473 0

原创 使用JDBC连接hiveserver2

1. 先在linux中启动hiveserver2 命令:hive --service hiverserver2   2. 使用Eclipse创建java项目,并在项目中导入以下jar包(可在hadoop/share/lib和hive/lib中找) 3. Hive的JDVC客户端操作步骤...

2018-08-19 16:38:30 1712 0

原创 使用sqoop将Hive中的数据导出到mysql及异常Job failed as tasks failed.

1. 使用以下语句尝试从Hive中导出数据到mysql /sqoop export --connect jdbc:mysql://***.***.***.***./companyinfo --username root --password password -m 1 --table tests...

2018-08-19 16:27:41 1849 3

原创 hive图形界面hwi启动及异常 Ant could not find the task or a class this task relies upon.

一. hwi即 HiveWebInterface,在启动前,先要配置好相应的war包。 1. 在apache官网下载好对应Hive版本的源码文件 2. 解压此压缩文件,在hwi目录下找到web文件夹。 3. 将这个web文件夹打包为war包,执行命令:jar cvfM0 hive-hwi...

2018-08-16 19:56:21 375 0

原创 hive 异常 Establishing SSL connection without server's identity verification is not recommended

在启动hive时出现以下异常: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and ...

2018-08-16 19:56:14 313 0

原创 hive异常:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

在启动hive时出现以下错误。 尝试hive元数据库初始化,执行 schematool -dbType mysql –initSchema, 又出现错误HiveSchemaTool:Parsing failed. 重新尝试 schematool  –initSchema -dbTyp...

2018-08-16 19:56:04 1526 0

原创 Hive的安装配置

操作系统centOS 6.5 Hadoop版本:hadoop 2.7.6 JDK版本:JDK 1.8 ant版本:ant 1.10.5 mysql版本:mysql 5.7   一、安装准备 1. 从官网下载解压hive的bin压缩文件 , 此处使用的是hive-2.1.1版本 ...

2018-08-16 19:53:17 131 0

原创 windows环境下安装配置hadoop

虽然hadoop主要在Linux环境运行,但是开发阶段有时需要在windows电脑上编写并测试程序,故需要在windows环境下安装配置hadoop。此次以hadoop2.7.6为例:   1. 从Apache官网下载2.7.6的binary文件 2. 将此文件解压到windows中的任...

2018-08-15 11:32:19 167 0

原创 securtCRT连接Linux没有输入密码登录的界面

       配置Linux (centos) 虚拟机的静态ip后,使用securtCRT连接Linux时发现connect后无法显示输入密码界面,并且cmd中也无法ping通centos的ip 192.168.***.***。自己摸索发现了一个解决办法:        1. 在comzhon中...

2018-08-15 11:17:53 5652 0

原创 Linux环境ping不通外网unknown host www.baidu.com问题解决

  Linux系统在测试网络ping www.baidu.com显示错误unknown host www.baidu.com. 可以通过设置虚拟机网络编辑器,将NAT模式中的子网和网关设置为和本机ip一个字段。重新启动即可正常联网。 ...

2018-08-15 11:09:29 1230 0

原创 securtCRT连接Linux

一、 如果要进行Linux远程连接,需要两点: 1.  Linux上有ssh服务 2.  需要使用ssh客户端工具(此处选择securtCRT)   二、 ssh安装配置 1. 关闭防火墙 关闭命令:service iptables stop 设置开机关闭防火墙:chkconfig ...

2018-08-15 11:05:27 306 0

原创 Linux环境Hadoop的下载安装

1. Hadoop的下载 windows在Apache官网下载2.7.6的binary文件,通过FTP传输到centOS虚拟机。   2. 解压安装:tar xzvf hadoop-2.7.6.tar.gz -C /usr/local/hadoop   3. 查看安装的版本是多少...

2018-08-15 11:02:53 13404 0

原创 Linux配置SSH免密登录

一、准备 1. 同步时间 date 命令可以查看虚拟机当前日期和时间 date -s "2018-08-08 08:08:08" 手动设置时间 ntpdate cn.pool.ntp.org 网络同步时间 2. 设置主机名 方式一:vim /etc/sysconfi...

2018-08-15 10:57:48 140 0

原创 Linux环境下安装JDK

1. windows主机先下载好jdk for linux,再通过FTP传输到虚拟机centos6.5 2. 在虚拟机上对JDK压缩文件进行解压缩 命令:tar xzvf jdk-8u181-linux-x64.tar.gz –C /usr/local 3. 随后进入/usr/loc...

2018-08-15 10:56:22 82 0

原创 ftp传输文件到Linux错误553 Could not ceate file解决

1. 先运行getsebool -a | grep ftp查看selinux中有哪些是关于ftp的 2. 设置all_ftpd_anon_write和allow_ftpd_full_access为on状态 setsebool -P allow_ftpd_anon_write on set...

2018-08-15 10:54:52 1761 0

原创 8uftp连接linux并传输文件

一、要进行ftp连接,一般需要满足两点 1. Linux系统上安装好FTP服务 2. 客户端工具:此处选择的是8uftp,安装简单   二、FTP服务的安装配置 1. 先确定已关闭防火墙iptables 查询状态:service iptables status 关闭防火墙:servi...

2018-08-15 10:52:31 1509 0

原创 Java关键字

  一、关键字总览 访问控制 private protected public 类,方法和变量修饰符 abstract class extends final implements interface native new static...

2018-07-27 12:32:31 79 0

转载 Java运算符及运算符优先级详解:包括 i=i++的结果

一、算术运算符 符 描述 例子 + 加法 - 相加运算符两侧的值 A + B 等于 30 - 减法 - 左操作数减去右操作数 A – B 等于 -10 * 乘法 - 相乘操作符两侧的值 A * B等于200 / 除法 - 左操...

2018-07-27 09:12:07 4844 2

原创 Java基本数据类型详解

Java中的基本数据类型 1. 整数型 类型 大小 范围 示例 byte 占一个字节 -128~127 byte b = 10; short 占两个字节 -2^15~2^15-1 short s = 20; int 占四个...

2018-07-27 09:02:32 157 0

原创 Eclipse 查看源代码Source not found

1. Eclipse 快捷键 ctrl + 鼠标左键可以查看Java 类/函数的源代码   2.  有时Eclipe配置不好时,会出现source not found的问题。解决方法如下: (1) 打开window种的preference (2) 选择Java中的 Installed ...

2018-07-17 12:40:23 3636 7

转载 Python编程学习14:Python日志之logging模块详解

一、logging模块 (一)、日志相关概念 日志是一种可以追踪某些软件运行时所发生事件的方法。软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。一个事件可以用一个可包含可选变量数据的消息来描述。此外,事件也有重要性的概念,这个重要性也可以被称为严重性级别(level)...

2018-07-16 19:20:39 132 0

原创 Python多线程的理解和使用(一)Threading中join()函数的理解

1. 多线程的概念 多线程类似于同时执行多个不同程序,多线程运行有如下优点: 使用线程可以把占据长时间的程序中的任务放到后台去处理。 用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度  程序的运行速度可能加快 在一些等待的任务实现...

2018-07-16 18:57:10 4865 0

原创 机器学习笔记5:机器学习策略之方差和偏差

本文主要参考吴恩达的机器学习课程。   一、机器学习中的各种策略:       开发 一个完整的机器学习项目要经历:使用训练集训练模型--->开发集调整模型参数--->测试集测试模型效果--->上线实际使用。   1. 如果模型在训练集上表现不好,...

2018-07-13 15:17:50 124 0

原创 Python编程学习13:python魔法方法

在python中,有一些内置好的特定的方法(总是被双下划线包围,如__init__),这些方法在进行特定的操作时会自动被调用,称之为魔法方法   1. 构造  __init__ 方法,相当于Java中的构造方法,在实例化的时候会自动调用。__new__方法,在__init__之前被调用,返回的...

2018-07-10 13:24:14 132 0

原创 sklearn feature selection特征选择

1

2018-07-10 10:21:41 1130 0

原创 sklearn pipeline 和Gridsearch的使用

1

2018-07-10 09:43:01 1243 0

原创 七月在线笔面试题解析1:python3函数中参数可变的理解

1. 如果传入的参数是不可变类型,则函数中对其进行更改时不影响函数外部该变量的值def test(a): a += 1 return a a = 10 b = test(a) print(a) print(b) 10 112. 如果传入的参数是可变类型,则函数中对其进行更改时会...

2018-07-06 21:25:50 137 0

原创 Python3 pymysql操作mysql数据库(一)

一. 连接mysql : pymysql.connect()import pymysql # 连接数据库 conn = pymysql.connect(host='127.0.0.1', user='***',...

2018-07-06 16:02:43 884 0

原创 pymysql插入数据到mysql: Insert error: (1054, "Unkonw column '*' in 'field list' " )

在使用scrapy 爬取汽车评论时,insert语句执行老是出错1. 保存长文本:mysql 保存长文本需使用text类型create_command = 'create table evComm3(car_name varchar(20), advant text, disadvant...

2018-07-06 08:20:59 562 0

原创 Python 多进程multiprocessing模块, Process, 进程池Pool和Queue

1

2018-07-05 15:12:23 9300 0

原创 Python scrapy项目中.py文件无法保存:Unable to save file 'items.py' Cannot save items.py

1. 问题描述    在使用cmd 命令行创建scrapy project项目后,对items文件进行更改时发生错误。   (1)spyder编辑器显示 Unable to save file 'items.py'           Error message:       ...

2018-07-03 10:25:48 2356 0

原创 pandas 之 to_csv 保存数据出现中文乱码问题及解决办法

1.  使用scrapy框架爬取了一些汽车评价保存在csv文件中,但是直接打开时乱码了。2. 使用pandas读取再使用to_csv()方法重新保存import pandas as pd file_name = 'G:/myLearning/pythonML201804/spiderL...

2018-07-02 21:29:03 53245 22

原创 Python爬虫学习6:scrapy入门(一)爬取汽车评论并保存到csv文件

一、scrapy 安装:可直接使用Anaconda Navigator安装, 也可使用pip install scrapy安装二、创建scrapy 爬虫项目:语句格式为 scrapy startproject project_name生成的爬虫项目目录如下,其中spiders是自己真正要编写的爬虫...

2018-07-02 21:06:11 976 0

提示
确定要删除当前文章?
取消 删除