2020年03月_清平乐的技术博客

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 MySQL生成整年日期表（不用函数和存储过程）

1.创建小数据表 0-9-- 创建小数据表 0-9DROP TABLE IF EXISTS aa_numbers_small;CREATE TABLE aa_numbers_small( number INT);--插入数据INSERT INTO aa_numbers_small VALUES(0),(1),(2),(3),(4),(5),(6),(7),(8),(9);SEL...

2020-03-31 17:39:59 1232

原创 MySQL创建表时设置主键id为uuid

oracel创建uuid为主键的表时可以直接指定default uuid();但是mysql不支持，可以通过触发器实现。下面是创建一个产品表的sql语句。--建表语句CREATE TABLE `product` ( `id` varchar(36) NOT NULL, `productNum` varchar(50) NOT NULL, `productName` varchar(...

2020-03-31 15:14:40 3913

原创 sqoop参数详解（全量、增量导入导出）

从RDBMS到HIVE：--connect jdbc:oracle:thin:@//192.168.156.111/test--username test--password test--query select * from it.t_test where inserttime >= to_date('${date1}','yyyy-mm-dd') and inserttime...

2020-03-31 10:36:12 4121

原创 CDH运维面试题整理

一、CDH搭建1.CM数据库初始化报错：/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode01 -uroot -pMysql#123 --scm-host node168 scm scm scm错误一：java.sql.SQLException: Access denied for user ‘ro...

2020-03-30 17:48:42 8271 7

原创 Your password does not satisfy the current policy requirements

这是 mysql 初始化时，使用临时密码，修改自定义密码时，由于自定义密码比较简单，就出现了不符合密码策略的问题。密码策略问题异常信息：ERROR 1819 (HY000): Your password does not satisfy the current policy requirements解决办法：1、查看 mysql 初始的密码策略，输入语句 “ SHOW VARIABLE...

2020-03-30 16:13:58 445

原创 fastestmirror提升yum源下载速度

方法一：遇到慢的直接ctrl+c结束，yum支持断点，所以会自动切换到下一源《提示：连续按两下ctrl+c就会退出yum了》方法二：下载fastestmirror插件，它会自动选择最快的mirror：#yum install yum-fastestmirror -yfastestmirror配置文件：（一般不用动）/etc/yum/pluginconf.d/fastestmirro...

2020-03-29 16:44:54 645

原创 MySQL5.7安装部署（CentOS三种方式）

服务器环境：CentOS7.2安装yum源，检查wget命令：（如果提示wget命令不存在，先执行 yum -y install wget）提示：yum install yum-fastestmirror -y 执行一遍，yum可以优先选择最快下载源方式一：安装源在线安装第一步，下载MySQL安装[root@localhost ~]# mkdir /data/[root@localh...

2020-03-29 16:43:48 1122

原创 CDH5.13.1大数据集群搭建手册

一、环境配置1.软件环境本文将介绍Centos7.2 离线安装CDH和Cloudera Manager过程，软件版本如下：2.配置规划本次安装共5台服务器，服务器配置及用途如下：3.所需要的软件资源1)JDK环境：JDK版本：1.8.0_151jdk-8u151-linux-x64.rpm下载地址：http://www.oracle.com/technetwork/java/...

2020-03-29 15:00:20 688

原创 Hive、Oracle的with as 用法

with查询语句不是以select开始的，而是以“WITH”关键字开头,可以理解为在进行查询之前预先构造了一个临时表，之后便可多次使用它做进一步的分析和处理。-- 基础语法with tempName as (select ....)select ...优点1. 增加了SQL的易读性--针对一个别名with tmp as (select * from tb_name)--针对多个...

2020-03-29 10:54:13 797

原创 10步完成CDH5集群添加新节点

1.设置 hostname 和 hostsvim /etc/hostnamevim /etc/hosts2.关闭SELINUX（若已配置可略过）vim /etc/selinux/config3.配置ssh免密.将主节点的公钥复制到新加节点集群中服务器4.安装JDK并配置环境变量5.新增节点中下载CDH相关文件（或者从主节点拷贝），并解压mkdir /opt/module/...

2020-03-28 16:37:12 878

一、高可用（HA）介绍CDH高可用主要是HDFS和YARN，在保证hdfs数据不丢失的情况下，即使有节点宕机，重启即可也不会有影响。HDFS 1.0中虽然存在一个第二名称节点（Secondary NameNode），但第二名称节点无法提供“热备份”功能，一旦名称节点发生故障，系统需要停机恢复。HDFS 2.0 采用HA(High Availability)架构,解决了NameNode 单点故障...

2020-03-28 16:08:33 3092 1

原创 SecureCRT和Xshell设置右键复制粘贴

一、SecureCRT对于SecureCRT6.0.2 ，这个功能也已经是默认配置了，老版本的SecureCRT其实也有这个功能，只是不是默认设置，很多人不知道罢了。菜单： Options->Global Options ->Terminal 里面有个Mouse的选项块。Copy on Select Paste on Right/Left Button 这两个选项选上就好了，...

2020-03-28 11:34:40 2043

原创 SecureCRT修改字体和字体高亮显示

一、临时设置Options-Session Options - Appearance关闭连接后重新打开，又会恢复二、永久设置Options-Global options –General–Default Session –Edit Default Setting–Terminal–Emulation 中的 Terminal选项选择 Xterm 或者 Linux ,勾选 ANSI Colo...

2020-03-28 10:07:10 1366

原创 Azkaban 用户权限管理

绝大多数应用系统都会有用户和权限管理的功能，Azkaban当然也有，用户可用于登录页面，权限则可以控制当前用户可以看到哪些project，以及对他的操作范围进行控制。在azkaban中${AZKABAN_HOME}/conf/azkaban.properties中的以下配置文件来进行用户的管理。user.manager.class=azkaban.user.XmlUserManageruse...

2020-03-27 16:58:56 729

原创 Azkaban安装部署(实战优化)

Azkaban是一个Hadoop workflow定时调度工具，它解决了多个Hadoop任务单元之间的前后依赖关系。它提供了十分友好的用户界面，使用简单，容易上手。一、环境准备服务器环境：CentOS 7.2数据库：MySQL5.7(已安装配置)Hadoop版本：CDH-5.3.1（已配置hive)Azkaban版本：azkaban-web-server-2.5.0azkaban-...

2020-03-27 15:09:31 819

原创 Tomcat服务器内存修改

如果出现数据量过大或者卡顿的现象，就需要将wen工程所在的 Tomcat 服务器内存调大.一、概述当没有空内存可用时，就会出现内存溢出错误：java.lang.OutOfMemoryError:Java heap space。这时就需要调整 Tomcat 服务器内存大小。如果遇到有java.lang.OutOfMemoryError: PermGen space 这种异常抛错，可以在所有修改...

2020-03-27 11:36:21 1045 1

原创 Tomcat存在文件包含漏洞的说明

一、漏洞概述攻击者可以利用该漏洞，在未授权的情况下远程读取特定目录下的任意文件。如：webapp 配置文件或源代码等。二、解决方案先查看是否使用了omcat AJP 协议1. 未使用 Tomcat AJP 协议如果未使用 Tomcat AJP 协议，可以直接将 Tomcat 升级到 9.0.31、8.5.51 或 7.0.100 版本进行漏洞修复。如果无法立即进行版本更新，或者是更老...

2020-03-27 11:20:27 862

原创 Zeppelin 0.8.1安装部署

官网 http://zeppelin.apache.org/docs/0.8.1/quickstart/install.html（了解其它版本改一下版本号）1.下载Zeppelin 0.8.2安装包下载地址：http://archive.apache.org/dist/zeppelin/zeppelin-0.8.1//zeppelin-0.8.1-bin-all.tgz（下载其它版本改一下...

2020-03-26 16:46:42 918

原创大数据工具_ Zeppelin和Hue简介

一、Apache ZeppelinApache Zeppelin主要提供web版的数据分析和可视化(类似于ipython notebook，jupyter 等可以直接在浏览器中写代码、笔记并共享)，是一种开源的数据交互软件。背后可以接入不同的数据处理引擎，包括spark, hive, tajo等，原生支持scala, java, shell, markdown等。可实现你所需要的：数据...

2020-03-26 14:29:30 3141

原创 Linux命令—查看历史，并显示操作时间

最终效果如下Linux下可输入“history”查看已执行命令历史。正常是不带操作时间的，默认只显示序号和命令。要想显示操作时间需要做如下配置。临时显示如需临时显示执行时间则输入“export HISTTIMEFORMAT='%F %T'”。永久生效如需永久显示执行时间可通过编辑名为“.bash.rc”的隐藏文件完成。注意：此文件中home命令下。可在任意目录下执行“vi ~/.b...

2020-03-26 14:01:06 13111 1

原创 Linux中init.d文件夹的说明

/etc/init.d 是 /etc/rc.d/init.d 的软链接(soft link)。可以通过 ll 命令查看ls -ld /etc/init.dlrwxrwxrwx. 1 root root 11 Aug 30 2015 /etc/init.d -> rc.d/init.d都是用来放服务脚本的，当Linux启动时，会寻找这些目录中的服务脚本，并根据脚本的run level确...

2020-03-23 13:35:56 1444

原创 MySQL的GTID

MySQL 5.6引入了GTID的概念，那么GTID是何方神圣？其实也不复杂，就是一个全局事务标示符。使用GTID时，每次事务提交都会在binlog里生成1个唯一的标示符，它由UUID和事务ID组成。首次提交的事务ID为1，第二次为2，第三次为3，以此例推。uuid是服务器的身份ID，在第一次启动MySQL时，会自动生成一个server_uuid, 并且默认写入到数据目录下的auto.cnf文件里...

2020-03-23 11:49:06 256

原创 vi常用快捷键（最全整理）

vi常用快捷键x 删除光标处的字符dd 删除整行i 在光标前插入文本a 在光标后插入文本o 当前行下插入新行u 撤销最后一次修改:e! 放弃所有修改，从上次保存开始处再编辑:wq 保存退出:q! 不保存退出/pattern：从光标开始处向文件尾搜索pattern?pattern：从光标开始处向文件首搜索pattern光标控制命令命令光标移动h或^h 向左移...

2020-03-22 11:04:39 3122 1

原创 Hive中删除部分数据

背景:1、hive表删除数据不能使用DELETE FROM table_name 中SQL语句2、hive表删除数据要分为不同的粒度：table、partition、partition内一、有partition表1. 删除具体partitionalter table table_name drop partition(partiton_name='value'))2. 删除parti...

2020-03-18 14:14:46 5064

原创 Apache 、CDH、TDH、HDP、MapR等Hadoop版本区别

目前在中国流行的是apache hadoop，Cloudera CDH，当然Hortonworks也有用的apache hadoop则是原生的hadoop。Cloudera有免费版和企业版，企业版只有试用期。Hortonworks Hadoop区别于其他的Hadoop发行版(如Cloudera)的根本就在于，Hortonworks的产品均是百分之百开源。Apache Ambari是一个基于...

2020-03-17 11:45:56 6056

原创 sqoop job 实现自动增量导入

一、普通增量导入sqoop import --connect jdbc:mysql://172.16.100.173:3306/hdb \--username root --password oracletest \--table autoextend \-m 1 \--incremental append \--check-column id \--last-value 11 \...

2020-03-16 13:47:06 384

原创 Azkaban工作模式和运行原理

一、三大组件和三种模式1.其中主要有三个组件组成：Relational Database(只支持MySql)Azkaban WebServerWebUI）Azkaban ExecutorServer2.Azkaban2目前支持三种模式：solo server modetwo server modemultiple executor mode3.Azkaban界面中的主要元素有三个...

2020-03-14 13:22:05 1454

原创 MySQL的sql_mode解析与设置

在MySQL中使用group by 是总是出现1055的错误，这就导致了必须去查看是什么原因了，查询了相关的资料，现在将笔记记录下来，以便后面可以参考使用：一、什么是sql_modesql_mode:简而言之就是：它定义了你MySQL应该支持的sql语法，对数据的校验等等select @@sql_mode:使用该命令我们可以查看我们当前数据库的sql_modemysql> selec...

2020-03-13 14:26:43 302

原创 CentOS7中su和sudo命令的使用

在某些情况下，以root用户身份访问系统有潜在危险，并可能导致系统和数据损害。我们可以用setuid程序，例如su和sudo解决。su命令[app01rot@app-01 ~]$ su - root一旦在使用su命令登录root，用户获取了系统的绝对管理权限只允许特定用户使用该su命令要做到这一点，编辑插入式验证模块为（PAM）配置文件/etc/pam.d/su 在文本编辑器中打开该...

2020-03-12 13:32:51 3598

原创 Hadoop原理之_MapReduce工作流程

在MapReduce整个过程可以概括为以下过程：输入 --> map --> shuffle --> reduce -->输出输入文件会被切分成多个块，每一块都有一个map taskmap阶段的输出结果会先写到内存缓冲区，然后由缓冲区写到磁盘上。默认的缓冲区大小是100M，溢出的百分比是0.8，也就是说当缓冲区中达到80M的时候就会往磁盘上写。如果map计算完成后的中...

2020-03-11 15:10:53 487

原创 Hive分区（partition）详解

一、背景1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表，需要在create表的时候调用可选参数partitioned by，详见表创建的语法结构。二、技术细节1、一个表可以拥有一个或者...

2020-03-11 14:29:18 25406

HiveSQL开发指南2021.rar

介绍HiveSQL的相关知识和常用开发代码，实用、便捷。密码qingpingyue01,欢迎下载

2021-12-06

Airflow安装配置和web端插件安装

网络中关于airflow的资料比较少，这里做了一下整理： 1.整理centos7中airflow的安装配置 2.原生airflow默认不支持web端的拖拽实现dag,需要写python脚本，这里我做了一个插件安装说明，可以从网页端实现dag的编写

2020-07-01

数仓规范文档.rar

本文档整理数据仓库搭建过程中的分层结构和数据库、表名、字段命名规范，对数仓开发、大数据开发有重要帮助，欢迎下载。有问题随时博客留言或者私信我。

2020-05-30

navicat 连接oracle 11g驱动包

我的Navicat 版本是Navicat Premium 12 ，最近在windows环境中远程连接新项目的Oracle（11g版本）连接报错。我在之前项目中连接Oracle12是不报错的，也不需要做任何配置，直接选择basic或者TNS连接方式都可以顺利连接，刚开始也很恼火，查了资料后，加载这个驱动就行，最终解决,这里面还有连接hive和mysql的，大家也可以存一下

2020-05-28

陀螺仪调度部署和使用（美云智数）.rar

整理美云智数调度工具部署和使用。美云智数，源自于财富世界500强企业美的集团信息科技，基于先进企业的业务实践，把管理实践软件产品化，为大中型企业提供智能制造、大数据、数字营销、移动办公、身份管理、财务与人力、IT咨询等领域的云产品与解决方案。

2020-05-14

azkaban安装包（web+excutor）

zkaban是一个Hadoop workflow定时调度工具，它解决了多个Hadoop任务单元之间的前后依赖关系。它提供了十分友好的用户界面，使用简单，容易上手。这里为大家提供azkaban2.5调度工具的全套安装包，具体安装步骤可以参考我的博客

2020-03-27

集群搭建手册_CDH5.13.1版.docx

整理企业级Hadoop_CDH集群的搭建步骤和常见问题解决方案，包括环境配置，安装步骤和使用方法，最后将搭建过程中的常见错误做了总结和解释

2020-03-11

TensorFlow.xmind

整理python机器学习常用算法，里面涵盖基础操作，案例解析和注意事项，包括knn算法、逻辑斯蒂回归、线性归回、岭回归、SVM支持向量机，TensorFlow等，因不能同时上传多个文件，所以逐一上传，如果下载文档的博友有问题可以随时咨询我，保证物有所值

2020-01-13

Day10-决策树与贝叶斯.xmind

整理python机器学习常用算法，里面涵盖基础操作，案例解析和注意事项，包括knn算法、逻辑斯蒂回归、线性归回、岭回归、SVM支持向量机、决策树、贝叶斯等，因不能同时上传多个文件，所以逐一上传，如果下载文档的博友有问题可以随时咨询我，保证物有所值

2020-01-13

Day9-LinearRegression线性回归与逻辑斯蒂回归.xmind

整理python机器学习常用算法，里面涵盖基础操作，案例解析和注意事项，包括knn算法、逻辑斯蒂回归、线性归回、岭回归、SVM支持向量机等，因不能同时上传多个文件，所以逐一上传，如果下载文档的博友有问题可以随时咨询我，保证物有所值

2020-01-13

Day8-KNN.xmind

2020-01-13

Day7-pandas-Ⅳ：数据加载与透视表.xmind

整理python数据分析库的重要知识，包括ipython、numpy、pandas（重要，包括3个文档）、scipy包、matplotlib图形绘制,共计7个文档，里面涵盖基础操作，案例解析和注意事项，因不能同时上传多个文件，所以逐一上传，如果下载文档的博友有问题可以随时咨询我，保证物有所值

自己整理的python常用英语词汇，熟练掌握对大家的开发会有很大帮助，希望下载的朋友多多支持博客哦

2018-08-29

java常用英语词汇

自己整理的java常用英语词汇，记熟了对编程帮助很大！免费奉献给大家，希望大家多多关注博客

2018-08-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人