自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

清平乐的技术专栏

what we can do is keep moving

  • 博客(12)
  • 资源 (43)
  • 收藏
  • 关注

原创 hive SQL实现占比、同比、环比计算(lag函数,lead函数)

前两天博文《SQL实现占比(时间函数升级版)》,现在用hive实现一下SELECT month_order, year_order, number, concat( round( number / total * 100.00, 2 ), '%' ) percent FROM (SELECT * FROM ( SELECT substr( order_time, 1,7...

2019-10-29 15:31:23 21873 8

原创 云计算的三种服务模式

IaaS, PaaS和SaaS是云计算的三种服务模式。1. SaaS:Software-as-a-Service(软件即服务)提供给客户的服务是运营商运行在云计算基础设施上的应用程序,用户可以在各种设备上通过客户端界面访问,如浏览器。消费者不需要管理或控制任何云计算基础设施,包括网络、服务器、操作系统、存储等等;2. PaaSPlatform-as-a-Service(平台即服务)提供给消...

2019-10-28 15:53:10 2671

原创 IDM提高谷歌浏览器下载速度

1.下载并安装IDM默认安装在C盘的2.打开谷歌浏览器更多工具—>扩展程序3.打开扩展程序,允许IDM

2019-10-28 13:47:15 1749

原创 SQL实现占比2种语法(时间函数升级版)

之前博文中写过一篇**《SQL实现占比、同比、环比指标分析》**博文,列举了mysql和oracle实现占比的两种方式,分别使用on1=1和cross join 实现笛卡尔积。基本语法如下SELECT `status`, number, concat(round(number / total * 100.00, 2), '%') percentFROM ( SELEC...

2019-10-26 17:01:47 2991

原创 hive和mysql的区别

1.查询语言不同:hive是hql语言,mysql是sql语句;2.数据存储位置不同:hive是把数据存储在hdfs上,而mysql数据是存储在自己的系统中;3.数据格式:hive数据格式可以用户自定义,mysql有自己的系统定义格式;4.数据更新:hive不支持数据更新,只可以读,不可以写,而sql支持数据更新;5.索引:hive没有索引,因此查询数据的时候是通过mapreduce很暴力...

2019-10-19 11:13:35 1205

原创 mysql的utf8和utf8_mb4区别

1.mysql5.7 的utf8 是utf8mb3的别名,MySQL在5.5.3之后增加了这个utf8mb4的编码,mb4就是most bytes 4的意思,专门用来兼容四字节的unicode。2、好在utf8mb4是utf8的超集,除了将编码改为utf8mb4外不需要做其他转换。当然,为了节省空间,一般情况下使用utf8也就够了。mysql支持的 utf8 编码最大字符长度为 3 字节,如果...

2019-10-14 15:58:35 718

原创 Linux下的部署kettle

一直以来服务器是linux系统,但是感觉linux图形化不强,于是从接触kettle以来都是在windows系统操作ETL的设计和处理。现在需要在linux中查看一下kettle资源库是否连接正常,以及在linux上调度kettle的job,就需要在Linux上配置kettle环境了。一.配置jdk环境[root~]# java -versionjava version "1.8.0_151...

2019-10-11 14:36:41 1072 2

原创 Linux目录结构和安装软件的路径

Linux 的软件安装目录是也是有讲究的,理解这一点,在对系统管理是有益的/usr:系统级的目录,可以理解为C:/Windows/,/usr/lib理解为C:/Windows/System32。/usr/local:用户级的程序目录,可以理解为C:/Progrem Files/。用户自己编译的软件默认会安装到这个目录下。/opt:用户级的程序目录,可以理解为D:/Software,opt有可...

2019-10-11 10:51:12 309

原创 kettle效率提升

kettle 效率提升Kettle作为一款ETL工具,肯定无法避免遇到效率问题,当很大的数据源输入的时候,就会遇到效率的问题。对此有几个解决办法:1)数据库端创建索引。对需要进行查询的数据库端字段,创建索引,可以在很大程度上提升查询的效率,最多的时候,我不创建索引,一秒钟平均查询4条记录,创建索引之后,一秒钟查询1300条记录。2)数据库查询和流查询注意使用环境。因为数据库查询为数据输入...

2019-10-07 16:01:18 1164

原创 电商的SPU、SKU、ID

电商时代,数据为王。所以电商人入门要懂的第一课,我们通常会培训基础理论,涉及到各种常用名词,UV、PV、GMV、CPC、CPS、CPA、CPM等等,这里对比一下几个常见的产品名词,SPU、SKU、ID,它们都是什么意思,三者又有什么区别和联系呢?首先,无论是哪一个电商平台,都是有spu和sku的,只是叫法会不同,以淘宝和京东为例,商品,淘宝叫item,京东叫product。所以淘宝我们虽然看不...

2019-10-07 09:27:35 1920

原创 【FineReport】实现远程文件本地另存

1.切换远程目录文件–>切换工作目录,填写主机名、端口号和数据库相关信息就可以实现本地和远程的切换【例如】2.本地模板另存为切换到相应的远程目录,将远程模板打开,再切换到本地目录即可实现远程文件在本地的另存为操作了...

2019-10-05 15:35:25 1841

原创 同比和环比的计算方式

一、同比了方便理解,我们使用2018年和2017年的数据来进行说明。同比的概念。我们可以理解为:今年同期和去年同期的对比。例如:2018年1月与2017年1月的数据对比。计算公式(2018年1月数据-2017年1月数据)/2017年1月数据*100%但是,计算的结果是小数位的。我们可以先选中计算结果所在区域,然后使用Ctrl+1组合快捷键设置单元格格式为"百分比",小数位数设置为...

2019-10-05 11:10:26 9944

HiveSQL开发指南2021.rar

介绍HiveSQL的相关知识和常用开发代码,实用、便捷。密码qingpingyue01,欢迎下载

2021-12-06

Airflow安装配置和web端插件安装

网络中关于airflow的资料比较少,这里做了一下整理: 1.整理centos7中airflow的安装配置 2.原生airflow默认不支持web端的拖拽实现dag,需要写python脚本,这里我做了一个插件安装说明,可以从网页端实现dag的编写

2020-07-01

数仓规范文档.rar

本文档整理数据仓库搭建过程中的分层结构和数据库、表名、字段命名规范,对数仓开发、大数据开发有重要帮助,欢迎下载。有问题随时博客留言或者私信我。

2020-05-30

navicat 连接oracle 11g驱动包

我的Navicat 版本是Navicat Premium 12 ,最近在windows环境中远程连接新项目的Oracle(11g版本)连接报错。我在之前项目中连接Oracle12是不报错的,也不需要做任何配置,直接选择basic或者TNS连接方式都可以顺利连接,刚开始也很恼火,查了资料后,加载这个驱动就行,最终解决,这里面还有连接hive和mysql的,大家也可以存一下

2020-05-28

陀螺仪调度部署和使用(美云智数).rar

整理美云智数调度工具部署和使用。美云智数,源自于财富世界500强企业美的集团信息科技,基于先进企业的业务实践,把管理实践软件产品化,为大中型企业提供智能制造、大数据、数字营销、移动办公、身份管理、财务与人力、IT咨询等领域的云产品与解决方案。

2020-05-14

azkaban安装包(web+excutor)

zkaban是一个Hadoop workflow定时调度工具,它解决了多个Hadoop任务单元之间的前后依赖关系。它提供了十分友好的用户界面,使用简单,容易上手。这里为大家提供azkaban2.5调度工具的全套安装包,具体安装步骤可以参考我的博客

2020-03-27

集群搭建手册_CDH5.13.1版.docx

整理企业级Hadoop_CDH集群的搭建步骤和常见问题解决方案,包括环境配置,安装步骤和使用方法,最后将搭建过程中的常见错误做了总结和解释

2020-03-11

TensorFlow.xmind

整理python机器学习常用算法,里面涵盖基础操作,案例解析和注意事项,包括knn算法、逻辑斯蒂回归、线性归回、岭回归、SVM支持向量机,TensorFlow等,因不能同时上传多个文件,所以逐一上传,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

Day10-决策树与贝叶斯.xmind

整理python机器学习常用算法,里面涵盖基础操作,案例解析和注意事项,包括knn算法、逻辑斯蒂回归、线性归回、岭回归、SVM支持向量机、决策树、贝叶斯等,因不能同时上传多个文件,所以逐一上传,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

Day9-LinearRegression线性回归与逻辑斯蒂回归.xmind

整理python机器学习常用算法,里面涵盖基础操作,案例解析和注意事项,包括knn算法、逻辑斯蒂回归、线性归回、岭回归、SVM支持向量机等,因不能同时上传多个文件,所以逐一上传,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

Day8-KNN.xmind

整理python机器学习常用算法,里面涵盖基础操作,案例解析和注意事项,包括knn算法、逻辑斯蒂回归、线性归回、岭回归、SVM支持向量机等,因不能同时上传多个文件,所以逐一上传,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

Day7-pandas-Ⅳ:数据加载与透视表.xmind

整理python数据分析库的重要知识,包括ipython、numpy、pandas(重要,包括3个文档)、scipy包、matplotlib图形绘制,共计7个文档,里面涵盖基础操作,案例解析和注意事项,因不能同时上传多个文件,所以逐一上传,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

Day6-matplotlib.xmind

整理python数据分析库的重要知识,包括ipython、numpy、pandas(重要,包括3个文档)、scipy包、matplotlib图形绘制,共计7个文档,里面涵盖基础操作,案例解析和注意事项,因不能同时上传多个文件,所以逐一上传,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

Day5-Scipy.xmind

整理python数据分析库的重要知识,包括ipython、numpy、pandas(重要,包括3个文档)、scipy包、matplotlib图形绘制,共计7个文档,里面涵盖基础操作,案例解析和注意事项,因不能同时上传多个文件,所以逐一上传,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

Day4-pandas-Ⅲ.xmind

整理python数据分析库的重要知识,包括ipython、numpy、pandas(重要,包括3个文档)、scipy包、matplotlib图形绘制,共计7个文档,里面涵盖基础操作,案例解析和注意事项,因不能同时上传多个文件,所以逐一上传,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

Day3-pandas-Ⅱ.xmind

整理python数据分析库的重要知识,包括ipython、numpy、pandas(重要,包括3个文档)、scipy包、matplotlib图形绘制,共计7个文档,里面涵盖基础操作,案例解析和注意事项,因不能同时上传多个文件,所以逐一上传,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

Day2-pandas-Ⅰ.xmind

整理python数据分析库的重要知识,包括ipython、numpy、pandas(重要,包括3个文档)、scipy包、matplotlib图形绘制,共计7个文档,里面涵盖基础操作,案例解析和注意事项,因不能同时上传多个文件,所以逐一上传,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

Day1-IPython与Numpy.xmind

整理python数据分析库的重要知识,包括ipython、numpy、pandas(重要,包括3个文档)、scipy包、matplotlib图形绘制,共计7个文档,里面涵盖基础操作,案例解析和注意事项,如果下载文档的博友有问题可以随时咨询我,保证物有所值

2020-01-13

115个Java面试题和答案——终极(下)_ (1).pdf

资料包含115道java常考面试题,共分为两个文档分为上下两册,内容来自北京著名iT培训机构,实战性强,欢迎下载!

2019-06-29

115个Java面试题和答案——终极(上).pdf

资料包含115道java常考面试题,共分为两个文档分为上下两册,内容来自北京著名iT培训机构,实战性强,欢迎下载!

2019-06-29

机器学习03--决策树01

决策树(decision tree)是⼀一种基本的分类与回归方法。流程图就是⼀一个决策树,长方形代表判断模块(decision block),椭圆形成代表终⽌止模块 (terminating block),表示已经得出结论,可以终止运行行。从判断模块引出的左右箭头称作为分支(branch),它可以达到另一个判断模块或者终⽌止模块。

2018-11-08

机器学习01--机器学习入门知识(数据科学 5 机器学习介绍)

何谓机器器学习就是把无序的数据转换成有⽤用的信息,海海量量数据抽取有价值的信息。创建并使用那些由学习数据⽽而得出的模型,预测建模或数据挖掘。用已存在的数据来开发可⽤用来对新数据预测多种可能结果的模型。第一个文档让大家对机器学习有个初步认识

2018-11-08

数据分析--matplotlib绘图和可视化

信息可视化(也叫绘图)是数据分析中最重要的工作之一。它可能是探索过程的一部分,例如,帮助我们找出异常值、必要的数据转换、得出有关模型的idea等。另外,做一个可交互的数据可视化也许是工作的最终目标。matplotlib是一个用于创建出版质量量图表的桌⾯面绘图包(主要是2D方面)。

2018-11-08

MySQL性能优化之参数配置

mysql性能优化的配置过程,back_log值指出在MySQL暂时停⽌止回答新请求之前的短时间内多少个请求可以被存在堆栈中。也就是说,如果MySql的连接数据达到max_connections时,新来的请求将会被存在堆栈中,以等待某一连接释放资源,该堆栈的数量量即back_log,如果等待连接的数量量超过back_log,将不不被授予连接资源。

2018-11-08

机器学习面试题目1

python高级的知识点,包括当下的机器学习见面试题,这里做了3份,分别上传给大家,基本涉及到了相关要点,希望对大家有用

2018-10-18

python面试笔试题(现场应聘收集)

题目都是照片格式的,都是面试python的同事和朋友提供,我统一整理的,题目类型涉及多方面,因为是面试所以拍摄角度有的会有点偏差,有需要的可以下载希望对大家有用!

2018-10-18

笨办法学python

《笨办法学 Python》(Learn Python The Hard Way,简称 LPTHW)是 Zed Shaw 编写的一本Python 入门书籍。适合对计算机了解不多,没有学过编程,但对编程感兴趣的朋友学习使用。这本书以习题的方式引导读者一步一步学习编程,从简单的打印一直讲到完整项目的实现。也许读完这本书并不意味着你已经学会了编程,但至少你会对编程语言以及编程这个行业有一个初步的了解。

2018-10-18

大数据分析---数据规整:聚合和重塑

在许多应⽤用中,数据可能分散在许多文件或数据库中,存储的形式也不不利利于分析,应采用聚合、合并、重塑数据的⽅方法进⾏行行处理理。

2018-10-09

大数据分析--数据清洗和准备

在数据分析和建模的过程中,相当多的时间要用在数据准备上:加载、清理理、转换以及重塑。这些工作会占到分析师时间的80%或更更多。

2018-10-09

大数据分析--数据加载、存储

pandas提供了一些用于将表格型数据读取为DataFrame对象的函数,其中read_csv和read_table用得最多

2018-10-09

大数据分析---Pandas使用

pandas和Numpy还是有区别,这里主要包括两个主要数据结构:Series和DataFrame

2018-10-09

数据分析2--NumPy

由浅入深交给你如何用python实现大数据开发和人工智能

2018-09-25

数据分析1--认识大数据工具

数据分析是人工智能的必备知识,算法、数据结构都要很高的要求,这些文档由浅入深给大家提供数据分析的知识,总共10个文档,后续会陆续更新

2018-09-25

Diango从基础到高级

Django框架的基础回顾以及高级应用,共三个文档,上传了一个重要的,这里不能设置免费分数,另外两个下载的朋友免费邮箱发送不单独上传了

2018-09-19

Python面试题整理

整理的python面试题目,后续会继续整理BAT的面试100题,下载的朋友后续免费发送

2018-09-08

MySQL数据库学习之DDL学习

简单整理的Mysql的基础用法,一共6个PPT基本覆盖了DDL、DQL等五项内容,查询最为重点内容进行了分类讲解,欢迎下载,关注我的博客有额外福利哟

2018-09-08

python英语词汇

自己整理的python常用英语词汇,熟练掌握对大家的开发会有很大帮助,希望下载的朋友多多支持博客哦

2018-08-29

java常用英语词汇

自己整理的java常用英语词汇,记熟了对编程帮助很大!免费奉献给大家,希望大家多多关注博客

2018-08-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除