- 博客(12)
- 资源 (43)
- 收藏
- 关注
原创 hive SQL实现占比、同比、环比计算(lag函数,lead函数)
前两天博文《SQL实现占比(时间函数升级版)》,现在用hive实现一下SELECT month_order, year_order, number, concat( round( number / total * 100.00, 2 ), '%' ) percent FROM (SELECT * FROM ( SELECT substr( order_time, 1,7...
2019-10-29 15:31:23 21868 8
原创 云计算的三种服务模式
IaaS, PaaS和SaaS是云计算的三种服务模式。1. SaaS:Software-as-a-Service(软件即服务)提供给客户的服务是运营商运行在云计算基础设施上的应用程序,用户可以在各种设备上通过客户端界面访问,如浏览器。消费者不需要管理或控制任何云计算基础设施,包括网络、服务器、操作系统、存储等等;2. PaaSPlatform-as-a-Service(平台即服务)提供给消...
2019-10-28 15:53:10 2671
原创 SQL实现占比2种语法(时间函数升级版)
之前博文中写过一篇**《SQL实现占比、同比、环比指标分析》**博文,列举了mysql和oracle实现占比的两种方式,分别使用on1=1和cross join 实现笛卡尔积。基本语法如下SELECT `status`, number, concat(round(number / total * 100.00, 2), '%') percentFROM ( SELEC...
2019-10-26 17:01:47 2991
原创 hive和mysql的区别
1.查询语言不同:hive是hql语言,mysql是sql语句;2.数据存储位置不同:hive是把数据存储在hdfs上,而mysql数据是存储在自己的系统中;3.数据格式:hive数据格式可以用户自定义,mysql有自己的系统定义格式;4.数据更新:hive不支持数据更新,只可以读,不可以写,而sql支持数据更新;5.索引:hive没有索引,因此查询数据的时候是通过mapreduce很暴力...
2019-10-19 11:13:35 1205
原创 mysql的utf8和utf8_mb4区别
1.mysql5.7 的utf8 是utf8mb3的别名,MySQL在5.5.3之后增加了这个utf8mb4的编码,mb4就是most bytes 4的意思,专门用来兼容四字节的unicode。2、好在utf8mb4是utf8的超集,除了将编码改为utf8mb4外不需要做其他转换。当然,为了节省空间,一般情况下使用utf8也就够了。mysql支持的 utf8 编码最大字符长度为 3 字节,如果...
2019-10-14 15:58:35 718
原创 Linux下的部署kettle
一直以来服务器是linux系统,但是感觉linux图形化不强,于是从接触kettle以来都是在windows系统操作ETL的设计和处理。现在需要在linux中查看一下kettle资源库是否连接正常,以及在linux上调度kettle的job,就需要在Linux上配置kettle环境了。一.配置jdk环境[root~]# java -versionjava version "1.8.0_151...
2019-10-11 14:36:41 1072 2
原创 Linux目录结构和安装软件的路径
Linux 的软件安装目录是也是有讲究的,理解这一点,在对系统管理是有益的/usr:系统级的目录,可以理解为C:/Windows/,/usr/lib理解为C:/Windows/System32。/usr/local:用户级的程序目录,可以理解为C:/Progrem Files/。用户自己编译的软件默认会安装到这个目录下。/opt:用户级的程序目录,可以理解为D:/Software,opt有可...
2019-10-11 10:51:12 309
原创 kettle效率提升
kettle 效率提升Kettle作为一款ETL工具,肯定无法避免遇到效率问题,当很大的数据源输入的时候,就会遇到效率的问题。对此有几个解决办法:1)数据库端创建索引。对需要进行查询的数据库端字段,创建索引,可以在很大程度上提升查询的效率,最多的时候,我不创建索引,一秒钟平均查询4条记录,创建索引之后,一秒钟查询1300条记录。2)数据库查询和流查询注意使用环境。因为数据库查询为数据输入...
2019-10-07 16:01:18 1164
原创 电商的SPU、SKU、ID
电商时代,数据为王。所以电商人入门要懂的第一课,我们通常会培训基础理论,涉及到各种常用名词,UV、PV、GMV、CPC、CPS、CPA、CPM等等,这里对比一下几个常见的产品名词,SPU、SKU、ID,它们都是什么意思,三者又有什么区别和联系呢?首先,无论是哪一个电商平台,都是有spu和sku的,只是叫法会不同,以淘宝和京东为例,商品,淘宝叫item,京东叫product。所以淘宝我们虽然看不...
2019-10-07 09:27:35 1920
原创 【FineReport】实现远程文件本地另存
1.切换远程目录文件–>切换工作目录,填写主机名、端口号和数据库相关信息就可以实现本地和远程的切换【例如】2.本地模板另存为切换到相应的远程目录,将远程模板打开,再切换到本地目录即可实现远程文件在本地的另存为操作了...
2019-10-05 15:35:25 1837
原创 同比和环比的计算方式
一、同比了方便理解,我们使用2018年和2017年的数据来进行说明。同比的概念。我们可以理解为:今年同期和去年同期的对比。例如:2018年1月与2017年1月的数据对比。计算公式(2018年1月数据-2017年1月数据)/2017年1月数据*100%但是,计算的结果是小数位的。我们可以先选中计算结果所在区域,然后使用Ctrl+1组合快捷键设置单元格格式为"百分比",小数位数设置为...
2019-10-05 11:10:26 9934
Airflow安装配置和web端插件安装
2020-07-01
navicat 连接oracle 11g驱动包
2020-05-28
陀螺仪调度部署和使用(美云智数).rar
2020-05-14
azkaban安装包(web+excutor)
2020-03-27
集群搭建手册_CDH5.13.1版.docx
2020-03-11
TensorFlow.xmind
2020-01-13
Day10-决策树与贝叶斯.xmind
2020-01-13
Day9-LinearRegression线性回归与逻辑斯蒂回归.xmind
2020-01-13
Day8-KNN.xmind
2020-01-13
Day7-pandas-Ⅳ:数据加载与透视表.xmind
2020-01-13
Day6-matplotlib.xmind
2020-01-13
Day5-Scipy.xmind
2020-01-13
Day4-pandas-Ⅲ.xmind
2020-01-13
Day3-pandas-Ⅱ.xmind
2020-01-13
Day2-pandas-Ⅰ.xmind
2020-01-13
Day1-IPython与Numpy.xmind
2020-01-13
机器学习03--决策树01
2018-11-08
机器学习01--机器学习入门知识(数据科学 5 机器学习介绍)
2018-11-08
数据分析--matplotlib绘图和可视化
2018-11-08
MySQL性能优化之参数配置
2018-11-08
python面试笔试题(现场应聘收集)
2018-10-18
笨办法学python
2018-10-18
MySQL数据库学习之DDL学习
2018-09-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人