- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 HiveServer2和Beeline
服务端HiveServer2和客户端beeline进行Hive SQL操作一、启动服务端HiveServer2配置好hive环境变量后：cd $HIVE_HOME/bin./hiveserver2启动成功后：[ruoze@zhangfei ~]$ hiveserver2 --hiveconf hive.server2.thrift.port=10086which: no hbase...
2019-12-22 09:46:11
658
原创 MySQL编译步骤（Linux系统）
MySQL编译过程（亲测）MySQL编译步骤（Linux下）编译详细步骤本文参考github上优秀博主的分享https://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.7.11%20Install.txt下载源代码包（注意不是已编译好的包）链接：https://dev.mysql.com/downloads/mysql/注...
2019-12-15 11:57:14
816
原创 运行openstack user list时Internal Server Error (500)
运行openstack user list命令报错Internal Server Error (500)思路：给mysql的keystone赋权时，语句写错了1.登陆数据库(需知道root登陆密码)mysql -uroot -p密码2.给数据库赋予权限grant all privileges on keystone.* to 'keystone'@'localhost' identified by 'KEYSTONE_PASS';grant all privileges on keyston
2021-07-22 20:36:48
4419
1
原创 机器学习常用距离公式
欧氏距离曼哈顿距离(城市街区距离(City Block distance))切比雪夫距离闵可夫斯基距离(Minkowski Distance)闵氏距离不是一种距离，而是一组距离的定义。两个n维变量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的闵可夫斯基距离定义为：其中p是一个变参数。当p=1时，就是曼哈顿距离当p=2时，就是欧氏距离当p→∞时，就是切比雪夫距离夹角余弦在二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式：两个n维样本点
2020-12-08 10:01:32
797
原创 python二进制打包步骤
一、编写python程序：test.py（待打包的脚本程序）#!/usr/bin/env python# -*- coding:utf-8 -*-if __name__ == "__main__": print "yes"二、编写可执行函数的python脚本：# generate_binary.py（需要安装cx_Freeze依赖）#!/usr/bin/env python# -*- coding:utf-8 -*-import osimport sysfrom cx
2020-12-02 11:34:27
1031
原创 Python命令行执行脚本
一、常规python脚本代码结构常规的python脚本代码结构：第一部分：导入本脚本所需模块第二部分：自定义函数/功能模块，实现特定功能第三部分：主函数/入口函数，调用上面自定义的各函数功能模块流程如下：二、支持传参利用sys.argv，在主入口函数处，将参数传入。test.pyif __name__ == '__main__': import sys # 接受输入参数列表： print(sys.argv) para1 = sys.argv[1]
2020-12-02 11:23:58
1349
原创 INTEL MKL ERROR: 找不到指定的模块
这里写自定义目录标题INTEL MKL ERROR: 找不到指定的模块。亲测有效一、报错信息二、问题原因三、运行时报错四、解决办法4.1 方法尝试4.2 结果INTEL MKL ERROR: 找不到指定的模块。亲测有效一、报错信息INTEL MKL ERROR: 找不到指定的模块。mkl_intel_thread.dll.Intel MKL FATAL ERROR: Cannot load mkl_intel_thread.dll.二、问题原因win10系统+python3.7：准备写一段pyt
2020-12-02 09:13:31
2192
原创 HDFS副本放置策略
HDFS副本放置策略一、Rack机架一般情况下，一台机架大概如下配置：1台刀片机256G内存56物理核4块500G ssd 10块1T/块 机械硬盘 1W转2颗GPU（不是cpu）用于数据挖掘二、副本放置策略假设有一份数据，三副本第一个副本：在DataNode数据节点提交时，第一个块是本地节点，目的是节省了本地资源，占用了更少的带宽，如果是在集群外提交，则随机挑选一...
2020-01-01 12:52:00
1177
原创 Hive-复杂数据类型使用案例
Hive之复杂数据类型-array、map和struct使用案例复杂数据类型在Hive中使用场景非常多具体数据类型的详细介绍这里就不说了，官网和博客介绍多的是，这里直接上例子，更直观。一、array类型array是数组类型，类似于python中的list类型：array[] = ['aaa','bbb','ccc']直接上例子：1.1 数据格式说明：name与locations...
2019-12-23 01:03:44
575
原创 Logstash-json解析失败问题
Logstash解析\t\n失败问题问题：今天配置logstash的kafka输入插件，调试Logstash读取kafka数据时，发现解析失败，查看输出到elasticsearch索引的日志信息，发现一个json体数据全被当作message信息处理，后来发现是因为kafka插件读取数据的{ codec=>json}，而kafka中一条数据最后含有\t和\n。处理办法：读取json数据...
2019-12-20 21:30:51
2771
原创 Mac安装虚拟机详细步骤
Mac安装虚拟机详细步骤一、软件准备VMware Fusion: https://pan.baidu.com/s/1F2MOFgMq9ZgsBvaZ5ZobkQ）下载到本地既有安装包，又有注册机，如下图CentOS系统: http://isoredirect.centos.org/centos/7/isos/x86_64/上图为CentOS7.7版本，随便选择一个镜像源下载到本地(po...
2019-12-19 23:37:31
20183
19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人