自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(13)
  • 资源 (1)
  • 收藏
  • 关注

原创 HiveServer2和Beeline

服务端HiveServer2和客户端beeline进行Hive SQL操作一、启动服务端HiveServer2配置好hive环境变量后:cd $HIVE_HOME/bin./hiveserver2启动成功后:[ruoze@zhangfei ~]$ hiveserver2 --hiveconf hive.server2.thrift.port=10086which: no hbase...

2019-12-22 09:46:11 658

原创 MySQL编译步骤(Linux系统)

MySQL编译过程(亲测)MySQL编译步骤(Linux下)编译详细步骤本文参考github上优秀博主的分享https://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.7.11%20Install.txt下载源代码包(注意不是已编译好的包)链接:https://dev.mysql.com/downloads/mysql/注...

2019-12-15 11:57:14 816

原创 运行openstack user list时Internal Server Error (500)

运行openstack user list命令报错Internal Server Error (500)思路:给mysql的keystone赋权时,语句写错了1.登陆数据库(需知道root登陆密码)mysql -uroot -p密码2.给数据库赋予权限grant all privileges on keystone.* to 'keystone'@'localhost' identified by 'KEYSTONE_PASS';grant all privileges on keyston

2021-07-22 20:36:48 4419 1

原创 机器学习常用距离公式

欧氏距离曼哈顿距离(城市街区距离(City Block distance))切比雪夫距离闵可夫斯基距离(Minkowski Distance)闵氏距离不是一种距离,而是一组距离的定义。两个n维变量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的闵可夫斯基距离定义为:其中p是一个变参数。当p=1时,就是曼哈顿距离当p=2时,就是欧氏距离当p→∞时,就是切比雪夫距离夹角余弦在二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式:两个n维样本点

2020-12-08 10:01:32 797

原创 python二进制打包步骤

一、编写python程序:test.py(待打包的脚本程序)#!/usr/bin/env python# -*- coding:utf-8 -*-if __name__ == "__main__": print "yes"二、编写可执行函数的python脚本:# generate_binary.py(需要安装cx_Freeze依赖)#!/usr/bin/env python# -*- coding:utf-8 -*-import osimport sysfrom cx

2020-12-02 11:34:27 1031

原创 Python命令行执行脚本

一、常规python脚本代码结构常规的python脚本代码结构:第一部分:导入本脚本所需模块第二部分:自定义函数/功能模块,实现特定功能第三部分:主函数/入口函数,调用上面自定义的各函数功能模块流程如下:二、支持传参利用sys.argv,在主入口函数处,将参数传入。test.pyif __name__ == '__main__': import sys # 接受输入参数列表: print(sys.argv) para1 = sys.argv[1]

2020-12-02 11:23:58 1349

原创 INTEL MKL ERROR: 找不到指定的模块

这里写自定义目录标题INTEL MKL ERROR: 找不到指定的模块。亲测有效一、报错信息二、问题原因三、运行时报错四、解决办法4.1 方法尝试4.2 结果INTEL MKL ERROR: 找不到指定的模块。亲测有效一、报错信息INTEL MKL ERROR: 找不到指定的模块。mkl_intel_thread.dll.Intel MKL FATAL ERROR: Cannot load mkl_intel_thread.dll.二、问题原因win10系统+python3.7:准备写一段pyt

2020-12-02 09:13:31 2192

原创 HDFS文件读写流程

HDFS文件读写流程一、文件读流程

2020-01-01 14:41:28 248

原创 YARN资源和作业调度详解

Yarn资源管理和作业调度原理资源管理

2020-01-01 13:07:00 362

原创 HDFS副本放置策略

HDFS副本放置策略一、Rack机架一般情况下,一台机架大概如下配置:1台刀片机256G内存56物理核4块500G ssd 10块1T/块 机械硬盘 1W转2颗GPU(不是cpu)用于数据挖掘二、副本放置策略假设有一份数据,三副本第一个副本:在DataNode数据节点提交时,第一个块是本地节点,目的是节省了本地资源,占用了更少的带宽,如果是在集群外提交,则随机挑选一...

2020-01-01 12:52:00 1177

原创 Hive-复杂数据类型使用案例

Hive之复杂数据类型-array、map和struct使用案例复杂数据类型在Hive中使用场景非常多具体数据类型的详细介绍这里就不说了,官网和博客介绍多的是,这里直接上例子,更直观。一、array类型array是数组类型,类似于python中的list类型:array[] = ['aaa','bbb','ccc']直接上例子:1.1 数据格式说明:name与locations...

2019-12-23 01:03:44 575

原创 Logstash-json解析失败问题

Logstash解析\t\n失败问题问题:今天配置logstash的kafka输入插件,调试Logstash读取kafka数据时,发现解析失败,查看输出到elasticsearch索引的日志信息,发现一个json体数据全被当作message信息处理,后来发现是因为kafka插件读取数据的{ codec=>json},而kafka中一条数据最后含有\t和\n。处理办法:读取json数据...

2019-12-20 21:30:51 2771

原创 Mac安装虚拟机详细步骤

Mac安装虚拟机详细步骤一、软件准备VMware Fusion: https://pan.baidu.com/s/1F2MOFgMq9ZgsBvaZ5ZobkQ)下载到本地既有安装包,又有注册机,如下图CentOS系统: http://isoredirect.centos.org/centos/7/isos/x86_64/上图为CentOS7.7版本,随便选择一个镜像源下载到本地(po...

2019-12-19 23:37:31 20183 19

Praat—Mac版软件安装包

语音识别标注软件,提供频谱分析,基频分析,强度分析,共振峰分析,语音标注等多种功能

2022-05-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除