自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

zsd_31的专栏

我就喜欢满天繁星

原创 在Idea中添加javap命令查看构成java字节码的指令

1、打开idea的setting菜单 2、找到external Tools功能 3、增加具体的javap命令 4、在选择代码文件可以使用

2020-05-27 13:46:14 25 0

转载 spring cloud ribbon学习五:Ribbon的实际使用

配置详解 自动化配置 由于Ribbon中定义的每一个接口都有多种不同的策略实现,同时这些之间又有一定的依赖关系。 com.netflix.client.config.IClientConfig:Ribbon的客户端配置,默认采用com.netflix.client.config.Defa...

2020-05-07 16:20:50 14 0

转载 关于git:使用http&https访问时记住账号密码

在clone项目的时候直接在链接地址后面追加上用户名&密码,但是小白就只能亡羊补牢了。这里给提供个方法。 1.clone项目时直接追加上用户名和密码: 用户:MYUSERNAME 密码:MYPASSWORD https://MYUSERNAME:MYPASSWORD@gitee.c...

2020-03-05 11:09:26 19 0

原创 idea python 运行脚本报错AttributeError: module 'matplotlib' has no attribute 'verbose'

1、问题描述 idea的版本:2017.3.3 python插件的版本:2017.3.173.4301.35 代码引用了画图包:matplotlib matplotlib版本:3.0.3 运行代码出错: AttributeError: module 'matplotlib...

2020-02-27 16:50:41 49 0

原创 pip install 安装指定版本的包

要用pip安装指定版本的 Python 包,只需通过==操作符 指定 安装matplotlib例子: 1、阿里云的仓库中的相关版本是否存在 http://mirrors.aliyun.com/pypi/simple/matplotlib/ 2、将安装 matplotlib 2.1.2版本。...

2020-02-27 16:38:21 340 0

转载 Python pip配置国内源

众所周知,Python使用pip方法安装第三方包时,需要从https://pypi.org/资源库中下载,但是会面临下载速度慢,甚至无法下载的尴尬,这时,你就需要知道配置一个国内源有多么重要了,通过一番摸索和尝试,总结了一些经验,分享给大家:    给大家推荐几个值得拥有的国内镜像站 [ 个人推...

2020-02-27 14:40:47 45 0

转载 Gradient Boosting算法简介(有python列子)

Gradient Boosting算法简介 最近项目中涉及基于Gradient Boosting Regression 算法拟合时间序列曲线的内容,利用python机器学习包scikit-learn 中的GradientBoostingRegressor完成 因此就学习了下Gradient B...

2020-02-07 11:22:24 72 0

转载 ​​​​​​​Linux下实现免密登录(包含批量方法)

1.Linux下生成密钥   ssh-keygen的命令手册,通过”man ssh-keygen“命令:      通过命令”ssh-keygen -t rsa“      生成之后会在用户的根目录生成一个 “.ssh”的文件夹      进入“.ssh”会生成以下几个文件    ...

2020-01-30 11:48:31 599 0

原创 CentOS7修改yum源为阿里

修改yum源为阿里 备份本地yum源     mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo_bak   2.获取阿里yum源配置文件     wget -O /etc/yum.repos....

2020-01-28 12:21:45 39 0

原创 vmware11安装linux7连接内外网

实现双网卡的配置,在虚拟机中搭建双网卡,实现访问公网、内部网络静态ip互访的需求。 如果配置已经乱了,那么首先要把虚拟机的网卡都还原: 2、记住vmnet1的网咯配置 3、修改本机虚拟网卡的配置: 4、为虚拟机添加第二个网卡: 默认的第一个网卡: 添加的第二张网卡 ...

2020-01-22 00:06:11 84 0

转载 CDH集群配置文件、日志、jar包以及安装目录汇总

一、总结目的 因为CDH集群的配置、日志、jar包以及安装文件的目录非常多,而且分散,每次绕进去就有种绕不出来的感觉。所以,下决心总结一下,防止自己后面采坑。 详细内容详见: 本文链接:https://blog.csdn.net/u010886217/article/details/9004...

2020-01-16 14:23:36 24 0

原创 CDH下的spark日志文件查询

如果算法文件的日志过大,通过web页面太慢了,通过文件查询就快的多了。 1、spark的日志文件位置: 因为是用yarn提交的计算任务,所以日志是在yarn的容器中记录的。 /yarn/container-logs 2、找到之前的算法任务: 日志文件所在的节点。 3、进入该节点: ...

2020-01-15 20:41:24 198 0

原创 VirtualBox下安装CentOS7系统网络配置

1、主机的虚拟机网卡的ip地址配置: 2、虚拟机的“主机网络管理器”配置: 3、虚拟机客户网络配置: 网卡1: 网卡2: 4、虚拟机内的网络配置: cd /etc/sysconfig/network-scripts/ vi ifcfg-enp0s3 ...

2020-01-10 10:29:53 21 0

转载 MySQL Binlog 三个解析工具的对比

目前常用的MySQL Binlog解析工具主要有阿里的canal、mysql_streamer,三个工具对比如下: canal 由Java开发,分为服务端和客户端,拥有众多的衍生应用,性能稳定,功能强大;canal 需要自己编写客户端来消费canal解析到的数据。 maxwell相对于ca...

2019-12-30 14:01:15 130 0

转载 桑基图有何作用,桑基图又是怎么做出来的?

如果一定要给桑基图贴一个标签的话,那一定是:展现数据流动的利器。真的好直观好用。 具体详情: 地址:https://www.zhihu.com/question/45502919

2019-12-13 15:38:41 126 0

转载 【干货】听HPE Vertica技术大咖,谈谈大数据和MPP高效的计算框架(下)

如果您已经看过上期的内容,一定对大数据和HPE Vertica有了更为深刻的认识。接下来,我们就趁热打铁,继续为您带来刘定强先生关于大数据和MPP高效计算框架的分享。 Vertica,关系型数据库 Vertica是HPE一个重要的大数据产品,它的本质是一个MPP架构的关系数据库。对比以前的Or...

2019-12-09 13:53:11 65 0

转载 【干货】听HPE Vertica技术大咖,谈谈大数据和MPP高效的计算框架(上)

关于大数据这个概念,你一定不陌生了。但是,你知道大数据的“三生三世”吗?你知道大数据圈子里的“百家争鸣”吗... 如果都不清楚,没关系,不妨就跟着HPE资深大数据架构师刘定强先生一起探索吧! 刘定强先生是HPE资深大数据架构师,Vertica全球顶级专家之一,海数据社区专家委员;具有多...

2019-12-09 13:51:25 33 0

原创 mysql修改连接数

一、查看相关连接数 -- 数据库最大连接数 show variables like '%max_connections%'; -- 已使用连接数 show global status like 'Max_used_connections'; -- 连...

2019-06-04 20:11:10 2464 0

转载 推荐系统指标评测——覆盖率与基尼系数的算法与应用

评测指标是衡量推荐系统优劣的数据支持,目前应用广泛的有:点击率、转化率、精准率、召回率、F1值、覆盖率、多样性等等。不同的指标衡量的标准和目的是不一样的...今天就来介绍一下覆盖率和多样性是如何计算和应用的。 更多推荐系统资源,请参考——《推荐系统那点事儿》 覆盖率 如何评价推荐系统的优劣,...

2019-05-05 14:05:19 274 0

转载 redis 导出 导入 详解

方法一、 第一步、先redis-cli 进去后bgsave下数据将数据存储到磁盘对应文件dump.rdb中。如果是只存内存的请先做对应的存储设置(修改redis.conf中的save 等参数) 第二步、 ps -ef|grep redis 找到对应的进程,kill掉。 第三步、 找到dump...

2019-04-03 16:15:42 218 0

原创 mongodb用户操作

1、给一个用户多个角色权限 db.createUser({user:"admin",pwd:"admin",roles:[{role:"userAdminAnyDatabase",db:"admin"},{role:...

2019-01-16 15:28:03 57 0

原创 mongodb开启安全认证并添加用户

1、禁用安全认证 编辑配置文件MongoDB.conf,注释认证: #auth = true                                                  #开启认证 2、启动服务 mongo -f  MongoDB.conf 3、创建带权限用户步骤:...

2019-01-16 15:24:25 420 0

转载 Java性能监控工具:VisualVM

VisualVM是JDK自带的一款全能型性能监控和故障分析工具,包括对CPU使用、JVM堆内存消耗、线程、类加载的实时监控,内存dump文件分析,垃圾回收运行情况的可视化分析等,对故障排查和性能调优很有帮助。在windows中安装JDK后,VisualVM位于%JAVA_HOME%/bin/下,直...

2019-01-02 14:25:34 224 0

转载 cat、tail、head、grep、sed查看文件任意几行的数据

grep -C 5 foo file 显示file文件里匹配foo字串那行以及上下5行 grep -B 5 foo file 显示foo及前5行 grep -A 5 foo file 显示foo及后5行 grep结果太多, 可否只取前面10行匹配的结果 grep ...... | head -...

2018-12-29 16:10:37 130 0

转载 Spark的运行架构分析(二)之运行模式详解

在上一篇博客  spark的运行架构分析(一)中我们有谈到Spark的运行模式是多种多样的,那么在这篇博客中我们来具体谈谈Spark的运行模式 一:Spark On Local     此种模式下,我们只需要在安装Spark时不进行hadoop和Yarn的环境配置,只要将Spark包解压即可使用...

2018-12-12 09:55:19 393 0

转载 CentOS6 安装yum和yum源

1.删除redhat原有的yum rpm -aq|grep yum|xargs rpm -e –nodeps   下载yum安装文件 Wget http://mirrors.163.com/centos/6/os/x86_64/Packages/yum-3.2.29-73.el6.c...

2018-12-07 14:17:40 4677 0

转载 关于 TensorFlow

关于 TensorFlow TensorFlow™ 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。它灵活的架构让你可以在多种平台上展开计算...

2018-09-16 16:29:27 58 0

转载 当Java虚拟机遇上Linux Arena内存池

作者简介 刘韬,云和恩墨中间件服务交付团队专家 Java开发出身,10年WebLogic相关开发、运维工作经验,熟悉SOA、现代业务系统架构中各层组件,尤其擅长故障处理、性能优化等工作。 故障案例一 系统环境: RHEL 6.8 64-bit(glibc 2.12)、Sun JDK 6u...

2018-08-29 15:27:34 337 0

转载 JProfiler远程监控

1、  服务端安装JProfiler(与客户端版本一致) 2、  客户端配置连接: A)、session——integration wizards——New remote integration   B)、选择远程监控的平台windows,点击next C)、选择jdk版本,如果...

2018-08-29 14:45:11 215 0

转载 Linux下查看系统配置

CPU 1. lscpu:显示cpu架构信息 [xxx@localhost ~]$ lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Littl...

2018-08-09 09:30:49 69 0

原创 虚拟机下linux外网访问

1、Bridge模式(一切都跟host一样,只有ip不能与host相同) ip=192.168.39.222 netmask=255.255.252.0 gateway=192.168.39.254 DNS1=192.168.39.252 2、NAT模式(已经验证)首先在host中查看VMnet8...

2018-04-23 10:00:12 843 0

转载 Elasticsearch之中文分词器插件es-ik

前提什么是倒排索引?Elasticsearch之分词器的作用Elasticsearch之分词器的工作流程Elasticsearch之停用词Elasticsearch之中文分词器Elasticsearch之几个重要的分词器        elasticsearch官方默认的分词插件  1、elast...

2018-04-17 20:34:16 2102 0

转载 Elasticsearch之几个重要的分词器

前提什么是倒排索引?Elasticsearch之分词器的作用Elasticsearch之分词器的工作流程Elasticsearch之停用词Elasticsearch之中文分词器 Elasticsearch的几个重要的分词器:                                后续博客E...

2018-04-17 20:14:57 4596 0

转载 Elasticsearch之中文分词器

前提什么是倒排索引?Elasticsearch之分词器的作用Elasticsearch之分词器的工作流程Elasticsearch之停用词  Elasticsearch的中文分词器  1、单字分词:    如:“我们是中国人”    效果:“我”“们”“是”“中”“国”“人”  2、二分法分词:按...

2018-04-17 20:12:00 169 0

转载 Elasticsearch的停用词

 前提什么是倒排索引?Elasticsearch之分词器的作用Elasticsearch之分词器的工作流程  Elasticsearch的停用词  1、有些词在文本中出现的频率非常高,但是对文本所携带的信息基本不产生影响。  2、英文    a、an、the、of  3、中文    的、了、着、是...

2018-04-17 20:09:46 1688 0

转载 Elasticsearch之分词器的工作流程

 前提什么是倒排索引?Elasticsearch之分词器的作用   Elasticsearch的分词器的一般工作流程:  1、切分关键词  2、去除停用词  3、对于英文单词,把所有字母转为小写(搜索时不区分大小写)     后续博客Elasticsearch之停用词...

2018-04-17 20:06:56 216 0

转载 Elasticsearch之分词器的作用

 前提什么是倒排索引?     Analyzer(分词器)的作用是把一段文本中的词按一定规则进行切分。对应的是Analyzer类,这是一个抽象类,切分词的具体规则是由子类实现的,所以对于不同的语言,要用不同的分词器。(也就是说不同的分词器分词的规则是不同的!)    在创建索引时会用到分词器,在搜...

2018-04-17 20:04:49 1128 0

转载 什么是倒排索引?

见其名知其意,有倒排索引,对应肯定,有正向索引。     正向索引(forward index),反向索引(inverted index)更熟悉的名字是倒排索引。      在搜索引擎中每个文件都对应一个文件ID,文件内容被表示为一系列关键词的集合(实际上在搜索引擎索引库中,关键词也已经转换为关键...

2018-04-17 19:57:55 8277 2

转载 ES索引存储原理

ES索引存储原理不变性写到磁盘的倒序索引是不变的:自从写到磁盘就再也不变。 这会有很多好处:不需要添加锁。不存在写操作,因此不存在多线程更改数据。提高读性能。一旦索引被内核的文件系统做了Cache,绝大多数的读操作会直接从内存而不需要经过磁盘。提升其他缓存(例如fiter cache)的性能。其他...

2018-04-17 17:55:05 1091 0

转载 Elasticsearch创建索引和映射结构详解

前言这篇文章详细介绍了如何创建索引和某个类型的映射。下文中[address]指代elasticsearch服务器访问地址(http://localhost:9200)。1       创建索引1.1     简单创建语句curl -XPUT [address]/blog1.2     带参数的创建...

2018-04-17 17:51:53 328 1

提示
确定要删除当前文章?
取消 删除