自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(379)
  • 资源 (11)
  • 收藏
  • 关注

原创 Python3.8安装face_recognition、cmake、dlib

1、pip install cmake2、pip install opencv-python3、https://download.csdn.net/download/zhangjunli/14045506下载dlib安装包dlib-19.21.99-cp38-cp38-win_amd64.whl4、pip installdlib-19.21.99-cp38-cp38-win_amd64.whl5、pip install face_recognition...

2021-01-08 14:54:38 24

转载 mysql8与elasticsearch7.3.2数据同步,使用docker容器

  一、需求软件及相关说明 需求软件 来源容器镜像 是否改造 改造后镜像 支持特别说明 备注 Mysql8.0 mysql:8.0 否       elasticsearch-head mobz/elasticsearch-head:5-alpine 是 registry.cn-shanghai.aliyuncs.com/qlongit/elasticsearch-head:v1.0 &nb...

2020-12-25 15:05:04 36

原创 Kubernetes K8S 1.20部署Ingress nginx 0.30

主机配置规划服务器名称(hostname) 系统版本 配置 内网IP 外网IP(模拟) k8s-master CentOS7.7 2C/4G/20G 172.16.1.110 10.0.0.110 k8s-node01 CentOS7.7 2C/4G/20G 172.16.1.111 10.0.0.111 k8s-node02 CentOS7.7 2C/4G/20G 172.16.1.112 10

2020-12-22 16:42:21 168

原创 hadoop-3.x、zookeeper-3.x、hbase-2.x、hive-3.x、sqoop1.x、spark3.x

直接上干货一、vim /etc/profileexport JAVA_HOME=/usr/local/java/jdk1.8.0_271export HADOOP_HOME=/usr/local/hadoop-3.3.0export HBASE_HOME=/usr/local/hbase-2.3.3export HIVE_HOME=/usr/local/hive-3.1.2export SQOOP_HOME=/usr/local/sqoop-1.4.7export SQOOP_SERVE

2020-12-17 10:05:03 33

原创 Spark应用程序无法写入在docker中运行的elasticsearch解决办法

报错如下:20/12/15 16:23:44 INFO EsRDDWriter: Writing to [spark/docs]20/12/15 16:24:05 INFO HttpMethodDirector: I/O exception (java.net.ConnectException) caught when processing request: Connection timed out: connect20/12/15 16:24:05 INFO HttpMethodDirect.

2020-12-15 16:27:16 21

原创 Unable to load native-hadoop library for your platform解决

启动spark后,运行bin/spark-shell会出现一个警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable>>提君博客原创 http://www.cnblogs.com/tijun/ <<虽然不影响运行,但是看着不舒服。下面我整理的解决方法。...

2020-12-14 12:29:27 287

原创 HBase2.3单机本地版使用(不需要hdfs)

1、安装单机版HBase下载hbase-2.3.0-bin.tar.gz及jdk-8u151-linux-x64.tar.gz并解压到目录/software关闭防火墙、禁用ipv6并设置hostname为hbase,,同时需调整时区为中国时区检查系统版本为centos7[root@hbase ~]# cat /etc/redhat-release CentOS Linux release 7.8.2003 (Core)[root@hbase ~]# uname -aLinux hbase

2020-12-11 14:49:20 38

原创 hive Dynamic partition strict mode requires at least one static partition column解决

报错:FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column.To turn this off set hive.exec.dynamic.partition.mode=nonstrict1、解决方案:set hive.exec.dynamic.partition.mode=nonstrict;2、重新执行:

2020-12-10 15:12:12 32

原创 Hive drop table table_name一直卡死解决办法

方法一:替换mysql驱动包方法二:修改mysql字符集(my.cnf)[client]default-character-set=latin1[mysql]default-character-set=latin1[mysqld]default-character-set=latin1方法三:修改配置文件(hive-site.conf)<property> <name>hive.metastore.schema.verification

2020-12-10 13:45:51 26

原创 ERROR: Attempting to operate on yarn resourcemanager as root ERROR: but there is no

ERROR: Attempting to operate on yarn resourcemanager as rootERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.出现以上报错信息需要到 sbin 目录下 更改 start-yarn.sh 和 stop-yarn.sh 信息,在两个配置文件的第一行添加:YARN_RESOURCEMANAGER_USER=rootHADOOP_SECUR.

2020-12-02 13:42:46 95

原创 hive常见的问题

启动 hive 时WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance w

2020-12-02 13:39:49 85

原创 sqoop导入hive报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is ..

sqoop导入hive表,如报以下的错误19/12/06 00:09:41 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.19/12/06 00:09:41 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFo

2020-12-02 13:37:21 82

原创 hive执行insert语句时,MapReduce进度一直是0%

修改Yarn-site.xml配置<property><name>yarn.nodemanager.resource.memory-mb</name><value>4096</value></property>

2020-12-02 12:23:06 144

原创 SafeModeException: Cannot delete **. Name node is in safe mode

这是因为Name node 处于安全模式中。如何关闭安全模式呢?命令为:hadoop dfsadmin -safemode leave

2020-12-02 12:21:57 79

原创 搭建hadoop3.x报错 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

启动hadoop伪分布式集群报错node1: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). node2: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).数据节点node1和node2为正常启动,如图在网上找了很多相同报错都是ssh免秘登陆的问题,但在这报错前每台服务器可以实现免密访问,最开始排除了ssh免密连接问题

2020-12-02 09:47:48 112

原创 Centos7下用户登录失败N次后锁定用户禁止登陆的方法

针对linux上的用户,如果用户连续3次登录失败,就锁定该用户,几分钟后该用户再自动解锁。Linux有一个pam_tally2.so的PAM模块,来限定用户的登录失败次数,如果次数达到设置的阈值,则锁定用户。PAM的配置文件介绍PAM配置文件有两种写法:一种是写在/etc/pam.conf文件中,但centos6之后的系统中,这个文件就没有了。另一种写法是,将PAM配置文件放到/etc/pam.d/目录下,其规则内容都是不包含 service 部分的,即不包含服务名称,而/etc/pam.d

2020-12-01 16:35:07 184

原创 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

yarn执行MapReduce任务时,找不到主类导致的[2019-12-31 20:02:59.464]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster解决:在

2020-12-01 14:08:15 97

原创 Python的开源人脸识别库:离线识别率高达99.38%(附源码)

https://cloud.tencent.com/developer/article/1359073

2020-11-30 08:53:15 121

原创 beeline启动时,错误 User: root is not allowed to impersonate root

今天敲代码了吗?beeline启动时,错误 User: root is not allowed to impersonate root错误:beeline>!connect jdbc:hive2://192.168.33.01:10000 root rootConnecting to jdbc:hive2://192.168.33.01:10000Error: Failed to open new session: java.lang.RuntimeException: org.apa

2020-11-27 16:53:39 140

原创 Hive启动报错:java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument

报错详细:Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) at org.apache.hadoop.conf.Configu

2020-11-26 18:15:26 104

原创 hive3.1.2单机伪分布式部署

下载hivewget http://mirror.bit.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz安装tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /root/apps #解压mv apache-hive-3.1.2-bin hive-3.1.2 #改名配置环境export HIVE_HOME=/root/apps/hive-3.1.2export PA

2020-11-26 18:11:14 86

原创 HBase-2.3.3 安装运行

一.下载cd /home/bigdata;wget http://archive.apache.org/dist/hbase/2.3.3/hbase-2.3.3-bin.tar.gz;tar -zxvf hbase-2.3.3-bin.tar.gz;chmod -R 777 hbase-2.3.3;二.配置vim /home/bigdata/hbase-2.3.3/conf/hbase-env.sh;添加:export JAVA_HOME=/usr/java/jdk1..

2020-11-26 14:48:42 219

原创 HBase2.3单机伪分布式部署

1、安装单机版HBase下载hbase-2.3.0-bin.tar.gz及jdk-8u151-linux-x64.tar.gz并解压到目录/software关闭防火墙、禁用ipv6并设置hostname为hbase,,同时需调整时区为中国时区检查系统版本为centos7[root@hbase ~]# cat /etc/redhat-release CentOS Linux release 7.8.2003 (Core)[root@hbase ~]# uname -aLinux hb.

2020-11-26 14:46:05 73

原创 hadoop3.x单机伪分布式部署

关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service配置ip映射vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.local

2020-11-26 14:40:19 48

原创 Hadoop-3.3.0部署配置

1、下载 Hadoop下载地址:http://hadoop.apache.org/Hadoop 安装地址:/usr/local/hadoop/hadoop-3.3.02、 解压 Hadoop 到指定文件夹tar -zxf hadoop-3.2.0.tar.gz -C /usr/local/hadoop3、 查看 Hadoop 版本信息cd /usr/hadoop/local/hadoop-3.2.0./bin/hadoop version4. Hadoop 配置4.1 建立目录在 /usr

2020-11-25 18:52:58 250

原创 CentOS7定时任务crontab

vi /etc/crontab0 2,12 * * * root tar -zcf "/home/backup/mysql-$(date +"\%Y-\%m-\%d-\%H").zip" /home/mysql/mysql5.7/data/*

2020-11-18 17:35:32 16

原创 centos7用户、组以及acl权限的操作

用户: a. 添加用户: useradd lee #添加用户,并建立家目录useradd lee -s /sbin/nologin -M #添加用户,禁止登录,没有家目录useradd lee -g wang #添加用户,指定所属组为wang b. 修改密码: passwd lee #修改密码passwd -d lee #清除lee的密码passwd -l lee #锁定用户passwd -u lee #解锁 c. 修改用户:

2020-11-18 15:32:36 114

原创 docker mysql mysqld: Error on realpath() on ‘/var/lib/mysql-files‘ No such file or directory

docker 使用mysql8镜像时加载指定的外部配置文件和存储目录,报出mysqld: Error on realpath() on '/var/lib/mysql-files' (Error 2 - No such file or directory  当指定了外部配置文件与外部存储路径时,也需要指定/var/lib/mysql-files的外部目录,  所以在 主机新建/home/mysql/mysql-files目录,  在启动容器时 需要加上  -v /home/mysq..

2020-11-17 15:33:01 202

原创 Kubernetes创建可外部访问的mysql容器

创建一个Mysql服务的容器;我们还是使用内网的Docker私有镜像仓库,第一次运行时会从镜像仓库中拉取镜像到机器上,以后就直接在机器上运行加快速度;直接上配置文件:mysql-rc.yamlkind: ReplicationControllermetadata: name: my-mysql-v1 namespace: default labels: name: my-mysql version: v1spec: replicas: 1 selecto

2020-11-04 10:13:44 220

原创 crontab 使用日期时间命名文件

使用月份命名 1 0 12 * * * sh/tmp/test.sh >>"/tmp/$(date +"\%Y-\%m").log"   使用周命名 1 0 12 * * * sh/tmp/test.sh >>"/tmp/$(date +"\%Y-W\%W").log"   使用小时命名 1 0 12 * * * sh/tmp/test.sh...

2020-10-30 11:15:35 28

原创 Mysql5.7中使用group concat函数数据被截断的问题完美解决方法

在生产环境中遇到一个问题:使用GROUP_CONCAT函数select出来的数据被截断了,最长长度不超过1024字节,开始还以为是navicat客户端自身对字段长度做了限制的问题。后面故意重新INSERT了一个字段长度超1024字节的数据,但是navicat能完整展示出来,所以就排除了navicat的问题。然后想到1024这个熟悉的数字,会不会是C++框架在接收MySQL通过socket传输过来的数据时被处理了呢?于是手工在日志中打印这个字段,发现即使数据长度超过1024字节仍然是可以完整显示的。..

2020-10-26 15:11:48 72

原创 kubernetes 容器 DNS 设置

添加默认配置在 kubernetes 中将 DNS 设置配置在 dnsConfig 配置项中, 而 dnsConfig 包含在 PodSpec 配置项中,因此 Pod 内所有容器都共享相同的 Network Namespace 。如下所示:apiVersion: v1kind: Podmetadata: name: demo namespace: defaultspec: containers: - image: base/java command: -

2020-10-14 17:42:53 125

原创 docker如何配置dns

Linux系统配置DNS的时候有一个问题,就是你在/ect/resolv.conf文件中添加上nameserver XXX.XXX.XXX.XXX的时候,当时是生效的,但是机器重启之后就失效了,所以我们可以通过配置Network的方法来解决,但是对于docker来说,它默认是映射主机的DNS,但是如果你想在docker镜像中加上非主机的DNS,也许这个方法就解决不了问题,但是对于docker来说有两种方法来解决这个DNS的问题:一、当我们要run起来镜像的时候当我们希望我们run起来镜...

2020-10-14 16:46:11 234

原创 UnknownHostException: api.weixin.qq.com 问题解决

最近把项目部署到Linux服务器上,发现本地调试好的微信扫码登录突然无法使用了,本地调试却正常!查看项目日志,发现报错如下[java]view plaincopy[java]view plaincopyjava.net.UnknownHostException:api.weixin.qq.com atjava.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:184)...

2020-10-13 18:42:41 204

原创 k8s ingress (http/https)部署与使用

https://blog.csdn.net/qq_25611295/article/details/85268581

2020-10-13 13:56:30 307 1

原创 Docker启动Java项目报异常:FontConfiguration.getVersion(FontConfiguration.java:1264)

问题使用docker部署SpringBoot项目时,验证码代码恰好调用了JDK1.8底层的FontConfiguration这个类生成图片。结果前端调用的时候抛了个异常。如下 123456789101112131415161718192021 java.lang.NullPointerException: null at sun.awt.FontConfiguration.getVersion(FontCon

2020-10-12 16:52:19 294

原创 阿里云服务器Linux内部无法解析域名

出现这域名无法正常解析的原因 重庆典名科技技术团队经过研究总结,出现这种状况有以下原因: 1)DNS的设置上出现问题,使之域名解决无法正常进行。 2)服务器防火墙策略问题,是否把相关信息拦截了。 3)NSCD 服务问题 解决域名无法正常解析的具体操作方法 下面跟着小编来进行下面操作步骤来检查并解决问题: 1)通过输入下图的指令,来检查系统设置的DNS服务器是否是正确的 服务器的防火墙设置也有可能把域名解析的一些信息拦截了,所以检查防火墙 iptable...

2020-09-25 10:34:28 67

转载 Linux centos7 ssh多次登录失败后锁定用户

可以有效地防止密码被暴力破解(ssh密码的暴力破解,将在后续的博客中介绍)1、修改配置文件 vi /etc/pam.d/sshd增加 auth required pam_tally2.so deny=3 unlock_time=600 even_deny_root root_unlock_time=1200各参数解释even_deny_root 也限制root用户;deny 设置普通用户和root用户连续错误登陆的最大次数,超过最大次数,则锁定该用户

2020-09-23 10:29:10 417 1

原创 JVM参数调优

不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数,可以极大的减少由于GC工作,而导致的程序运行中断方面的问题,进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程,由于各个程序具备不同的特点,如:web和GUI程序就有很大区别(Web可以适当的停顿,但GUI停顿是客户无法接受的),而且由于跑在各个机器上的配置不同(主要cup个数,内存不同),所以使用的GC种类也会不同(如何选择见GC种类及如何选择)。本文将注重介绍JVM、

2020-09-22 10:40:21 32

原创 JVM参数及默认值

1 标准参数标准参数(-),所有的JVM实现都必须实现这些参数的功能,而且向后兼容;通过命令java即可查看用法: java [-options] class [args...] (执行类) 或 java [-options] -jar jarfile [args...] (执行 jar 文件)其中选项包括: -d32 使用 32 位数据模型 (如果可用) -d64 使用 64 位数据模型 (如...

2020-09-22 09:07:51 113

dlib-19.21.1-cp38-cp38-win_amd64.zip

dlib.whl免编译安装,快速使用。Dlib是一个现代化的C ++工具箱,其中包含用于在C ++中创建复杂软件以解决实际问题的机器学习算法和工具。它广泛应用于工业界和学术界,包括机器人,嵌入式设备,移动电话和大型高性能计算环境。

2021-01-08

dlib-19.21.99-cp38-cp38-win_amd64.whl

dlib.whl免编译安装,快速使用。Dlib是一个现代化的C ++工具箱,其中包含用于在C ++中创建复杂软件以解决实际问题的机器学习算法和工具。它广泛应用于工业界和学术界,包括机器人,嵌入式设备,移动电话和大型高性能计算环境。

2021-01-08

软件构架实践1

本书根据软件生命期的特点,分4部分进行了阐述,即预想构架、创建构架、分析构架和从一个系统到多个系统。并且,书中通过精选的案例,进行了剖析。 本书在第1版的基础上,根据软件生命期的特点,分预想构架、创建构架、分析构架和从一个系统至多个系统进行阐述。本书对第1版某些内容进行了深入介绍,并增添了一些新内容:ATAM、质量需求、构架重构、用UML对构架编档和CBAM等。此外,本书还对一些新案例进行了分析,以帮助理解软件构架如何适应商业需求。 本书是卡内基·梅隆大学软件工程研究所推荐教材,荣获取美国权威的"软件开发"杂志第九届图书效率大奖。本书可作为软件学院及高校相关专业本科生和研究生的教材,也适合业界人士研究参考。

2013-04-15

软件构架实践

软件构架实践

2013-04-15

Shiro详细教程

Apache Shiro是Java的一个安全框架。目前,使用Apache Shiro的人越来越多,因为它相当简单,对比Spring Security,可能没有Spring Security做的功能强大,但是在实际工作时可能并不需要那么复杂的东西,所以使用小而简单的Shiro就足够了。对于它俩到底哪个好,这个不必纠结,能更简单的解决项目问题就好了。 本教程只介绍基本的Shiro使用,不会过多分析源码等,重在使用。

2018-11-23

统计学习方法-李航

统计学习是计算机及其应用领域的一门重要的学科。本书全面系统地介绍了统计学习的主要方法,特别是监督学习方法,包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、em算法、隐马尔可夫模型和条件随机场等。除第1章概论和最后一章总结外,每章介绍一种方法。叙述从具体问题或实例入手,由浅入深,阐明思路,给出必要的数学推导,便于读者掌握统计学习方法的实质,学会运用。为满足读者进一步学习的需要,书中还介绍了一些相关研究,给出了少量习题,列出了主要参考文献。

2018-11-20

Spring5高级编程第五版

Spring5高级编程第五版

2018-11-20

activity编程宝典

适合阅读本书的读者有以下几类: Activiti用户和爱好者 Activiti代码贡献者 流程引擎相关的项目经理或者需求人员 Activiti开发者,或运维人员 使用Activiti开发流程平台的公司

2018-11-20

nginx学习资料

介绍了处理负载均衡问题的相关概念和工具,说明了如何避免性能退化和服务器上的服务突然崩溃的风险,阐述了单个服务器以及可以执行cookie 插入或者改善ssl 吞吐量的负载均衡器,最后还探讨了云计算中的负载均衡。 适合对系统架构、性能维护感兴趣的初级、中级读者以及有经验的系统架构师和运维师。

2018-11-20

概率论与数理统计 第三版 茆诗松 习题与解答

全书共分十章分二部分,前四章是概率论部分,主要讲述概率论的基本结论,其 中心内容是随机变量及其分布,后六章是数理统计部分,主要讲述数理统计基本概念和常用统计方法,其中心内容是统计推断的三个内容,即抽样分布,参数估 计和假设检验,适合高校统计专业本科生阅读

2018-11-11

Java WEB实现URL重写

URL重写,其实就是把带一大堆参数的url,变成一个看上去很规矩的url。本例是URL重写的Java WEB实现。

2018-05-22

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除