- 博客(16)
- 资源 (16)
- 收藏
- 关注
RSS订阅转载 mysql8与elasticsearch7.3.2数据同步,使用docker容器
一、需求软件及相关说明 需求软件 来源容器镜像 是否改造 改造后镜像 支持特别说明 备注 Mysql8.0 mysql:8.0 否 elasticsearch-head mobz/elasticsearch-head:5-alpine 是 registry.cn-shanghai.aliyuncs.com/qlongit/elasticsearch-head:v1.0 &nb...
2020-12-25 15:05:04
207
原创 Kubernetes K8S 1.20部署Ingress nginx 0.30
主机配置规划服务器名称(hostname) 系统版本 配置 内网IP 外网IP(模拟) k8s-master CentOS7.7 2C/4G/20G 172.16.1.110 10.0.0.110 k8s-node01 CentOS7.7 2C/4G/20G 172.16.1.111 10.0.0.111 k8s-node02 CentOS7.7 2C/4G/20G 172.16.1.112 10
2020-12-22 16:42:21
5829
原创 hadoop-3.x、zookeeper-3.x、hbase-2.x、hive-3.x、sqoop1.x、spark3.x
直接上干货一、vim /etc/profileexport JAVA_HOME=/usr/local/java/jdk1.8.0_271export HADOOP_HOME=/usr/local/hadoop-3.3.0export HBASE_HOME=/usr/local/hbase-2.3.3export HIVE_HOME=/usr/local/hive-3.1.2export SQOOP_HOME=/usr/local/sqoop-1.4.7export SQOOP_SERVE
2020-12-17 10:05:03
538
原创 Spark应用程序无法写入在docker中运行的elasticsearch解决办法
报错如下：20/12/15 16:23:44 INFO EsRDDWriter: Writing to [spark/docs]20/12/15 16:24:05 INFO HttpMethodDirector: I/O exception (java.net.ConnectException) caught when processing request: Connection timed out: connect20/12/15 16:24:05 INFO HttpMethodDirect.
2020-12-15 16:27:16
231
2
原创 Unable to load native-hadoop library for your platform解决
启动spark后，运行bin/spark-shell会出现一个警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable>>提君博客原创 http://www.cnblogs.com/tijun/ <<虽然不影响运行，但是看着不舒服。下面我整理的解决方法。...
2020-12-14 12:29:27
991
原创 HBase2.3单机本地版使用(不需要hdfs)
1、安装单机版HBase下载hbase-2.3.0-bin.tar.gz及jdk-8u151-linux-x64.tar.gz并解压到目录/software关闭防火墙、禁用ipv6并设置hostname为hbase，，同时需调整时区为中国时区检查系统版本为centos7[root@hbase ~]# cat /etc/redhat-release CentOS Linux release 7.8.2003 (Core)[root@hbase ~]# uname -aLinux hbase
2020-12-11 14:49:20
613
原创 hive Dynamic partition strict mode requires at least one static partition column解决
报错：FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column.To turn this off set hive.exec.dynamic.partition.mode=nonstrict1、解决方案：set hive.exec.dynamic.partition.mode=nonstrict;2、重新执行：
2020-12-10 15:12:12
575
原创 Hive drop table table_name一直卡死解决办法
方法一：替换mysql驱动包方法二：修改mysql字符集（my.cnf）[client]default-character-set=latin1[mysql]default-character-set=latin1[mysqld]default-character-set=latin1方法三：修改配置文件（hive-site.conf）<property> <name>hive.metastore.schema.verification
2020-12-10 13:45:51
379
原创 ERROR: Attempting to operate on yarn resourcemanager as root ERROR: but there is no
ERROR: Attempting to operate on yarn resourcemanager as rootERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.出现以上报错信息需要到 sbin 目录下 更改 start-yarn.sh 和 stop-yarn.sh 信息，在两个配置文件的第一行添加：YARN_RESOURCEMANAGER_USER=rootHADOOP_SECUR.
2020-12-02 13:42:46
6050
1
原创 hive常见的问题
启动 hive 时WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance w
2020-12-02 13:39:49
266
原创 sqoop导入hive报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is ..
sqoop导入hive表，如报以下的错误19/12/06 00:09:41 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.19/12/06 00:09:41 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFo
2020-12-02 13:37:21
280
原创 hive执行insert语句时，MapReduce进度一直是0%
修改Yarn-site.xml配置<property><name>yarn.nodemanager.resource.memory-mb</name><value>4096</value></property>
2020-12-02 12:23:06
1707
原创 SafeModeException: Cannot delete **. Name node is in safe mode
这是因为Name node 处于安全模式中。如何关闭安全模式呢？命令为：hadoop dfsadmin -safemode leave
2020-12-02 12:21:57
535
原创 搭建hadoop3.x报错 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
启动hadoop伪分布式集群报错node1: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). node2: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).数据节点node1和node2为正常启动，如图在网上找了很多相同报错都是ssh免秘登陆的问题，但在这报错前每台服务器可以实现免密访问，最开始排除了ssh免密连接问题
2020-12-02 09:47:48
2556
原创 Centos7下用户登录失败N次后锁定用户禁止登陆的方法
针对linux上的用户，如果用户连续3次登录失败，就锁定该用户，几分钟后该用户再自动解锁。Linux有一个pam_tally2.so的PAM模块，来限定用户的登录失败次数，如果次数达到设置的阈值，则锁定用户。PAM的配置文件介绍PAM配置文件有两种写法:一种是写在/etc/pam.conf文件中，但centos6之后的系统中，这个文件就没有了。另一种写法是,将PAM配置文件放到/etc/pam.d/目录下,其规则内容都是不包含 service 部分的，即不包含服务名称，而/etc/pam.d
2020-12-01 16:35:07
1492
原创 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
yarn执行MapReduce任务时，找不到主类导致的[2019-12-31 20:02:59.464]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster解决：在
2020-12-01 14:08:15
1439
dlib-19.21.1-cp38-cp38-win_amd64.zip
2021-01-08
dlib-19.21.99-cp38-cp38-win_amd64.whl
2021-01-08
Shiro详细教程
2018-11-23
统计学习方法-李航
2018-11-20
activity编程宝典
2018-11-20
nginx学习资料
2018-11-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人