- 博客(70)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 使用 TrueLicense 生成软件许可（License）证书及证书的验证
一、整体说明软件许可（License）证书，可以控制服务部署的情况，比如服务部署的硬件环境和服务到期日期。生产证书的服务端需要根据部署服务器的信息（如MAC地址等）和指定到期日期生成License证书。在具体使用License证书的应用程序，需要加载证书，进行校验证书的有效性。二、生成公私钥使用JDK自带的 keytool 工具生成公私钥证书库（1）生成命令:用KeyTool工具来生成私匙库（-alias别名 –validity 3650表示10年有效）keytool -genkeypair.
2020-07-08 13:49:15
5287
5
原创 离线环境下安装Cloudera Manager和CDH 5.16.2版本
第一部分 准备工作：系统环境搭建三台centos7.2的服务器，63为主节点如下：172.20.122.67 bigdata001172.20.122.63 bigdata002172.20.122.68 bigdata003以下操作均用root用户操作配置host（所有节点）/etc/hosts172.20.122.67 bigdata001172.20.122.6...
2019-10-18 10:21:39
2253
2
原创 Java Spark读取Hbase数据，将结果写入HDFS文件
环境：Hadoop2.6，Spark2.1， jdk1.8注意：hadoop集群启用了kerberos认证，不带认证的需要根据注释简单修改几行代码即可一、案例Java编程要求：读取Hbase表zyl_user，按年龄降序将对应的人进行排序输出到HDFS上。数据表zyl_user如下：hbase(main):002:0> scan 'zyl_user'ROW ...
2019-06-07 12:52:02
6521
原创 Java版Spark的Eclipse本地Windows开发环境搭建
开发前需要准备好JDK、Scala、Hadoop、Spark环境。步骤如下： 第一步：安装JDK 第二步：安装Scala 第三步：配置Spark环境变量 第四步：安装Hadoop客户端 第五步：安装Eclipse第一步：安装JDK省略，配置完验证是否安装成功第二步：安装Scala1、下载地址：http://www.scala-lang.or...
2019-06-05 11:02:53
1411
原创 HIVE到Greenplum数据导入技术
1.启动gpfdist服务：相关参数/usr/local/greenplum-db/bin/gpfdist -d /home/gpadmin/data -p 8787 -l /home/gpadmin/data/interdir/gplog/gpfdist_8787.log-d:存放外部表的目录-p:端口号-l:日志文件2.gpfdist服务的验证：使用jobs命令...
2019-04-01 08:52:00
4300
2
原创 Impala和hive数据同步
[root@bd-130 ~]# beeline -u 'jdbc:hive2://192.X.X.X:10000/default' -n hive -p hive首先，我们在hive命令行执行show databases;可以看到有以下几个数据库：然后，我们在impala同样执行show databases;可以看到：目前的数据库都是一样的（除系统外）。下...
2019-03-28 14:57:39
3350
原创 Flink Java编程：统计字数和读取本地文件
一、第一个程序wordcount（实时流处理）1、pom.xml文件<properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><flink.version>1.5.1</flink.vers...
2019-03-27 08:57:32
4245
原创 离线安装部署ES权限控制search-guard
安装部署：Elasticsearch 2.x和 Elasticsearch 5.x安装方式有所不同，以下以Elasticsearch 2.4.1版本1、将从maven上面下载的ssl和guard的zip文件：https://bit.ly/2tNA8vY，并将下载的两个zip包放到别的目录下，千万不能放到es下plugins下2、安装ssl和guard：./bin/plugin...
2019-03-26 21:41:18
3499
原创 阿里云maven的settings.xml，速度快
<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apach...
2020-08-02 10:47:51
267
原创 docker安装cloudera版本的hadoop
官网：https://hub.docker.com/r/cloudera/quickstart/前提条件：机器已安装好docker1、执行以下命令，获取docker版hadoop：docker pull cloudera/quickstart:latest2、启动Hadoop：docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 5007
2020-07-16 09:18:16
632
原创 Centos7安装单机版redis
第一步：下载安装包官网https://redis.io/download 下载5.08版本第二部：安装环境redis是C语言开发，安装redis需要先将官网下载的源码进行编译，编译依赖gcc环境。安装gcc：yum install gcc-c++第三部：编译安装[root@bigdata003 data]# tar -zxvf redis-5.0.8.tar.gz ...
2020-03-28 10:16:48
270
原创 k8s基本命令
查看集群信息# kubectl cluster-info查看各组件状态[root@bigdata003 ~]# kubectl -s http://172.20.127.51:8080 get componentstatuses NAME STATUS MESSAGE ERRORscheduler ...
2020-03-21 13:53:59
411
原创 k8s配置界面化工具dashboard
集群（操作系统是centos7.x）：类型 主机名 ip Master master 192.168.0.1 Node client1 192.168.0.2 Node client2 192.168.0.3 以下操作都在master上执行：镜像下载[root@master ~]# docker pull docker....
2020-03-17 21:23:54
958
原创 ClickHouse单机版安装部署
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。单个大查询的吞吐量吞吐量可以使用每秒处理的行数或每秒处理的字节数来衡量。如果数据被放置在page cache中，则一个不太复杂的查询在单个服务器上大约能够以2-10GB／s（未压缩）的速度进行处理（对于简单的查询，速度可以达到30GB／s）。如果数据没有在page cache中的话，那么速度将取决于你的磁盘...
2020-03-12 21:05:47
1346
原创 Docker安装、基本操作命令和项目docker部署
Docker命令1 容器命令1.1 基本命令1）重启docker服务# service docker restart2）查看docker容器# docker ps -a ##所有容器# docker ps ##不加任何参数，表示当前正在运行的容器3）根据镜像，启动容器# docker run -d -p 3000:3000 --name=grafana -v /...
2020-03-11 16:37:31
455
转载 Linux中安装mysql数据库(mysql-5.x.x-linux-glibc2.12-x86_64.tar.gz)
Linux中安装mysql...
2020-02-24 11:21:07
495
原创 Windows安装Scrapy框架
1、在线升级pip版本，输入pip install --upgrade pip（网络安装）；（No module named 'pip’通过下面命令来修复：python -m ensurepippython -m pip install --upgrade pippip -V）2、在线安装whl格式包需要安装wheel库，输入：pip install wheel；3、离线安装l...
2020-02-21 00:24:58
357
原创 HDFS扩容操作
hdfs扩容操作1、df查看需要挂载的硬盘目录2、 在分区的挂载目录[/data]下新建子目录/dfs/dn，执行命令：mkdir -p /data/dfs/dn3、 修改dn目录的权限：chown -R hdfs:hadoop /data/dfs/dn这样hdfs才能使用该目录（每一个分区都要新建/dfs/dn)4、登录cloudera manager管理界面...
2020-01-01 09:25:32
426
原创 Java实现Kafka简单的生产者消费者入门功能
一、使用scala2.11版本的Kafka 2.2.1。pom.xml文件：<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <ver...
2019-12-08 10:17:53
364
转载 CDH中启用Spark Thrift
1.文档编写目的CDH 自带的Spark 不支持Spark Thrift，因为spark-assembly jar...
2019-12-05 22:39:13
618
转载 Linux下用inotify-tool实时监控服务器文件
说明：服务器系统：CentOS文件目录：/home/web/os实现目的：当/home/web/os下面除过cache目录之外，任何文件发生变化时，记录日志并保存。具体操作：一、安装Inotify-tools工具1、查看服务器内核是否支持inotifyll /proc/sys/fs/inotify#列出文件目录，出现下面的内容，说明服务器内核支持inotify...
2019-11-29 10:35:08
317
原创 Linux记录用户操作
Linux记录所有用户操作记录，包括操作日期、用户名、登录IP地址、具体操作等信息；1、在/etc/profile下增加下面内容即可：#history 记录用户操作USER_IP=`who -u am i 2>/dev/null| awk '{print $NF}'|sed -e 's/[()]//g'`export HISTTIMEFORMAT="[%F %T][`whoam...
2019-11-29 10:29:35
521
原创 Linux挂载U盘操作和错误解决
Centos7.x挂载U盘一、挂载方法1.查看U盘信息：执行命令fdisk -l2.挂载到/mnt下的任意目录mkdir /mnt/usb_diskmount -t ntfs-3g /dev/sdb4 /mnt/usb_disk3.cd /mnt/usb_disk，即可操作U盘。二、问题解决问题1：Linux挂载U盘时，报错mount: u...
2019-11-28 10:34:56
2676
原创 Cloudera Manager安装Kafka集群
一、前提条件和环境1、环境：CDH5.16.x|Centos7.x|scala 2.112、CM和CDH环境已经搭建完成。在CDH上集成Kafka，要求用CDH上的Zookeeper管理Kafka。二、相关软件下载cloudera官网kafka：https://docs.cloudera.com/documentation/kafka/latest/topics/kafka_p...
2019-11-26 22:58:45
2132
原创 Centos7 安装FTP服务以及目录权限设置
1.1搭建ftp服务器1.安装vsftpd(需要root权限)yum install -y vsftpdyum -y install ftp关闭防火墙sudo systemctl disable firewalld2.查看是否安装ftp成功rpm -qa vsftpd3.查看ftp的配置文件等位置rpm -ql vsftpd4.启动ftp...
2019-11-13 17:02:40
2297
1
原创 Zabbix监控服务安装部署
准备工作 主机 操作系统 IP地址 主要软件 hostName Zabbix server端 centos7.2 172.20.122.67 zabbix-server4.0 bigdata00...
2019-10-28 19:21:21
397
原创 Docker安装和修改默认存储路径
一、准备工作：Docker支持以下的CentOS版本：CentOS 7 (64-bit) 和 CentOS 6.5 (64-bit)或更高的版本目前，CentOS 仅发行版本中的内核支持 Docker。Docker 运行在 CentOS 7 上，要求系统为64位、系统内核版本为 3.10 以上。Docker 运行在CentOS-6.5或更高的版本的 CentOS 上，要求系统...
2019-10-18 16:18:59
2209
转载 淘宝从几百到千万级并发的十四次架构演进之路（推荐收藏参考）
淘宝从几百到千万级并发的十四次架构演进之路（推荐收藏参考）牛旦教育IT课堂 2019-06-19 11:53:00作者：...
2019-07-05 14:50:19
331
转载 Java之利用Freemarker模板引擎实现代码生成器
版权声明：我已委托“维权骑士”（rightknights.com）为我的文章进行维权行动 https://blog.csdn.net/huangwenyi1010/article/details/71249258 </div> <link rel="...
2019-05-15 11:35:05
829
原创 Cloudera CCA131培训考试要点
培训课程官方文档：https://www.cloudera.com/documentation/enterprise/latest/topics/admin_rm.htmlcloudera 管理cloudera 分析（pig，impala，hive）cloudera 开发cloudera hbase常用组件Avro 通用的数据存储格式（行级）Flume 采集（...
2019-04-25 10:45:47
2908
2
原创 实时数据交换(kafka-hbase、kafka-mysql)性能测试报告
性能测试环境kafka集群环境 IP CPU 网卡 备注 192.168.x.106 Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz；单CPU；8核 1000Mb/s 192.1...
2019-04-25 10:28:54
1506
3
原创 Eclipse中开发MapReduce程序步骤
开发环境上是否能运行MapReduce（使用自带的hadoop-examples.jar）：hadoop jar ./hadoop-examples.jar pi 10 10000开发前提：一般我们写的mapreduce主程序放在客户端机器上，执行任务时是在集群机器上，所以要将变量从主程序传递到我们自己写的map或者reduce函数中就不能使用全局变量，因为map和reduce函...
2019-04-01 08:52:10
740
原创 hbase主从同步
如下是hbase的replication验证,测试版本hbase-0.98.6-cdh5.3.3.总体来说可以满足主从间的相互复制.详细描述见下:情况一:主hbase里有表scores分别同步到从hbase1、hbase2的表scores(同步主hbase 102里的表scores到从hbase集群103、104的scores)add_peer '4','19...
2019-04-01 08:51:48
1483
原创 Java远程提交YARN MapReduce任务
YARN是可以通过Java程序向hadoop集群提交MapReduce任务的。与普通的任务不同的是，远程提交的Job由于读不到服务器上的mapred-site.xml和yarn-site.xml。这样在本地eclipse中运行的程序是以yarn模式（而不是以local模式运行）运行，可在yarn的监控界面监控到任务的运行状态；package org.apache.hadoop.examp...
2019-03-29 15:55:27
1593
原创 HDFS文件加载到Hive中
本地文件加载到hive表1.在hxl数据库下创建表hive>create table tb_emp_info(id int,name string,age int,tel string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '|'STORED AS TEXTFILE;OKTime taken: 0.29...
2019-03-29 15:50:19
5957
2
原创 Hive on Spark操作
https://www.cloudera.com/documentation/enterprise/latest/topics/admin_hos_oview.htmlConfiguring the Hive Dependency on a Spark ServiceBy default, if a Spark service is available, the Hive dependen...
2019-03-29 15:49:28
2248
原创 hdfs备份操作
allowSnapshot: Access denied for user root. Superuser privilege is required切换成hdfs用户，执行hdfs dfsadmin -allowSnapshot hdfs目录查询该目录是否可以备份；-bash-4.1$ hdfs dfsadmin -allowSnapshot /user/qxmAllowi...
2019-03-29 15:45:29
1223
转载 阿里重要开源项目汇总（更新中）
开源展示了人类共同协作，成果分享的魅力，每一次技术发展都是站在巨人的肩膀上，技术诸多创新和发展往往就是基于开源发展起来的，没有任何一家网络公司可以不使用开源技术，仅靠自身技术而发展起来。阿里巴巴各个团队都是发自内心地将踩过的坑和总结的经验融入到开源项目中，供业界所有人使用，希望帮助他人解决问题。云栖社区特在2018年年末，将阿里巴巴的一些重要的开源项目进行整理，希望对大家有所帮助。（以下项目排...
2019-03-29 10:18:30
2461
原创 MYSQL通过存储过程分割字符串为数组
1、 获得所有以“某个符号“分割的字符串的个数DELIMITER $$CREATE FUNCTION `f_get_split_string_total`(f_string varchar(4000),f_delimiter varchar(5)) RETURNS int(11)BEGIN -- Get the total number of given strin...
2019-03-29 08:30:29
1511
原创 Oracle 高水位方法
一、先是分析表，以得到最准确的统计selectround((1-a.used/b.num_total)*100,0)percent from (SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM 表名) a, (select blocks num_total from dba_tables where table_name='表名'...
2019-03-29 08:30:16
1509
hdfs-over-ftp源码（maven工程）
2018-06-14
hdfs-over-ftp
2018-06-14
SSI+框架下的分页实现
2016-12-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人