自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Palo数据库

ALTER TABLE acoustics_olap.sfc_2050_mea_f_t_analysisdata MODIFY COLUMN FreValue varchar(3000)

2020-01-09 17:20:23

阅读数 7

评论数 0

原创 hive lateral view 与explode

行转列:explode 将输入的一行数组或者map转换成列输出 语法:explode(array (or map)) SELECT explode(myCol) AS myNewCol FROM myTable; 多行转换:lateral view lateral view用于和split,...

2020-01-07 11:00:15

阅读数 10

评论数 0

原创 palo平台报错持续汇总

1.节点数据量超过限制 #成功运行的ETL日志 [INFO: 12-30 04:30:12: palo_data_load.py:491]: Task state: loading; Task progress: ETL:100%; LOAD:90%; Tracking url: N/A #...

2019-12-30 16:36:57

阅读数 27

评论数 0

原创 利用python进行数据分析一基础知识

JSON格式(JavaScript Object Notation) python三元表达式 Python中的三元表达式可以将if-else语句放到一行里。语法如下: value = true-expr if condition else false-expr value = 'day...

2019-12-23 17:02:05

阅读数 8

评论数 0

原创 pingo、palo建表及从pingo往palo数据库导入数据使用方式

Pingo工作空间建表方式一: CREATE TABLE `dw.acoustics`.`test20191220` (`prod_code` string , `ball_code` string COMMENT '', `circle_code` string CO...

2019-12-21 11:59:24

阅读数 11

评论数 0

原创 Hadoop2.x HA架构与部署

vim hdfs-site.xml <configuration> <property> <name>dfs.nameservices</name> <value>ns</value>...

2019-12-14 16:49:55

阅读数 13

评论数 0

原创 CentOS集群实现时间同步

设置时间同步 集群内节点时间相差太大的话,会导致集群服务异常,所以需要保证集群内各节点时间一致。 使用如下命令使各节点时间一致(需要保证集群内的所有节点都能够连接外网) ntpdate -u ntp.sjtu.edu.cn 默认是没有ntpdate命令的需要在线安装。 执行命令 yum inst...

2019-12-09 22:29:36

阅读数 9

评论数 0

原创 CentOS6集群免密码登录

CentOS6集群免密码登录 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=bigdata-fy1 GATEWAY=192.168.239.2 vim /etc/hosts 192.168.239.131 bigdata-fy1 192...

2019-12-09 21:55:34

阅读数 7

评论数 0

原创 CentOS6.4下配置网络为NET模式

修改对应网卡的IP地址的配置文件 cd /etc/sysconfig/network-scripts vim ifcfg-eth0 DEVICE=eth0 BOOTPROTO=static BROADCAST=192.168.239.255 IPADDR=192.168.239.1...

2019-12-08 16:47:44

阅读数 8

评论数 0

原创 minos、pingo、palo数据库使用总结

show partitions ods.hr.hcm_init.hcm_t_hrp1000_init alter table ods.hr.hcm_init.hcm_t_hrp1000_init drop partition(date=20191030)

2019-12-06 15:07:13

阅读数 22

评论数 0

原创 Pingo数据库数据导入palo数据库

首先在palo数据库中建立表格 CREATE TABLE `sfc_2050_mea_f_t_zongbiao_total_analysisdata` ( `zp_carrier_code_1` varchar(200) COMMENT "", `test_id` bi...

2019-12-05 11:39:04

阅读数 14

评论数 0

原创 Pingo数据库操作

数据导入Pingo数据库 alter table dw.acoustics.2050_mea_f_t_zongbiao_analysisdata add if not exists partition(date='20191130' ,hour='00')...

2019-12-05 11:34:08

阅读数 5

评论数 0

原创 mysql语法——基于palo数据库

Doris 前身是 Palo ,Palo 是百度自研的基于 MPP 的交互式 SQL 数据仓库,主要目标是支撑稳定的、在线的、交互式的数据报表(Reporting)和数据多维分析(OLAP)服务。它主要集成了 Google Mesa 和 Cloudera Impala 技术。 ...

2019-11-19 12:22:00

阅读数 49

评论数 0

原创 python库下载网站

python各种库的下载网站

2019-11-13 18:20:44

阅读数 33

评论数 0

原创 python3获取Elasticsearch数据库数据

python3获取Elasticsearch数据库数据 采用scoll滚动搜索,scoll搜索会在第一次搜索的时候保存一个当时的视图快照,之后只会基于该旧的视图快照提供数据搜索,这个期间数据变更,用户是看不到的,每次发送scoll请求,需要指定一个scoll参数,指定一个时间窗口,每次搜索请求只...

2019-11-13 16:36:15

阅读数 26

评论数 0

原创 CentOS7.4安装

1.打开VMware Workstation 2.创建新的虚拟机 3.典型配置 4.选择安装程序光盘印象文件 5. 命名虚拟机名称 6.指定虚拟机磁盘大小 7.点击自定义硬件 8.网络适配器选择桥接模式 网络设置:桥接/NAT模式都可以上外网 桥接:虚...

2019-10-28 23:28:23

阅读数 14

评论数 0

原创 sqlserver语法

创建表 create TABLE yftest ( name NVARCHAR(30), age int, subject NVARCHAR(30), score int ) 添加数据 insert into yftest (name,age,subject,score) values (�...

2019-10-28 17:29:58

阅读数 49

评论数 0

原创 CentOS6配置ssh免密登录

CentOS6配置ssh免密登录 三台服务器主机名与IP地址映射: 192.168.0.101 bigdata-fy1 192.168.0.102 bigdata-fy2 192.168.0.103 bigdata-fy3 节点bigdata-fy1 cd ~ ls -a ...

2019-10-21 22:30:58

阅读数 13

评论数 0

原创 大数据平台——CentOS6下安装hadoop2.5.0

CentOS6下安装hadoop2.5.0(HA) hadoop下载地址:http://archive.apache.org/dist/hadoop/ 1.基本配置 设置三台CentOS6服务器主机名分别为bigdata-fy1、bigdat-fy2、bigdata-fy3 #编辑配置文件...

2019-10-21 01:39:44

阅读数 33

评论数 0

原创 CentOS防火墙命令和window下远程查看linux服务器端口是否打开

CentOS6和CentOS7防火墙命令 CentOS6防火墙基本命令 查看防火墙状态 service iptables status iptables: Firewall is not running. 启动防火墙 service iptables start iptables: Applyi...

2019-10-20 20:25:16

阅读数 61

评论数 0

原创 CentOS7安装MariaDb

CentOS7安装MariaDb 安装Mariadb服务 yum install -y mariadb mariadb-server 安装遇到版本冲突错误 file /etc/my.cnf conflicts between attempted installs of mysql-communi...

2019-10-19 11:26:27

阅读数 30

评论数 0

原创 CentOS7安装kafka-manager

CentOS7安装kafka-manager kafka-manager基于web的kafka集群管理工具。 1.管理多个kafka集群 2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况) 3.可以选择topic配置并创建topic 4.删除topic 5...

2019-10-16 19:00:22

阅读数 95

评论数 0

原创 CentOS7下安装Kafka集群

CentOS7下安装Kafka集群 Kafka下载地址:http://kafka.apache.org/downloads 三台CentOS7服务器主机名与IP映射如下所示: cat /etc/hosts 10.177.33.45 kafka1 10.177.33.46 kafka2 ...

2019-10-16 16:51:27

阅读数 31

评论数 0

原创 CentOS7搭建Zookeeper集群

CentOS7搭建Zookeeper-3.4.14集群 zookeeper-3.4.14.tar.gz下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/ 1.三台CentOS7服务器主机与ip地址映射: cat /etc/hosts 10.1...

2019-10-16 10:15:31

阅读数 31

评论数 0

原创 python操作Elasticsearch数据库

from elasticsearch import Elasticsearch #连接数据库 es = Elasticsearch([{'host':"localhost",'port':9200}]) #创建索引 es.indi...

2019-10-15 18:00:10

阅读数 25

评论数 0

原创 CentOS7下启动logstash报错

Could not fetch all the sources {:exception=>LogStash::ConfigLoadingError, :message=>"The following config files contains non-ascii charac...

2019-10-14 17:06:56

阅读数 185

评论数 0

原创 CentOS7下搭建多节点Elasticsearch集群

CentOS7下搭建多节点Elasticsearch集群 三个CentOS服务器主机与IP地址映射为: kafka1 10.177.33.45 kafka2 10.177.33.46 kafka3 10.177.33.47 ELK系统:Elasticserach和filebeat分别部署在三台服务...

2019-10-14 15:06:12

阅读数 70

评论数 0

原创 Windows下搭建单机多节点es集群

# ======================== Elasticsearch Configuration ========================= # # NOTE: Elasticsearch comes with reasonable defaults for most sett...

2019-10-14 15:04:34

阅读数 11

评论数 0

原创 es集群

future versions of Elasticsearch will require Java 11; your Java version from [/opt/jdk1.8.0_221/jre] does not meet this requirement systemctl enabl...

2019-10-14 13:38:06

阅读数 9

评论数 0

原创 CentOS7和Windows下安装Kibana-7.3.2

CentOS7和Windows下安装Kibana-7.3.2 Kibana Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据,使用各种不同的图表、表格、地图等kiban...

2019-10-11 17:54:32

阅读数 370

评论数 0

原创 CentOS7下安装Logstash-7.3.2

CentOS7下安装Logstash-7.3.2 Logstash原理和语法知识可参考如下博客: windows下安装Logstash-7.3.2 https://blog.csdn.net/zhengzaifeidelushang/article/details/101178727 Lo...

2019-10-11 16:19:54

阅读数 145

评论数 0

原创 CentOS7下安装Elasticsearch-7.3.2和Elasticsearch-head

Elasticsearch可以接收用户输入的脚本并且执行,root下执行Elasticsearch会报错,为了系统安全考虑,创建一个单独的用户来运行Elasticsearch Caused by: java.lang.RuntimeException: can not run elasticse...

2019-10-10 17:56:04

阅读数 249

评论数 0

原创 CentOS7下安装filebeat-7.3

下载filebeat-7.3.2-linux-x86_64.tar.gz tar -zxvf filebeat-7.3.2-linux-x86_64.tar.gz mv filebeat-7.3.2-linux-x86_64 filebeat #filebeat配置文件 filebea...

2019-10-10 14:15:49

阅读数 18

评论数 0

原创 redhat7配置本地yum源和阿里源

linux中,软件包封装类型: 1.rpm 拓展名为.rpm 2.debo软件包 拓展名为.deb 3.源代码软件包 一般为.tar.gz或者.tar.bz2格式的压缩包,包含程序源代码 4.提供安...

2019-10-09 23:32:29

阅读数 22

评论数 0

原创 linux知识点

查看Linux内核版本命令 cat /proc/version uname -a 查看Linux系统版本的命令 cat /etc/redhat-release #这是centos7.2 CentOS Linux release 7.2.1511 (Core) cat /etc/iss...

2019-10-09 10:09:39

阅读数 33

评论数 0

原创 大数据平台一Centos6和Centos7配置主机名与ip地址映射

添加用户 设置主机名 主机与ip地址映射 root用户与fy2之间切换免输入密码 root用户下永久关闭防火墙 删除Centos 6.4自带的jdk环境 创建目录 更改用户属组 ...

2019-10-08 23:09:26

阅读数 19

评论数 0

原创 Shell编程

脚本语言script language

2019-10-07 00:45:43

阅读数 45

评论数 0

原创 PXE+kickstart实现无人值守安装

PXE+kickstart实现无人值守安装 高效的统一部署方式 通过网络方式进行安装 结合自动应答文件实现无人部署操作 需要提前配置一台安装服务器 DHCP/TFTP/HTTP(FTP/NFS) 安装部署流程 客户端需要先在BISO中设置网络引导 客户端启动后通过广播寻找DHCP服...

2019-10-05 16:07:58

阅读数 10

评论数 0

原创 SSH

SSH服务搭建 ssh是一种用于安全访问远程服务的网络协议,将客户端与服务端之间的消息通过加密保护起来,具有一定安全作用。 ssh应用广泛,区别在于telnet,ftp安全性考虑,加密 对称加密和非对称加密: 对称加密:在对称加密中,客户端和服务端使用同一个密钥对数据进行加密和解密 优点...

2019-10-05 12:00:16

阅读数 69

评论数 0

原创 telnet简介

telnet简介 隶属于TCP/IP协议族 提供远程登陆服务 不安全 确定远程服务器的状态 远程管理 LAN WAN 远程管理应用 远程办公 远程技术支持 远程教学 远程维护与管理 telnet工作原理 telnet协议可以工作在任何操作系统任何终端之间。 定义了一种通用字符终端,NVT(Netw...

2019-10-05 10:59:46

阅读数 14

评论数 0

提示
确定要删除当前文章?
取消 删除