- 博客(16)
- 收藏
- 关注
RSS订阅原创 Kafka本地单机部署
Kafka必须依赖ZooKeeper，所以应该确保ZooKeeper已成功运行。Kafka内置了ZooKeeper，故如果未安装ZooKeeper可以使用其内置ZooKeeper。但我们一般使用外部zookeeper服务。1.下载Kafka（本人是kafka_2.11-2.0.0.tgz版本）添加链接描述2.将下好的kafka包拉进software目录下3.解压并进入tar -zvxf kafka_2.11-2.0.0.tgz -C /opt 解压到opt目录cd /opt .
2020-08-20 19:05:51
313
1
原创 flume监听44444例子模拟
查看flume官方文档，了解各种参数的用法及设置添加链接描述flume的netcat source会自动创建一个socket Server，只需将数据发送到此socket，flume的netcat source 就能获取数据。举个列子说明接着之前的操作：添加链接描述1.在job目录下创建netcat-flume-logger.conf文件并进入：vi netcat-flume-logger.conf2.编辑一下内容a1.sources = r1a1.sinks = k1a1.ch.
2020-08-20 16:59:42
639
原创 Flume安装配置
一、flume官网下载添加链接描述（1）将下载好的flume包，拉到虚拟机software中（2）解压到/opt目录中，并修改目录名tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /opt/cd /opt/mv flume-ng-1.6.0-cdh5.14.0 / flume(3)命令：cd /opt/flume/conf/,进入该目录，复制并修改名字：cp flume-env.sh.template flume-env.sh（4）vi ./fl
2020-08-20 16:10:30
243
原创 Linux中安装配置Scala和Spark
一、Linux下安装Scala1.Linux下安装Scala和Windows下安装类似，步骤如下：首先访问下载链接：http://www.scala-lang.org/download/默认这里下载的是Windows版本，这时点击上面的All downloads进入所有的版本下载页面： 2.然后选择最新版本，Scala 2.11.8进入3.进入后拉到页面下方，选择Mac OSX，Unix版本的二进制包下载即可4.下载之后上传到moba中，准备安装（在这之前安装配置好jdk、Hadoop）5
2020-08-04 19:57:20
729
原创 Scala安装配置初级
Scala入门一、Scala简介（1）Scala源自Java（2）Scala构建在JVM之上（3）Scala与Java兼容、互通二、Scala的优势（1）多范式编程：面向对象编程、函数式编程（2）表达能力强，代码精简（3）大数据与Scala（4）Spark采用Scala语言设计（5）提供的API更加优雅（6）基于JVM的语言更融入Hadoop生态圈三、Scala下载安装（1）提前下载好安装好，网址：添加链接描述 注：可以提前下好scala-intellij-bin-2018.
2020-07-23 21:45:58
119
原创 Hive函数
摘要Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。函数大全数学函数集合函数类型转换函数日期函数条件函数字符函数聚合函数表生成函数数学函数1.模拟如下：2.如下：注：rand（）括号里写数字，值不改变，不写，则取任意0-1之间小数3.如下：集合函数类型转换函数日期函数条件函数字符函数聚合函数表生成函数...
2020-07-21 22:56:08
88
原创 Zookeeper在集群下的安装配置
文章目录一、Zookeeper简介二、Zookeeper数据结构三、Zookeeper角色和选举机制角色选举机制四、Zookeeper客户端命令五、 ZooKeeper下载安装和配置一、Zookeeper简介Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目Zookeeper=文件系统+通知机制1.Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册。2.一旦数据的状态发生变化，Zoo
2020-07-11 21:45:21
171
原创 大数据概况及Hadoop生态系统
一、初识大数据了解大数据是什么。了解大数据的特性。了解大数据带给企业哪些方面的挑战。1.大数据的基本概念大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2.大数据的特性（1）4V特征：a. Volume(大数据量)：90% 的数据是过去两年产生b.Velocity(速度快)：数据增长速度快，时效性高c.Variety(多样化)：数据种类和来源多
2020-06-30 18:26:09
315
原创 VMware安装CentOS 7系统
文章目录一、安装VMware软件二、相关系统的配置三、启动虚拟机四、配置静态地址一、点开网页进行安装下载1、VMware Workstation点击2、安装后，打开页面如下：二、相关系统配置1、点击创建新的虚拟机，选择第一个金典推荐，执行下一步2、选择你的映像文件目录，选择稍后安装系统操作，下一步：3、操作系统选择Linux，版本选择CentOS 7 64位，下一步：4、选择一个虚拟机名称，选择你要存放位置（建议可以存放到其他的盘，不建议放C盘），下一步：5、最大磁盘大
2020-06-28 14:26:42
362
原创 Hadoop集群在虚拟机下的安装配置
一.安装centos7.01.1配置VirtualBox1.2centos环境配置a.vi /etc/sysconfig/network-scripts/ifcfg-enp0s3配置b.关闭防火墙systemctl stop firewalldc.禁用防火墙，下次开机启动后防火墙服务不再启动systemctl disable firewalld1.3执行操作a.连接上mobab.新建software目录：mkdir softwarec.把下载好的tomat和jdk包拖进去 输
2020-06-27 23:18:16
774
原创 Linux Shell 编程介绍
一、Shell Scripts 介绍1.概念：（1）Shell脚本是包含一系列命令的文本文件（2）Shell读取此文件并执行命令2.应用场景：（1） 重复性操作（2）批量事务处理（3）自动化运维（4）定时任务执行二、Shell 脚本1.（1）编写第一个Shell脚本test.sh，在/目录下新建一个目录：mkdir gao/ ，ll 查看（gao目录下最好为空，方便后面的操作）（2）在gao目录下：vi test.sh/ 进去编写内容注：#！是一个约定的标记，它告诉系统这个脚
2020-06-22 20:13:16
531
原创 ELK集群的搭建(虚拟机)
一、复制虚拟机1.打开linux虚拟机，把之前做的名称为elk002（网址：https://blog.csdn.net/zxwwxzzxwwxz/article/details/106837043）2.项目在未启动的状态下复制两次，分别命名为elk005、elk006（复制后的名称随意，自己记住就行）3.将elk002、elk005、elk006都启动二、修改主机名和主机列表（以下操作三个都要操作）1．网络地址输入：vi /etc/sysconfig/network-scripts/ifcfg-
2020-06-21 22:03:43
686
原创 在Linux系统中安装配置ELK
Linux环境安装：1.安装Oracle VM VirtualBox，准备好linux光盘镜像链接：https://pan.baidu.com/s/107Owi03j_ss5RceevT3Kmg提取码：1zqe2.点击新建3.设置名称-不建议使用中文名称，内存分配给一半（4096就行）左右，注：类型为Linux，版本必须选择64位 Red Hat文件存储位置尽量别放在c盘4.文件夹位置选择固态，大小分配30G左右，会自动扩容。进入设置1.常规–高级–备份位置（虚拟机同级目录下）
2020-06-18 23:14:25
600
原创 Linux系统安装和mysql、Jdk安装
一.安装Linux系统1.下载并安装Oracle VM VitualBox官网：http://www.virtualbox.org/2.点击新建3.设置名称内存分配4G以上,系统选择64位4.文件夹位置选择固态,分配30G以上5.进入设置常规 在高级里将共享粘贴板和拖放更改为双向系统 主板启动顺序设置为光驱硬盘和网络,不要软驱存储 分配光驱加载linux镜像网络 启用网络1和网络2 网络1选择仅主机网络 网卡2选择网络地址转换(NAT)6.启动Linux选择第一项直接安装a.
2020-06-17 20:17:53
455
原创 Linux 常用命令
Linux （系统：Centos7）一、目录操作：1、结构：/ 系统根目录、~当前用户家目录、其他普通目录2、切换目录：cd 目录-- 绝对路径、相对路径 cd 目录和cd /目录的区别： （cd 目录：切换当前目录至其他目录 cd /目录:加上斜杠表示是进入到根目录） 直接cd回到家目录，无论在哪3、清屏：claer或者ctrl+L查看当前绝对路径：pwd返回上一级:cd . ./ 或者cd . . 区别： cd ../返回上一级目录 cd ..返回到根目录4
2020-06-16 22:58:38
486
原创 JAVA基础语法
***JAVA基础语法***jdk安装: Oracle官网下载直接安装环境配置: 电脑–>属性–>高级系统设置–>环境变量–>系统变量添加 1变量名:JAVA_HOME变量值:jdk安装路径2变量名:CLASSPATH 变量 值:.;%JAVA...
2020-06-15 22:18:03
228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人