Spark相关项目实战
ZFH__ZJ
JAVA大数据菜鸟一枚,QQ群:970045528,欢迎加入交流学习
展开
-
01、CentOS7集群环境搭建
虚拟网卡设置 使用VMWare软件,点击编辑,虚拟网络编辑器,将其中一个网卡设置为虚拟网络,具体见图片虚拟网卡设置1和图片虚拟网卡设置2 虚拟网卡设置1 点击图片1的NAT设置按钮,设置图片2的内容 虚拟网卡设置2 准备ISO文件存放目录和虚拟机文件存放目录 虚拟机使用的ISO文件,和虚拟机生成的文件单独放到各自对应的目录,如下图 文件存放目录1....原创 2019-01-07 13:38:00 · 1302 阅读 · 0 评论 -
02、实战相关软件的安装
说明,软件统一放在/opt/moduble目录下 是使用root用户安装的 解压缩,重命名命令给 修改环境变量,修改的是vi /root/.bashrc 是配置文件生效,使用 source /root/.bashrc 复制文件,使用xsync命令 JDK安装 hadoop-2.6.0-cdh5.10.0安装 解压缩,重命名为hadoop 配置环境变量,添加一下内容并使环境变量生效 exp...原创 2019-01-09 10:35:00 · 1220 阅读 · 0 评论 -
03、模拟日志的产生
首先,必须得有一份日志文件,日志文件可以是web项目,每天产生的日志,但是,这里使用java程序模拟产生日志,为了测试,每分钟产生日志 pom文件 <packaging>jar</packaging> <dependencies> <dependency> <groupId>jun...原创 2019-01-15 14:49:00 · 1532 阅读 · 0 评论 -
04、模拟项目需要的日志
产生日志的代码 public class PrintVisitActionLog { private static final Logger log = LoggerFactory.getLogger("liveness"); private static final SimpleDateFormat DATE_FORMAT = new SimpleDa...原创 2019-02-15 16:56:07 · 1416 阅读 · 0 评论 -
05、使用flume采集日志
编写flume配置 使用TAILDIR source #表示将r1和c1连接起来 # Name the components on this agent #表示agent的名称 #r1表示a1的输入源 a1.sources = r1 #k1表示a1的输出目的地 a1.sinks = k1 #c1表示a1的缓冲区 a1.channels = c1 # Describe/configure the...原创 2019-02-20 15:24:48 · 1490 阅读 · 0 评论