与优秀的人在一起，会使自己变得更优秀

最近在开发分布式调度系统，采用的Netty+protobuf实现master和work之间通信的，与此同时也看了下Netty的源码，现在系统也开发完了但是总觉得有点不够，不够在哪里？就是产出还不够，所以才有了这篇文章，根据自己的理解画了Netty的架构并对服务端启动和读写数据流程做了解析一、架构二、流程解析...

使用hive储存数据时，需要对做分区，如果从kafka接收数据，将每天的数据保存一个分区（按天分区），保存分区时需要根据某个字段做动态分区，而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区，这是静态分区。 Hive动态分区步骤如下：1、建立某一个源表模拟数据源并插入一些数据create table t_test_p_source ( id string, ...

2018年阅读书籍清单 2018年阅读书籍清单深入分布式缓存Scala编程Kafka技术内幕HIVE编程指南快学ScalaHbase实战Hbase权威指南 《未完》 posted @ 2018-11-09 15:02 健身男儿挑灯夜读 阅读(...) 评论(...) ...

转载：http://lxw1234.com/archives/2015/04/101.htm 环境配置：hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node)hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/node)hive-0.10.0-cdh4.3.0 一、查询性能比较：query1:se...

Hive只支持insert和delete操作，并不支持update操作，所以无法实施更新hive里的数据，而HBASE正好弥补了这一点，所以在某些场景下需要将hive和hbase整合起来一起使用。 整合步骤：1、编辑hive-site.xml配置文件， 添加hive.zookeeper.quorum， hbase.zookeeper.quorum属性  2、编辑hive-en...

1. 打开在你的项目文件夹，输入下面的命令git init 输完上面的命令，文件夹中会出现一个.git文件夹，如下图所示，其他的的文件也会出现蓝色小问号的标志  2. 添加所有文件git add .注意最后的点是有用的哦 输入完成后，文件夹如下所示 3. 提交所有文件git commit -m "这里是备注信息" -a 完成后，文件夹显示如下都...

1、报错：: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition.　报错原因：producer在向kafka broker...

今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。ODS——操作性数据DW——数据仓库DM——数据集市1.数据中心整体架构  数据中心整体架构数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用...

为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于error log的位置，如果安装的是RPM包，则默认是/var/log/mysqld.log。一般可通过log_error设置mysql> select @@log_error;+---------------------+| @@log_error |+-...


 记得14年开始做用户画像的时候，对于用户画像完全没有概念，以为是要画一幅幅图画，经过两年多的学习和理解，渐渐的总结出了一些方法和技巧，在这里就通过4个W英文字母开头和1个H英文字母开头的单词和大家分享一下我关于用户画像的理解。 本文框架一、什么是用户画像（What）       用户画像最早是由交互设计之父Alan Cooper提出perso...

2018年阅读书籍清单_** 深入分布式缓存** _** Scala编程** _**Kafka技术内幕：图文详解Kafka源码设计与实现** _**HIVE编程指南**<<未完>>

【博客搬家】博客搬家至CSDN， 地址：https://blog.csdn.net/zhu592665411

一、Canal介绍　　Canal的原理就是它自己伪装成slave， 向mysql发送dump协议，MySQL master接收到dump请求之后推送binlog文件给slave， 也就是canal。　　 二、Canal安装　　1. 下载Canal 　　　wget https://github.com/alibaba/canal/releases/download/canal-1...

1、 [destination = test_cancal , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.s.a.i.setl.zookeeper.termin.WarningTerminProcess - nid:1[1:canal:test_cancal:java.lang.NullPointerExceptionat c...

Git是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理。而国外的GitHub和国内的Coding都是项目的托管平台。但是在使用Git工具的时候，第一步要学会如何安装git，本教程就手把手教大家如何手动编译安装git。1、介绍　　使用Coding管理项目，上面要求使用的git版本为1.8.0以上，而很多yum源上自动安装的git版本为1.7，所以需要...

一、下载Zookeeper　　wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.0/zookeeper-3.4.5.tar.gz 二、配置　　1、配置zoo.cfgcp zoo_template.cfg zoo.cfgvim zoo.cfg　　  　　2、配置myid　　　在zoo.cfg中...

1、增加调试信息寻找问题2、两种方式解决unable to load native-hadoop library for you platform附：libc/glibc/glib简介 参考：1、http://my.oschina.net/swuly302/blog/515853【66号公路： Hadoop Unable to load­ ­n­­ati­v­e­-­h­a­­...

一、设置JVM支持远程Debug调式　　由于我的应用是springboot， 所以直接使用java -jar的方法将服务启动起来。java -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8006 -jar dmeo.jar --spring.profiles.active=product　　注意...

一、本机环境　　Mac、VMware Fusion 10， CentOS6.8 二、设置静态IP地址　　1、选择网络连接模式，选择NAT模式　　注意：　　1）必须要选择NAT模式，否则你的虚拟机与主机始终会在同一个网段，主机IP变了之后，虚拟机IP也会自动变化，达不到静态IP的目的　　2）在虚拟机关闭状态下，点击“生成“按钮重新一个新的MAC地址 　　2、修改ifcf...

 一、介绍　　binlog， 即二进制文件，他记录了MySQL所有数据的变更，并以二进制的形式存储在磁盘上 二、binlog模式　　binlog有三种模式：ROW（行模式）,   Statement（语句模式）,   Mixed（混合模式）　　ROW（行模式）：记录那条数据修改了，注意：记录的是这条记录的全部数据，即使只更新了一个字段，binlog里也会记录所有字段的数据 ...