2019年12月_GE12

12月 08月 06月

原创 Kafka Client配置JAAS的几种方式

第一种Properties props = new Properties();props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, “ubuntu:9092”);props.put(“acks”, “all”);props.put(“retries”, 0);props.put(“batch.size”, 16384);props.p...

2019-12-30 10:15:36 2695

原创 Docker常用命令

docker versiondocker imagesdocker ps -adocker rm xxxdocker rmi xxxdocker stop xxxdocker kill xxxdocker run -it --restart=alwayssystemctl enable dockersystemctl status dockerservice docker s...

2019-12-28 18:39:24 662

当我们从MongoDB中删除文档或集合时，MongoDB并不会将已经占用了的磁盘空间释放，它会一直维护已经占用了磁盘空间的数据文件，尽管数据文件中可能存在大大小小的空记录列表（empty record list）。当客户端程序再次插入文档时，MongoDB会从空记录列表中分配存储空间给新文档。那么为了更加有效的使用磁盘空间，我们需要对mongodb的数据文件做碎片整理以及未使用空间的回收。思想无非...

2019-12-27 10:43:41 1349

原创优秀的开源Java爬虫项目

1、Geccogithub地址：xtuhcy/geccoGecco是一款用java语言开发的轻量化的易用的网络爬虫。整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等框架，只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、对扩展开放。2、Web...

2019-12-27 10:42:58 422

原创零和博弈与囚徒困境

零和博弈（Zero-sum game），也叫零和游戏。它的原理如下：两人对弈，总会有一个赢，一个输，如果我们把获胜计算为得1分，而输棋为-1分。则若A获胜次数为N，B的失败次数必然也为N。若A失败的次数为M，则B获胜的次数必然为M。这样，A的总分为（N-M），B的总分为（M-N），显然（N-M）+（M-N）=0，这就是零和游戏的数学表达式。简单的说，在零和博弈中，总有一方是绝对赢家，另...

2019-12-27 10:42:05 5988

原创分布式RPC框架性能大比拼

Dubbo是阿里巴巴公司开源的一个Java高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。不过，略有遗憾的是，据说在淘宝内部，dubbo由于跟淘宝另一个类似的框架HSF（非开源）有竞争关系，导致dubbo团队已经解散（参见http://www.oschina.net/news/55059/druid-1-0-9中的评论），反到是...

2019-12-27 10:40:43 360

原创 Maven deploy部署jar到远程私服仓库

一、配置私服账号密码修改maven配置文件，在$MAVEN_HOME/conf/setting.xml中增加如下配置：注意，这里配置的id为releases何snapshots，当然可以改为其他，先记得这里有过id的配置，后面有用二、配置远程发布到私服修改项目pom文件，，增加如下配置：注意，这里的id就是之前配置的id三、执行部署操作方式一，直接使用mvn d...

2019-12-27 10:38:41 1055

原创 MQTT协议及原理

MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的“轻量级”通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。做为一种低开销、低带宽占用的即时通讯协议，使其在物联网、小型设...

2019-12-27 10:37:38 548

原创 MySQL表导入到HDFS

导入loudacre数据库中的account表到HDFSsqoop import \--connect jdbc:mysql://localhost/loudacre \--username training --password training \--table accounts \--target-dir /loudacre/accounts \--null-non-stri...

2019-12-27 10:36:47 1024

原创 hue中oozie从mysql导入hive报错 Could not load db driver class: com.mysql.jdbc.Driver

问题一CDH6中，在oozie中执行sqoop命令时，可能需要手动添加一些jdbc包。将jar包放置到hdfs中lib目录 /user/oozie/share/lib/lib_${timestamp}/sqoop 然后重启oozie问题二解决方法：1、将mysql的驱动包拷贝到$SQOOP_HOME/lib下2、检查sqoop的环境变量是否配...

2019-12-27 10:35:50 399

原创 Jenkins中无法启动子进程的解决办法

启动时添加禁用参数除以上两种方式以外，上面的Wiki页面中还提到了第三种解决办法，个人觉得这种方案最靠谱最彻底，不需要再去配置每个Job了：you can disable this feature by setting a Java property named “hudson.util.ProcessTree.disable” to the value “true”. This can...

2019-12-27 10:33:37 423

原创 Git 全局设置

Git 全局设置git config --global user.name "aa"git config --global user.email "aa@qq.com"创建新版本库git clone git@code.aliyun.com:geyang/test.gitcd testtouch README.mdgit add README.mdgit commit -m “...

2019-12-27 10:31:45 767