2019年01月_jast_zsh

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Hive 外部表关联分区数据

0. 说明已经安装好Hadoop和hive环境，hive把元数据存储在mysql数据库。这里仅讨论外部表和HDFS的关联，并且删掉外部表之后，对HDFS上的文件没有影响。1. 在HDFS创建分区，并存有文件手工创建或者由程序在HDFS上生成了分区目录，每个分区目录下有相应的文件。本例中根据day分了两个分区，如下所示：/test/in/day=20/20.txt/test/...

2019-01-29 11:01:36 2117

转载 Hive 行转列，列传行 - Impala 暂不支持

注：Impala 不支持 lateral view explode 一、行转列 (对某列拆分，一列拆多行)使用函数：lateral view explode(split(column, ',')) numeg: 如表：t_row_to_column_tmp 数据如下，对tag列进行拆分SQL代码：select id,tag,tag_new from t_row_to_...

2019-01-29 09:40:57 6145 1

原创 Hive 禁止提交大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)

　参考书籍：Hive编程指南　如果用户需要做一个查询，查询条件是全盘扫描。Hive会不得不读取每个文件目录，但这种宽范围的磁盘扫描还是比较少见的。　　但是，如果表中的数据以及分区个数都非常大的话，执行这样一个包含有所有分区的查询可能会触发一个巨大的MapReduce任务。一个高度建议的安全措施就是将Hive设置为“strict(严格)”模式，这样如果对分区表进行查询而WHERE子句没有加...

2019-01-21 15:19:45 891

转载浏览器多代理配置 - SwitchyOmega

转自https://www.switchyomega.com/settings/下载链接：https://proxy-switchyomega.com/download/情景模式代理服务器代理服务器可以支持 HTTP、HTTPS、SOCKS4、SOCKS5 代理协议。SOCKS 代理协议不支持验证。下图以配置 Shadowsocks 的 SOCKS5 代理协议为例。情...

2019-01-17 15:17:11 5075

原创 Storm消费Kafka异常 - topic其中两个分区达到某个值不进行消费，持续阻塞

Kafka消费storm，突然有两个分区无法消费数据(或重复消费无法提交offset)offset是我们自己进行管理，kafka日志也是正常没有报错，storm日志也是没有报错~ 就是卡住了1.尝试将partition为0,1的offset记录删除，重新跑一遍，结果还是到那个offset处卡住2.再次尝试手动修改offset跳过卡住的那一条数据(这种做法会丢失一条数据,在数据不允许...

2019-01-15 16:01:18 2558

原创 Hbase 表名修改

禁用表：disable 'ods_temp:artcile_tableName'快照生成：snapshot 'ods_temp:artcile_tableName', 'artcile_tableName_Snapshot'克隆快照为新的名字：clone_snapshot 'artcile_tableName_Snapshot', 'ods_temp:article_tableName...

2019-01-11 15:02:12 1004

转载 Springboot 集成 Swagger

1、问题描述　　随着互联网技术的发展，现在的网站架构基本都由原来的后端渲染，变成了：前端渲染、先后端分离的形态，而且前端技术和后端技术在各自的道路上越走越远。前端和后端的唯一联系，变成了API接口；API文档变成了前后端开发人员联系的纽带，变得越来越重要，swagger就是一款让你更好的书写API文档的框架，而且swagger可以完全模拟http请求，入参出参和实际情况差别几乎为零。　　...

2019-01-11 14:57:11 453

转载 HBase 2.0 之修复工具 HBCK2 运维指南

HBase 2.0 之修复工具 HBCK2 运维指南转载自：https://mp.weixin.qq.com/s/GVMWwB1WsKcdvZGfvX1lcA?spm=a2c4e.11153940.blogcont683107.11.49d762a815MegW概述目前社区已经发布了 HBase 的 2.0 版本，很多公司都希望去尝试新版本上的新功能，但是不得不面对...

2019-01-07 14:58:27 16787

原创 HUE集成Hbase

目录一、Hbase开启代理用户相关配置二、代理用户授权认证三、检查HUE在hue.ini文件中指定的HBASE的本地配置目录一、Hbase开启代理用户相关配置Cloudera Manager修改Hbase配置或Hbase配置文件-hbase-site.xml<property> <name>hbase.thrift.support.pr...

2019-01-04 14:50:23 14133