我也要用- 博客(202)
- 资源 (1)
- 论坛 (1)
- 收藏
- 关注
RSS订阅转载 Hbase Shell Filter 过滤
Get 和 Scan 操作都可以使用过滤器来设置输出的范围，类似于 SQL 里面的 Where 查询条件。使用 show_filters 命令可以查看当前 HBase 支持的 过滤器类型。show_filters使用过滤器的语法格式：scan '表名',{Filter => ”过滤器(比较运算符,’比较器’)”}解释：Filter=>指明过滤的方法,整体可用大括号引用,也可以不用大括号。过滤的方法使用双引号引用,而比较方式用小括号引用。行键过滤器:1.Row.
2020-09-21 13:48:33
258
原创 Docker 使用Dockerfile构建自己的docker服务（三）
先介绍一下DockerFile文件的一些指令说明1.FROM <image> 例子：FROM centos FROM指定构建镜像的基础源镜像，如果本地没有指定的镜像，则会自动从Docker的公共库pull镜像下来。 FROM必须是Dockerfile中非注释行的第一个指令，即一个Dockerfile从FROM语句开始 FROM可以在一个DOCKERfile中出现多次，如果有需求在一个Dockerfile中创建多个镜像2.MAINTAINER <name>
2020-08-22 10:12:09
129
原创 Docker 入门使用 （二）
配置国内的源> /etc/docker/daemon.json{ "registry-mirrors" : [ "https://mirror.ccs.tencentyun.com", "http://registry.docker-cn.com", "http://docker.mirrors.ustc.edu.cn", "http://hub-mirror.c.163.com" ], "insecure-registries" : [ "regist
2020-08-22 10:11:52
83
原创 Docker 服务器安装（一）
使用官方安装脚本自动安装安装命令如下：curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun也可以使用国内 daocloud 一键安装命令：curl -sSL https://get.daocloud.io/docker | sh设置docker 加速器sudo curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http:
2020-08-22 10:11:39
289
原创 Linux 系统进程守护工具 cesi + superviosr
一、安装 Supervisorpip install supervisor使用 echo_supervisord_conf 命令生成默认配置文件echo_supervisord_conf > /etc/supervisord.conf配置文件说明位置：etc/supervisord.conf内容：# 指定了socket file的位置[unix_http_server]file=/tmp/supervisor.sock ;UNIX socket 文件，supe
2020-08-20 18:55:38
119
原创 Hbase 协处理器之将数据保存到es （二级索引）
利用Hbase Coprocessor 实现将插入hbase中的数据保存至ElasticSearch中，实现二级索引目的版本：Hbase： 2.1ES：6.3.0一、Coprocessor代码开发协处理器类package wiki.hadoop.coprocessor;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hba
2020-08-13 09:09:05
326
4
原创 Hbase 协处理器 RegionObserver
参考链接1：https://www.cnblogs.com/ios123/p/6370724.html参考链接2：http://www.zhyea.com/2017/04/13/using-hbase-coprocessor.htmlRegionObserver注：每次更新协处理器方法，最好加上版本更新，否则可能会出现更新失败协处理器安装-表级别安装disable 'wecha...
2020-08-12 16:18:06
174
转载 时序数据库技术体系 – InfluxDB 多维查询之倒排索引
在时序数据库概述一文中，笔者提到时序数据库的基础技术栈主要包括高吞吐写入实现、数据分级存储｜TTL、数据高压缩率、多维度查询能力以及高效聚合能力等，上文《时序数据库技术体系 –InfluxDB存储引擎TSM》基于InfluxDB存储引擎TSM介绍了时序数据库的高性能写入能力以及基于列式存储的数据高压缩率实现。接下来两篇文章分别基于InfluxDB系统的倒排索引实现以及Druid系统的Bitmap索引实现介绍时序数据库的多维度查询实现原理。InfluxDB系统TSM存储引擎个人认为有两个最核心的工作模块.
2020-07-30 13:42:35
147
转载 时序数据库技术体系 – InfluxDB TSM存储引擎之数据写入
之前两篇文章笔者分别从TSMFile文件存储格式、倒排索引文件存储格式这两个方面对InfluxDB最基础、最底层也最核心的存储模块进行了介绍，接下来笔者会再用两篇文章在存储文件的基础上分别介绍InfluxDB是如何处理用户的写入（删除）请求和读取请求的。在阅读这两篇文章之前，强烈建议看官先行阅读之前的多篇文章，不然可能会有一定的阅读障碍。InfluxDB写入总体框架InfluxDB提供了多种接口协议供外部应用写入，比如可以使用collected采集数据上传，可以使用opentsdb作为输入，也可以.
2020-07-30 13:39:58
298
转载 时序数据库技术体系 – InfluxDB TSM存储引擎之数据读取
任何一个数据库系统内核关注的重点无非：数据在内存中如何存储、在文件中如何存储、索引结构如何存储、数据写入流程以及数据读取流程。关于InfluxDB存储内核，笔者在之前的文章中已经比较全面的介绍了数据的文件存储格式、倒排索引存储实现以及数据写入流程，本篇文章重点介绍InfluxDB中时序数据的读取流程。InfluxDB支持类SQL查询，称为InfluxQL。InfluxQL支持基本的DDL操作和DML操作语句，详见InfluxQL_Spec，比如Select语句：select_stmt = ".
2020-07-30 13:38:25
104
转载 HBase原理 – snapshot 快照
目录snapshot（快照）基础原理snapshot能实现什么功能？hbase snapshot用法大全hbase snapshot分布式架构－两阶段提交snapshot核心实现clone_snapshot如何实现呢？其他需要注意的参考文献更多信息可参考《Hbase原理与实战》第十一章 备份与恢复snapshot（快照）基础原理snapshot是很多...
2020-06-09 20:06:10
186
原创 HugeGraph 配置参数
gremlin-server.yaml参数名称参数说明默认值scriptEvaluationTimeout查询超时时间，单位毫秒30000rest-server.properties参数名称参数说明默认值restserver.max_worker_threads服务器最大工作线程2*cpurestserver.min_free_memory当服务器内存小于该值时，请求将被拒绝64restserver.request_ti.
2020-06-09 20:04:43
485
原创 OpenTSDB 安装
下载目录https://github.com/OpenTSDB/opentsdb/releaseshttps://github.com/OpenTSDB/opentsdb/releases/download/v2.4.0/opentsdb-2.4.0.noarch.rpm安装 GnuPlotyum install gnuplot -y直接安装OpenTSDB会报错[root@ecs-t-001-0001 openTSDB]# rpm -ivh opentsdb-2.4.0...
2020-06-09 20:03:06
236
原创 CDH 版本 Kafka 外网设置
登陆CDH页面，进入Kafka配置页面搜索 advertised修改advertised.host.name，这里我们有三台Broker，我们把每台的外网ip填写到对应的机器上advertised.port不填写我们kafka的端口设置的是9099将外网端口9099开放，允许外网访问 （这里不做介绍，一般公司运维来操作）在本地启动测试程序直接消费kafka，成功...
2020-06-08 13:17:37
652
原创 OpenTSDB 开发指南之 Grafana 展示OpenTSDB监控数据
目录准备数据在Grafana创建OpenTSDB连接创建一个仪表盘统计准备数据将数据插入OpenTSDB{"metric":"jast.data","value":1023,"timestamp":1588742563,"tags":{"type":"jast-graph-data"}}{"metric":"jast.data","value":1024,"time...
2020-06-04 19:07:19
633
转载 OpenTSDB 开发指南之 Api操作数据
/api/put请求方式：post 请求参数：参数 说明 example summary 返回主要摘要 /api/put?summary details 返回详细信息 /api/put?details sync 是否同步，即是否等待数据都写入成功后才返回结果 /api/put?sync sync_timeout ...
2020-05-01 16:33:58
786
2
转载 OpenTSDB 开发指南之 查询数据
前面博主写了一篇文章去介绍opentsdb的http接口的使用方法,但是某一些接口的使用还是比较复杂，这篇文章会通过example来详细讲述opentsdb的一些特性。本文的举的例子有这些：基本的写入和查询 数据的注释和说明 子查询 查询中的filters使用 查询数据的rate（增长率） 直方图中百分位数(percentiles)的查询 Downsampling(下采样) ...
2020-05-01 16:33:16
626
原创
Kafka开发指南之 如何Kafka 事务型生产者，保证生产者exactly once
原力计划
我们知道Kafka的消息交付可靠性保障分为 最多一次（at most once），至少一次（at least once），精确一次（exactly once）最多一次（at most once）：
2020-05-01 11:54:37
772
原创
Kafka JMX 监控 之 jmxtrans + influxdb + grafana
原力计划
目录效果图环境准备安装 influxdb安装我们刚刚下载 influxdb rpm文件查看默认配置修改参数启动 influxdb查看启动状态设置基本配置influxdb 其他命令扩展安装 jmxtrans可能遇到的异常验证jmxtrans是否成功运行安装 Grafana安装influxDB 与 Grafana 监控模板...
2020-05-01 11:53:23
393
原创 CDH kafka JMX 启动
服务正常启动 telnet 127.0.0.1 9393 就可以，直接 telnet ip 9393 就不通我们查看CDH broker_java_opts 配置项原内容为-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16...
2020-04-29 09:49:08
655
1
原创 Kafka 消费者组 Rebalance 详解
Rebalance作用Rebalance 本质上是一种协议，主要作用是为了保证消费者组（Consumer Group）下的所有消费者（Consumer）消费的主体分区达成均衡。比如：我们有10个分区，当我们有一个消费者时，该消费者消费10个分区，当我们增加一个消费者，理论上每个消费者消费5个分区，这个分配的过程我们成为Rebalance（重平衡）触发条件常见的有三种情况会触发...
2020-04-28 20:14:42
1952
原创 Kafka 集群数据备份 MirrorMaker 详解
什么是 MirrorMaker？MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具主要动作就是从源集群中消费并生产到目标群集。一个集群可以启动多个MirrorMaker配置到多个集群运行 MirrorMaker方法kafka-mirror-maker.sh --consumer.config ./consumer.properti...
2020-04-28 20:14:11
686
原创 CDH 6.x 安装 Phoenix 服务
最近有个新项目启动，版本升级到6.3，发现CDH6.2 版本已经支持Phoenix parcel安装一、准备文件下载https://archive.cloudera.com/phoenix/6.2.0/csd/PHOENIX-1.0.jar下载parcel#目录https://archive.cloudera.com/phoenix/6.2.0/parcels/#根据个...
2020-04-17 09:10:56
1513
4
原创 Flink 1.9 CDH 6.3 集成
1.下载准备文件https://archive.cloudera.com/csa/1.0.0.0/csd/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jarhttps://archive.cloudera.com/csa/1.0.0.0/parcels/2.felink csa jar包准备将FLINK-1.9.0-csa1.0.0.0-cdh...
2020-04-09 20:46:58
1209
2
转载 Kafka 优化参数 unclean.leader.election.enable
Kafka 某个节点挂掉，导致整个服务异常，为了保证服务容灾，可对下面几个参数进行调整unclean.leader.election.enable=truemin.insync.replicas=1offsets.topic.replication.factor=3这三个配置什么意思呢? 依次来看一下： unclean.leader.election.enable...
2020-04-05 15:18:51
655
原创 Flink keyby 数据倾斜问题处理
上一篇我们使用keyby后发现数据严重倾斜https://blog.csdn.net/zhangshenghang/article/details/105316728大概看下问题所在，大量数据在一个subtask中运行这里我们使用两阶段keyby解决该问题之前的问题如下图所示我们期望的是但我们的需要根据key进行聚合统计，那么把相同的key放在不同的sub...
2020-04-05 10:21:51
4529
7
原创 Flink ProcessFunction 介绍使用
目录实现功能代码测试问题官网描述：https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/operators/process_function.htmlTheProcessFunctionis a low-level stream processing operation, ...
2020-04-04 21:54:24
863
转载 Hadoop Yarn REST API未授权漏洞利用挖矿分析
目录一、背景情况二、 漏洞说明攻击步骤：三、入侵分析四、安全建议清理病毒安全加固五、IOCs一、背景情况5月5日腾讯云安全曾针对攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击，攻击者可以在未授权的情况下远程执行代码的安全问题进行预警，在预警的前后我们曾多次捕获相关的攻击案例，其中就包含利用该问题进行挖矿，我们针对...
2020-04-04 08:23:45
357
原创 Openresty Nginx 负载均衡
目录OpenRestyOpenresty 服务配置文件启动Openresty服务测试调用接口Nginx 负载均衡服务nginx 配置文件启动服务实现功能测试结果这里实现个简单的负载均衡，只做功能展示（实际业务比这复杂高，单台服务器无法满足需求的情况下，才会进行负载均衡）OpenResty用Openresty实现日志功能Openresty 服...
2020-04-02 15:38:43
153
原创 OpenResty 安装，收集日志保存到文本文件
安装1.安装相关类库yum install -y readline-devel pcre-devel openssl-devel gcc2.安装编译openrestywget https://openresty.org/download/openresty-1.15.8.2.tar.gztar -zxvf openresty-1.15.8.2.tar.gz ./confi...
2020-04-01 14:27:38
419
1
原创
Hue开发指南 - 提交 Spark 程序
原力计划
Hue开发指南Hue是面向 Hadoop 的开源用户界面，可以让您更轻松地运行和开发 Hive 查询、管理 HDFS 中的文件、运行和开发 Pig 脚本以及管理表。1.Spark文件打包成一个Jar包提交Hue运行1.上传Spark Jar包至HDFS文件系统上传方式不做具体介绍2.Hue中创建Spark任务打开Workflow选择 ACTIONS...
2020-03-31 16:27:39
962
1
原创 Hbase 2.x Region in transition (永久RIT) 异常解决
环境Hbase版本：2.0问题原因hbase长时间出现RIT，并且发生RIT的Region是已经删除了的Hbase表，表未删除的情况下执行assgin可以消除该问题Hbase Region in transition (RIT) 异常解决：https://datamining.blog.csdn.net/article/details/83012500表删除后，执行a...
2020-03-13 11:02:04
1012
4
原创
Hbase Compaction 队列数量较大分析
原力计划
问题前几天朋友公司Hbase集群出现Compaction队列持续处于比较大的情况，并且mem flush队列也比较大，一起看了下问题，大概情况如下图从图中可以看出来压缩队列总和持续在1000-2000，平对压缩队列在200左右，刷新队列也比较高，当然压缩队列高的原因就是因为我们 MemStoreFlush比较频繁，导致写入的StoreFile数量增加，触发了Compcation。...
2020-03-13 08:36:22
1138
1
转载 m3u8下载ts 合并成一个视频
我们在用网页看视频时，很多时候视频是下载不下来的，当然这里面有很多技术来防止我们下载视频，接下来我将破解使用m3u8格式来下载视频。一般情况下，我们使用浏览器中Network来查看服务器和本机的数据传输，而视频的原地址有时也会发现，但使用m3u8格式时，我们会发现视频被分成一段一段的，每段只有几秒中，这样做的目的既可以方便播放，也可以防止下载。下面我以央视网为例，做讲解。目标：下载央视网《开讲...
2020-03-10 18:43:26
4929
原创 Hbase Compaction 源码分析 - CompactSplitThread 线程池选择
目录CompactSplitThreadrequestCompactionInternal方法selectCompaction方法requestCompaction方法其他相关文章Hbase Compaction 源码分析 - CompactionCheckerHbase Compaction 源码分析 - RatioBasedCompactionPolicy ...
2020-03-07 17:25:44
213
原创 Hbase Compaction 源码分析 - RatioBasedCompactionPolicy 策略
目录RatioBasedCompactionPolicyneedsCompaction 方法isMajorCompaction 方法shouldPerformMajorCompaction 方法selectCompaction方法getCurrentEligibleFiles方法skipLargeFiles方法createCompactionRequest...
2020-03-07 11:21:54
221
原创 Hbase Compaction 源码分析 - CompactionChecker
CompactionChecker介绍：RegionServer会在后台启动一个线程CompactionChecker，定期触发检查对应Store是否需要执行Compaction，检查周期为hbase.server.thread.wakefrequency*hbase.server.compactchecker.interval.multiplier。和flush不同的是，该线程优先...
2020-03-07 11:18:12
447
原创 Hbase JMX 监控 - Region
获取监控信息页面：http://regionServerName:16030/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Regions*** 为前缀代表：Namespace_${namespace}_table_${tableName}_region_${regionName}
2020-03-03 11:11:09
958
原创 HugeGraph 图数据库常见问题汇总
索引介绍：https://blog.csdn.net/it1993/article/details/89492296分词问题：https://github.com/hugegraph/hugegraph/issues/779Hugegraph是否支持外部索引：https://github.com/hugegraph/hugegraph/issues/542Hugegraph二级索引进行...
2020-02-27 17:51:55
1011
原创
HugeGraph 图数据库索引介绍 - 范围索引，全文索引
原力计划
HugeGraph 索引介绍单索引待补充组合索引待补充范围索引待补充全文索引创建索引标签设置定点article的name字段为全文索引（可以模糊检索） schema.indexLabel("articleByNameSearch") .onV("article") .by("name") .search() .ifNotExist() ...
2020-02-26 19:13:13
1763
jast_zsh的留言板
发表于 2020-01-02 最后回复 2020-04-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝