- 博客(71)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 HBase简介
1、 HBase的简单介绍及其基本概念HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于...
2019-01-24 14:28:05
711
原创 Elasticsearch简单入门--elasticsearch在启动用遇到的问题及其解决办法
1. elasticsearch为了安全期间，不允许使用root用户来启动，如果用root用户启动会报错，如下图 解决办法：需要新建用户，使用root用户新建es用户 及es用户组，并将/usr/local/elk权限赋予es用户，如下# 创建用户组 es[root@zzf elasticsearch-5.6.14]# groupadd es # 创建用户es 并指定用户所...
2019-01-14 15:34:57
697
翻译 Elasticsearch简单入门--elasticsearch Bootstrap Checks
翻译：https://www.elastic.co/guide/en/elasticsearch/reference/5.6/bootstrap-checks.htmlBootstrap Checks总的来说，我们有很多用户遇到意外问题的经验，因为他们没有配置重要的设置，在以前的Elasticsearch版本中，其中一些设置的错误配置被记录为警告，可以理解，用户有时会错过这些日志消息，确保...
2019-01-14 14:08:45
867
1
翻译 Elasticsearch简单入门--elasticsearch Executing Aggregations
翻译：https://www.elastic.co/guide/en/elasticsearch/reference/5.6/_executing_aggregations.htmlExecuting Aggregation 聚合提供了对数据进行分组和提取统计信息的能力, 考虑聚合最简单的方法是将其大致等同于SQL GROUP by和SQL聚合函数，在Elasticsearch中，您可...
2019-01-14 11:08:59
268
翻译 Elasticsearch简单入门--elasticsearch Executing Searches
翻译地址：https://www.elastic.co/guide/en/elasticsearch/reference/5.6/_executing_searches.htmlExecuting Searches现在我们已经看到一些基本的搜索参数，让我们进一步研究查询DSL，首先让我们看看返回的文档字段，默认情况下，完整的JSON文档作为所有搜索的一部分返回，这称为source(搜索命中...
2019-01-14 10:58:30
287
翻译 Elasticsearch简单入门--elasticsearch Exploring Your Data
翻译地址：https://www.elastic.co/guide/en/elasticsearch/reference/5.6/_exploring_your_data.html 感兴趣的可以去官网看英文版文档，学习一手的知识Sample Dataset 简单的数据集现在我们已经了解了一些基本知识，让我们尝试使用更真实的数据集，我准备了一个虚构的客户银行账户信息JSON文档示例，每个...
2019-01-11 17:25:01
262
翻译 Elasticsearch简单入门--elasticsearch Modifying Your Data
Modifying Your DataElasticsearch提供近实时的数据处理和搜索功能,默认情况下，您可以期望从索引/更新/删除数据到出现在搜索结果中的时间有一秒延迟(刷新间隔),这是与SQL等其他平台的一个重要区别，在SQL等平台中，事务完成后数据立即可用。Elasticsearch provides data manipulation and search capabiliti...
2019-01-10 16:35:32
260
翻译 Elasticsearch简单入门--elasticsearch集群相关探索
Exploring your Cluster参考：https://www.elastic.co/guide/en/elasticsearch/reference/5.6/_exploring_your_cluster.html#_the_rest_api1. The REST API现在我们已经建立并运行了节点(和集群),下一步是了解如何与它沟通,幸运的是，Elasticsearch提...
2019-01-10 16:07:30
191
翻译 Elasticsearch简单入门--elasticsearch重要的系统配置（二）
1. File Descriptors 文件描述符这只适用于Linux和macOS，如果在Windows上运行Elasticsearch，可以安全地忽略它。在Windows上，JVM使用的API仅受可用资源的限制。（This is only relevant for Linux and macOS and can be safely ignored if running Elasticsear...
2019-01-10 10:58:10
290
翻译 Elasticsearch简单入门--elasticsearch重要的系统配置（一）
Important System Configuration 重要的系统配置理想情况下，Elasticsearch应该单独在服务器上运行，并使用所有可用资源，为了做到这一点，您需要将操作系统配置为允许运行Elasticsearch的用户访问比默认情况下允许的更多的资源（you need to configure your operating system to allow the user r...
2019-01-09 16:18:55
915
翻译 Elasticsearch简单入门--安全设置
Secure Setting (安全设置)有些设置是敏感的，仅依靠文件系统权限去保护他们的值是不够，Elasticsearch提供了一个秘钥库，并且 elasticsearch-keystore工具可以管理在秘钥库中的设置项。 All commands here should be run as the user which will run elasticsearch....
2019-01-09 10:40:18
910
翻译 Elasticsearch简单入门--elasticsearch重要的配置项
Important Elasticsearch configuration虽然Elasticsearch只需要很少的配置，但是有许多设置项需要手动配置，并且应该明确地被设置在投入生产之前。path.data , path.logs cluster.name node.name bootstrap.memory_lock network.host discovery.zen.pin...
2019-01-08 18:43:27
686
翻译 Elasticsearch简单入门--elasticsearch简单配置
配置ElasticsearchElasticsearch具有良好的默认设置，并且只需要很少的配置. 可以使用群集更新设置API在运行的群集上更改大多数设置。集群更新设置API 参考：Cluster Update Settings API (https://www.elastic.co/guide/en/elasticsearch/reference/5.6/cluster-update...
2019-01-08 10:08:10
415
翻译 Elasticsearch简单入门--elasticsearch目录结构简单介绍
我Linux机器上的Elasticsearch是通过下载的zip包（tar.gz包）安装的，目录结构如下：# 查看elasticsearch目录下的文件和目录[es@zzf elasticsearch-5.6.14]$ ll总用量 224drwxr-xr-x 2 es es 4096 12月 5 21:21 bindrwxr-xr-x 3 es es 90 1月 ...
2019-01-07 18:00:30
1270
翻译 Elasticsearch简单入门--elasticsearch 在Linux下的安装、运行、停止
1.首先对Elasticsearch进行简短的介绍Elasticsearch是一个高度可伸缩的开源全文搜索和分析引擎。它允许您快速、实时地存储、搜索和分析大量数据。它通常用作底层引擎/技术，为具有复杂搜索特性和需求的应用程序提供支持。核心概念：NRT、Cluster、Node、Index、Type、Document、Shards & Replicas、1. Near Realt...
2019-01-07 17:34:54
1335
原创 docker命令小结
1. docker search 镜像名称2. docker pull <仓库名>:<标签> 拉取镜像 docker pull [选项] [Docker Registry 地址[:端口号]/]仓库名[:标签] docker镜像仓库地址：地址的格式一般是 <域名/IP>[:端口号] 。默认地址是 DockerHub。 仓库名：仓库名是...
2018-12-29 15:49:54
198
原创 Docker 常用命令
docker常用命令以下命令均为在root用户下执行，如果用其他用户执行，为了避免权限错误，在命令前加上 sudo 或者将你的用户添加到docker组，引用官网的一段。To create thedockergroup and add your user: Create thedockergroup. $ sudo groupadd docker Add yo...
2018-12-18 09:39:50
368
原创 linux CentOS7 64位系统 安装docker-ce
1. docker 概述目前，docker有2个版本：1. Community Edition (CE) -- docker-ce docker的社区版本非常适合希望开始使用Docker并尝试基于容器的应用程序的个人开发人员和小型团队。2. Enterprise Edition (EE)-- docker-ee docker的企业版本是为企业开发和IT团队而设计的，这些团队构...
2018-12-17 13:58:59
971
原创 VMware 下安装linux (CentOS7)
由于想学习hadoop相关的组件，需要集群搭建（hadoop,zookeeper,kafka,hbase等吧，至少需要3台虚拟机），所以自己就用VMware安装了虚拟机，在安装过程中，遇到了很多坑，再次做一下记录，方便自己以后查看，也希望对将来人有所帮助。安装VMware自己科普，比较简单，按照推荐Next..... 我用的VMware 版本为VMware Workstation 11.0.0...
2018-12-15 15:11:12
303
转载 windows 下python2和python3共存以及pip共存
参考：https://blog.csdn.net/autista/article/details/73650943https://www.cnblogs.com/yyds/p/6080826.htmlhttps://www.cnblogs.com/zhengyihan1216/p/6011640.html
2018-09-25 20:01:36
423
原创 Centos7 在不卸载python2的前提下 安装python3
由于Centos7的linux系统有很多软件命令依赖于系统自带的python2，比如yum，卸载python2会造成yum不可用，所以没有必须卸载python2, 可以通过软链接的方式安装python3, 再说 现在还有不少的python的第三库没有支持python3。输入python -V 或python --version, 查看系统自带的python的版本。[root@zzf ~]...
2018-09-25 19:20:56
3849
2
转载 在搭建Hadoop 分布式集群的时候，多次格式化文件系统，启动hdfs,yarn，后jps 发现datanode为启动
可以参考：https://www.cnblogs.com/dxwhut/p/5679501.htmlhttps://blog.csdn.net/baidu_15113429/article/details/53739734https://www.cnblogs.com/lishpei/p/6136043.html一、问题描述 当我多次格式化文件系统时，如 ...
2018-09-12 11:23:52
954
原创 HBase Shell 常用命令
参考：https://www.cnblogs.com/charlist/p/7120377.htmlhttp://www.cnblogs.com/liangzh/archive/2012/04/06/2434690.html 1. 启动Hbase[root@zzf hbase-1.2.6]# pwd/usr/local/hbase-1.2.6[root@zzf hbas...
2018-09-12 10:40:43
823
转载 Hbase配置文件详解
hbase.cluster.distributed ：Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，...
2018-09-11 19:49:45
2979
转载 HBase各版本对Hadoop版本的支持对比
参考：https://blog.csdn.net/vtopqx/article/details/77882491由于Hbase是建立在HDFS上的，而HDFS又是Hadoop的一部分，因此安装Hbase的时候需要先安装Hadoop;关于Hbase与Hadoop的版本对应关系，是有一定的要求的，HBase各版本和Hadoop版本的支持情况，官方有相关说明，下面表格中："S" = 支持...
2018-09-11 19:39:46
1300
原创 HBase 下载地址
官方最新版本下载地址：http://hbase.apache.org/downloads.htmlIf you are looking for an old release that is not present here or on the mirror如果你想使用旧版本，下载地址为：http://archive.apache.org/dist/hbase/...
2018-09-10 11:18:40
1580
原创 python2.x shelve模块
用shelve模块保存变量 安装shelve模块：进入cmd，输入pip install shelve即可 利用shelve模块，你可以将python程序中的变量保存到二进制shelf文件中。这样，程序就可以从硬盘中恢复变量的数据。import shelveshelf_file = shelve.open('mydata')cats = ['zhangsan', 'lis...
2018-09-05 15:35:00
309
原创 python2.x shutil模块和send2trash模块
shutil模块 shutil(或称为shell工具)模块中包含一些函数，让你在python程序中复制、移动、改名和删除文件。 要使用shutil的函数，首先需要import shutil 1.复制文件和文件夹 shutil模块提供了一些函数，用于复制文件和整个文件夹。 调用shutil.copy(source,destination), 将路径sourc...
2018-09-05 15:31:53
1055
原创 python2.x zipfile模块学习
zipfile模块压缩文件 将多个文件打包成一个文件。这个文件叫做“归档文件”， 利用zipfile模块中的函数，Python程序可以创建和打开或压缩ZIP文件 1. 读取ZIP文件，首先必须创建一个ZipFile对象，通过调用zipfile.ZipFile()函数，向它传入一个字符串，表示.zip文件的文件名 zipfile是Python模块的名称，ZipFile是函数的...
2018-09-05 15:30:12
703
原创 python2.x time模块和datetime模块常用函数
time模块： time模块用于取得Unix纪元时间戳，并加以处理。计算机的系统时钟设置位特定的日期、时间和时区。内置的time模块让Python程序能读取系统时钟的当前时间。 在time模块中，time.time()和time.sleep()函数是最有用的模块。 time.time()函数：返回一个浮点数，表示当前时刻的Unix纪元时间戳 ...
2018-09-05 15:21:36
3023
原创 python2.x 使用selenium时，报错Message: 'geckodriver' executable needs to be in PATH.
from selenium import webdriver#from selenium.webdriver.common.keys import Keysbrowser = webdriver.Firefox()browser.get('http://www.baidu.com')search = browser.find_element_by_class_name('s_ipt')...
2018-09-05 09:38:06
285
1
原创 python2.x os模块常用方法
import osos.getcwd() 当前工作目录os.chdir(path) 改变当前工作目录os.makedirs(path) 创建新文件夹os.path.abspath(path) 将返回参数的绝对路径的字符串，将相对路径转换为绝对路径的简便方法os.path.isabs(path) 如果参数是一个绝对路径，就返回True, 如果参数是一个相对路径，就返回Fasl...
2018-09-03 19:30:45
625
原创 IDEA 与 Eclipse常用快捷键对比
描述 Eclipse Intellij 代码补全 Ctrl+space Ctrl+space 打开类或者接口 （两个IDE都支持使用“驼峰字符”前缀的方式来过滤查找列表，进而轻松完成搜索；比如：可 以使用“PoDI”来检索PodcastDaoImpl类） Ctrl+Shift +T Ctrl+N 快速打开文件/资源...
2018-08-25 17:01:42
340
转载 restful接口设计规范总结
转自：https://www.jianshu.com/p/8b769356ee67restful接口设计规范总结这篇 文章主要是借鉴他人，但是自己很想总结出一套规范，以供向我这样的新手使用，用来规范代码，如果有什么好的提议，请不吝赐教，本篇文章长期更新！一、重要概念：REST,即Representational State Transfer的缩写。我对这个词组的翻译是"表现层状态...
2018-08-25 16:07:04
274
原创 Spring 声明式事务管理，捕获异常不抛出就不会回滚
一个方法发生异常，另一个方法的事务是不会回滚的 if(userSave){ try { userDao.save(user); userCapabilityQuotaDao.save(capabilityQuota); } catch (Exception e) ...
2018-08-25 15:44:24
1923
4
原创 Spring声明式的事务管理，发生异常不回滚现象的原因
首先，需要说明，Spring的声明式事务管理，即被@Transactional注解标注的目标方法，默认只有在发生运行时异常（非检查异常 unchecked exception 及RuntimeException及其子类的异常时，才会回滚）在业务代码中，有如下两种情况，比如：thrownewRuntimeException("xxxxxxxxxxxx");事务回滚throwne...
2018-08-25 14:59:34
680
原创 比较不错的java spring 英文网站
https://howtodoinjava.com/java-spring-framework-tutorials/
2018-08-25 14:39:20
745
转载 Spring 的注解方式的事务实现机制
在应用系统调用声明@Transactional 的目标方法时，Spring Framework 默认使用 AOP 代理，在代码运行时生成一个代理对象，根据@Transactional 的属性配置信息，这个代理对象决定该声明@Transactional 的目标方法是否由拦截器 TransactionInterceptor 来使用拦截，在 TransactionInterceptor 拦截时，会在在目...
2018-08-25 14:37:25
6503
jdk1.8 JDK1.8 中文 CHM
2018-07-23
kafka 监控UI
2018-07-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人