zhaoyangjian724的专栏

原创 zookeeper leader作用

一个zookeeper 集群 只有一个leader： 类似master/slave模式 客户端提交请求之后,先发送到leader,leader作为接收者,广播到每个server 在folloer上创建:也会同步到leader 一个节点上的数据发生变化后,通知其他节点

原创 闭包的潜在用处

一个潜在的有用的是使用闭包来产生动态的子函数 基于一个模板,使用一个相对简单的例子:[root@wx03 0729]# cat a1.pl sub multiply_by { my $multiplier = $_[0]; return sub { return $_[0] * $multiplier; }}my $times2 = multiply_by(2);

原创 zookeeper 同步

一个节点上的数据发生变化后,通知其他节点 [root@wx03 zookeeper]# cd server1[root@wx03 server1]# cd bin/[root@wx03 bin]# lsREADME.txt zkCleanup.sh zkCli.cmd zkCli.sh zkEnv.cmd zkEnv.sh zkServer.cmd zkServer.sh

原创 elk 分布式数据同步

zjtest7-redis:/elk/elasticsearch/data/es_cluster/nodes/0/indices/library# strings ./1/index/_3.cfs | grep scanscanaabbccscanaabbccscanaabbccscanaabbcc{"titile":"Elasticsearch: The Defintive Guid

原创 mget 同时获取

mget 同时获取:http://192.168.32.81:9200/_mget POST{ "docs" :[ { "_index":"library", "_type" :"books", "_id": 1 }, { "_index":"library", "_type"

原创 Elasticsearch 单模式下API的增删改查操作

Elasticsearch 单模式下API的增删改查操作http://192.168.32.80:9200/library/ PUT{"settings":{"index":{"number_of_shards":5,"number_of_replicas":1}}}可以通过GET带商参数settings可以获得该索引详细的配置

原创 安装 插件,查看插件

zjtest7-redis:/usr/local/elasticsearch-2.3.4/bin# ./plugin listInstalled plugins in /usr/local/elasticsearch-2.3.4/plugins: - headzjtest7-redis:/usr/local/elasticsearch-2.3.4/bin# ./plugin inst

原创 利用bind搭建dns

下载bind，我下载的是bind-9.3.1rc1.tar.gz 我下载的文件放在/root目录下 进入目录解压缩 [root@linux root]#tar xfz bind-9.3.1rc1.tar.gz 进如刚解压出来的目录 [root@linux root]# cd bind-9.3.1rc1 编译配置 [root@linux bind-9.3.1rc1]#./config

原创 elasticsearch集群部署

启动elk:zjtest7-redis:/usr/local/elasticsearch-2.3.4/bin# ./elasticsearch -d 后台运行访问；http://192.168.32.80:9200/{ "name" : "node01", "cluster_name" : "es_cluster", "version" : { "numbe

原创 17.1.2.1 Advantages and Disadvantages of Statement-Based and Row-Based Replication

17.1.2.1 Advantages and Disadvantages of Statement-Based and Row-Based Replication 基于语句和基于行复制的优点和缺点:每种 binary logging 格式有优势和缺点,对于很多用户,混合的复制格式 应该提供最好的数据完整性和性能的最佳组合。如果,但是, 你需要利用基于语句的功能或者基于行

原创 17.1.2?Replication Formats 复制格式:

17.1.2?Replication Formats 复制格式:17.1.2.1 Advantages and Disadvantages of Statement-Based and Row-Based Replication17.1.2.2 Usage of Row-Based Logging and Replication17.1.2.3 Determination of Safe

原创 17.1.1.9 Introducing Additional Slaves to an Existing Replication Environment 引入额外的Slaves 到一个存在的复制

17.1.1.9 Introducing Additional Slaves to an Existing Replication Environment 引入额外的Slaves 到一个存在的复制环境:如果添加另外的slave 到一个存在的复制配置,你可以这样做 不需要停止master.代替的是,设置新的slave 通过 拷贝一份存在的slave,除了配置新的slave 使用不同的

原创 mysql读写分离

严格意义上讲，MySQL 读、写分离确实存在上述情况，这是由Master-Slave 异步复制存在延迟所导致的，且Master binlog的写入为多线程，而Slave同步的sql_thread为单线程（MySQL5.6之前），两者写入速度不一致，在高并发写入的情况下，Slave节点延迟会更大；所以，读、写分离时，一般的做法是，前端程序加判断，首先检查SLAVE节点同步位置以及状态是否同步至最

原创 curl 返回响应头

demo:/root# curl -i baidu.comHTTP/1.1 200 OKDate: Wed, 27 Jul 2016 08:50:03 GMTContent-Type: text/html; charset=utf-8Transfer-Encoding: chunkedConnection: Keep-AliveVary: Accept-EncodingSet-Coo

原创 01_什么是Elasticsearch

Logstash是一个开源的用于收集，分析和存储日志的工具。 Kibana4用来搜索和查看Logstash已索引的日志的web接口。这两个工具都基于Elasticsearch。Logstash: Logstash服务的组件，用于处理传入的日志。Elasticsearch: 存储所有日志Kibana 4: 用于搜索和可视化的日志的Web界面，通过nginx反代Logstash F

原创 perl 自动发产品

use Net::SMTP;use LWP::UserAgent;use HTTP::Cookies;use HTTP::Headers;use HTTP::Response;use Encode;use Switch;use File::Temp qw/tempfile/;use HTTP::Date qw(time2iso str2time time2iso time2isoz

原创 服务化拆分

原创 网站服务化

之前的《后台服务优化原则》中提到后台service的一些拆分原则，也就是单个服务内对外接口拆分的一些原则。其实，在服务部署时，也会有一些不同的部署策略，来实现另一种意义上的拆分。最重要的作用在于「防火隔离」。按请求来源渠道拆分不同的请求来源，请求量必然不太一致。不同来源的请求被分发到各自的一组机器上，起到相互隔离的作用，服务出现问题时，只影响特定来源请求；某个来源渠道请求量上涨或者有问题时，

原创 dubbo 服务化

当网站变大后，不可避免的需要拆分应用进行服务化，以提高开发效率，调优性能，节省关键竞争资源等。 当服务越来越多时，服务的URL地址信息就会爆炸式增长，配置管理变得非常困难，F5硬件负载均衡器的单点压力也越来越大。 当进一步发展，服务间依赖关系变得错踪复杂，甚至分不清哪个应用要在哪个应用之前启动，架构师都不能完整的描述应用的架构关系。 接着，服务的调用量越来越大，服务的容量问题就暴露出来

原创 elk 架构

原创 elk 搭建

elk 平台搭建:ELK平台搭建系统环境System: Centos release 6.7 (Final)ElasticSearch: 2.1.0Logstash: 2.1.1Kibana: 4.3.0Java: openjdk version "1.8.0_65"注：由于Logstash的运行依赖于Java环境， 而Logstash 1.5以上版本不低于jav

原创 第四章 字典

映射,字典是Python中唯一的内建的映射类型,字典中的值并没有特殊的顺序,但是都存储在一个特定的键(Key)里，键可以是数字,字符串甚至元组4.1 字典的使用:加入有一个人名列表如下；names=['Alice','Beth','Cecil','Dee-Dee','Earl']如果要创建一个可以存储这些人的电话号码的小型数据库,应该怎么做呢?一种方法是建立一个新的列

原创 字典和列表访问方式:

字典和列表访问方式:字典访问方式:phonebook={'Alice':'2341','Beth':'9102','Cecil':'3258'}print phonebookprint phonebook['Alice']C:\Python27\python.exe C:/Users/Administrator/PycharmProjects/untitled1/a4.py

原创 第3章 使用字符串

第3章 使用字符串；format="Hello, %s,%s enough for ya?"values=('world','hot')print format % valuesC:\Python27\python.exe C:/Users/Administrator/PycharmProjects/untitled1/a4.pyHello, world,hot enough f

原创 第2章 列表和元组

2.1 序列概览 Python 包含6种内建的序列,本章重点讨论最常用的两种类型:列表和元组。列表和元组的主要区别在于,列表可以修改,元组则不能。edward=['a1','b2','c3']print edward[0];print edward[1];print edward[2];C:\Python27\python.exe C:/Users/Administrat

原创 Python 第一章 基础知识

如果熟其他计算机语言,可能会习惯于每行以分号结束。Python则不同,一行就是一行,不管多少。如果喜欢的话,可以加上分号,但是不会有任何作用(除非同一行还有更多的代码),而且这也不是同行的做法。>>> from __future__ import division>>> 1/20.51.4.1 长整型数:1.6 语句1.7 获取用户输入:>>> input(

原创 use utf8

[root@wx03 0724]# cat a2.pl use Encode;my $a=;my $b=encode_utf8('微信');print "\$b is $b\n";if ($a =~/$b/){print "success\n";};[root@wx03 0724]# perl a2.pl 23微信2231$b is 微信[root@wx03 0724

原创 utf8字节

[root@wx03 0724]# perl a1.pl 112[root@wx03 0724]# perl a1.pl dawe^H^H微信addasuccess[root@wx03 0724]# perl a1.pl 22微信3131 success[root@wx03 0724]# [root@wx03 0724]# cat a1.pl my $a=;my $b='微

原创 nginx 配置日志

http { include mime.types; default_type application/octet-stream; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_byt

原创 elk 索引

zjtest7-redis:/usr/local/logstash-2.3.4/config# cat logstash_agent.conf input { file { type => "nginx_access" path => ["/usr/local/nginx/logs/test.access.log"]

原创 elk工作原理

这个配置文件,是读取nginx日志写入到rediszjtest7-redis:/usr/local/logstash-2.3.4/config# cat logstash_agent.conf input { file { type => "nginx_access" path => ["/usr/local/n

原创 nginx 引入外部文件

http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_b

原创 3.1.2 视图实例演示-登录页面

function do_login(){ //获取用户名和密码信息,和数据库中比对 // echo 111111111; dump($_POST); // dump($_SESSION); $username=$_POST['username']; $password=$_POST['password']; $co

原创 通信架构

1.纯走http https2.DUBBO是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，使用RPC远程调度DUBBO是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案DUBBO是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案DUBBO是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务

原创 17.2?Replication Implementation 复制实施:

17.2?Replication Implementation 复制实施:17.2.1 Replication Implementation Details17.2.2 Replication Relay and Status Logs17.2.3 How Servers Evaluate Replication Filtering Rules复制是基于master server跟

原创 17.1.1.8?Setting Up Replication with Existing Data设置复制使用存在的数据

17.1.1.8?Setting Up Replication with Existing Data设置复制使用存在的数据当设置复制使用存在的数据,你需要确定如何最好的从master 得到数据到slave 在开始复制服务前:基本的过程对于设置复制使用存在的数据如下:1. 在MySQL master 运行时,创建一个用户被slave使用 当连接到Master 在复制期间2.如果你没有

原创 17.1.1.7 Setting Up Replication with New Master and Slaves 设置复制对于新的Master和Slaves：

17.1.1.7 Setting Up Replication with New Master and Slaves 设置复制对于新的Master和Slaves：最简单和最直接的方法是设置复制用于使用新的master和slave servers.你有可以使用这种方法如果你设置新的servers 但是有一个存在的数据库dump 从一个不同的server ，你需要加载到你的复制环境。

原创 17.1.1.5 Creating a Data Snapshot Using mysqldump 创建一个快照使用mysqldump:

17.1.1.5 Creating a Data Snapshot Using mysqldump 创建一个快照使用mysqldump:创建一个数据快照的方式是使用mysqldump 工具来备份所有你需要的的数据库。一旦 数据dump已经完成,你然后可以导入数据到slave 在启动复制进程前例子 显示dumps 所有的数据到一个文件叫做dbdump.db,包含 --mas

原创 17.1.1.4 Obtaining the Replication Master Binary Log Coordinates 获取复制Master Binary Log的坐标:

17.1.1.4 Obtaining the Replication Master Binary Log Coordinates 获取复制Master Binary Log的坐标:你需要master的当前坐标 在它的binary log 为了配置slave来启动复制进程在合适的点上如果你有存在的数据在master上,你需要同步到你的slaves在开始复制进程前,你必须停止处理语句

原创 17.1.1.3 Creating a User for Replication

17.1.1.3 Creating a User for Replication创建一个用户用于复制:每个slave 连接到master 使用一个MySQL 用户名和密码,因此必须有一个user 账户在master,slave可以使用来连接。任何账户可以用于这个操作,提供已经赋权的REPLICATION SLAVE 权限。你可以选择来创建一个不同的账户对于每个slave,