- 博客(27)
- 资源 (1)
- 收藏
- 关注
RSS订阅RabbitMQ源码分析 – 持久化机制
（注：分析代码基于RabbitMQ 2.8.2） 当消息需要持久化（相应队列首先必须是durable）或者因为内存吃紧，需要把消息转移到磁盘的时候就会触发持久化操作。Rabbit中两部分信息涉及到持久化操作：一个是消息本身，由msg_store模块负责（[$RABBIT_SRC/src/rabbit_msg_store.erl]），另一个是消息在队列中的位置，由queue_index模块负责（...
2012-08-21 09:34:24
400
I/O模型：阻塞、非阻塞 & 同步、异步
这篇文章主要总结下这几个概念，前几天看到微博里在讨论，当时也有点搞不清楚，昨天在看到Reactor和Proactor模式的时候，又提到相关概念，索性搞搞清楚，写个总结。 《Unix网络编程卷1：套接字联网API》（下面称为卷1）第6章对Unix I/O模型有5种划分：阻塞式I/O模型，非阻塞式I/O模型，I/O复用模型，信号驱动式I/O，异步I/O模型。这里我们只关心跟我们主题相关的...
2012-08-12 20:05:43
243
原创 RabbitMQ源码分析 - 队列机制
（注：分析代码基于RabbitMQ 2.8.2）当rabbit无法直接将消息投递到消费者时，需要暂时将消息入队列，以便重新投递。但是，将消息入队列并不意味着，就是将消息扔在一个队列中就不管了，rabbit提供了一套状态转换的机制来管理消息。 在rabbit中，队列中的消息可能会处理以下四种状态：alpha：消息内容以及消息在队列中的位置（消息索引）都保存在内存中；beta...
2012-07-09 10:10:58
420
RabbitMQ源码分析 – 消息生命周期
（注：分析代码基于RabbitMQ 2.8.2）当客户端通过basic.publish命令（AMQP定义）发布一个消息时，rabbit需要经过以下几个步骤处理消息：1) 根据客户端传来的消息内容及相关属性（目标exchange，routing keys，mandatory及immediate属性）构造一个消息实体；2) 根据要投递的exchange及routing keys匹配消息的目...
2012-06-25 10:53:22
727
RabbitMQ源码分析 – 实体初始化
（注：分析代码基于RabbitMQ 2.8.2）Connection在上篇文章中提到，客户端连上rabbit后，需要向rabbit发送AMQP协议头，rabbit在收到协议头后，开始在0号channel 上跟客户端进行交互（AMQP中一个连接可以多路复用，1~65535为可用的channel编号，0号channel，也就是frame中channel的索引为0，被认为是全局于整个连接）。...
2012-06-11 16:15:05
449
原创 RabbitMQ源码分析 – 网络层
（注：分析代码基于RabbitMQ 2.8.2） 网络层的启动也是作为上一篇文章中提到的一个启动步骤来启动的，入口为[$RABBIT_SRC/src/rabbit_networking.erl -->boot/0]，代码如下：boot() -> ok = start(), ok = boot_tcp(), ok = boot_ssl()....
2012-05-30 13:31:06
519
RabbitMQ源码分析 - 启动
RabbitMQ是一个消息队列的实现，基于AMQP（Advanced MessageQueuing Protocol）。最近因为工作需要，打算深入了解RabbitMQ的架构以实现，后续会出一系列文章记录分析过程。这篇总结RabbitMQ的启动过程。（注：分析代码基于RabbitMQ 2.8.2） RabbitMQ的启动入口在[$RABBIT_SRC/src/...
2012-05-24 19:41:36
474
Erlang热部署 – 模块更新
Erlang的热部署做的很完善，参见ReleaseHandling，这篇文章只关心最基本的模块更新。模块是Erlang程序组织的最基本单元。如下代码就是一个最简单的hello模块（为了说明问题，我们添加了一个init函数）： -module(hello).-export([init/0, hello/1]).init() -> Db = dict:new()...
2012-05-21 10:55:55
138
原创 Erlang并发机制 – 垃圾回收
Erlang中每个进程都有独立的堆内存，默认的大小是233个words（可配置），并以Fibonacci序列的顺序增长（233对应fib(11)）。不过，当堆内存增大到一定程序时，增长速度减缓，比如内存大于fib(35)=14M的时候，堆内存开始不以Fibonacci序列增长（具体参见[$R15B_OTP_SRC/erts/emulator/beam/erl_gc.c --> erts...
2012-05-02 10:34:18
229
Erlang并发机制 – 消息传递
Erlang系统中，进程之间的通信是通过消息传递来完成的。消息使用Pid ! Message的形式发送，通过receive语句获取。每个Erlang进程都有用来存储传入消息的信箱。当一个消息发送的时候，它会从发送进程中拷贝到接收进程的信箱，并以它们到达的时间次序存储。消息的传递是异步的，一个发送进程不会在发送消息后被暂停。 上面提到发送消息时，会在两个进程之间存在消...
2012-05-02 10:24:30
309
Erlang并发机制 – 任务迁移算法
一般情况下，在SMP环境中，每个调度器都会绑定到一个CPU核心，为了保证调度器可以充分的利用CPU资源，那么就必要确保每个调度器任务队列的长度大致相同，Erlang通过任务迁移算法来完成这个功能。Characterizingthe Scalability of Erlang VM on Many-core Processors这篇文章中对这个算法进行了详细的说明，不过，就我自己感觉来说，...
2012-05-02 10:22:08
257
原创 AMQP & Nova
OpenStack中的Nova各个服务之间以松耦合的方式使用AMQP进行通信（RPC）。使用AMQP的发布/订阅模式来进行RPC有如下优势： 1)客户端及服务端之间解耦：客户端不需要知道有哪些服务端以及服务端的地址； 2)客户端与服务端之间完全的同步性：客户端的RPC不需要服务端正好在运行； 3)远程调用的随机均衡：如果...
2012-04-24 17:31:25
267
Ganger released!
自己做的一个小东西，欢迎有兴趣的同学试用：https://github.com/onlychoice/ganger Ganger - A simple automate tool.==================================================What is Ganger-------------------------------...
2012-04-12 14:40:45
124
Erlang并发机制 –进程调度
Erlang调度器主要完成对Erlang进程的调度，它是Erlang实现软件实时和进程之间公平使用CPU的关键。Erlang运行时，有4种任务需要被调度：进程，Port，Linked-in driver，Erlang虚拟机的系统级活动。 Erlang调度器主要有以下特点：1. 进程调度运行在用户空间 ：Erlang进程不同于操作系统进程，Erlang的进程调度也跟操作系统完全没有...
2012-04-10 22:43:43
308
Erlang并发机制 - 进程
在了解Erlang的并发机制之前，我们先来看一下Erlang与Java的并发性能对比，一个是并发单元的创建时间，一个是并发单元之间的消息通讯时间（纵坐标代表时间，横坐标代表并发数量）： （测试程序及说明见这里，原测试时间比较早了，于是在自己的虚拟机上重新跑了下（CenterOS 6，3G内存）；JVM生成线程数量控制，可见这里，） 从上面的测试结果来看，...
2012-03-26 21:24:37
473
ELF文件的加载和动态链接过程
近段时间在研究Erlang核心特性的实现，也许过段时间会有个系列的总结，期待... 今天看到有人写一个深入Hello World的文章，想起来读研的时候做的一个关于程序加载和链接的课程设计，也是以Hello World为例说明的，随发出来共享。文后有下载链接。 ====================================================== 本文...
2012-03-09 11:38:00
310
CentOS6下编译Erlang R15B with wxWidgets
如果不需要安装wxWidgets的话，很简单，./configure & make & make install。但是装起来后，发现Erlang的debugger无法启动，显示“ERROR:Could not find 'wxe_driver.so' in: /usr/local/lib/erlang/lib/wx-0.99.1/priv”，虽说不使用debugger也问...
2012-02-23 16:41:15
215
Tsung源码分析（五）：Tsung数据统计
上一篇说明Tsung的服务器监控机制的时候提到，收集到监控数据后，会发送到数据统计进程。其实在会话进程运行时，也会产生大量的统计数据，比如发送了多个请求，执行了多个个事务（Tsung事务），通过网络发送了多少数据，收到多少数据等等。 根据手册中描述，Tsung的统计数据分为四类：sample，sample_counter，counter，sum。其中sample与sample_cou...
2012-02-22 19:59:45
196
Tsung源码分析（四）：Tsung服务器监控
Tsung在进行压力测试同时，也可以监控服务器结点上的CPU、内存、系统负载等信息（详见监控一节）。 Tsung提供了三种监控方式：Erlang，SNMP，Munin。在tsung_controller启动的第二个阶段，会通过ts_os_mon:activate启动服务器监控。activate函数的执行很简单，通过ts_config_server:get_monit...
2012-02-21 22:18:42
256
原创 Tsung源码分析（三）：Tsung插件式协议支持
在Websocket forTsung一文中有提到如何扩展Tsung支持自有协议，这里所说的插件式协议支持是指上文中提到的第一种方式：作为session type，本文说明下它的实现原理。 tsung的配置文件中会有sessions这一节，主要配置会话进程跟测试服务器之间的交互过程。sessions可包含多个session，每个session有不同的概率，在会话...
2012-02-17 16:15:45
251
原创 Tsung源码分析（二）：Tsung压力生成过程
上一篇讲到ts_config_server:newbeams通过ts_launcher:launch和ts_launcher_static:launch启动本地和远程结点压力客户端，其中ts_launcher用于随机生成用户，ts_launcher_static主要用于静态生成用户。这一篇详细的说明压力客户端是如何启动的。 说明：压力客户端是指一个tsung应用，见TUNG_R...
2012-02-17 12:55:27
211
原创 Tsung源码分析（一）：Tsung启动过程
一方面，分析Tsung的架构及实现，另一方面，也是一个学习Erlang的过程，所以如果有碰到不了解的东西，也会记录下来。（该分析系统基于Tsung 1.4.2，涉及到Erlang源码的部分会以R15B为基础） Tsung由tsung.sh（默认位置：/usr/bin/tsung）来启动。调用tsung.sh后，会进入到start()函数中，然后调用默认的erl命令来启...
2012-02-17 12:51:04
359
原创 Websocket for Tsung
这篇博文距离上次提到要写差不多快两个月了，一方面时间不多，另一方面主观上总觉得写博客总要写的很好才能发表出来。不过，看了很多别人的博客，其实很多时候只是个记录笔记。希望自己也能利用这个平台做好自己的技术积累过程，不要太在意到底写的怎么样。 费话少说，开发Websocketfor Tsung的初衷是为了做测试。公司一个基于websocket和XMPP的长连接解决方...
2012-02-11 22:11:12
302
Windows下vimerl的配置以及扩展
最近开始学习Erlang，一方面出于对其主要语言特征（高并发）的兴趣，另一方面，当前项目的压力测试希望用Tsung（http://tsung.erlang-projects.org/，基于Erlang，很好的压力测试工具）来做，而当前Tsung的协议支持还不能满足我们的要求（XMPP over Websocket），所以希望对其进行扩展（下一篇会讲到Tsung的具体扩展实现）。当然，学习一门...
2011-12-11 22:03:12
171
中断线程的执行
--（《Java Concurrency in Practice》读书笔记） 中断线程是指：线程正在运行，还没有正常退出（run方法顺利结束），而某个事件的发生导致该线程必须中断当前正在执行的任务，该线程或者退出，或者等待其它事件然后再继续执行。稳定的基于线程的服务，在程序退出时，必须能够安全的释放线程所占用的资源，减少对系统性能的影响。 Thread类提供的方法中与此功能相关的函...
2011-12-11 19:48:12
231
原创 [转载]Linux线程和进程
上次在做Java中最大线程数量的测试时，对于Linux下的线程与进程的关系有点迷惑，今天看到的一篇文章简单的说明了这两者的关系：Linux线程是通过进程来实现。Linux kernel为进程创建提供一个clone()系统调用，clone的参数包括如 CLONE_VM, CLONE_FILES, CLONE_SIGHAND 等。通过clone()的参数，新创建的进程，也称为LWP(Lig...
2011-11-21 21:10:49
110
原创 JVM中可生成的最大Thread数量
最近想测试下Openfire下的最大并发数，需要开大量线程来模拟客户端。对于一个JVM实例到底能开多少个线程一直心存疑惑，所以打算实际测试下，简单google了把，找到影响线程数量的因素有下面几个： -Xmsintial java heap size-Xmxmaximum java heap size-Xss...
2011-11-21 21:01:15
469
Computer Science from the Bottom Up
2018-11-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人