Gearman安装
额外说明下,我实在Ubuntu OS上搭建的,没有在windows下搭建,其实开发工作,我觉得在linux环境下会更畅快些。
Gearman 安装,运行以下脚本:
安装:
apt-get install gearman-job-server
运行:
gearmand -d
默认启动的端口是4730,telnet一下,如果能通,则代表server已经正常启动了。
Gearman PHP Extension
下载扩展包:http://pecl.php.net/get/gearman-1.0.2.tgz
tar xzf gearman-1.0.2.tgz
cd gearman-1.0.2.tgz
phpize
./configure
make
make install
安装过程中出现了这个报错:
configure: error: Please install libgearman
执行:apt-get install libgearman-dev
然后还可能有版本冲突的问题的,把新版本的依赖库删除掉,然后再重新试试。
修改php.ini文件
extension=gearman.so
跑一个简单Demo
一个client 、一个worker 、 一个server,都在一个机器上运行。
备注:在同意台机器上运行的时候,需要启动两个fast-cgi进程来分别处理任务。
\\ Client.php
<?php
# Create our client object.
$gmclient= new GearmanClient();
# Add default server (localhost).
$gmclient->addServer();
echo "Sending job\n";
# Send reverse job
do
{
$result = $gmclient->doNormal("reverse", "Hello!");
# Check for various return packets and errors.
switch($gmclient->returnCode())
{
case GEARMAN_WORK_DATA:
echo "Data: $result\n";
break;
case GEARMAN_WORK_STATUS:
list($numerator, $denominator)= $gmclient->doStatus();
echo "Status: $numerator/$denominator complete\n";
break;
case GEARMAN_WORK_FAIL:
echo "Failed\n";
exit;
case GEARMAN_SUCCESS:
echo "Success: $result\n";
break;
default:
echo "RET: " . $gmclient->returnCode() . "\n";
exit;
}
}
while($gmclient->returnCode() != GEARMAN_SUCCESS);
?>
\\ Worker.php
echo "Starting\n";
# Create our worker object.
$gmworker= new GearmanWorker();
# Add default server (localhost).
$gmworker->addServer();
# Register function "reverse" with the server. Change the worker function to
# "reverse_fn_fast" for a faster worker with no output.
$gmworker->addFunction("reverse", "reverse_fn");
print "Waiting for job...\n";
while($gmworker->work())
{
if ($gmworker->returnCode() != GEARMAN_SUCCESS)
{
echo "return_code: " . $gmworker->returnCode() . "\n";
break;
}
}
function reverse_fn($job)
{
echo "Received job: " . $job->handle() . "\n";
$workload = $job->workload();
$workload_size = $job->workloadSize();
echo "Workload: $workload ($workload_size)\n";
# This status loop is not needed, just showing how it works
for ($x= 0; $x < $workload_size; $x++)
{
echo "Sending status: " . ($x + 1) . "/$workload_size complete\n";
$job->sendStatus($x, $workload_size);
sleep(1);
}
$result= strrev($workload);
echo "Result: $result\n";
# Return what we want to send back to the client.
return $result;
}
# A much simpler and less verbose version of the above function would be:
function reverse_fn_fast($job)
{
return strrev($job->workload());
}
?>
上面是个同步demo,异步的和实现并行任务的功能的demo可以参考:
http://php.net/manual/zh/gearman.examples-reverse-bg.php
http://php.net/manual/zh/gearman.examples-reverse-task.php
Yii框架下搭建方案
加深一下Gearman的知识点
Gearman通常由三部分组成,client+worker+任务服务器,由worker执行client发来的job,再通过job server返回给client。Gearman提供了Client、Worker的API,利用这些API来与job server通讯。
如下组件图:
一个高可用的架构可能是这样的结构:
Yii框架下的建议
1、client可以根据API接口做成Yii框架风格的组件,配置组件的时候可以把server信息作为配置信息。在GearmanAPI的基础上封装一份接口,暴露其中比较核心的几个功能即可,这样可以兼容Gearman将来的升级变更,虽然Gearman很久没有更新了。
2、开发worker的时候,可以通过一个console或者一个controller做一个主控,加载所有的work,然后等待服务请求。
3、可以考虑把App server 和work安装到同一台服务器桑,上面高可用的架构图是比较严谨,但是这样需要管理的服务器较多,可以稍微做点精简,除非业务压力的确非常,才需要考虑完全独立的拆分。
4、从demo里面可以知道,Gearman可以提供三种功能:同步、异步、多任务,不用一定局限gearman的使用场景。摘录百度百科:Gearman是一个用来把工作委派给其他机器、分布式的调用更适合做某项工作的机器、并发的做某项工作在多个调用间做负载均衡、或用来在调用其它语言的函数的系统。
几点思考:
1、网上关于gearman运维的资料比较少,所以了解得不够深,类似日志信息、消息丢失等方面的资料不全。
2、真正做的时候,个人认为对所有的work都需要有日志表进行记录,有状态跟进,这样方便定位问题。
3、对时间较长的任务,可能会经历任务失败重启方面的问题,gearman的相关资料里面好像没有提到静态化的问题,任务能否自动恢复,这些心里还没有底。所以网上也有基于redis做消息队列的做法,这也是一种不错的方案,起码不用关注静态化的问题。