Yii框架下搭建基于Gearman的异步Job

Gearman安装

额外说明下，我实在Ubuntu OS上搭建的，没有在windows下搭建，其实开发工作，我觉得在linux环境下会更畅快些。

Gearman 安装，运行以下脚本：

安装：
apt-get install gearman-job-server
运行：
gearmand -d
默认启动的端口是4730,telnet一下，如果能通，则代表server已经正常启动了。

Gearman PHP Extension

下载扩展包：http://pecl.php.net/get/gearman-1.0.2.tgz

tar xzf gearman-1.0.2.tgz
cd gearman-1.0.2.tgz
phpize
./configure
make
make install

安装过程中出现了这个报错：
configure: error: Please install libgearman
执行：apt-get install libgearman-dev
然后还可能有版本冲突的问题的，把新版本的依赖库删除掉，然后再重新试试。

修改php.ini文件
extension=gearman.so

跑一个简单Demo

一个client 、一个worker 、 一个server，都在一个机器上运行。
备注：在同意台机器上运行的时候，需要启动两个fast-cgi进程来分别处理任务。

\\ Client.php
<?php
# Create our client object.
$gmclient= new GearmanClient();
# Add default server (localhost).
$gmclient->addServer();
echo "Sending job\n";
# Send reverse job
do
{
  $result = $gmclient->doNormal("reverse", "Hello!");
  # Check for various return packets and errors.
  switch($gmclient->returnCode())
  {
    case GEARMAN_WORK_DATA:
      echo "Data: $result\n";
      break;
    case GEARMAN_WORK_STATUS:
      list($numerator, $denominator)= $gmclient->doStatus();
      echo "Status: $numerator/$denominator complete\n";
      break;
    case GEARMAN_WORK_FAIL:
      echo "Failed\n";
      exit;
    case GEARMAN_SUCCESS:
      echo "Success: $result\n";
      break;
    default:
      echo "RET: " . $gmclient->returnCode() . "\n";
      exit;
  }
}
while($gmclient->returnCode() != GEARMAN_SUCCESS);
?>

\\ Worker.php
echo "Starting\n";

# Create our worker object.
$gmworker= new GearmanWorker();

# Add default server (localhost).
$gmworker->addServer();

# Register function "reverse" with the server. Change the worker function to
# "reverse_fn_fast" for a faster worker with no output.
$gmworker->addFunction("reverse", "reverse_fn");

print "Waiting for job...\n";
while($gmworker->work())
{
  if ($gmworker->returnCode() != GEARMAN_SUCCESS)
  {
    echo "return_code: " . $gmworker->returnCode() . "\n";
    break;
  }
}

function reverse_fn($job)
{
  echo "Received job: " . $job->handle() . "\n";
  $workload = $job->workload();
  $workload_size = $job->workloadSize();
  echo "Workload: $workload ($workload_size)\n";
  # This status loop is not needed, just showing how it works
  for ($x= 0; $x < $workload_size; $x++)
  {
    echo "Sending status: " . ($x + 1) . "/$workload_size complete\n";
    $job->sendStatus($x, $workload_size);
    sleep(1);
  }
  $result= strrev($workload);
  echo "Result: $result\n";
  # Return what we want to send back to the client.
  return $result;
}
# A much simpler and less verbose version of the above function would be:
function reverse_fn_fast($job)
{
  return strrev($job->workload());
}
?>

上面是个同步demo，异步的和实现并行任务的功能的demo可以参考：
http://php.net/manual/zh/gearman.examples-reverse-bg.php
http://php.net/manual/zh/gearman.examples-reverse-task.php

Yii框架下搭建方案

加深一下Gearman的知识点

Gearman通常由三部分组成，client+worker+任务服务器，由worker执行client发来的job，再通过job server返回给client。Gearman提供了Client、Worker的API，利用这些API来与job server通讯。
如下组件图：

一个高可用的架构可能是这样的结构：

Yii框架下的建议

1、client可以根据API接口做成Yii框架风格的组件，配置组件的时候可以把server信息作为配置信息。在GearmanAPI的基础上封装一份接口，暴露其中比较核心的几个功能即可，这样可以兼容Gearman将来的升级变更，虽然Gearman很久没有更新了。

2、开发worker的时候，可以通过一个console或者一个controller做一个主控，加载所有的work，然后等待服务请求。

3、可以考虑把App server 和work安装到同一台服务器桑，上面高可用的架构图是比较严谨，但是这样需要管理的服务器较多，可以稍微做点精简，除非业务压力的确非常，才需要考虑完全独立的拆分。

4、从demo里面可以知道，Gearman可以提供三种功能：同步、异步、多任务，不用一定局限gearman的使用场景。摘录百度百科：Gearman是一个用来把工作委派给其他机器、分布式的调用更适合做某项工作的机器、并发的做某项工作在多个调用间做负载均衡、或用来在调用其它语言的函数的系统。

几点思考：
1、网上关于gearman运维的资料比较少，所以了解得不够深，类似日志信息、消息丢失等方面的资料不全。
2、真正做的时候，个人认为对所有的work都需要有日志表进行记录，有状态跟进，这样方便定位问题。
3、对时间较长的任务，可能会经历任务失败重启方面的问题，gearman的相关资料里面好像没有提到静态化的问题，任务能否自动恢复，这些心里还没有底。所以网上也有基于redis做消息队列的做法，这也是一种不错的方案，起码不用关注静态化的问题。