ceph的pool创建流程--代码分析

原链接

http://blog.csdn.net/carny/article/details/52240828

ceph中的pool有两种类型：replicated pool和erasure pool
这里从rados接口开始跟踪分析一下pool的创建过程


一、rados接口部分
1、rados里创建pool的接口是（librados.cc）
int librados::Rados::pool_create(const char *name);
int librados::Rados::pool_create(const char *name, uint64_t auid);
int librados::Rados::pool_create(const char *name, uint64_t auid, __u8 crush_rule);
int librados::Rados::pool_create_async(const char *name, PoolAsyncCompletion *c);
int librados::Rados::pool_create_async(const char *name, uint64_t auid, PoolAsyncCompletion *c);
int librados::Rados::pool_create_async(const char *name, uint64_t auid, __u8 crush_rule,
      PoolAsyncCompletion *c);

这些接口最终是会调用librados::RadosClient下的响应接口，比如
int librados::Rados::pool_create(const char *name, uint64_t auid, __u8 crush_rule);
调用的是
int librados::RadosClient::pool_create(string& name, unsigned long long auid,
      int16_t crush_rule)；
这里就以这个接口为例跟踪


2、int librados::RadosClient::pool_create(string& name, unsigned long long auid,
      int16_t crush_rule)

   A、先是获取osdmap，获取失败后，则返回
   int librados::RadosClient::wait_for_osdmap()
   这里面是从radosclient的objecter里读取osdmap，如果没有osdmap，那么会等待objecter获取到osdmap，直到超时（默认一直等OPTION(rados_mon_op_timeout, OPT_DOUBLE, 0)）
   B、调用reply = objecter->create_pool(name, onfinish, auid, crush_rule);
       开始创建pool，并设置了回调函数onfinish
   C、如果上面的函数调用成功，则会一直等待创建的结果
3、int create_pool(string& name, Context *onfinish, uint64_t auid=0,

 int crush_rule=-1);

4、void Objecter::pool_op_submit(PoolOp *op)
{
  // rwlock is locked
  if (mon_timeout > timespan(0)) {
    op->ontimeout = timer.add_event(mon_timeout,
   [this, op]() {
     pool_op_cancel(op->tid, -ETIMEDOUT); });
  }
  _pool_op_submit(op);
}


5、void Objecter::_pool_op_submit(PoolOp *op)
构建与mon通讯的对象，然后发送消息给monitor，请求创建创建pool
monc->send_mon_message(m);
消息的类型为CEPH_MSG_POOLOP




二、Monitor消息处理部分
monitor接收消息后，消息处理流程如下




CEPH_MSG_POOLOP是由OSDMonitor处理的
    case CEPH_MSG_POOLOP:
      paxos_service[PAXOS_OSDMAP]->dispatch(op);  //这里不应答客户端？
      break;


1、bool PaxosService::dispatch(MonOpRequestRef op)
   A、首先会丢弃旧消息
   
   
   B、确认osdmap是最新的
   
   m->version指的是客户端的osdmap的版本,如果m->version比本地的版本要新，则会通过paxos协议获取最新的osdmap版本
   wait_for_readable将当前的操作OP添加到proposal队列里，获取成功后，会通过回调函数重试
   
   C、preprocess_query是查询操作，在这里属于更新操作，所以与这个函数无关，这部分可以先学习paxos的内容
   D、更新操作，prepare_update()的实现是bool OSDMonitor::prepare_update(MonOpRequestRef op)
   该函数里调用bool OSDMonitor::prepare_pool_op(MonOpRequestRef op)
   
   然后函数里判断是创建pool操作，进一步调用prepare_pool_op_create
   
2、bool OSDMonitor::prepare_pool_op_create(MonOpRequestRef op)


prepare_new_pool函数根据参数，设置crush_ruleset，pg_num，pgp_num,副本数，以及纠删池的条带宽度等
在设置完上面的参数后，会到pending_inc.new_pool_names （OSDMap::Incremental pending_inc;）里查找，是否已经存在相同名字的pool，如果有则返回，不重复创建，否则，创建一个新的pool对象，并添加的pending_inc.new_pool_names里，一遍后续提交，最后为新的pool添加一些参数




在所有参数都设置完成后，需要commit当前的信息到各个monitor节点
wait_for_finished_proposal(op, new OSDMonitor::C_PoolOp(this, op, err, pending_inc.epoch));
上面的函数将操作压入paxos 的proposal队列，以便提交
在回调函数里，会根据提交结果，应答客户端




3、然后又回到了PaxosService::dispatch(MonOpRequestRef op)函数里，
prepare_update(op)根据返回值，决定是否需要触发paxos流程：




4、上面的propose_pending的实现是void PaxosService::propose_pending()
void PaxosService::propose_pending()的实现如下
   A、创建一个paxos事务
   MonitorDBStore::TransactionRef t = paxos->get_pending_transaction();
   B、调用encode_pending函数实现序列化，实际上是由void OSDMonitor::encode_pending(MonitorDBStore::TransactionRef t)实现
   encode_pending函数里会先拷贝一份当前的osdmap，然后将pending_inc（即OSDMap::Incremental pending_inc;)里的内容应用到拷贝出来的新的osdmap，生成一份新的完整的OSDMap
   
   同时将版本号，和最后提交的序号序列化进入事务里
   C、最后应用到paxos里面去
   // apply to paxos
  proposing = true;
  paxos->queue_pending_finisher(new C_Committed(this));
  paxos->trigger_propose();
  
  这里回调函数C_Committed(this)里会调用void PaxosService::_active()
  最终会调用finish_contexts(g_ceph_context, waiting_for_finished_proposal, 0);唤醒创建pool的op操作（在prepare_pool_op_create函数里设置了wait_for_finished_proposal(op, new OSDMonitor::C_PoolOp(this, op, err, pending_inc.epoch));）
  OSDMonitor::C_PoolOp的回调函数回根据paxos的结果，应答客户端
  
  

  至此，pool创建流程接收。