TensorFlow Serving系列之多模型多版本控制

0 背景

在之前的文章中，我们完整地介绍了如何安装tensorflow服务，并成功通过grpc接口进行调用。实际使用过程中，可能需要同时提供多个不同类型的模型，以及模型的不同版本，因此本文对该方法的实现做一介绍

系列文章目录

（一）TensorFlow Serving系列之安装及调用方法

（二）TensorFlow Serving系列之导出自己的训练模型

（三）TensorFlow Serving系列之客户端gRPC调用

（四）TensorFlow Serving系列之gRPC基本知识

（五）TensorFlow Serving系列之源码安装服务

（六）TensorFlow Serving系列之多模型多版本控制

1 多模型配置

之前介绍的服务模型的方法是给tensorflow_serving_model指定--model_name和--model_base_path两个参数，如下所示

tensorflow_model_server --port=8500 --model_name=detection --model_base_path=$(pwd)/detection

但是，如果是想要提供多个模型，或者设置新版本的轮询频率之类的选项，则需要通过编写配置文件的方式来实现，然后使用--model_config_file来指定配置文件的路径，配置文件的基本写法如下所示

model_config_list {
  config {
    name: 'my_first_model'
    base_path: '/path/to/my_first_model/'
  }
  config {
    name: 'my_second_model'
    base_path: '/path/to/my_second_model/'
  }
}

有两种方法可以重新加载配置文件：

• 可通过指定--model_config_file_poll_wait_seconds选项来指定轮询此配置文件的时间
• 通过向服务器发出HandleReloadConfigRequest RPC调用来以编程方式提供新的配置

2 多版本设置

通过上述方法，我们实现了提供不同名称的模型，但服务默认只会读取最大版本号的版本，实际上我们可以提供不同版本的模型，比如可提供测试版、稳定版等不同类型的，实现版本控制，要实现此方法，需要在上述配置文件中的config选项中增加model_version_policy设置

2.1 指定某个版本

要提供特定版本的模型，而不是总是读取最大版本号的模型，则应该在model_version_policy中设置specific为要提供的版本号，比如我们要给第一个模型投放编号为3的版本，而将第二个模型的所有版本都投放出来

model_config_list {
  config {
    name: 'my_first_model'
    base_path: '/path/to/my_first_model/'
    model_version_policy {
      specific {
        versions: 3
      }
    }
  }
}

2.2 提供多个版本

如果要同时提供模型的多个版本，比如编号为2和编号为3的版本，则将specific设置为多个版本号即可

model_config_list {
  config {
    name: 'my_first_model'
    base_path: '/path/to/my_first_model/'
    model_version_policy {
      specific {
        versions: 2
        versions: 3
      }
    }
  }
}

但从用户的角度来说，用户没必要知道模型版本号是什么，而只需要加载一个特定名字的版本即可，比如加载稳定版stable、临时版canary等名字，这时候就需要给这些模型版本设置别名，比如

model_config_list {
  config {
    name: 'my_first_model'
    base_path: '/path/to/my_first_model/'
    model_version_policy {
      specific {
        versions: 2
        versions: 3
      }
    }
    version_labels {
      key: 'stable'
      value: 2
    }
    version_labels {
      key: 'canary'
      value: 3
    }
  }
}

这样用户就只需要定向到stable或canary版本即可，而并不关心具体对应的是哪个版本号，这样做还有一个好处就是可以在不通知用户的情况下向前移动标签，比如说版本3测试稳定后，可以升级为稳定版本，则只需要将stable对应的value改为3即可。同样地，如果需要版本回滚，则只需要将value修改为之前的版本即可

3 客户端调用

服务端提供了多种模型版本后，客户端可以指定要请求哪个版本的服务，如果使用grpc接口请求，则在request部分指定version.value即可，例如

request = predict_pb2.PredictRequest()
request.model_spec.name = "detection"
request.model_spec.version.value = 1
request.model_spec.signature_name = "serving_default"