目前在服务器上部署服务遇到的问题
1.在新的服务器上部署环境和服务
1.1在新的服务器上部署环境
之前的服务器上放的程序太多,需要在新的服务器上部署,这次把之前踩过的坑记录一下以免后续还要重新采坑。
首先是在一个新的服务器上部署虚拟环境,以我目前使用最多次的tf1环境为例,首先需要创建一个名为tf1的虚拟环境,创建命令如下:
conda create -n tf1 python=3.6
然后激活这个虚拟环境,命令如下:
source activate tf1
之后安装TensorFlow,注意这里一般安装的都是1.12.0,命令如下:
pip install tensorflow==1.12.0
注意这里一定是安CPU,而不是GPU版本,否则就会出现一下报错:
importerror: libcublas.so.9.0: cannot open shared object file: no such file or directory
正确安装CPU版本就不会出现以上错误。
1.2 服务部署
环境安装完成之后,还需要安装开启接口服务的程序包,安装命令如下:
pip install bert-base==0.0.7 -i https://pypi.python.org/simple
pip install flask
pip install flask_compress
pip install flask_cors
pip install flask_json
安装完以上程序包之后,还需要对原始的bert-service做修改,使其预测结果为分数而非类别标签,修改步骤如下:
找到当前Python程序包对应的site-packages文件夹,如:
C:\Users\dell\Anaconda3\envs\test_server\Lib\site-packages
(其中C:\Users\dell\Anaconda3代表Anaconda安装路径,envs\test_server是当前Python环境对应的安装路径)
进一步找到刚安装的bert-base程序包的文件夹
修改:bert_base/server/__init__.py 文件
line 465:
return EstimatorSpec(mode=mode, predictions={
'client_id': features['client_id'],
'encodes': tf.argmax(pred_probs[0], axis=-1),
'score': tf.reduce_max(pred_probs[0], axis=-1)
})
修改为:
return EstimatorSpec(mode=mode, predictions={
'client_id': features['client_id'],
'encodes': pred_probs[0],
'score': pred_probs[0]
})
line 515:
pred_label_result = [self.id2label.get(x, -1) for x in r['encodes']]
修改为:
pred_label_result = r['encodes'].tolist()
保存修改后的文件
修改完成后,下一步就是程序修改。
2.服务程序需要修改的地方
在新的服务器上开始程序的时候,需要注意以下地方的修改
- api-service.py中的接口和bertsvr.sh中的接口信息是否一致
- api-service.py的ip地址是否修改
例如以下程序中的ip和port:
with BertClient(ip='159.226.102.34', port=5544, port_out=5545, show_server_config=False,
修改完之后,首先启动bertsvr,然后启动API。启动的命令在start.sh文件中