基础闯关2

1. Cli模型部署

模型部署所需要的库主要包括：

pytorch==2.1.2 
transformers==4.38
sentencepiece==0.1.99
einops==0.8.0
protobuf==5.27.2
accelerate==0.33.0

由于配置环境比较耗时，在开发机中已经预置了用于模型部署的Python环境，直接激活即可：

conda activate /root/share/pre_envs/icamp3_demo

配置环境后，需要创建文件夹和代码文件，命令如下：

mkdir -p /root/demo
touch /root/demo/cli_demo.py

在cli_demp.py文件中，我们需要编写部署大模型相关的代码。这里我们使用transformers库调用本地模型文件，进行下一个词元预测任务，代码如下：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 模型地址
model_name_or_path = "/root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()

system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""

messages = [(system_prompt, '')]

print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")

while True:
    input_text = input("\nUser  >>> ")
    input_text = input_text.replace(' ', '')
    if input_text == "exit":
        break

    length = 0
    for response, _ in model.stream_chat(tokenizer, input_text, messages):
        if response is not None:
            print(response[length:], flush=True, end="")
            length = len(response)

在命令行执行python /root/demo/cli_demo.py来启动demo，并输入生成故事的指令：

可以看到，1.8B模型以16精度进行部署时，整体来看能够完成指令要求。

2. LMDeploy InternLM-XComposer2-VL-1.8B部署

InternLM-XComposer2 是一款基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。

LMDeploy 是一个用于压缩、部署和服务 LLM 的工具包，能够进行高效的推理和有效的量化。

我们需要使用LMDeploy部署InternLM-XComposer2-VL-1.8B的Gradio服务，仅需一行命令就可以完成模型的部署：

lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

随后需要将开发机的6006端口映射到本地，就可以在本地127.0.0.1:6006页面访问Gradio应用，部署效果如下：

可以看到，应用包含了标题、模型名称、图片上传、文本生成配置等信息。点击Upload Image上传本地图片，并输入相关指令可以对图片进行提问。我们使用一张雨中木桥图片作为测试图片：

模型的效果如下：

可以看到，模型能够描述图片中的大部分信息。

3. LMDeploy InternVL2-2B部署

InternVL2 是上海人工智能实验室推出的新一代视觉-语言多模态大模型，是首个综合性能媲美国际闭源商业模型的开源多模态大模型。

我们仍然使用LMDeploy来部署InternVL2-2B 模型的 Gradio 服务：

lmdeploy serve gradio /share/new_models/OpenGVLab/InternVL2-2B --cache-max-entry-count 0.1

应用页面如下：

可以看到，只有模型名称与前面的模型不一样，其余组件均相同。我们使用一张动漫风景作为测试图片：

模型的效果如下：

可以看到，模型生成的内容能够描述图像的信息，且语句流畅、优雅。