大模型 web ui 界面 text-generation-webui

目录

前言

web ui

ValueError: When localhost is not accessible

---

前言

使用 text-generation-webui 生成大模型界面，这个是专门用于文本对话生成的 web ui 界面

GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.

 克隆或下载到本地，我是想试试这个怎么样，我的环境：

win10, cpu

所以在模型方面找了小模型来试试，https://huggingface.co/Qwen/Qwen1.5-0.5B-Chat/tree/main

qwen1.5-0.5B 只有 2g 多，可以下载模型文件，我在本地电脑没 gpu 情况下能跑起来：

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cpu" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen1.5-0.5B-Chat",
    torch_dtype="auto",
    device_map="cpu"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-0.5B-Chat")

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

 

 

web ui

下载好后，按照它的安装指引安装一下，中途按照提示选择即可

模型文件位置，按照自行放置：

ValueError: When localhost is not accessible

到 text-generation-webui 目录下，运行 python service.py，先提示缺少包，提示啥就安装啥

注意：gradio 需要安装指定版本（requirements.txt 中可以看）

全部没问题后，会得到这个错误，需要在 shared.py 中加一个值 default=True 如下，这个代码直接用 pycham 打开搜索就能找到

group.add_argument('--share', action='store_true', help='Create a public URL. This is useful for running the web UI on Google Colab or similar.', default=True)

然后重新启动 service，点开 url 就可以看到效果

需要加载选择模型，由于我是 cpu ，还有一个 cpu 需要选择，在下面一点，就不截图了，加载成功会提示 successfull：

然后就恶意正常对话了，不过从模型上看，0.5 的效果太差了