华为AI培训-ChatGLM3-6B 实验环境搭建（学生端）

本文链接：https://blog.csdn.net/zosse/article/details/145182612

1.1 实验介绍
1.1.1 实验背景
ChatGLM3-6B 是一个基于 GPT-3 模型的聊天机器人，具有强大的自然语言处理能力和智能对话能力。它可以理解人类自然语言输入，并生成自然流畅的回复，使得用户可以与机器人进行自然、流畅的对话。

1.1.2 实验原理
ChatGLM3-6B 是一个基于 GPT-3 模型的自然语言生成模型，拥有 1750 亿个参数，是目前公开发布的最大的 AI 语言模型之一。它可以用于生成各种类型的自然语言文本，例如聊天对话、新闻文章、诗歌等等。ChatGLM3-68 的训练数据来自于互联网上的大量文本，它可以自动学习语言的规律和模式，并生成具有逻辑性和连贯性的文本。

1.1.3 实验目的
将 ChatGLM3-6B 模型部署到服务器上，使得用户可以通过网络访问该模型，并进行对话。通过实验可以了解模型的部署过程，掌握如何使用客户端，可视化，和 api部署方式。

1.2 ChatGLM3模型服务侧部署(需要 GPU)(Windows
1.2.1 安装 Anaconda
下载链接:https://repo.anaconda.com/archive/

1.2.2 创建虚拟环境
打开Anaconda PowerShell Prompt

创建虚拟环境conda create -n student python==3.11如有提示 Proceed([y]/n)?，全部输入y
激活虚拟环境 conda activate student，如需关闭虚拟环境，conda deactivate

设置阿里源

pip config set install.trusted-host mirrors.aliyun.com/pypi/simple

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple

项目代码地址

https://github.com/THUDM/ChatGLM3

pytorch官网地址：PyTorch

安装pytorch

pip3 install torch torchvision torchaudio

cd d:
cd D:\AI\ChatGLM3-main
pip install -r .\requirements.txt

环境就下载完成了，准备做实验

3.做实验

进入到项目文件夹：cd D:\AI\第四章开发私人知识库_chatGLM3

修改main.py文件当中：
改公网地址（main.py36行) OPENAI_BASE_URL = "http://1.95.153.203:8000/v1/"
改EMBEDDING路径（main.py62行) embeddings = HuggingFaceEmbeddings(model_name="D:/AI/chapter2/ChatGLM3-main/EMBEDDING")

修改完之后运行代码：
streamlit run .\main.py

可能会报错，缺什么装什么
pip install python-dotenv
pip install pdfplumber
pip install -U langchain-community
pip install faiss-cpu
再次运行:streamlit run .\main.py

随便写一个email:123@qq.com，进入到网页中