事先说一下,我本地的显卡4070只有12G显存,无法运行本地知识库,我把自己折腾的过程和遇到的坑先记录一下吧,后续如果有算力的话就再跑一遍试试。后续来了:【AI】使用阿里云免费服务器搭建Langchain-Chatchat本地知识库
Langchain-Chatchat曾用名Langchain-ChatGLM,是智谱AI的本地知识库项目,其官方介绍如下:🤖️ 一种利用 langchain 思想实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
项目地址:https://github.com/chatchat-space/Langchain-Chatchat
之前有看过使用ChatGLM结合Langchain构建本地知识库的内容,随着ChatGLM3-6B模型的发布,我发现官方竟然也出了本地知识库的项目,试想肯定还是官方对项目的了解最深入,所以还是适用一下吧。官方wiki上推荐是Linux系统,但是由于我没有Linux的环境,所以还是尝试在Windows环境上跑一下吧。
1.环境搭建
wiki中环境的要求如下:
最低要求
该要求仅针对标准模式,轻量模式使用在线模型,不需要安装torch等库,也不需要显卡即可运行。
Python 版本: >= 3.8(很不稳定), < 3.12
CUDA 版本: >= 12.1
推荐要求
开发者在以下环境下进行代码调试,在该环境下能够避免最多环境问题。
Python 版本 == 3.11.7
CUDA 版本: == 12.1
根据上述要求,适用Anaconda创建虚拟环境,我这边选择的python版本是3.10
conda create
搭建AI本地知识库:Langchain-Chatchat在Windows上的部署与问题解决,

本文讲述了作者在Windows环境下尝试使用阿里云免费服务器搭建Langchain-Chatchat本地知识库的过程,遇到显存限制、模型加载、webui显示等问题,并分享了解决方案,包括模型量化和环境变量配置。
最低0.47元/天 解锁文章
6万+





