大模型本地化部署2-Docker部署MaxKB

0、MaxKB简介

MaxKB是一款基于LLM大预言模型的知识库问答系统。具有以下特点：

• 多模型支持：支持对接主流的大模型，包括本地私有大模型（如Llama 2）、Azure OpenAI、百度千帆、阿里通义千问大模型等；
• 开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化、智能问答交互体验好；
• 无缝嵌入：支持零编码快速嵌入到第三方业务系统。

1、安装docker

docker的安装不在此讲解，假设您已经安装好了docker环境。我本地电脑是Windows11，采用的WLS的方式，就是在应用商店中安装了Ubuntu20.4，在Ubuntu20.4中安装的docker环境，使用时先启动docker服务，如下图：

2、在docker中拉取MaxKB镜像

首先通过以下命令搜索都有那些maxkb镜像：

docker search maxkb

执行如下下图：

然后通过以下命令拉取maxkb镜像

docker pull 1panel/maxkb

如果提示网络未响应，可以改为以下命令尝试最新镜像

docker pull cr2.fit2cloud.com/1panel/maxkb

执行如下图：

3、运行镜像

拉取镜像完毕后，运行一个容器实例，如下：

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

执行结果如下图：

4、访问MaxKB

启动maxkb容器实例后，就可以在本机打开浏览器，在地址栏输入以下地址进行访问：
http://localhost:8080
运行效果如下图：

默认登录信息
用户名：admin
默认密码：MaxKB@123…

进入系统后会提示修改默认密码，如下图所示：

然后输入自己的新密码保存。

5、创建应用

点击下图中的创建应用

根据提示填写相关信息

其中AI模型选择，添加模型，在弹出选择供应商界面中选择Ollama，如下图：

在添加Ollama模型时填写相应信息，如下图所示：

其中“基础模型”，如果下拉列表中没有你要用的模型，可以直接输入，只要名字对就行，如果ollama还没有安装这个模型，就会自动下载。
其中“API域名”，要填写ollama服务器的IP地址:11434
注意需要关闭windows下的专用网络防火墙，就是能在wsl2中能ping通ollama服务器的ip地址，或者能telnet登录上ollama服务器IP地址 11434。否则会提示API域名无效。

填写应用信息完毕后如下图：

然后点击“创建”按钮，就可以在应用列表中看到这个应用，如下图：

6、使用应用进行对话

点击应用下面的演示按钮，就可以打开对话界面了，如下图：

点击演示后，出现新页面，如下图：

这样就可以进行知识问答了，如下图：

在问答的过程中，可以看到GPU的使用情况。