从0到1，AI我来了- （5）大模型-本地知识库-I

一、下载&安装Ollama

        Ollama下载地址： Download Ollama on macOS

        Github地址：GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

        Ollama 是啥？

        是一个人工智能和机器学习平台，旨在简化和加速模型的开发、训练和部署。有点类似于Docker 查询、管理、运行各种镜像，Ollama 可管理、查询、部署模型。

        Ollama  跑模型

# 控制台运行，当前发布不久的meta 开源模型 llama3.1
ollama run llama3.1

pulling manifest
pulling 87048bcd5521... 100% ▕████████████████████████████████████████████████████▏ 4.7 GB
pulling 8cf247399e57... 100% ▕████████████████████████████████████████████████████▏ 1.7 KB
pulling f1cd752815fc... 100% ▕████████████████████████████████████████████████████▏  12 KB
pulling 56bb8bd477a5... 100% ▕████████████████████████████████████████████████████▏   96 B
pulling e711233e7343... 100% ▕████████████████████████████████████████████████████▏  485 B
verifying sha256 digest
writing manifest
removing any unused layers
success

        本地没有整个模型，会自动下载llama3.1，跑个命令试试。

Ollama  API ，11434 端口是模型提供的API 服务端口(后面与Anythingllm 对接需要用到）

写个程序（如附录一 程序demo）

二、下载&安装AnythingLLM

        AnythingLLM 地址 desktop安装：MacOS Installation ~ AnythingLLM

        但官方更建议用Docker 安装: Local Docker Installation ~ AnythingLLM

 1、AnythingLLM 是啥?

AnythingLLM is the easiest to use, all-in-one AI application that can do RAG, AI Agents, and much more with no code or infrastructure headaches.

AnythingLLM 是最简单易用的 AI 应用程序全家桶，可以实现 RAG（检索增强生成）、AI 代理等多种功能，无需代码或基础设施方面的烦恼。

2、AnythingLLM 利用  docker 安装

三个前置条件：

• docker installed on your machine
• yarn and node on your machine
• access to an LLM running locally or remotely

1） 安装docker

如果没有安装Docker ,从这里下载 https://www.docker.com/ 安装。

国内镜像配置，参考附录二。

2）安装nvm 、Node 、yarn 

nvm：全名叫做 nodejs version manage,是一个非常棒的nodejs的版本管理工具

Yarn：Yarn is an established open-source package manager used to manage dependencies in JavaScript projects. 开源的Js 工程的包及其以来管理工具。

安装命令如下：

# layouts.download.codeBox.installsNvm
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.7/install.sh | bash

# layouts.download.codeBox.downloadAndInstallNodejsRestartTerminal
nvm install 20

# layouts.download.codeBox.verifiesRightNodejsVersion
node -v # layouts.download.codeBox.shouldPrint

# layouts.download.codeBox.verifiesRightNpmVersion
npm -v # layouts.download.codeBox.shouldPrint

安装nvm 

安装Node 

安装yarn

Local Docker 安装好之后，命令行安装AnythingLLM

 docker pull mintplexlabs/anythingllm

安装成功后，可以docker  images 看到 Anythingllm 的镜像。 

 3、运行 anythingllm 镜像

命令如下：

sudo mkdir -p /opt/tech/anythingllm && sudo chmod -R 755  /opt/tech/anythingllm && export STORAGE_LOCATION=/opt/tech/anythingllm && sudo touch "$STORAGE_LOCATION/.env" && docker run -d -p 3001:3001 --cap-add SYS_ADMIN  -v ${STORAGE_LOCATION}:/app/server/storage -v ${STORAGE_LOCATION}/.env:/app/server/.env -e STORAGE_DIR="/app/server/storage"  mintplexlabs/anythingllm

命令解析：

• 创建存储路径 /opt/tech/anythingllm目录、.env文件
•  -d  后台运行
• -p 并指定本地3001端口映射容器端口3001
• --cap-add=SYS_ADMIN  这样容器内部就被赋予系统的 SYS_ADMIN权限
• -v   参数可以将主机上的文件或目录挂载到容器内部，实现主机和容器之间的文件共享：
• -e 设置容器的环境变量
•  mintplexlabs/anythingllm 镜像名称

跑的过程中，提示路径不是共享路径，我们按指示去设置一下

docker: Error response from daemon: Mounts denied:
The path /opt/tech/anythingllm is not shared from the host and is not known to Docker.
You can configure shared paths from Docker -> Preferences... -> Resources -> File Sharing.
See https://docs.docker.com/desktop/mac for more info.

跑了几次没成功，很快退出了，我们分析一下原因：

docker logs NAMES( 上图最后一列，其中一个）

发现需要用到Node.js ，而我们忘记安装了，😅

再跑一次看看，问题依旧。

原因我的路径下，权限不足，所以补一个动作，给新建的目录授权一下,再跑一下，OK了。

chown -R anguszhu tech

❯ docker ps |grep anythingllm
e38a8b074321   mintplexlabs/anythingllm    "/bin/bash /usr/loca…"   2 minutes ago   Up 2 minutes (healthy)   0.0.0.0:3001->3001/tcp   keen_williams

打开浏览器： http://localhost:3001

上图Angus’ workspace 是我创建的工作区，找到上传图标，上传了一个阿里的开发规范。

我们再上传小说看看：

至此，本地知识库差不多了，有个入门，下篇我们整点Stable diffusion或者数字人、“冷门歌手” 唱首rap 是什么感觉...

附录一 程序demo（这个截图工具有点Bug，图卡了）

 附录二：国内镜像配置，可以在Dashboard中增加国内url:

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com",
    "https://ccr.ccs.tencentyun.com"
  ]
}

附录三：安装Node