langchain 0.2【2024-06-23】安装及连接本地llama3模型

前言 

代码下载：GitHub - langchain-ai/langchain: 🦜🔗 Build context-aware reasoning applications

我的代码下载的是2024-06-23的#365版本】

安装

1. 因为langchain包含很多个模块，如果是学习用建议都安装上，避免一些包丢失查找浪费时间。如果只用到部分模块，可以只安装对应的模块
2. 这里我是用到那个安装那个，先安装langchain，后边用到了再说【我怕我乱了】

# pip 安装
pip install langchain

# conda 安装
# conda install langchain -c conda-forge

# langchain-core单独安装，包含 LangChain 生态系统其余部分使用的抽象基类以及 LangChain 表达语言
# pip install langchain-core

# LangSmith SDK 由 LangChain 自动安装，单独安装
# pip install langsmith

# langchain-community包含第三方集成
# pip install langchain-community

# langgraph是一个使用 LLM 构建有状态、多参与者应用程序的库，它建立在 LangChain 之上
# pip install langgraph

# LangChain CLI 适用于处理 LangChain 模板和其他 LangServe 项目
# pip install langchain-cli

# LangServe 帮助开发人员将 LangChain 可运行对象和链部署为 REST API。LangServe 由 LangChain CLI # 自动安装。如果不使用 LangChain CLI
# pip install "langserve[all]"

一：本地模型部署 

ollama安装

1. 本地模型： Meta-Llama-3-8B-Instruct-Q4_K_M.gguf【百度网盘】
2. 下载ollama，下载后不要启动【百度网盘】
3. 修改模型存放路径【不修改也可以，默认在C盘用户下】
   
4. 如果你用ollama直接下载llama3的模型可以，我已经有了，所有直接创建一个ollama的模型就行了
   1.先进入到下载的模型目录，我的是D:\Program Files\Jan\models\llama3-8b-instruct
   2.编写modelfile文件在模型的目录位置下创建，8b.modelfile，内容是模型的位置FROM D:\Program Files\Jan\models\llama3-8b-instruct\Meta-Llama-3-8B-Instruct-Q4_K_M.gguf
   
5. 启动ollama，安装完就在启动菜单里
   
6. 创建ollama模型

   # 在模型目录下进入cmd环境
   ollama create llama8b -f 8b.modelfile

7. 创建成功

   ollama list

   
   
8. 验证模型服务
   
9. 到这里，ollama的服务就完成了，关闭cmd就可以了

二：langchain调用ollama

创建项目

目录结构

项目源码 

代码没啥好说的，比较简单。有不清楚的评论回复吧
github：GitHub - zhoudf10/langchain-learning
gitee： langchain: langchain结合llama3建立本地知识库

 运行结果

二：RGA【外部数据增强】

根据我的需求，先尝试利用外部数据增强本地模型的回答

安装 

这里用到了向量数据库chroma

1. 文档地址：Chroma | 🦜️🔗 LangChain
2. 简要说明：就是一个三方组件，和java的mybatis，python的sqlalchemy一样，操作数据库的

# 三方组件和向量数据库插件
pip install langchain_community langchain_chroma

• 结果：

---

---

---

【下班了。没传的资源，明天继续。。。。。。。】