大模型应用之基于Langchain的测试用例生成

一 用例生成实践效果

在组内的日常工作安排中，持续优化测试技术、提高测试效率始终是重点任务。近期，我们在探索实践使用大模型生成测试用例，期望能够借助其强大的自然语言处理能力，自动化地生成更全面和高质量的测试用例。

当前，公司已经普及使用JoyCoder，我们可以拷贝相关需求及设计文档的信息给到JoyCoder，让其生成测试用例，但在使用过程中有以下痛点：

1）仍需要多步人工操作：如复制粘贴文档，编写提示词，拷贝结果，保存用例等

2）响应时间久，结果不稳定：当需求或设计文档内容较大时，提示词太长或超出token限制

因此，我探索了基于Langchain与公司现有平台使测试用例可以自动、快速、稳定生成的方法，效果如下：

用例生成效果对比	使用JoyCoder	基于Langchain自研
生成时长 （针对项目--文档内容较多）	·10~20分钟左右，需要多次人工操作 （先会有一个提示：根据您提供的需求文档，下面是一个Markdown格式的测试用例示例。由于文档内容比较多，我将提供一个概括性的测试用例模板，您可以根据实际需求进一步细化每个步骤。） ·内容太多时，报错：The maximum default token limit has been reached、UNKNOWN ERROR:Request timed out. This may be due to the server being overloaded，需要人工尝试输入多少内容合适	·5分钟左右自动生成 （通过摘要生成全部测试点后，再通过向量搜索的方式生成需要细化的用例） ·内容太多时，可根据token文本切割后再提供给大模型
生成时长 （针对普通小需求）	差别不大，1~5分钟
准确度	依赖提示词内容，差别不大，但自研时更方便给优化好的提示词固化下来

（什么是LangChain？ 它是一个开源框架，用于构建基于大型语言模型（LLM）的应用程序。LLM 是基于大量数据预先训练的大型深度学习模型，可以生成对用户查询的响应，例如回答问题或根据基于文本的提示创建图像。LangChain 提供各种工具和抽象，以提高模型生成的信息的定制性、准确性和相关性。例如，开发人员可以使用 LangChain 组件来构建新的提示链或自定义现有模板。LangChain 还包括一些组件，可让 LLM 无需重新训练即可访问新的数据集。）

二 细节介绍

1 基于Langchain的测试用例生成方案

方案	优点