通过EvalScope对4090卡上的deepseek进行性能测试

已于 2025-03-03 20:09:20 修改
阅读量1.7k 收藏 23
点赞数 25
文章标签： deepseek
于 2025-03-03 20:07:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaoxilengfeng/article/details/145997906
版权

DeepSeek性能测试

EvalScope是魔搭社区官方推出的模型评测与性能基准测试框架，内置多个常用测试基准和评测指标，如MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH和HumanEval等；支持多种类型的模型评测，包括LLM、多模态LLM、embedding模型和reranker模型。EvalScope还适用于多种评测场景，如端到端RAG评测、竞技场模式和模型推理性能压测等。此外，通过ms-swift训练框架的无缝集成，可一键发起评测，实现了模型训练到评测的全链路支持。

整体架构

在这里插入图片描述
EvalScope 架构图.

包括以下模块：

  1. Model Adapter: 模型适配器，用于将特定模型的输出转换为框架所需的格式，支持API调用的模型和本地运行的模型。

  2. Data Adapter: 数据适配器，负责转换和处理输入数据，以便适应不同的评测需求和格式。

  3. Evaluation Backend:

    • Native：EvalScope自身的默认评测框架，支持多种评测模式，包括单模型评测、竞技场模式、Baseline模型对比模式等。
    • OpenCompass：支持OpenCompass作为评测后端，对其进行了高级封装和任务简化，您可以更轻松地提交任务进行评测。
    • VLMEvalKit：支持VLMEvalKit作为评测后端，轻松发起多模态评测任务，支持多种多模态模型和数据集。
    • ThirdParty：其他第三方评测任务，如ToolBench。
    • RAGEval：支持RAG评测，支持使用MTEB/CMTEB进行embedding模型和reranker的独立评测，以及使用RAGAS进行端到端评测。

  4. Performance Evaluator: 模型性能评测，负责具体衡量模型推理服务性能，包括性能评测、压力测试、性能评测报告生成、可视化。

  5. Evaluation Report: 最终生成的评测报告，总结模型的性能表现，报告可以用于决策和进一步的模型优化。

  6. Visualization: 可视化结果，帮助用户更直观地理解评测结果，便于分析和比较不同模型的表现。

框架特点

  • 基准数据集：预置了多个常用测试基准，包括：MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH、HumanEval等。
  • 评测指标：实现了多种常用评测指标。
  • 模型接入：统一的模型接入机制，兼容多个系列模型的Generate、Chat接口。
  • 自动评测：包括客观题自动评测和使用专家模型进行的复杂任务评测。
  • 评测报告：自动生成评测报告。
  • 竞技场(Arena)模式：用于模型间的比较以及模型的客观评测，支持多种评测模式，包括：
    • Single mode：对单个模型进行评分。
    • Pairwise-baseline mode：与基线模型进行对比。
    • Pairwise (all) mode：所有模型间的两两对比。
  • 可视化工具：提供直观的评测结果展示。
  • 模型性能评测：提供模型推理服务压测工具和详细统计，详见模型性能评测文档。
  • OpenCompass集成：支持OpenCompass作为评测后端，对其进行了高级封装和任务简化，您可以更轻松地提交任务进行评测。
  • VLMEvalKit集成：支持VLMEvalKit作为评测后端，轻松发起多模态评测任务，支持多种多模态模型和数据集。
  • 全链路支持：通过与ms-swift训练框架的无缝集成，实现模型训练、模型部署、模型评测、评测报告查看的一站式开发流程，提升用户的开发效率。

测试指令

32B 1卡1并发:32b-1-1

  evalscope perf \
 --parallel 1 \
 --url http://127.0.0.1:11434/v1/chat/completions \
 --model deepseek-r1:32b \
 --log-every-n-query 5 \
 --connect-timeout 6000 \
 --read-timeout 6000 \
 --max-tokens 2048 \
 --min-tokens 512 \
 --api openai \
 --debug \
 --number 80 \
 --dataset openqa \
 --name 'deepseek-r1:32b-1-1'

32B 1卡5并发:32b-1-5

  evalscope perf \
--parallel 5 \
--url http://127.0.0.1:11434/v1/chat/completions \
--model deepseek-r1:32b \
--log-every-n-query 5 \
--connect-timeout 6000 \
--read-timeout 6000 \
--max-tokens 2048 \
--min-tokens 512 \
--api openai \
--debug \
--number 80 \
--dataset openqa \
--name 'deepseek-r1:32b-1-5'

32B 1卡10并发:32b-1-10

  evalscope perf \
--parallel 10 \
--url http://127.0.0.1:11434/v1/chat/completions \
--model deepseek-r1:32b \
--log-every-n-query 5 \
--connect-timeout 6000 \
--read-timeout 6000 \
--max-tokens 2048 \
--min-tokens 512 \
--api openai \
--debug \
--number 80 \
--dataset openqa \
--name 'deepseek-r1:32b-1-10'

32B 2卡1并发:32b-2-1

  evalscope perf \
 --parallel 1 \
 --url http://127.0.0.1:11434/v1/chat/completions \
 --model deepseek-r1:32b \
 --log-every-n-query 1 \
 --connect-timeout 6000 \
 --read-timeout 6000 \
 --max-tokens 2048 \
 --min-tokens 512 \
 --api openai \
 --debug \
 --number 80 \
 --dataset openqa \
 --name 'deepseek-r1:32b-2-1'

32B 2卡5并发:32b-2-5

 evalscope perf \
--parallel 5 \
--url http://127.0.0.1:11434/v1/chat/completions \
--model deepseek-r1:32b \
--log-every-n-query 5 \
--connect-timeout 6000 \
--read-timeout 6000 \
--max-tokens 2048 \
--min-tokens 512 \
--api openai \
--debug \
--number 80 \
--dataset openqa \
--name 'deepseek-r1:32b-2-5'

测试结果

+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Key                               | 32b-1-1  | 32b-1-5     | 32b-1-10  | 32b-2-1   |32b-2-5    |
+===================================+==========+=============+===========+===========+===========+
| Time taken for tests (s)          | 1921.774 | 578.334     | 612.153   | 1539.471  |533.021    |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Number of concurrency             | 1        | 5           | 10        | 1         |5          |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Total requests                    | 80       | 80          | 80        | 80        |80         |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Succeed requests                  | 80       | 80          | 80        | 80        |80         |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Failed requests                   | 0        | 0           | 0         | 0         |0          |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Throughput(average tokens/s)      | 30.479   | 95.02       | 93.049    | 37.487    |104.608    |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Average QPS                       | 0.042    | 0.138       | 0.131     | 0.052     |0.15       |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Average latency (s)               | 24.019   | 34.707      | 71.745    | 19.24     |31.977     |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Average time to first token (s)   | 24.019   | 34.707      | 71.745    | 19.24     |31.977     |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Average time per output token (s) | 0.033    | 0.066       | 0.201     | 0.027     |0.061      |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Average input tokens per request  | 24.2     | 24.2        | 24.2      | 24.2      |24.2       |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Average output tokens per request | 732.163  | 686.913     | 712.0     | 721.375   |696.975    |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Average package latency (s)       | 24.019   | 34.707      | 71.745    | 19.24     |31.977     |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Average package per request       | 1.0      | 1.0         | 1.0       | 1.0       |1.0        |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+
| Expected number of requests       | 80       | 80          | 80        | 80        |80         |
+-----------------------------------+----------+-------------+-----------+-----------+-----------+

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

性能测试工具evalscope

安装

  1. 创建 conda 环境（可选）
# It is recommended to use Python 3.10
conda create -n evalscope python=3.10
# Activate the conda environment
conda activate evalscope
  1. 使用 pip 安装依赖项
pip install evalscope                # Install Native backend (default)
# Additional options
pip install evalscope[opencompass]   # Install OpenCompass backend
pip install evalscope[vlmeval]       # Install VLMEvalKit backend
pip install evalscope[rag]           # Install RAGEval backend
pip install evalscope[perf]          # Install Perf dependencies
pip install evalscope[all]           # Install all backends (Native, OpenCompass, VLMEvalKit, RAGEval)

基准测试可视化

安装

pip install 'evalscope[app]'
evalscope app --server-port 28888

访问地址
http://127.0.0.1:28888/

基准测试指令

evalscope eval \
 --model deepseek-r1:32b \
 --api-url  http://127.0.0.1:11434/v1 \
 --api-key EMPTY \
 --eval-type service \
 --datasets gsm8k \
 --limit 10

基准测试结果

+-----------------+-----------+-----------------+----------+-------+---------+---------+
| Model           | Dataset   | Metric          | Subset   |   Num |   Score | Cat.0   |
+=================+===========+=================+==========+=======+=========+=========+
| deepseek-r1:32b | gsm8k     | AverageAccuracy | main     |    10 |     0.9 | default |
+-----------------+-----------+-----------------+----------+-------+---------+---------+

性能测试可视化wandb

安装

pip install wandb

本地启动参数

wandb server start -e HOST=http://127.0.0.1:8080    --wandb-api-key 'wandb_api_key' --name 'name_of_wandb_log'

远端看板地址
https://wandb.ai/

参数说明

--number 发出的请求的总数量；默认为None，表示基于数据集数量发送请求。
--parallel 并发请求的数量，默认为1。
--log-every-n-query 每n个查询记录日志，默认为10。
--stream 使用SSE流输出，默认为False。
--connect-timeout 网络连接超时，默认为120s。
--read-timeout 网络读取超时，默认为120s。
--max-tokens 可以生成的最大token数量。
--min-tokens 生成的最少token数量。
--seed 随机种子，默认为42。
--temperature 采样温度。
--url 指定API地址。
--name wandb数据库结果名称和结果数据库名称，默认为: {model_name}_{current_time}，可选。
--api 指定服务API，目前支持[openai|dashscope|local|local_vllm]。
指定为openai，则使用支持OpenAI的API，需要提供--url参数。
指定为local，则使用本地文件作为模型，并使用transformers进行推理。--model为模型文件路径，也可为model_id，将自动从modelscope下载模型，例如Qwen/Qwen2.5-0.5B-Instruct。
指定为local_vllm，则使用本地文件作为模型，并启动vllm推理服务。--model为模型文件路径，也可为model_id，将自动从modelscope下载模型，例如Qwen/Qwen2.5-0.5B-Instruct。

指标说明

指标说明
Time taken for tests (s)测试所用的时间（秒）
Number of concurrency并发数量
Total requests总请求数
Succeed requests成功的请求数
Failed requests失败的请求数
Throughput(average tokens/s)吞吐量（平均每秒处理的token数）
Average QPS平均每秒请求数（Queries Per Second）
Average latency (s)平均延迟时间（秒）
Average time to first token (s)平均首次token时间（秒）
Average time per output token (s)平均每个输出token的时间（秒）
Average input tokens per request每个请求的平均输入token数
Average output tokens per request每个请求的平均输出token数
Average package latency (s)平均包延迟时间（秒）
Average package per request每个请求的平均包数
Expected number of requests预期的请求数
Result DB path结果数据库路径
Percentile数据被分为100个相等部分，第n百分位表示n%的数据点在此值之下
TTFT (s)Time to First Token，首次生成token的时间
TPOT (s)Time Per Output Token，生成每个输出token的时间
Latency (s)延迟时间，指请求到响应之间的时间
Input tokens输入的token数量
Output tokens输出的token数量
Throughput (tokens/s)吞吐量，指每秒处理token的数量

参考

EvalScope文档

AI智算-DeepSeek-r1:671b性能压测&H100
Kason_iWiki
02-23 1569
继上次结合K8s、SGLang、LWS 等技术栈，完成分布式 DeepSeek-r1 推理集群的部署后，经过几天的实际使用，发现当并发数达到一定阈值时，性能出现下降。为进一步评估和优化集群性能，现对已部署的 DeepSeek-r1 推理集群进行深入的性能压测。选型LLM 性能压测工具经过调研，选择 推理引擎 SGLang 自带的基准测试工具，以及Locust和EvalScope两款成熟的性能测试工具，进行全面的性能评估。官网地址：https://locust.io。
【多模态大模型实战】 搭建DeepSeek Janus-Pro 7B 多模态模型，以及推理微调，推理后的模型融合
m0_47867638的博客
02-07 2364
Janus-Pro是DeepSeek最新开源的多模态模型，是一种新颖的自回归框架，统一了多模态理解和生成。通过将视觉编码解耦为独立的路径，同时仍然使用单一的、统一的变压器架构进行处理，该框架解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus-Pro 超过了以前的统一模型，并且匹配或超过了特定任务模型的性能。
大模型评测框架evalscope、openCompass
hang on it more longer
03-29 1008
【LLM之评测】opencompass使用自定义接口与自定义数据集进行评测_opencompass 自定义数据集-CSDN博客（1）新建custom_api.pymodels = [dict(],retry=3。
SWIFT & EvalScope：魔搭社区大模型微调部署与评测的强大利器
MnivL的博客
02-07 1150
本文主要介绍了魔搭社区的两大重要框架 ——SWIFT 和 EvalScope。SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是大模型与多模态大模型微调部署框架，ms-swift 3.0 已发布，支持 450 + 大模型及 150 + 多模态大模型的训练等环节，汇集多种训练技术，支持加速与量化，还提供 Web - UI 界面。EvalScope 是模型评测与性能基准测试框架，支持多种模型类型和评测场景，内置常用测试基准和指标，且与 ms -
10 分钟大揭秘！evalscope 如何测评大模型真实能力？
个人技术
03-15 1306
文章介绍使用魔搭社区开源工具 evalscope 在 IQuiz 数据集上评测模型。先阐述模型评测关键方面，接着说明评测步骤，含开启 notebook、安装工具、评测 Qwen2.5 - 7B - Instruct 和 internlm3 - 8b - instruct 模型、可视化结果，最后总结工具上手简单，适用多种场景。
模型使用与评估框架EvalScope用户指南
gitblog_00659的博客
04-11 557
模型使用与评估框架EvalScope用户指南 llmuses A streamlined and customizable framework for efficient large model evaluation and performance benchmarking ...
大模型压力测试 evalscope
强化学习曾小健
08-15 4073
您可以使用 --query-template 自定义您的请求，您可以指定一个 json 字符串：'{"model": "%m", "messages": [{"role": "user","content": "%p"}], "stream": true,"skip_special_tokens": false,"stop": ["<|im_end|>"]}' 或使用 @to_query_template_path 指定本地文件。--debug 使用--debug选项，我们将输出请求和响应。
evalscope-多模态自定义数据集评测(api)
齐殿天下
01-20 558
evalscope支持选择题和问答题，两种预定义的数据集格式。
DeepSeek-R1模型推理性能测试（EvalScope）
weixin_59534602的博客
02-13 3485
使用EvalScope对DeepSeek-R1大语言模型的推理性能进行测试，并且结果可视化。
【无标题】eval-scope 自定义数据集-翻译
齐殿天下
07-11 540
【代码】【无标题】eval-scope 自定义数据集-翻译。
evalscope评测LLM
qq_43814415的博客
08-28 769
VLLM部署模型为接口服务。
生产环境H200部署DeepSeek 671B 满血版全流程实战（四）：vLLM 与 SGLang 的性能大比拼
nulifancuoAI的博客
03-14 1464
EvalScope是魔搭社区官方推出的模型评测与性能基准测试框架，内置多个常用测试基准和评测指标，如MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH和HumanEval等；支持多种类型的模型评测，包括LLM、多模态LLM、embedding模型和reranker模型。EvalScope还适用于多种评测场景，如端到端RAG评测、竞技场模式和模型推理性能压测等。官网：https://evalscope.readthedocs.io。
双卡 RTX 5090 深度体验：AI 推理框架选择与性能限制实测
nulifancuoAI的博客
03-29 1685
本次双 RTX 5090 的深度体验为我们带来了不少有价值的信息。硬件本身性能强大，双卡并行潜力巨大，但务必重视散热方案和电源配置，以确保稳定运行。在推理框架选择上，Ollama 是当前最方便、开箱即用的选择，适合快速上手和实验。需要特别注意的是，像 SGLang 和 vLLM 这类广泛用于高并发、低延迟生产环境的推理框架，目前对 RTX 5090 的官方支持存在明显滞后。SGLang 因 CUDA 版本限制暂不可用，而 vLLM 需要特定环境下的手动编译，且稳定性有待验证。
# 单并发测试 evalscope perf --parallel 1 --url http://127.0.0.1:8000/v1/chat/completions \ --model DeepSeek-R1 --log-every-n-query 5 --connect-timeout 6000 \ --read-timeout 6000 --max-tokens 2048 --min-tokens 2048 \ --api openai --dataset openqa --number 1 --stream # 逐步提高并发 evalscope perf --parallel 192 --url http://127.0.0.1:8000/v1/chat/completions \ --model DeepSeek-R1 --log-every-n-query 5 --connect-timeout 6000 \ --read-timeout 6000 --max-tokens 2048 --min-tokens 2048 \ --api openai --dataset openqa --number 192 --stream
03-18
好的，我需要帮助用户了解如何使用evalscope进行单并发及高并发的性能测试，特别是配置参数和使用示例。首先，我需要回忆一下evalscope的相关文档或者已知的信息。根据用户提供的引用，引用[1]提到了使用专家模型...
ollama修改配置使用多GPU，使用EvalScope进行模型压力测试，查看使用负载均衡前后的性能区别
最新发布
百年孤独百年的博客
04-15 1554
由于ollama默认调用模型，模型实例会运行在一张卡上，如果有几张显卡，模型只会永远跑在第一张卡上，除非显存超出，然后才会将模型跑在第二张卡，这造成了资源很大的浪费。网上通过修改ollama.service的配置。修改之后可以负载均衡，显存平均分配在集群中的每张卡上，但是我不太了解这种方式是否会提升模型吞吐量？和默认的调用单卡实例有啥区别呢？
又发现FF的两处不同eval和scope释放问题...
和谐的望天
05-22 1478
注以下script块都需单独测试//eval的不同var c = 2;var a = function () {    var c = 1;    return eval.call(null, c);    //call的第一个参数为null的话，就是global即window，所以eval的this引用以及scope都为window(因为是window.eval所以scope是window)
大模型压测方法
Stestack的博客
02-24 1944
*同样的时间能吐的字越多，单个 token 的成本越低。更低的价格和更高的服务质量，二者常常不可得兼。选型LLM 性能压测工具经过调研，选择 推理引擎 SGLang 自带的 sglang.bench_serving 基准测试工具，以及 Locust 和 EvalScope 两款成熟的性能测试工具，进行全面的性能评估。它的最大优势是，用户可以用简单的 Python 代码来定义测试，灵活且易于使用，并且提供Web UI界面，在测试过程中，可以实时查看吞吐量、响应时间和错误情况，或者将数据导出以供后续分析。
MM-LLM：使用swift进行客观评测
qq_43814415的博客
08-07 576
司南是目前国内主流的（我觉得）评测框架，包含LLM的客观评测，VLM的客观评测（移动到vlmevalkit），长文本评测。这里以本地部署的VLM的OpenAI格式接口为例，只需要配置好evalscope环境，然后遵循下述代码。Swift（阿里的）集成了司南的，使得评测更为简单。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

软件架构师笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值