L1 第六关 OpenCompass 评测 InternLM-1.8B 实践

L1 第六关 OpenCompass 评测 InternLM-1.8B 实践

1. 环境配置

直接用之前的开发机了
安装环境

conda create -n opencompass python=3.10
conda activate opencompass
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 注意：一定要先 cd /root
cd /root
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .


apt-get update
apt-get install cmake
pip install -r requirements.txt
pip install protobuf

2. 数据准备

解压评测数据集到/root/opencompass/data/处

3. InternLM和ceval 相关的配置文件

列出所有跟 InternLM 及 C-Eval 相关的配置
小bug，但还是打印出了配置

4. 启动测评

修改文件

numpy版本导致继续报错，更换为版本1.26.0

python run.py --datasets ceval_gen --models hf_internlm2_chat_1_8b --debug

测评结果如下：

5.使用配置文件修改参数法进行评测

创建配置文件

测试结果如下：