本文对比评测了国内多家公司的大语言模型，包括百度文心、阿里通义、腾讯混元等，在自然语言理解、推理、创造性、情感分析等方面进行了测试，结果显示各模型在某些领域表现相近，但在特定任务中存在差异。
国内大语言模型对比评测（一）
针对国产大模型的横空出世并不断打磨其性能，这次评测我们将覆盖国内所有开源的大语言模型（如下），也针对大家常用功能的设计了测试问题，用于评测其生成结果的优劣。测试问题统一为中文，用于为国内用户使用大语言模型提供参考。
我们所用到的国产大语言模型如下：
我们所涉及的测试问题主要涉及以下方面：自然语言理解、推理、创造性、情感和意图分析、语言多样性和翻译、多学科知识融合、偏见和伦理、鲁棒性、数学推理、医学诊断、多模态理解和生成。
评测系列文章：
- 国内大语言模型对比评测（一）
- 自然语言理解
- 推理
- 创造性
- 情感和意图分析
- 国内大语言模型对比评测（二）
- 语言多样性和翻译
- 多学科知识融合
- 偏见和伦理
- 鲁棒性
- 国内大语言模型对比评测（三）
- 数学推理
- 医学诊断
- 多模态理解和生成
测试结果
一. 自然语言理解
| 测试问题："解释量子力学的哥本哈根解释是什么？"、"在《罗密欧与朱丽叶》中，朱丽叶的复杂情感如何反映了莎士比亚对人性的理解？" |
| 评测结果：国产大模型在自然语言理解和生成结果上相差不大 |
百度文心一言3.5
|
|
阿里通义千问
|
|
腾讯混元
|
|
讯飞星火
|
|
抖音云雀
|
|
最低0.47元/天 解锁文章
扫一扫
9万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
