今天,我用gtp的gpt-4o-mini模型,来实际测试一下金庸名著白马啸西风。
1、 评测背景数据
模型:gpt-4o-mini
文件大小:209kb
中文字数:74453(大约11.16万token)
2、知识图谱建立后数据
耗时:4分钟
日志:
知识图谱建立后的花费情况:0.12USD(大约8毛人民币)
3、提问测试
问题1
故事的大意是什么?
问题2
李文秀是怎么样子的一个人?
问题3
文中的角色都有什么武功
问题4
民文中体现的族关系是什么样子的
问题5
高昌迷宫有什么宝藏?
上面5次提问一共花费0.02USD。
4、结论
1、使用gpt-4o-mini速度比较快,价格也是能承受的范围。
2、回答问题的质量,其实有待提高。甚至质量低于直接和gpt-4o-mini的沟通。(我猜想,可能其他大模型已经用这篇小说训练过了。)可能采用gpt4 效果会好很多。
3、可能受prompt影响,prompt要调整调整。