写在前面
本文中所有的内容仅供参考,本人并不对任何产生的后续问题负任何责任。
ChatGPT的爆火出圈点燃了人们对人工智能的兴趣,前段时间清华开源了自己的模型ChatGLM-6B,得益于量化技术使其能够运行在家用消费级显卡上,极大地降低了门槛,使本地部署成为了可能。本篇文章将真正意义上的从头教学,从装机开始教你组建自己的机器并训练自己的模型。特别鸣谢:秋葉aaaki 以及所有制作一键包的人们,在本教程中使用 秋葉aaaki 的一键包进行部署
硬件部分
现在你可能有了那么一点时间,口袋里正好也有了一点点零花钱,而你又恰好对本地部署感兴趣,那么你需要一台合适而又廉价的机器来进行使用以及训练模型。在本篇教程中我不会推荐你具体去买哪家的什么配件,因为我并没有收厂家的广告费,一切靠你自己或者图吧老哥。那么事不宜迟,立刻开始:
ChatGLM(以及其他语言模型)并不强制性的需要你使用GPU进行运算,如果你的电脑大于32G,而你又没有心仪的显卡选择,你可以考虑试试使用CPU进行运算,据说速度会慢,但好处是在这篇文章编写的时候,内存可比显存便宜多了。
如果你决定使用CPU进行运算,那么我推荐使用intel9代及以上的CPU(AMD的U我没有试过,等一个有缘人的反馈),对于CPU运算来说,CPU的好坏决定了运算的速度。
如果你决定使用GPU进行运算,那么你会有很多选择,最新的量化技术允许GLM运行在大于4G显存的显卡上,但我认为选择一个显存容量高于12G的显卡会极大地提升你的用户体验。如果你的预算恰好非常充裕,那么你可以选择3090及以上的高端游戏显卡作为你的训练卡,这类显卡往往有着非常好的运算能力。但如果你和我一样预算只能用捉襟见肘来形容的话,那么你不妨可以参考我的解决方案:使用一张老旧的专业卡。
主流的老旧专业卡包括K80,M40(24G版)(下文简称M40),P40,P100等,其中P100具有半精度浮点计算能力,这可以使它的训练或推理速度更快,不过它的显存只有16G,还请自行取舍。而K80虽然也有24G显存,但是它基于过于老旧的Kepler2.0架构,与GT720相同,基于性价比等原因并不推荐使用。M40与P40这两张卡都有着24G显存,其中M40基于Maxwell架构,单精度浮点能力为7Teraflops,双精度浮点能力为0.2Teraflops。P40基于Pascal架构,单精度浮点能力为12Teraflops,在训练与推理上比M40更快,但由于在我写这篇文章的时候市场中P40的价格已经涨到1000+了,而M40价格是400+。因此我选择了M40进行机器的搭建。
至此,用于推理及训练模型的核心部件已经选择完毕,剩下的部分请依靠自己的钱包的能力自行搭配,在下一篇中我将详细说明显卡的注意事项与配置方式。
作为本章的最后,我在此附上我的配置仅供参考:
主板:Z690A(850)
CPU:i3-10100(560)
显卡:M40(470)
内存:16g(160)
硬盘:512g(180)
电源:650w(300)
共计:2520 元