- 博客(3)
- 收藏
- 关注
RSS订阅原创 龙芯3A6000编译PyTorch 2.1.0（含Python 3.8和CMake 3.27.7）
近日收到了龙芯3A6000的产品机器，配了8GB的内存和4GB Radeon独显。系统为桌面版Loongnix 20，是龙芯开源社区推出的Linux发行版。不同于之前的龙芯CPU，龙芯3A6000采用了全新的LoongArch64架构，因此软件生态还不甚完善。本文将在Loongnix 20环境中编译PyTorch 2.1.0，以使其能运行于龙芯3A6000 CPU上。本文假设系统用户名为龙芯系统默认的sancog，路径以用户文件夹/home/sancog为基础。
2023-11-02 23:16:30
570
原创 大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B
llama.cpp是近期非常流行的一款专注于Llama/Llama-2部署的C/C++工具。本文利用llama.cpp来部署Llama 2 7B大语言模型，所采用的环境为Ubuntu 22.04及NVIDIA CUDA。文中假设Linux的用户目录（一般为/home/username）为当前目录。
2023-09-10 12:00:00
1387
1
原创 llama.cpp的一些perplexity结果
除了fp16为其它论文中未量化的结果外，这些perplexity（中文似乎译做“困惑度”）结果均是通过运行llama.cpp中的perplexity程序得到的。在llama.cpp的参数中，qM_N指的是一种将参数量化到M比特的方法。在llama.cpp的开发过程中，同一个量化比特率产生了多种不同的具体的量化方法，因此用N来迭代这些方法以保证向后的兼容性。llama-13b-q4_0的内存需求和llama-7b-q8_0基本类似，但llama-13b-q4_0的perplexity性能要强不少。
2023-09-09 12:03:43
263
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人