从0开始的AI大模型学习---ollama+amd显卡本地化部署deepseek-r1

又从0开始,之前的从0开始基本上是工作之余的兴趣。这回真的要和自己的工作关联了,我真的。

第一步,deepseek-r1。

我自己的配置不高,本身是为了简单玩个游戏的(没钱)。6650XT+16G

开始!

特别注意:

如果自己的amd显卡不是ollama原生支持的话,需要使用一个魔改的ollama,在GitHub上有这个工程。

可以通过这里确认,如果hipsdk是❌,表示不支持。如果不支持,记一下显卡对应的gfx型号,比如我的6650XT是gfx1032

https://rocm.docs.amd.com/projects/install-on-windows/en/latest/reference/system-requirements.html

两个命令记下来,如果访问GitHub慢的话,推荐直接用这个host的方法:

1、进入CMD

谷歌浏览器访问,注意浏览器的位置:

"C:\Program Files\Google\Chrome\Application\chrome.exe" --host-rules="MAP github.com octocaptcha.com, MAP github.githubassets.com yelp.com, MAP *.githubusercontent.com githubusercontent.com" --host-resolver-rules="MAP octocaptcha.com 20.27.177.113, MAP yelp.com 199.232.240.116, MAP githubusercontent.com 199.232.176.133"

EDGE浏览器访问,注意浏览器的位置:

"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe" --host-rules="MAP github.com octocaptcha.com, MAP github.githubassets.com yelp.com, MAP *.githubusercontent.com githubusercontent.com" --host-resolver-rules="MAP octocaptcha.com 20.27.177.113, MAP yelp.com 199.232.240.116, MAP githubusercontent.com 199.232.176.133"
然后就可以上GitHub了(真是年纪大了,连个梯子都懒得弄了)

一、安装ollama-for-amd

1、下载ollama.exe,安装。Releases · likelovewant/ollama-for-amd · GitHub从这里Assets下载最新版本就行了,我是6.1.2版本了。

2、下载ollama-windows-amd64.7z,解压之后,替换原ollama的lib内容。注意是替换lib文件夹。

3、把下载的rocm文件里的library和rocblas.dll文件替换。

注意一定要按照步骤操作:

4、直接运行ollama,可以查看sever.log,看下是不是支持amd显卡了。

二、下载deepseek模型

这个方法很多了。直接ollama run 模型名称就可以开始下载了。我直接下载14b了。

三、下载一个对话工具

我下载的chatbox,也可以用lm studio,甚至直接ollama命令行也行。初步只是玩玩测试一下。

安装chatbox之后,配置一下模型。

然后就可以开始调教了。我的配置用14b,还是很慢,但是比只有cpu好一些,我也不图回答多快。据我初步观测,14b和官网的v3回答水平差不多。

下一步就是训练自己的数据了。完全门外汉,真吃力。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值