引言
01
目前,众多大模型可以供人免费使用,但也有一些问题:它们不仅多数是闭源的,部分还涉及收费机制,或者在背后收集用户数据。为了保护我们的数据和隐私,完全可以采用一些工具,在个人笔记本电脑上实现完全离线且独立运行大语言模型(LLM)。
下文介绍了一款名为LM Studio的工具,它支持用户以离线方式仅利用CPU运行大模型。即便没有配备显卡,您同样可以在自己的设备上畅享运行体验。
安装工具
02
首先,访问https://lmstudio.ai/,下载适合自己操作系统的版本。LM Studio支持三种类型的操作系统,Mac OS、 Windows、 Linux,请根据自己的电脑选择下载的文件。
注意:不支持手机。
下载完之后,直接点安装即可。
如果C盘空间不够大的话,安装完成后改下模型的下载目录(一般一个模型文件在4G以上)。点最下面的文件夹图标,再点击Change,可以把模型目录切换到其他盘的文件夹。
安装模型
02
LM Studio安装模型看起来很简单,但也有一些坑。
打开该工具后,可以看到各种模型的卡片及其说明。但是,点Download的时候,居然报错了!如下图所示。
究其原因,是因为LM Studio的模型下载源是位于美国的Huggingface网站。
由于无法直接点击下载,只能换个方法,从国内手动下载模型然后放到模型目录下。
以千问模型为例,访问摩搭社区的Qwen模型页面,https://www.modelscope.cn/models/qwen/Qwen2-7B-Instruct-GGUF/files,下载gguf文件。
里面有多种类型的gguf文件,根据自己的电脑情况,下载一个大小适中的模型即可(推荐 qwen2-7b-instruct-q4_k_m.gguf 4.68GB),后续我们会介绍这几种GGUF文件的区别。
下载完成后,手动按照下面的目录格式创建层级目录(Qwen>Qwen2-7B),再把下载的文件复制到该目录下。
复制完之后,可以在聊天(点左侧第三个图标)时加载该模型。
加载之后,可以在模型旁边看到,该模型占用了5.63G内存(RAM Usage).
试试效果
03
聊天时选择Qwen2模型后,在下面的聊天框可以输入文字和大模型对话。比如,可以问,“请介绍下上海市”。
或者问,什么是正态分布?
从结果可以看出,效果还不错,通顺流利,没有明显的错误。
注意:因为训练策略不同,不同大模型的输出都带有一定的价值偏向。使用的时候一定要仔细检查。
小结
04
本文简要介绍了如何使用LM Studio在本地运行大模型。后续我们将进一步探讨LM Studio的高级使用技巧,帮助您最大限度地发挥这一工具的潜力。除此之外,我们还将详细介绍大模型的相关知识,包括其设计、训练、优化及在各行业的典型应用,敬请关注。
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/53e57408ee021f5bc0a16d5f3b169ece.png)
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。