大语言模型: 如何在本地运行大模型-CSDN博客

本文链接：https://blog.csdn.net/zhishi0000/article/details/141669414

引言

目前，众多大模型可以供人免费使用，但也有一些问题：它们不仅多数是闭源的，部分还涉及收费机制，或者在背后收集用户数据。为了保护我们的数据和隐私，完全可以采用一些工具，在个人笔记本电脑上实现完全离线且独立运行大语言模型（LLM）。

下文介绍了一款名为LM Studio的工具，它支持用户以离线方式仅利用CPU运行大模型。即便没有配备显卡，您同样可以在自己的设备上畅享运行体验。

安装工具

首先，访问https://lmstudio.ai/，下载适合自己操作系统的版本。LM Studio支持三种类型的操作系统，Mac OS、 Windows、 Linux，请根据自己的电脑选择下载的文件。

注意：不支持手机。

下载完之后，直接点安装即可。

如果C盘空间不够大的话，安装完成后改下模型的下载目录（一般一个模型文件在4G以上）。点最下面的文件夹图标，再点击Change，可以把模型目录切换到其他盘的文件夹。

安装模型

LM Studio安装模型看起来很简单，但也有一些坑。

打开该工具后，可以看到各种模型的卡片及其说明。但是，点Download的时候，居然报错了！如下图所示。

究其原因，是因为LM Studio的模型下载源是位于美国的Huggingface网站。

由于无法直接点击下载，只能换个方法，从国内手动下载模型然后放到模型目录下。

以千问模型为例，访问摩搭社区的Qwen模型页面，https://www.modelscope.cn/models/qwen/Qwen2-7B-Instruct-GGUF/files，下载gguf文件。

里面有多种类型的gguf文件，根据自己的电脑情况，下载一个大小适中的模型即可（推荐 qwen2-7b-instruct-q4_k_m.gguf 4.68GB），后续我们会介绍这几种GGUF文件的区别。

下载完成后，手动按照下面的目录格式创建层级目录（Qwen>Qwen2-7B)，再把下载的文件复制到该目录下。

复制完之后，可以在聊天（点左侧第三个图标）时加载该模型。

加载之后，可以在模型旁边看到，该模型占用了5.63G内存（RAM Usage).

试试效果

聊天时选择Qwen2模型后，在下面的聊天框可以输入文字和大模型对话。比如，可以问，“请介绍下上海市”。

或者问，什么是正态分布？

从结果可以看出，效果还不错，通顺流利，没有明显的错误。

注意：因为训练策略不同，不同大模型的输出都带有一定的价值偏向。使用的时候一定要仔细检查。

小结

本文简要介绍了如何使用LM Studio在本地运行大模型。后续我们将进一步探讨LM Studio的高级使用技巧，帮助您最大限度地发挥这一工具的潜力。除此之外，我们还将详细介绍大模型的相关知识，包括其设计、训练、优化及在各行业的典型应用，敬请关注。

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。