Meta Llama3 大模型在 Mac 上的部署和运行

就在前不久,Meta 正式发布了最新版本的开源大模型 Llama3 ,是迄今为止能力最强的开源大模型。

Llama3 提供了两个版本 8B 和 70B ,如果你不了解 B 代表什么含义,参考这里:# 关于大模型的一些基础内容

其中,8B 版本适合在消费级 GPU 上高效部署和开发;70B 版本则专为大规模 AI 应用设计。每个版本都包括基础和指令调优两种形式。

Meta 首席执行官扎克伯格宣布:基于最新的Llama 3模型,Meta 的 AI 助手现在已经覆盖Instagram、WhatsApp、Facebook 等全系应用。

也就说 Llama3 已经上线生产环境并可用了。

Llama3 的开源地址如下:

https://github.com/meta-llama/llama3

按照开源文档的安装说明也许能把 Llama3 跑起来,但这个太不适合普通人,还有更简单的方法。

这里就不得不介绍一下  Ollama 了,也就是下面这个小羊驼。1951aff46d7fabf6d313136a54486b18.jpeg

Ollama 是一个基于 Go 语言开发的简单易用的本地大语言模型运行框架

它可以非常方便地在本地部署各种模型并通过接口使用,有点类似于 Docker 加载各种镜像容器。并且随着 Ollama 的生态在逐渐完善,支持的模型也会更多,将来会更加方便地在自己电脑上运行各种大模型。

其实在 Ollama 之前也有一些方案可以做大模型本地部署,但运行效果往往不尽如人意,比如 LocalAI等,另外还需要用到 Windows + GPU 才行,不像 Ollama 直接在 Mac 都能跑了,比如我的电脑就是 Mac Studio 。

56317332557f2f464489b4b0e6267bf2.jpeg

Ollama 的官方地址: https://ollama.com/

c387d7b44aa37fab08e08d2c36e793b3.jpeg

点击下载,选择对应的平台下载就行,也可以在 Ollama 的 Github 地址上下载:

https://github.com/ollama/ollama

在 Github 主页上可以看到 Ollama 目前支持的模型。

ModelParametersSizeDownload
Llama 38B4.7GBollama run llama3
Llama 370B40GBollama run llama3:70b
Mistral7B4.1GBollama run mistral
Dolphin Phi2.7B1.6GBollama run dolphin-phi
Phi-22.7B1.7GBollama run phi
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
Llama 2 13B13B7.3GBollama run llama2:13b
Llama 2 70B70B39GBollama run llama2:70b
Orca Mini3B1.9GBollama run orca-mini
LLaVA7B4.5GBollama run llava
Gemma2B1.4GBollama run gemma:2b
Gemma7B4.8GBollama run gemma:7b
Solar10.7B6.1GBollama run solar

第一个就是要用到的 Llama3 了,按如下命令直接运行就行:

ollama run llama3:8b

效果如图:

1bacdbd56e104c8736a986fe399b254d.jpeg

到了这一步就可以愉快和大模型进行亲密交流了。

578dff392d61ac3ab1266e408d397b94.jpeg

就好比我这个提问,Llama3 的回答就相当不错看来它也是懂音视频的😏😄。

都看这里了,还不快去 部署 & 玩转 你的本地大模型~~~

b3555245da5440d1151d1ff9955dfcb5.png

加我微信 ezglumes 拉你入技术交流群

60de7ceaeeb8f3effc434ccfc1cd7137.png

一个编程开发领域的专业圈子,贩卖知识和技巧!

61161a791abe141f8711529c27b802d5.png

推荐阅读:

音视频开发工作经验分享 || 视频版

OpenGL ES 学习资源分享

开通专辑 | 细数那些年写过的技术文章专辑

Android NDK 免费视频在线学习!!!

你想要的音视频开发资料库来了

推荐几个堪称教科书级别的 Android 音视频入门项目

觉得不错,点个在看呗~

756551b5f4cd9509664714ae00b61675.gif

  • 25
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值