Groq 是是一家初创公司,它开发出了一种新的 AI 处理器 ——LPU(Language Processing Unit),其推理速度相较于NVIDIA GPU 提高了 10 倍,成本却降低到十分之一。因此它的响应速度特比快,每秒可以输出近500个token。
对于速度有要求的可以尝试使用这个模型,等待时间会减少不少。
使用方式
一 官网使用
官网链接为:
https://console.groq.com/playground
直接输入问题就可以
二、POE中使用
poe中集成了很多大模型,也可以在这里使用。
打开poe.com
点击左边的“您的机器人”,
在弹出的页面中选择groq
输入文字即可使用。