LLM
文章平均质量分 94
zzyincsdn
一只很难受的程序猿
展开
-
从FasterTransformer源码解读开始了解大模型(1.1)一个decoder-only的模型长啥样
对于一个没有接触过LLM的初学者来说,如果想要了解一个大模型的推理框架,首先应该知道大模型整个的工作原理是怎样的,知道transformers的结构是怎么生成词的,否则很容易会在读代码的过程中越读越迷糊,进入一种“我在哪里?我在看什么?这一段是做什么的”困惑状态,所以在此先推荐从来没有接触过相关知识的同学去读一下Attention is all you need的论文原文。原创 2024-04-06 20:53:10 · 1100 阅读 · 0 评论 -
从FasterTransformer源码解读开始了解大模型(1.0)了解FasterTransformer
FasterTransformer(下文简称FT或者ft)是一个用于大语言模型的推理引擎。目前ft的源代码里集成了bart,bert,gpt2(代码中叫multi_gpu_gpt)、t5等模型,如果有一定开发能力,还可以自己在ft里集成llama、chatglm等模型。通过对FT进行源码解读,可以学习到很多大模型的相关知识原创 2024-03-24 21:56:56 · 907 阅读 · 0 评论