AI老中医开源了！ 一个厉害的中医GPT!

大模型 fine-tune，在各个领域百花齐放。

今天介绍一个医学领域 fine-tune 得到的大模型，Huatuo-LLaMA。

我们都知道，OpenAI 最新的 GPT 都没有开源，自从 FaceBook（Meta）开源了 LLaMA 的预训练模型之后，基于 LLaMa fine-tune 得到的大模型开始多了起来。

Huatuo-LLaMA 就是其之一，属于医学领域的模型。

一、Huatuo-LLaMA

我们都知道，LLaMA 有着 7B（70亿） 到 65B（650亿） 量级的参数量。

作者团队出于训练成本的考虑，选择了模型参数量相对较少的 LLaMA-7B 作为 HuaTuo 的基础模型，在此基础上进行 instruct tuning，获得指令微调的大模型。

基础模型，就是 Base LLM（Large Language Model），它有着续写的能力，比如给一个开头，Base LLM 能够根据提供的开头续写内容。

但是 Base LLM 不能理解对话，你问它问题，它不会回答。为了让大模型具有理解问题的能力，就需要在 Base LLM 的基础上，进行 instruct tuning，进而得到 Instruction LLM。

好了，Huatuo-LLaMA 大致的训练原理说明白了，它就是一个基于中文的医学数据在 LLaMA-7B 开源模型基础上&