如何看待国产大模型的现状？

大模型从爆发到现在，刚开始OpenAI遥遥领先，现如今国内的大模型发展的速度相当快，在不少的领域快要追上最强的模型，甚至已经超越了其他模型成为行业领头羊。你看hugging face上的排行榜，前面已经有逐渐开始出现国内的大模型了。

对于大模型来说，我最喜欢的两个概念或者说原理，一个是涌现 emergent，另一个就是规模效应scaling rule。前一个的最初定义是一旦模型的规模大到一定程度，就会出现一些意想不到的能力；后一个指的是如果一个模型的参数/数据集/算力同规模的增大，那么这个模型的性能也会同步提升。

这两个都是OpenAI团队的人提出来并且在GPT系列里面得到验证且发扬光大的，特别是它给大模型指明了一个相对明朗的路线，那就是大模型朝着更大规模走还是有潜力可挖的。

但是最近发现一篇论文：《Understanding Emergent Abilities of Language Models from the Loss Perspective》，这篇论文中提出了一个关于涌现能力的不同定义以及解读，作者他们认为，涌现能力主要是看预训练模型的损失相关。

这篇文章的团队来自国内，是大模型GLM大模型（也就是之前的ChatGLM）的训练团队，智谱AI最新的研究成果。

这篇论文的核心观点中提到，涌现能力跟模型大小没有直接的关系，即使是小的模型，只要训练模型的loss小到某个阈值，也能在下游任务中体现出相似的性能。

这个论断其实是对涌现研究非常早的研究员Jason Wei的经典论文《Emergent Abilities of Large Language Models》的一个比较强的反驳。

在这篇经典论文中，当时还在Google Brain的Jason Wei提出，涌现能力一般不会在小模型中出现，更多的会在大模型中出现。

Jason Wei的这个论断我觉得对于OpenAI的大模型发展意义很深远，因为它意味着模型大小是决定性的因素，这可能也是为什么传言中GPT4有10000亿个参数，因为这个论断给他们提供了「大力出奇迹」的理论依据。

但智谱AI团队在近期这篇论文中提到，为了验证这个的观点，他们一共设计了包含了中文和英文在内的12个数据集以及6种不同的任务。

他们的第一个实验就是证明性能跟模型大小相关性没有那么大，你看横坐标是损失loss，纵坐标是性能，不同的颜色对应着不同大小的模型。

有一个很清晰的结论，那就是：随着训练损失的降低，任务性能普遍提升；同时更重要的是，如果我们忽略不同大小模型的颜色差别，其实对于其中一个任务来说，不同大小的模型的结果是趋于一致的，例如，当训练损失约为2.00时，TriviaQA上的绿色和橙色点是无法区分的。这表明，模型在下游任务上的表现与预训练损失密切相关，而与模型的大小无关。

接下来这个实验再次印证了这个观点，对于红色圈内的性能和loss对比，可以看到从300M-6B，模型大小跨度20倍，他们展现出来的曲线都非常的一致；绿色框内的结果更有意思，不管哪个大小的模型，都是在「瞎猜」。

最后作者给出了一个对于涌现能力的定义，An ability is emergent if it is not present in models with higher pre-training loss but is present in models with lower pre-training loss.

简单点说，那就是模型大小没那么重要，即使你的模型非常大，但是预训练损失很高的话，照样是在乱猜答案；相反，即使你的模型小，但预训练损失很低的话，反而会有很好的性能。

推特上有不少的推文也都转发了对这篇论文的见解，对于我来说，它是合理的，因为现在有不少的大小远小于GPT4的模型，性能却并不差，这显然不能支持原来的涌现定义。

这篇研究论文Paper背后的作者——智谱AI其实也是国内大模型领域的佼佼者之一，他们的GLM-4模型在2月份的SuperCLUE 总榜上排名很靠前。

看了看他们团队的近期最近的一些研究成果，除了这个对于涌现的新定义之外， 还有其他的几篇文章也都在进行着不同模态大模型的都是对于最前沿的探索。

除了在科研层面保持上的探索，智谱他们在应用端的落地上面也没有拉下，他们的大模型产品「智谱清言」现在是国内用户评价反馈比较好的AI应用之一，应用门槛也很低就是免费开放给大众使用的，目前只需要注册一下就可以直接直随便使用。

并且他们的产品还是免费开放给大众使用的，只要注册一下就可以随便使用。

比较难能可贵的是，由于智谱AI做GLM-4一直是以GPT为标准来对标，所以它也有一个可用度很高的智能体模块特性，可以理解为AI Agent，可以根据不同的任务需求来自定义AI。

我圈出来的这三个， AI绘画、数据分析以及AI搜索，分别对应了GPT4的Dalle3，Code interpreter以及联网功能。

个人去体验了一下，这是用AI绘画生成的，速度很快，画面质量也不错。

数据分析功能也是难能可贵的接入了沙盒编程环境，这就意味着它可以在后台编程，结果并不是直接生成，而是调用了各种编程手段，相对来说的准确度也更高。

回到问题，如果在全世界范围内比较，国内的（通用）大模型跟美国最顶尖的仍有差距，毕竟他们发力的早；但是不可否认的是国内的大模型追的很紧；特别是横向看最近关于大模型的最新研究成果，比如上文提到的智谱AI团队对于涌现现象的心研究，能感觉到国内大模型在研发方面后劲是有的，可以期待。

而在应用端，以「AI对于普通人的可用性、易用度」来评价，国内做的已经很好了，你可以看到智谱清言为代表的国产大模型，不仅支持多模态，使用起来也更加适合国内用户的习惯。

对业内一线从业者来说，很多人应该还是会保持每个月20刀的GPT plus订阅；但对于更大基数的普通国内用户来说，类似于智谱清言这样的国产AI大模型显然是更“易用”也“更香”一些的。因为GPT有的那些功能，很多国产大模型产品也都有，并且也不次于他很多，比如ChatGLM对于中文的支持我觉得就要比GPT4好很多。

整体而言，我们对于国产大模型还是可以保持期待的，也非常建议大家去试试国内排一线的几个产品。

对于我个人来说，最近GPT4已经不够香了，因为它有的那些功能，很多产品也都有，并且也不次于他很多，比如ChatGLM对于中文的支持我觉得就要比GPT4好很多。

当然了，在全世界范围内比较，国内的大模型跟美国最好的还是有差距，毕竟他们乏力的早，但是不可否认的是国内的大模型追的很紧，特别是看最近关于大模型的最新研究成果，比如刚刚提到的智谱AI团队对于涌现现象的新理解，就能看到国内大模型后劲。特别是在应用端，也是普通人可以对于AI的使用来说，国内做的已经很好了，你可以看到智谱清言为代表的国产大模型，不仅支持多模态，使用起来也更加适合国内用户的习惯，手机号注册就能直接免费使用，非常建议大家去试试。

 免费资料包

另外还有免费的AI大模型学习资料包，供你学习。点击下面的卡片就可以免费领，具体有：

👉AI大模型学习路线汇总👈

👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈
观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓