一道电梯题,暴打国产大模型!

下班的时候等电梯,无聊拍了一张图,于是拿来“调戏”下各家的大模型图片

img

我把这张照片PO给大模型,问了ta们这样一个问题↓

图片

我在30层等电梯,图片描述了当前电梯的运行状态。

假设电梯每1秒钟可以上升或下降一层,不考虑开关门的时间,其他楼层也不存在乘坐电梯的人。那么,我最快要多久才能乘坐该电梯到达地面一层?

图片

这个问题看似简单,实则一点也不复杂,主要考察大模型这几个知识点。

1、读图能力:能不能精准识别和理解图片内容。

2、NLP能力:能否准确理解我的问题,拆解语法并转化成任务。

3、逻辑和算术:需要基本逻辑和小学水平的算术能力,以便计算出正确的时间。

4、场景知识:需要了解电梯的运行原理。

5、综合推理:结合1、2、3、4来得出最终的正确答案。

废话不说,我们来看看考试结果吧↓

先上一个最近比较火的免费模型:智谱清言。

关注到它是因为我的一个朋友今年52岁了,今年利用智谱+ChatGPT4.0辅导考研,结果成功通过了全国研究生统考(398分)。

那么智谱清言在电梯考题中表现如何?

图片

这个答案让我有点懵逼,直接忽略了我在30层的关键信息,给出14秒的错误答案。

看来,图+文的双重信息,给它造成了困扰。


再看第二个:讯飞星火

图片

同样,读图和对题目的理解都不正确,这里面的核心是无法理解人乘坐电梯和电梯运行之间的关系。导致答题失败。


第三个,阿里系的通义千问

图片

且不论答案正确与否,整个回答前后语言逻辑就不通,属于答非所问。

本来还想调戏下腾讯混元和字节豆包,可惜这俩家伙现在还不支持「图片+文字」的混合式提问,没给我机会。

几个测下来,怎么说呢,都是一根筋,给人“一种大脑发育不完全,小脑完全不发育”的感觉。

图片

不过,上面三个大模型都是免费的,既然是白嫖,那么咱不能要求太高图片

所以,来看看收费的文心一言怎么样↓

图片

看完这个回答,怎么说,第一感觉是有点东西,似乎比别人多动了点脑子。但仔细一看,也不是太灵光。

首先读图理解不准确,电梯明明是在下行,小度却没有给出明确的判断。

接下来,持续加戏,把答案分成了两种情况,但答越多就错得越多。比如连从“30层下降到1层需要经过几层楼”这种基本常识都没搞清楚。

文心一言就像是个遇到了难题的考生:这题不会怎么办,把试卷写满,不管对不对,诚意在那里,给老师留个印象分吧。

图片

讲真,我第一遍看答案的时候,看到满满一屏,差点被它蒙住了。

文心一言的费用是59.9元每月,从答题结果看,这价格真不便宜。

玩到这里我有点不甘心,是不是这道题太难了,超过了当前大模型的能力?

于是,我决定再去调戏一下ChatGPT↓

图片

这个答案还是非常令我吃惊,简明扼要,非常精准地给出了结论,楼层数的计算也没有出错。

接下来,我又追问了ChatGPT几个问题↓

这个问题是“为什么我在30层呼叫电梯,正在下行的电梯要先回到1层再返回30层”,ChatGPT给出了非常详实的判断依据。

图片

然后我接着问一个电梯的运行常识,这个问题跟上面一个问题有相关性,ChatGPT的回答说明这家伙有非常丰富的场景化知识,很懂电梯呀,个人认为这种场景知识对AI的细分行业落地很有必要。

图片

最后一问,那就是ChatGPT4为什么能做出正确判断?

图片

所以,小小一个读图题,其实涉及到很多知识点,任何一个环节有短板,都会导致最后的错误判断。

而这其中,我认为最NB的还是综合推理。

最近,我也在不断试用前面那些国产大模型,按我的使用体验,如果询问一些单点问题、知识点,国产大模型都能回答得头头是道,甚至和ChatGPT没有太大差别。

比如我问通义千问、文心一言同样的电梯运行逻辑的问题,它们也能回答得滴水不漏。甚至很多偏门、晦涩的问题,也都可以有问必答。

图片

【通义千问的回答↑】

图片

【文心一言的回答↑】

可是,当需要他们把所有知识点串联起来,进行综合推理的时候,学霸和学渣的差距就出来了.

有人只会死记硬背,而ChatGPT却能够融会贯通、举一反三。

在这里插入图片描述

我并不是个“GPT吹”,过去一年,也确实能够看到国产大模型们在互卷中持续进步,更希望他们在这种“比学赶帮超”中,早日吊打GPT、Claude3们。

毕竟GPT4很贵(140块一个月),访问还很不方便、不稳定。而像Claude3这样的新贵,你想体验一下都很不容易。

比如我周末想试试号称吊打GPT4的Claude3,结果发现中国大陆和中国香港的账户是无法使用的。(当然像羊驼那些“老破小”模型,是不受限制的)

图片

据说这个限制是Claude3母公司Anthropic的规定,类似的,微软copilot中国区用户也无法访问图片

高端算力不让你用,先进的AI应用也不让你用,真是无了个大语呀图片

图片


崭新的「人工智能+」时代开启了!

国产大模型们,加油吧!

图片

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

  • 36
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值