蚂蚁百灵最新模型 Ling 3.1 Flash 的测评报告来了。刚刚在小破站上做完了直播,这次测试用的还是博客上那一套 V2.2 Benchmark,总共 6 道题,详细的 case 大家可以去博客上看。在这里也能翻到 3.0 版本之前的测试结果——当时只有 19 分,分数非常低,所以这次很想看看能不能好一点。接入方式依然是在 PI 平台上,官方文档里最新的信息还停留在 3.0,应该还没来得及更新;3.0 的思考深度只有开和关两档,所以这里也按这个来设置,直接打开。

第一题是强约束指令遵循的句子生成测试,要求每句话的结尾按 1 到 10 的顺序排列,再看句子是否通顺。整体句子都偏短,除了第 5 题读起来不太顺,其他都还好。第二题是鹈鹕土星环骑自行车的 SVG 测试,整体实现一般:转弯的部分肯定有问题,可以说根本没有转弯,到右边下来之后就开始倒着骑了;而且两只鹈鹕的脚明显在同一边,因为自行车根本没有挡住另一只脚。

第三题复合弓射箭的 SVG 测试问题就更多了。首先复合弓和人物的比例就不对,感觉是个小人国的小人拿着巨弓;其次复合弓的副弦没有看到;第三,箭的箭羽是反的;第四,小人拉弓的时候抓的不是箭羽部分,而是箭的中间;第五,箭是平射出去的,飞着飞着突然就往上飙升,变成抛物线了。最后这个小人可以说是我们测评过这么多模型以来,实现得最水最抽象的一个。

第四题是做一个精美的浏览器操作系统,整个 UI 看上去有点赛博朋克的感觉。右上角的弹窗点击时间后弹出的是控制中心,其实更应该弹出日历,而且这个控制中心第一行里的开关 UI 设置得也不好,有点挡住背后的内容,其他没有什么问题。再看 Dock 栏的应用,Finder 的 UI 也有问题——左下角的文字布局不行,第一行还是竖着排的,没什么美感可言,不过其他功能没什么问题。

压轴的太空射击游戏,上下左右按键控制没有问题,按下 space 键子弹也能发射,但是一旦长按 space 连续发射子弹、再移动一下方向,子弹就不能发射了,所以很难控制;另外飞机是在平面里做上下左右移动的,并不是立体地往敌机方向移动,所以你只需要移动一下,就会发现子弹是从垂直于飞机肚子的方向射出去的。第五题的 3D 赛车游戏根本不叫赛车,你看那密密麻麻的路障,这是在走迷宫,不是在赛车。

第六题是无第三方库实现一个高颜值的待办看板。待办卡片刚输入完想按回车确定,它就直接变成打开待办编辑框了,这个 UI 交互是不行的;而且编辑框的 UI 也比较简陋,对齐、空间和按钮的 UI 都不是很好看。继续看其他功能,倒没有发现什么问题。整个测评下来,大家对这个模型怎么看呢?评论区聊聊吧。

其他模型测评排行榜请看这里:https://www.techgogogo.com/llm-benchmark/