Longcat 2.5 测评报告!这次有进步吗?
美团的 LongCat 2.5 正式版终于上线了,赶紧跑下 Benchmark 看下有没有进步!还是在 pi agent 上接入,思考模式也参考官方文档拉到最大。
第一题,强约束指令遵循句子生成测试。先检查下结尾是不是都是从 1 到 10 结尾的,这个条件满足。看下句子是否通顺,第 7 明显不通顺;第 2 句语义有问题,忠贞不二一般是说爱情的,很少见到用来形容友谊的。
第二题,鹈鹕土星环骑自行车 SVG 测试。大家看效果,卧槽!第一反应我是有看 86 版西游记的感觉,以前特技没有那么好,所以孙悟空腾云驾雾的时候就类似这种突然缩小再放大一个筋斗云上天。这个实现肯定不行嘛,转弯也是一团糟,到了下方甚至上下颠倒了。鹈鹕的嘴也有点问题。
第三题,复合弓射箭 SVG 测试。好几个问题:首先,弓箭都没有射到靶心,走到一半就掉了,这是第一次看到实现成这样的;第二,复合弓上下滑轮明显是同方向转动的;第三,弓箭的箭羽是反的;第四,弓箭没有搭在箭台,明显往上飘移;第五,小人的手画的感觉长在身体同一边了,两个肩膀处稍微分开点都不至于这么突兀了。
第四题,实现个精美浏览器操作系统。这里有个问题,我点开了系统健康或者电池的弹窗之后,再点击日期的 icon,弹窗直接在原弹窗之下出现了,原弹窗应该收起才对的。好,我们看下 Dock 栏应用,这里这个 Finder 的 icon 变成一条长条形了,很明显的 UI 问题;这个计算器的 UI 也明显有问题,下方都被遮挡住了。其他还好,我们看下压轴的太空射击游戏吧,这个 UI 还是有点简陋,感觉就是一个纸飞机和几个方块障碍物,但是功能是没有问题的,上下左右射击都没有问题。
第五题,实现个 3D 赛车游戏测试。功能没有什么问题,这障碍物有强烈的美团黄袍加身的黄黄的风格。UI 不算精美,赛车颜值一般吧。
第六题,无第三方库实现一个高颜值 Trello 看板。UI 我觉得一般,反正不是我喜欢的。这个列表的标题修改呀,动一下就全局 UI 闪动一下,不是个好的交互;还有这个列表的拖动呀,只拖动了个列表头过去,列表主体还残留着。其他没有看到有什么问题。
那这次到底有没有进步?对比 9 月底的 LongCat 2.5 Preview 测评,进步是有的,而且集中在游戏类题目上:3D 赛车从 Preview 版「一开局路就远离车子、开了半天连障碍物都见不到」变成了「功能没有什么问题」;太空射击也从「飞机只侧了一下身、只能靠鼠标」变成了「上下左右射击都没有问题」。掉链子的还是 SVG 那两题 —— 土星环的环形轨道理解、复合弓的滑轮方向和箭羽朝向,Preview 版就翻车,这版依旧没修好;句子生成这关两版都只是勉强过关,Preview 版是第六到第九句不通顺,正式版收敛到第 7 句,但第 2 句又冒出一个「忠贞不二形容友谊」的用词问题。







