文心5.5 Flash Preview 测评!是否真的能打?
先道个歉:昨天测文心 ERNIE 5.5 Flash Preview 的时候搞了个乌龙,用了我正在编写的下一个版本、提升了难度的测试用例——当时正在编辑用例,有粉丝私信催测,一时没留意拿错了。今天用当前线上最新的 V2.2 测试用例重新测一遍,还是在 pi agent 上接入,思考深度照旧开 high。顺带说明:这个模型其实没有思考深度档位,会自动根据任务难易程度调整。
第一题,强约束指令遵循句子生成。句子都不长,结尾也都遵循从 1 到 10,但通顺度明显不行,我觉得只有第 8 句还过得去。第 6、7 句还有点取巧:两个差不多的句子,倒数第二个字加个「了」字就算区分了——古惑归古惑,倒是不违反提示词规则。
第二题,鹈鹕土星环骑自行车 SVG。整体感觉还可以,特别是转弯挺顺滑的。唯一就是这只鹈鹕比起其他模型的实现更加卡通化——不过既然鹈鹕都能骑自行车了,卡通化一点也能理解,毕竟提示词也没限定这一点。
第三题,复合弓射箭 SVG。这个模型确实有点小聪明:大家看这个箭靶,它故意画得矮一点。原因嘛,提示词要求箭要有抛物线,这样一来复合弓就不需要往上倾斜一定角度,射出来的箭自然就能形成抛物线了。小聪明归小聪明,唯一有点遗憾的就是拉弓的时候两只手有点交叉了。其他没有看到有什么问题。
第四题,实现一个精美的浏览器操作系统。右上角弹窗功能没什么问题;很多模型翻车的日期高亮部分,这次是圆形的,不再是丑陋的椭圆形。Dock 栏应用功能没有问题。压轴的太空射击游戏大的功能没有问题,上下左右能控制方向,space 键能发射子弹,唯一的问题就是喷气式飞机的尾气有点重,一个个尾气像素有点影响美观。
第五题,3D 赛车游戏。功能上没有什么问题,UI 坦白说我觉得也还不错了,真要挑毛病的话,就是路障有点太单一了点。
第六题,无第三方库实现一个高颜值 Trello 看板。列表的高度其实可以做到自适应——里面没有那么多卡片的列表,没有必要高度占满整个内容区域。主要功能过了一遍,其他功能没有看到有什么问题。
整个测评下来,我觉得作为一个 Flash 模型,能做到这样已经很不错了。况且它的 base 模型应该是开源的,大家还可以基于它的 base 来自己进行训练,感兴趣的可以去试下。大家看完后觉得这个模型怎么样呢?









