Neohorse-1.5-Flash Preview 测评!究竟有多能打?
昨天测试 Qwen 4 Max 的视频下面,有粉丝评论说想让我测一下基元律动新出的模型 NeoHorse-1.5-Flash Preview,还把自己的 key 提供给我测试,非常感谢。我也顺手查了下这个模型的信息:这是一个基于 Qwen 3.8 Flash 递归自我改进训练出来的模型,主模型参数 125B,激活参数 6B。Qwen 3.8 Flash 我在之前的 Benchmark 里测过,老粉应该还记得,表现不俗。测完这版之后我的感觉是,它确实比原生 Qwen 3.8 Flash 更厉害——这样的参数量能做到这个水平,有点出乎我的意料。我们赶紧在 Pi agent 中接入并打开思考,看看具体表现。 第一题是强约束指令遵循句子生成测试。句子结尾都按 1 到 10 结尾,没有问题;其他约束也都满足,整体通顺。不过我认为第二句语义上不大通顺:说一个人有信用,不应该用「说一不二」——这个词更多表达一个人的强势,比如李老板在公司说一不二,带的是「我说了算」的意思,和信用没什么关系。 第二题是鹈鹕土星环骑自行车 SVG 测试。整体没看到什么大问题,只是转弯的时候明显用了淡入淡出的方...
Sage-S2.1-Flash 测评报告!真的能打吗?
Sage-S2.1-Flash 是这期要测的新模型,320B 总参数的 MoE,中文名据说叫「书生模型」,我之前也只是在群里听过一耳朵。粉丝在 B 站私信点名想看,那就测。接入方式还是 pi agent,思考深度按文档配置到最高。 第一题强约束指令遵循,要求句子分别以 1 到 10 结尾。整体能读,但第 4 句的「不三不四」用得别扭——这个词多形容人不正派,比如「别和不三不四的人玩」,换成「九不搭八」更合适;第 7 句明显不通顺,「正月」两个字还重复了;第 10 句「以一当十」说的是人的勇猛,和做事扯不上关系;第 3 句也不太顺,只是我拿捏不准。 第二题鹈鹕土星环骑自行车 SVG:整体不错,就是转弯有点突兀,像快掉出去时猛地摆正回来。第三题复合弓射箭 SVG:大体可以,但复合弓没有画副弦——那是复合弓的标配,不画就和普通弓没有区分度;另外箭是平拉的,放手后方向直接往上飙。 第四题浏览器操作系统:右上角弹窗的 label 颜色太浅,要很辛苦才看得清,晴天没有问题,日期高亮也没用我觉得丑的椭圆;dock 栏的终端有 bug,输入 ls 报错,help 却说支持这条命令;太空射击...
Seedance 2.5 Flash 测评!打得过H3吗?
刚用我们最新的视频模型测评 Benchmark 最新 V2.0 版本测了下刚出来的 Seedance 2.5 Flash,结果可能会和大家想象中的不大一样。我是直接在 OpenRouter 上面测的,好,大家看效果吧。 第一题,多约束综合调度测试:女剑修御剑飞行。我们看下效果,整体感觉不错,不过问题也不少。首先最明显的就是提示词要求三只白鹤,它弄出了五只;第二,对联要求是听涛观海九千年、御剑凌云三万里,它这里错字很多之余还要加了些额外的错字进来,尤其左联比较严重;第三,提示词还要求有个石碑有竖排文字天工阁,这里有点模糊,但明显看出除了天工阁,上面还多余了些额外的文字;第四,额前垂着一缕醒目的银白挑染发丝,它是把人家头发全部弄白了;第五,提示词要求仅左耳垂着一只小玉坠,它是两只耳朵都有。 第二题,碰撞与动量传递测试:牛顿摆五球碰撞链。我们看下效果,这个效果明显不行——右边小球掉下来之后,左边的小球应该弹起来的。 第三题,精细动作控制测试:魔方顶层归位。这个也明显不行。首先提示词要求开始前四个侧面都是最上面一行与下面两行的颜色不同,它搞成全部一样,那哪里还需要归位呢?第二,也正...
Open Pangu 2.1 Pro测评报告!真的能用吗?
应粉丝要求,这期把华为 openPangu-2.1-Pro 也测了。此前在 pi agent 上测过上一代盘古,表现不太理想,本来没打算再测,但 B 站评论区有粉丝点名想看,那就再来一次。接入方式同样是 pi agent,查过官方说明后确认思考深度只有「关闭」和「打开」两档,下面六道题都在打开思考的状态下跑。 第一题是强约束指令遵循,要求生成的句子分别以 1 到 10 结尾。逐句核对后发现第 8 句不满足,通顺度整体还可以,基本都读得过去。不过它有点取巧——第 5 句和第 10 句、第 7 句和第 9 句用的是同一套句子结构,下个版本如果再升级提示词,得额外加一条「句子结构不能重复」的约束才行。 第二题鹈鹕骑土星环自行车 SVG 明显不行:飞到画面上方时是倒着骑的,鹈鹕没有扶着前面车把,而且斜侧面视角下车把本身也只画出一丁点;支撑车轮的钢筋只画了一半,按这个画法轮子根本撑不住。 第三题复合弓射箭 SVG 反而还行。复合弓上下轮的转动方向没问题,箭羽正常,箭也能中靶心;小毛病是平拉出去的箭会突然往上飙成抛物线,拉弓动作不太协调,复合弓画得偏简陋,小人连眼睛都没有。严格挑刺有得...
混元 Hy 4 Flash 测评报告!真的能打吗?
刚测完 Qwen 4 Max,评论区立刻有粉丝说 Hy 4 Flash 也出了,马不停蹄地赶紧满足粉丝需求。在官方和 tokenhub 上看了一下,这个模型应该是支持 high 思考深度或者关闭思考的,打开 Pi 通过 tokenhub 接入这个模型,思考深度也配置好,好那我们开测吧。 第一题,强约束指令遵循句子生成测试。很明显句子都是遵循从 1 到 10 结尾的,我们看一下是否通顺。我觉得第 2、3、4、5、6、7、8、9 都不通顺,早知道反过来说轻松点。我觉得第 1 和第 10 句通顺。 第二题,鹈鹕土星环骑自行车 SVG 测试。大家看效果,这个实现明显不大行。首先没有转弯,到了下面倒着骑,这个是最严重的;其次鹈鹕头上两只角是怎么回事;第三鹈鹕翅膀没有扶到车把上,差一点距离。 第三题,复合弓射箭 SVG 测试。我们看下效果,这个效果也不大行。首先这个弓箭只看到箭头和箭羽;其次这个箭羽明显是反的;第三这个箭的飞行方向很诡异,成波浪形,先是往上,然后往下,发现往下太多了,连忙再往上,射中靶心;第四这个小人整体结构也感觉怪怪的。 第四题,实现一个精美浏览器操作系统。我们看一下...
Qwen 4 Max 测评报告!究竟有多能打?
Qwen 4 Max 正式版终于发布了。早上一起来群里粉丝就艾特我,让我赶紧去测一下,这事义不容辞。 先简要介绍下这个模型:总参数 2.4T,采用全新 MoE 架构,仅激活 71B 参数,原生支持视觉,百万上下文,据说思考效率显著提升,中小尺寸的 Qwen4 模型后续将陆续开源。这里我们还是先关注推理和编程能力,视觉能力如果大家想看,我再另外做个视频测评。 接入方式还是老规矩,在 Pi 上接入,用的是我的 token plan,思考深度也放到最高。 第一题,强约束指令遵循句子生成测试。很明显句子都是遵循从 1 到 10 结尾的,我们看下是否通顺。前 9 句我觉得都是通顺的,就是第 10 句我总觉得别扭。大家都能看明白意思,但一般这个「一五一十」不会放到最后,如果改成交代的明明白白,或者「一五一十得交代清楚」就通顺了。只是它不满足用 10 结尾,所以猜测是模型为了满足 10 结尾,强硬地调整了句子结构。 第二题,鹈鹕土星环骑自行车 SVG 测试。大家看效果,这个实现整体我感觉非常可以了,鹈鹕和自行车的结构以及转弯都没有问题。如果真要挑的话,就是左上角的土星环跑道偶尔会闪动一下...
Minimax H3 最新测评!究竟有多能打?
视频测评 benchmark 终于升级到了 V2.0——不再把所有约束塞进同一条 5 秒视频,而是拆成 6 条独立提示词,每题各生成一条视频、各考一类能力。粗略试了几个视频模型后,觉得 MiniMax H3 表现还不错,这期就先拿它开刀,把这套测试用例完整跑一遍。 第一题,多约束综合调度测试:女剑修御剑飞行。整体感觉不错,不过一些小问题还是有的:提示词要求剑脊两侧细密灵纹流转着淡淡冷蓝光,这里没有看到;剑格下垂着一缕深红丝剑穗,也没有看到;天工阁的「阁」字写错了;额前垂着一缕醒目的银白挑染发丝,好像也没有看到。其他应该没有什么问题。 第二题,碰撞与动量传递测试:牛顿摆五球碰撞链。这题我试了好几个模型,H3 算是实现得比较好的了,虽然一开始钢球凭空悬停了一会。 第三题,精细动作控制测试:魔方顶层归位。这个没有问题。这道题我是特意降低了难度的——开场不是乱掉的魔方,因为 5 秒钟的视频不可能还原。 第四题,顺序与静止指令测试:红蓝杯触碰次序。这道题看似简单,事实上恒静是最难的指令,所以这里也不例外:要求只是按顺序握住一下杯柄、保持杯子不动,但最终模型忍不住还是移动了下杯子。 第...
文心5.5 Flash Preview 测评!是否真的能打?
先道个歉:昨天测文心 ERNIE 5.5 Flash Preview 的时候搞了个乌龙,用了我正在编写的下一个版本、提升了难度的测试用例——当时正在编辑用例,有粉丝私信催测,一时没留意拿错了。今天用当前线上最新的 V2.2 测试用例重新测一遍,还是在 pi agent 上接入,思考深度照旧开 high。顺带说明:这个模型其实没有思考深度档位,会自动根据任务难易程度调整。 第一题,强约束指令遵循句子生成。句子都不长,结尾也都遵循从 1 到 10,但通顺度明显不行,我觉得只有第 8 句还过得去。第 6、7 句还有点取巧:两个差不多的句子,倒数第二个字加个「了」字就算区分了——古惑归古惑,倒是不违反提示词规则。 第二题,鹈鹕土星环骑自行车 SVG。整体感觉还可以,特别是转弯挺顺滑的。唯一就是这只鹈鹕比起其他模型的实现更加卡通化——不过既然鹈鹕都能骑自行车了,卡通化一点也能理解,毕竟提示词也没限定这一点。 第三题,复合弓射箭 SVG。这个模型确实有点小聪明:大家看这个箭靶,它故意画得矮一点。原因嘛,提示词要求箭要有抛物线,这样一来复合弓就不需要往上倾斜一定角度,射出来的箭自然就能形...
Gemini 4 Hydrogen 测评报告!真的能打吗?
Gemini 4 Hydrogen 的测评也来了!这次帮忙测评的是群里的老哥无言义对,在 Antigravity 上面测,思考深度拉到 extra,一起来看看效果。 第一题,强约束指令遵循句子生成。这些句子都不长,很明显结尾都遵循从 1 到 10 的顺序;所有句子都是通顺的,而且句子长度不是随便弄几个字凑数的那种。 第二题,鹈鹕土星环骑自行车 SVG。整体感觉还可以,基本没看到什么问题。唯一的小问题是左右转弯、跨越中间那条线的时候可以看到有跳帧,感觉上下两部分画面是拼接在一起的。 第三题,复合弓射箭 SVG。实现得也不错,画面、复合弓等 UI 都不错,上下滑轮的凸轮也都能画出来,弓箭还有倾斜一定角度来形成抛物线。唯一的问题就是拉弓的时候手穿过了肩膀的袖子。 第四题,实现一个精美的浏览器操作系统。右上角弹窗功能没有什么问题,最后很多模型翻车的日期高亮部分,这次是带弧度的长方形,不再是丑陋的椭圆形;但是电池用量那个绿色的 icon 配色不大好,基本看不清楚。dock 栏应用功能没有问题。压轴的太空射击游戏大的功能没有问题,上下左右能控制方向,space 键能发射子弹,就是 UI...
GPT 6.2 Sol 测评报告!究竟有多能打?
大家期待已久的 GPT 6.2 Sol 测评报告终于来了。这次要感谢群里灰度到的内罗毕老哥帮忙实测,平台是 Codex,思考深度直接拉到极高。第一题强约束指令遵循句子生成,句子都老老实实遵循从 1 到 10 结尾,硬约束没得说;但通顺度上有两句翻了车——第 6 句和第 10 句读着别扭,其余还好。 第二题鹈鹕土星环骑自行车 SVG 相当惊艳,土星环、鹈鹕和自行车的结构、转弯都挑不出毛病,这个转弯称得上是迄今见过做得最好的。第三题复合弓射箭更是细节拉满:上下滑轮内部的椭圆凸轮——这是复合弓的关键部件,很多模型压根没画出来,绝对是个加分项;倾斜复合弓也处理到位,不倾斜的话箭为了形成抛物线会突然往上蹿;拉满弓放手后手部的回弹同样细腻。唯一的问题是箭羽方向反了,但瑕不掩瑜,这已经算得上顶级实现。 第四题浏览器操作系统,桌面是一如既往的 GPT 审美,右上角弹窗没问题,日期高亮也没用丑陋的椭圆。小瑕疵在 Dock 栏:终端输入框的 border 太大,不好看。压轴的太空射击游戏画面不错,上下左右方向键控制正常,但 space 键发射子弹不够灵敏,偶尔才蹦出几颗,这点有点遗憾。 第五题...









