AI产品狙击手

DeepSeek Harness 标准模式下的 DeepSeek Flash 1017 版测评报告来了。前面的视频按粉丝要求测了极简模式加 Max 思考深度，效果不如人意，评论区直接炸锅；又有粉丝说要用标准模式测，那就来呗。本来想开 Max 的，但有粉丝私信说感觉 high 比 Max 还能打，所以最终确定用 high——同时也因为 Max 的「雷霆大思考」我们前面是见识过的，太耗时了。 第一题，强约束指令遵循句子生成测试。结尾都是从 1 到 10 收的，我们看一下是否通顺。我认真看了下，所有都是通顺的。 第二题，鹈鹕土星环骑自行车 SVG 测试。整体感觉好了很多，起码转弯看上去是比较顺畅的。不过问题还是要提的：首先，鹈鹕的形象有点小问题，大家仔细看它的嘴——一是嘴下面那块有种说不出来的奇怪，二是嘴上面部分感觉已经是由完整的上下嘴巴组成的了。第二，大家仔细看鹈鹕的右脚，它不是踩到脚踏上的，而是被齿轮完全挡住。 第三题，复合弓射箭 SVG 测试，几个问题：第一，箭羽是反的；第二，右手拉弓，但它是右手反过来穿过脖子拉弓，拉满弓之后手又穿过脖子，非常恐怖；第三，弦已经反弹复原了，...

上两个视频我们测了 DeepSeek 最新的 1017 版本，这一集来测同样最近推出的 Meta Muse Spark Open 模型。继续用 Pi 接入 OpenRouter 来测，思考深度开到 high。 第一题，强约束指令遵循句子生成测试。结尾都是从 1 到 10 收的，我们看一下是否通顺——我觉得第 5、7、8、9 句不通顺。 第二题，鹈鹕土星环骑自行车 SVG 测试。这个实现明显不大行：首先，自行车一直是倒着踩的；第二，鹈鹕的生成也崩了，看上去是两只嘴，两条腿变成了自行车的零件在转动，也就是说自行车的生成同样崩了；第三，土星环没有环绕图形，大家可以看上面部分，土星环没有套住土星。 第三题，复合弓射箭 SVG 测试，几个问题：第一，复合弓副弦没有看到；第二，箭给人感觉是用手推出去的；第三，人物的手纠缠在一起，让人感觉长了两只右手；第四，箭没有倾斜一定角度，导致水平射出，但为了满足提示词里要求的抛物线，又强行违反物理规则往上抬升。 第四题，实现一个精美的浏览器操作系统。UI 看上去有点粗糙，右上角弹窗功能没有问题，只是 UI 确实比较一般；Dock 栏应用功能也没有问...

DeepSeek Harness 上的 DeepSeek V4 Flash 1017 版测评报告来了。前一晚我们已经在 Pi 上测过一次，效果感觉一般般，于是粉丝提议在 DeepSeek Harness 上再测一遍，义不容辞。这次 Harness 升级到最新 preview 版本 v0.2.1-rc.2，这个版本对 1017 做了适配；模式用极简模式，思考深度拉到最高 Max。 第一题，强约束指令遵循句子生成测试，结尾都是从 1 到 10 收官，我认真看了下，所有句子都是通顺的。第二题，鹈鹕土星环骑自行车 SVG 测试，坦白说效果还没有在 Pi 上测的好：首先这个转弯肯定是不行的了；第二，和 Pi 上一样，跑道没有落在土星环上。 第三题，复合弓射箭 SVG 测试，有几个问题：第一，复合弓上下滑轮都是顺时针方向旋转；第二，箭射出去之后，手上的箭还在；第三，箭明明是平射，却突然往上跑了；第四，弓箭手右手握弓，箭却在右手外侧，左手要穿过来到右手外侧拉弓，这有多别扭。 第四题，实现一个精美的浏览器操作系统。UI 看上去还可以，但右上角弹窗里日历的日期高亮部分是椭圆的，不是个好设计；...

今天新出的 Deepseek V4 Flash（1017）测评报告来了。本来下午 5 点多就在小破站直播开测，一直跑到晚上 11 点多才结束——太慢了。原因估计一是刚发布用的人太多，二是我开了 Max 模式。不管了，大家先看结果吧。 第一题，强约束指令遵循句子生成测试。结尾都是从 1 到 10 收的，我认真看了下，所有句子都是通顺的。 第二题，鹈鹕土星环骑自行车 SVG 测试。整体效果相当不错：鹈鹕和自行车的部件都没看出什么问题，转弯也很完美。唯一一个问题是环形跑道没有落在土星环上。 第三题，复合弓射箭 SVG 测试。几个问题：第一，箭头是反的；第二，箭本来是平射出去的，却突然往上拐了弯；第三，人物的手像麻花一样扭在一起；第四，放手的时候弓弦已经复位了，箭却还没射出去。 第四题，实现一个精美的浏览器操作系统。这个实现前后经过了两次调整，看过直播的应该有印象：第一次根本进不去桌面，第二次 Dock 栏应用点了没有反应，最终才得出现在这个效果。打开调试模式一看，是 Finder 有 bug——按理说这一项应该直接判失败了，因为其他模型测评我不会给第二次机会；但毕竟花了好几个小时...

Qwen-Image-2.1-Pro 的测评来了。它是阿里千问这一代的统一文生图与图像编辑模型，也是这一轮里中文能力最被期待的一位。六道题跑下来，结论挺有意思：文字和左右手这两块它确实做到了别人做不到的事，但空间关系、人体解剖和镜面推理依旧不稳。 第一题中文长文本排版，水彩风珠海 5 天行程插画。这题表现最好：渔女、日月贝的形象都比较贴近真实情况；测评这么久，终于有模型把第一天「鹈鹕海鲜餐厅」的「鹈鹕」两个字正确生成了——这个字此前几乎每期都翻车；其他位置也没有看到错别字。就冲这一点，中文生成能力最好的就是它，起码在此前测过的模型里是这样。 第二题文生图综合能力，左撇子咖啡馆写信。这也是迄今为止唯一一个能分清左右手的模型，终于是左手拿笔、右手拿烟斗了。但问题还是一大堆：右手画出了 6 根手指；玻璃窗没有按提示词反射执笔的手；杯中清水应该满到快溢出来，没做到；咖啡杯应该是半杯；墙上时钟要求 3 点 45 分，时针应该在接近 4 点的位置，它还停在没过 3 点的地方；信件上的文字方向错了；明信片的位置也错了——不是摆在一边，而应该放在男生正在写的笔下。 第三题同一角色多视角一致...

这一集测的是刚发布的 MOSS-Image——OpenMOSS 在 10 月 16 日开源的文生图模型。测评内容由网友 return一 提供，非常感谢。先说明一个前提：这个模型当前只支持文生图，参考图输入和图像编辑都做不了，所以最后一题没法真正测，视频里按五五开处理。 第一题中文长文本排版，画的是水彩风珠海 5 天行程插画。这一题整体布局和行程结构没有被破坏，失分集中在文字与配图上：第一天的渔女形象和事实不符，被弄得像个观世音菩萨；「鹈鹕」两个字写错了；第二天本该是鲸鲨馆，被写成了鲸鱼馆；第四天大排档的「档」字也错了。 第二题文生图综合能力，画左撇子咖啡馆写信。问题相当密集：提示词要求左手拿笔、右手拿烟斗，它把左右完全反了过来；烟斗的结构直接崩了，出现两个烟嘴；杯里的清水应该是满到快溢出来的状态，没有做到；墙上时钟要求 3 点 45 分，时针和分针都没指对地方；信件上的文字方向也是错的；墙里面反射出的人手是畸形的。另外整个画面的镜头拉得太近，人看着还有点压迫感。 第三题同一角色多视角一致性，要让女孩在四宫格里呈现不同角度。这一题两项结构性判据都没守：出来的明显不是真人写实摄...

这期测评的是 Black Forest Labs 最新开源的 Flux 3 Image Klein。照旧搬出我们那套祖传测试用例，六道题逐一过一遍，看这个「乞丐版」模型到底能不能打。 第一题是中文长文本排版支持测试，要求生成一张水彩风的珠海五天行程插画。结果错字密度高得离谱：第一天的渔女和日月贝真实形象不对，「渔女」的「渔」字就错了，「渔民老鹈鹕海鲜餐厅」里的「渔」「鹈鹕」「海」都没写对。第二天「鲸鲨馆」的「鲨」字也错，第三天「渔民乐」的「渔」字同样错，「外伶仃」的「伶」「岛」只能算它潦草，细究也有问题；第四天「唐家湾」的「家」「湾」和「荔枝苑农家乐」都不对。第五天已经懒得数了——坦白说，这个模型的中文就是烂。 第二题考文生图的综合能力：左撇子咖啡馆写信。四个问题。提示词要求左手拿笔、右手拿烟斗，它正好反了；杯子里的清水应该满到快溢出来，也没有；画面上的文字本该面向我们、写着「亲爱的阿珍，见字如面」，结果很多字是错的；墙上的时钟要求停在 3 点 45 分，时针和分针都没指对地方。另外玻璃窗反射出的那只手也很怪，看着像在握一把勺子——而且手能被反射出来，同样肤色的人脸却完全看...

继续视频生成模型的六维实测。这一集测的是 MiniMax 的 H3——因为官方积分用完了，只能改到 OpenRouter 上跑。用的还是那条经典的鹈鹕骑车提示词，一条 5 秒镜头里压了六个维度。效果看下来，翻车点相当密集，我们逐维过一遍。 先说主体完整性与跨帧一致性。最扎眼的是整个手机都脱离了鹈鹕主体、直接悬浮在空中；另外这只鹈鹕翅膀张开的姿态也总觉得很怪异。到了肢体与机械推理就更明显：提示词要求左翅膀扶车把，视频里没有做到；右翅膀也没有拿着手机；鹈鹕也没有用喙叼住玻璃瓶，玻璃瓶只是卡在喙部和脖子之间。 多层镜面空间推理是这期的重灾区。第一，手机方位不对——应该对着玻璃墙体用后置摄像头自拍，它却是面向我们、用后置摄像头对着鹈鹕自己来自拍。第二，仔细看会发现玻璃墙反射里鹈鹕脚的动作是反的：镜中的左脚对应实景的左脚、镜中的右脚对应实景的右脚，明显违反物理规律。第三，实景里自行车中间是没有横杠的，反射中却凭空多出了一个自行车横杠。 中文文本与时钟渲染这题质量也不高：时钟指针的位置不是 3 点 45 分，横幅里的「鹈鹕」两个字也写错了。液体与折射物理同样失分：自行车前方玻璃碗的水远...

上一期用一条 5 秒提示词测了 Seedance 2.5，这次轮到快手可灵刚全量上线的可灵 4.0，用的还是「鹈鹕骑自行车」这个经典测试用例，直接看谁更能打。 先给结论：机位错了，导致整套镜面反射的考点集体失效。可灵这一条的机位不是纯侧面，而是偏斜的前视角，「镜面护墙要完整反射全部主体」这个前提根本没成立，所以后面几维的失分几乎都是从这一处塌下来的。下面还是逐维度看。 主体完整性与跨帧一致性：多了个挂钟（提示词只要求一个）；整个视频播完都没能看到完整的自行车结构——车架始终没露全，更别说玻璃墙要完整反射所有主体了。 肢体与机械推理：左翅膀没扶车把；鹈鹕没有叼着玻璃瓶，玻璃瓶是凭空悬浮着的；又因为自行车结构不完整，骑行姿态这类判据根本没法判别。 多层镜面空间推理：镜面护墙完全失效，没有做到完整反射全部主体；提示词要求用手机后置摄像头对准镜面护墙自拍，视频里不仅没对着护墙，从取景器能明显看出用的是前置摄像头。 中文文本与时钟渲染：这一维有亮点——横幅里的「鹈鹕」两个字是对的，而上一期的 Seedance 2.5 恰恰在这里写错了。不过时钟依旧不对，指针位置不是 3 点 45 ...

AI 产品的测评系列已经有大语言模型和 AI 生图两套了，视频生成其实早该补上，但视频生成实在太耗钱，一直没做。这次想到一个折中的办法——穷测：只用一条 5 秒提示词，但把六个互相独立的难点压进同一个镜头，靠提示词的密度而不是样本量来拉开模型之间的差距。本期测的是号称地表最强的 Seedance 2.5。 测试用例的设定是：黄金时刻的弧形滨海步道，一只成年鹈鹕骑着复古自行车沿弧线前行，左翅膀扶车把、右翅膀举手机对着镜面护墙自拍，喙叼着倾斜的玻璃瓶往车篮的玻璃碗里滴水，护墙上固定着中文横幅和显示 3 点 45 分的复古挂钟。六个考点分别是主体完整性与跨帧一致性、肢体与机械推理、多层镜面空间推理、文本与时钟渲染、液体与折射物理、运镜构图与光影。 逐条实测下来： 主体完整性与跨帧一致性：缺失两样东西——鹈鹕本该叼着的倾斜玻璃瓶、自行车本该有的独立后视镜。除此之外没有突然消失或畸形的问题，也没看到跳帧，电影质感是有的。 肢体与机械推理：提示词明确要求左翅膀扶车把，视频里没有做到。其余尚可，车轮绕轴正常旋转，骑行姿态符合物理规律。 多层镜面空间推理：镜面反射整体没有明显不一致，但腿...