DeepSeek Harness 上的 DeepSeek V4 Flash 1017 版测评报告来了。前一晚我们已经在 Pi 上测过一次,效果感觉一般般,于是粉丝提议在 DeepSeek Harness 上再测一遍,义不容辞。这次 Harness 升级到最新 preview 版本 v0.2.1-rc.2,这个版本对 1017 做了适配;模式用极简模式,思考深度拉到最高 Max。

第一题,强约束指令遵循句子生成测试,结尾都是从 1 到 10 收官,我认真看了下,所有句子都是通顺的。第二题,鹈鹕土星环骑自行车 SVG 测试,坦白说效果还没有在 Pi 上测的好:首先这个转弯肯定是不行的了;第二,和 Pi 上一样,跑道没有落在土星环上。

第三题,复合弓射箭 SVG 测试,有几个问题:第一,复合弓上下滑轮都是顺时针方向旋转;第二,箭射出去之后,手上的箭还在;第三,箭明明是平射,却突然往上跑了;第四,弓箭手右手握弓,箭却在右手外侧,左手要穿过来到右手外侧拉弓,这有多别扭。

第四题,实现一个精美的浏览器操作系统。UI 看上去还可以,但右上角弹窗里日历的日期高亮部分是椭圆的,不是个好设计;再看 Dock 栏应用,计算器的 UI 也不行,上面都被挡住了,按钮同样是椭圆的,难看;终端的输入框边框也太丑了。最后看压轴的太空射击游戏:说是实现了 WASD 键的移动,但我按下去没有任何反应,只能用鼠标移动;也说不太明白它的射击是怎么玩的——按下 Space 键后,子弹是从瞄准器射出一束很短的激光,而不是从飞机上发射出去的;敌机也太小了,有些就是一个点。

第五题,实现一个 3D 赛车游戏,玩了一下,这个实现完全没有问题。第六题,无第三方库实现一个高颜值 Trello 看板,这个就更离谱了:一打开就有一个弹窗出来,点击关闭按钮又关不掉,太烂了。

最后大家看下花费:总共花了我 8 块多、73M 的 tokens,这钱花得不值。测评下来坦白说,我觉得还没有上个视频在 Pi 上测的好,这不会又是 DeepSeek 的一个过拟合问题吧?最终得分我还没有算出来,晚点会更新到博客,到时大家自己去看吧。最后问下大家,大家对这个模型怎么看呢?