豆包2.1 Pro测评报告!真的能打吗?
豆包刚出的 doubao-seed-2.1-pro 测评报告来了。这次测评依然在 Pi 上接入来做,上下文、Max tokens 和思考模式全都开到最大。
第一题是强约束指令遵循句子生成测试。句子确实都从 1 到 10 结尾,乍看没什么问题——但不仔细看差点被它糊弄过去:只看尾部几个字的话所有句子都挺顺,可读完整句就会发现,第 5、7、9 句都是不通顺的,挺狡猾。
第二题鹈鹕土星环骑自行车 SVG 测试,前几天测了好几个国内顶尖大模型都做不好,结果豆包更离谱——鹈鹕和自行车直接不见了。
第三题复合弓射箭 SVG 测试,真抠细节的话问题不少:头断了,轮子也不是复合弓的轮子,反而像个闹钟。不过毕竟是 SVG,可能不用太强求。这里比较严重的问题是弓弦只有一根,而复合弓和一般弓箭不同,不会只有一根弦。
第四题浏览器内操作系统,UI 看上去还可以,但右上角的弹窗点下去却跑到左上角去了;Dock 栏的计算器不工作,点几次等于号都没算出结果;压轴的太空射击游戏其他都还好,就是没法移动——按下左右键一放手,飞机立刻回弹到原来的位置,根本没法好好控制。
第五题 3D 赛车游戏,画面太模糊,根本看不清路况,视力稍微不好都很难躲开障碍物。
第六题无第三方库实现 Trello 看板,列表的增删改拖动没问题,待办卡片的增删拖动也没问题,唯一的问题是没法改标题——点进去根本找不到改标题的地方。
测下来就那样吧,我就不总结了,大家评论区自己说吧。







