Mistral Large 4.0 测评报告!中美之外的法国黑马?
这期应粉丝要求测评 Mistral 最新的 Mistral Large 4 模型。看网上各种 benchmarks,据说非常能打,那在我们这套祖传测试用例中表现如何呢?我们继续在 Pi 中接入,另外查了一下,它的思考模式最高只能去到 high。
第一题是强约束指令遵循句子生成测试——要求十个句子的结尾依次是 1 到 10,来看通顺度。认真看下来,第一、三、五、六、七、八、九句都不通顺,都是为了凑数字结尾,硬把句尾的单位去掉的;其实第十句也不大顺,感觉还是要加个「颗」字才好,大家觉得呢?
第二题是鹈鹕土星环骑自行车 SVG 测试,这个效果不行。第一,转弯肯定是不行的,都倒过来了;第二,到了上方的时候图形并没有挡住鹈鹕,让人感觉土星环没有环绕土星,也就是土星在土星环之外;第三,鹈鹕的翅膀在中间,那它是怎么凭空多出一只手来扶着车把的;第四,鹈鹕的脚没有踩到脚踏上。
第三题是复合弓射箭 SVG 测试。第一,箭头是反的;第二,人手一直像僵尸一样直直的,拉弓时也没见弯曲;第三,弓箭没有射中靶心。
第四题是实现一个精美的浏览器操作系统。这一个实现花了相当长的时间,估计快两个小时,原因有三个:一是慢;二是这模型太能思考,反复思考到 Max tokens 爆了还没有思考完;三是它一直尝试把所有代码写进单个 HTML 文件里,内容太多导致直接超时,太考验我耐心了。打开看一下,默认桌面背景白茫茫一片,也太土了点;右上角弹窗 UI 一般,而且日历高亮部分是个椭圆,难看。再看 Dock 栏应用:计算器的按钮也是椭圆形;终端按提示输入 help,什么命令都没有打印出来。压轴的太空射击游戏——空格键能正常射击,左右键只会轻微挪一下位置,上下键就更加不工作了,整个 UI 也不好看。
第五题是实现一个 3D 赛车游戏。玩一下——我的天呀,我是谁、我在哪、我要去往何处?障碍物不知所位,赛车是隐形的。
第六题是无第三方库实现一个高颜值的 Trello 看板。这个 UI 和原生的 Trello 看板比较接近,看下功能:待办卡片添加后没有办法点击进行编辑;列表拖动的位置也有点尴尬,经常想拖动却变成了编辑模式。
整个测评下来,感觉这个模型还是很一般,和老美以及我国的模型还是有一定的差距。另外提醒大家用的时候注意一点:它很喜欢把所有代码写到一个文件里面,最好明确叫它分开多个代码文件,不然很容易爆。它的得分我还没有算,晚点会更新到博客,到时自己去看吧。大家对这个模型怎么看呢?











