Laya大模型!Jev开源平替!本地轻松部署!
Jev 的平替就这么被开源了,兄弟们。看一下 GitHub 上这个叫 Laya 的项目:上线三天,4000 多颗星,pip 一行装上就能用。
用法是把它当决策层用:把邮件、工单这类原文倒进去,再用 choice、score、noul 这三种题型把要问的事情写清楚——比如这封邮件应该转给哪个部门?客户有多急?客户是不是想要退款?这条 prompt 是不是越狱注入?30 毫秒左右,所有答案一起回来。它不生成文字,所以你不用像调用大模型那样拿代码去解析结果,它也没法编点什么出来。
作者还拿它跟 Jev 对着测:Laya 答对了 76.6%,Jev 自己公布的是 72.7%,高那么一点点;速度就差得比较多了——Jev 200 多毫秒,而它 30 毫秒。同时 Jev 是个闭源接口,按调用量来收钱;Laya 你下载回来自己跑,不花钱。
作者在页面上也写清楚了哪儿不行:比如选项超过 20 个,它就不如 Jev 了;想更准确一点,得自己去训练一遍,脚本和教程作者都给了,免费显卡跑个四五小时就搞定了。而协议用的是 Apache 2.0,所以可以商用。
做工单分流、内容审核、AI 网办的兄弟,建议先拿 100 条工单丢给它试一下,看一下效果怎么样,和你人工审核的有多大差别。










