上一集预告了 OpenGCUA 的实操教程,这一期直接上手。OpenGCUA 是阿里通义开源的通用计算机操作智能体框架,可以用相对最小的 token 消耗去控制手机和电脑(上一集回顾)。

安装很简单。打开 GitHub 上对应的开源项目,把仓库地址复制下来,然后打开你用得顺手的 harness——我平时在 AI 办公上用千问办公——把链接直接丢给它,让它帮忙安装,不用多久就会装完。

装好之后要配置大语言模型。打开安装目录,我这里配的是 DeepSeek,于是用 vim 之类的编辑器打开 packages/harness/configs 下的 local.json 文件,照着我这份配置文件填好自己想用的大模型就行。不知道怎么配的直接问你正在用的 harness,让它帮你配。

配置完执行命令启动 Web UI 服务,它默认在 8800 端口打开,用浏览器访问这个端口就可以开始玩了。界面左边能看到它可以控制手机和电脑等设备,右边直接输入提示词让它干活。

第一个演示是文件分类。我准备了一个塞满杂乱内容的文件夹,如果按传统 computer use 的做法,它得一张张截图判断再一个个点击,真要做完不知道猴年马月。这玩意儿控制电脑厉害的地方就在于能自动判断什么时候必须截图点击、什么时候直接用脚本命令搞定。我点「选择屏幕」选好文件夹,输入提示词让它做文件移动分类,提交之后它就刷刷刷地干起来了。

这里有个细节要注意:全程观察右边的输出,它没有做任何鼠标点击和截屏操作。但你不能因为没看到它打开文件夹就说它没用 computer use——如果没显式告诉它,它可能在后台打开,你只是看不到而已,所以看右边的输出最准。再打开刚才那个文件夹,各类文件已经被它分好类了。

第二个演示是显式要求用 computer use。开个新会话,输入提示词显式叫它前台通过真实鼠标键盘操作,打开系统设置等来搞清楚磁盘空间使用情况。它会自己打开设置页面、点击进磁盘空间查看用量,找到之后按要求打开一个文件,移动鼠标选中输入区域,先写几个字测试确实能写进去,再把刚才查到的内容写进去。

好,这次分享先到这里,觉得有用就点赞关注,还没时间实操的先收藏,回家照着慢慢玩。