用户愿意把一项电脑任务交给 Agent,往往还保留着一个期待:发现不对时,自己能够进去改,改完之后工作继续。电脑操作越接近真实业务,这种协作能力就越影响产品是否好用。
腾讯混元在 Hy4 正式版公告中介绍了视觉与电脑操作能力,模型能够结合图形界面和命令行推进任务。企业由此获得更多自动化入口,也需要重新选择哪些工作适合先交出去。
第一个场景,应当让结果容易被看见
选场景时,不妨先看任务完成后会留下什么。数据导出留下文件,资料整理留下目录,测试运行留下报告。结果具体,用户就更容易判断 Agent 是否帮自己省了事。
再看中途出错能否恢复。调整筛选条件可以重新选择,已经向外提交的申请却需要追踪原结果。把两类动作混在一条漫长流程里,会增加接管后的判断难度。
因此,第一项任务可以范围较小、输入明确、结果可检查,允许人在关键处介入。先让它稳定完成一段有用工作,再逐渐增加步骤,比直接追求跨多个系统的全自动流程更容易积累可靠经验。
这种选择也有商业意义:客户购买的是少做一部分重复劳动,而不是观看模型完成更多次点击。
控制权交接,比增加一个“停止”按钮复杂
人和 Agent 共用桌面时,真正需要停止的是旧计划继续产生动作。用户已经改好日期,晚到的点击仍可能把条件改回;用户以为任务暂停,后台命令却可能还在运行。
一个完整的接管过程,要先停止派发动作,处理在途操作,再让用户接手。用户交回之后,Agent 重新观察页面与任务进度,选择下一步。交接前后的截图可以相似,决策依据却可能已经改变。
这也解释了为什么暂停 Agent 与暂停运行环境应当分开。前者让出操作权,后者停止整个工作现场的计算。用户需要进入桌面修改内容时,环境仍要保持可访问。
界面与接口,可以在一项任务里分工
电脑操作扩展了缺少接口的软件覆盖面。有稳定接口的步骤,则往往能直接取得结构化字段和请求结果。两种方式可以结合使用,不必为了展示自主性而坚持全程点击。
例如,Agent 在界面里选择筛选条件,随后读取下载文件,检查日期与订单状态。涉及写入的操作,可通过目标系统的查询结果判断是否完成。选择路径的依据,是这一步怎样更容易正确完成和继续处理。
PPIO 的 Computer Use 文档展示了虚拟桌面和桌面流,并区分只读观看与交互访问。这样的运行环境,让企业有条件把观察、人工操作和自动执行组织在同一工作现场。
对于需要人工介入的业务,可持续访问的桌面很有价值。用户无需另起一个环境,开发团队也能围绕同一次任务研究页面变化和恢复过程。
任务入口还应明确区分查看进度、接管和取消。它们分别表达三种意图:继续等它完成、亲自修改、停止这件事。用户不必理解后台怎样调度,也应当能准确表达自己的选择。
衡量协作,要把用户花的时间算进去
评估电脑操作应用时,可以同时观察任务完成率、人工介入次数,以及每次介入到继续执行所需的时间。一次接管若只需修改一个条件,体验可能优于表面上全自动、最后却要人工从头重做的流程。
还要区分帮助系统补充信息与替系统纠正错误。用户确认一次授权,可能是合理的业务步骤;每次都要重新解释任务目标,则说明系统没有保住工作上下文。
模型能力继续进步,会让更多软件成为可操作对象。企业接下来需要形成的,是一套人随时能够进入、修正和退出的协作方式。客户能放心交出去的工作越多,电脑操作能力才越接近可持续使用的服务。

