豆包近日宣布对其“工作任务”模式进行重大升级,推出“豆包虚拟桌面”功能,实现通过虚拟界面直接操控Windows电脑。这一创新基于先进的图形用户界面(GUI)解析技术,无需依赖传统接口如MCP、API或命令行工具,即可精准识别屏幕元素并执行操作指令。
该功能突破了传统自动化工具的局限,用户可通过自然语言指令让系统完成跨应用协同任务。例如同时操作办公软件、浏览器及专业工具,系统能自主规划操作路径并处理多步骤流程。在实际测试中,豆包已实现从数据整理到文档生成的完整工作链自动化。
为保障用户体验,虚拟桌面采用独立运行机制,在后台开辟专属操作空间。该设计确保用户正常使用鼠标键盘时,系统不会争夺控制权,双方操作互不干扰。用户可随时通过可视化界面监控任务进度,必要时可立即接管或终止自动化流程。
启用方式分为两种路径:用户既可在豆包电脑版主界面选择“工作任务-本地电脑”模式,通过技能库调用“操作电脑”功能;也可直接输入任务指令,系统将自动引导完成版本更新与权限配置。整个过程仅需完成一次初始化设置,后续使用无需重复授权。
目前该功能仅支持Windows平台,用户需将客户端升级至最新版本。系统内置智能校验机制,在执行高风险操作前会二次确认用户意图,同时对敏感操作进行权限分级管理。技术团队表示,后续将根据用户反馈持续优化操作精度与响应速度。











