Vercel Labs开源agent-desktop：不靠截图驱动桌面应用的智能体CLI

Vercel Labs发布开源命令行工具agent-desktop，面向在macOS、Windows与Linux上的AI智能体计算机使用场景。该工具通过操作系统无障碍树而非截图读取各应用，智能体可获得含可操作元素引用的JSON快照。1.0.2版于2026年10月30日以Apache-2.0协议发布。对开发者而言，任何具备shell能力的编码智能体现可不依赖视觉模型驱动原生应用。项目为Rust CLI与C库，约60个命令名中56个可实际操作；支持macOS 13及以上、Windows 10 1809或Server 2019及以上、Ubuntu 24.04及以上，覆盖x64与ARM64，仅需普通CPU。官方称动作基于确定性且可重试的元素引用，尚无独立计算机使用基准；在密集Electron应用上通过骨架遍历自称可减少约百分之七十八至九十六的token。agent-desktop是供智能体调用的工具而非智能体本身，不内嵌大模型也无图形界面，每条命令输出一份JSON信封后退出，观察、行动与验证循环仍由调用方智能体完成。命令经固定链路：CLI或C库调用agent-desktop-core，再经PlatformAdapter特质触达系统，由平台crate对接原生无障碍API。