UI-TARS Desktop 快速上手让视觉语言模型替你操作电脑的完整指南【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop如果你还在手动点菜单、逐条复制数据、一遍遍重复同样的界面操作不如把鼠标交给 AI。UI-TARS Desktop 是一个开源的桌面 GUI Agent用一句中文或英文指令它自己看屏幕、找按钮、动手完成任务。下面这套流程从装应用到跑通第一个任务只要十来分钟我们直接开始。十分钟内跑起来安装与首次运行环境要求先对一遍macOS 或 Windows想驱动本机浏览器还需要 Chrome / Edge / Firefox 之一目前只保证单显示器稳定多屏环境部分任务会失败安装最省事从项目 Releases 页下载最新桌面版macOS 把图标拖进 ApplicationsWindows 按向导装完即可Mac 上装了 Homebrew 的话一行命令也行brew install --cask ui-tars源码党git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop cd UI-TARS-desktop pnpm install pnpm run dev首次运行先过权限关macOS把应用拖进 Applications 后去 系统设置 → 隐私与安全性打开辅助功能和屏幕录制两项授权然后打开应用模型怎么配打开设置把 VLM Provider、Base URL、API Key、模型名四样填齐各平台的部署方法见 docs/deployment.md。以火山引擎的 Doubao-1.5-UI-TARS 为例VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS VLM Base URL: https://ark.cn-beijing.volces.com/api/v3 VLM API KEY: YOUR_API_KEY VLM Model Name: doubao-1.5-ui-tars-250328Provider 下拉框务必选对应项选错了模型的动作会解析失败Base URL 结尾要带/v1。填完点Check Model Availability确认能连通再保存。跑第一个任务新建会话时选场景Computer 操作本机 / Browser 驱动浏览器输入指令、点启动之后它会自己截屏、规划、点击你只管看着。任务结束还能把整段过程导出成 HTML 报告。它是怎么工作的截屏、思考、动手三步循环把 UI-TARS Desktop 想成一位新来的实习生先看清楚屏幕再决定点哪里做一步看一步直到把活干完。它内部就是一个不断重复的循环截屏——拍一张当前屏幕的快照规划——VLM视觉语言模型看一眼输出下一步动作比如点击坐标 (812, 437)执行——驱动鼠标键盘把动作做掉验证——再截一张屏确认结果不对就继续下一轮最关键的差别模型读的是原始像素不是 DOM 树或元素选择器。所以它对浏览器、IDE、原生应用一视同仁——就像一个真人盯着屏幕干活。每轮循环的步数上限由设置里的Max Loop控制动作之间的停顿由Loop Wait Time控制后面避坑部分会讲它们各自挡什么。场景实战用一句话改 VS Code 设置官方演示里最经典的例子请帮我在 VS Code 设置里打开自动保存并让 AutoSave 延迟 500 毫秒生效。不需要你告诉它菜单在哪AI 自己定位路径、找到选项、完成修改。把需求写成一句话就是这类工具的全部使用门槛。用浏览器 Agent 查资料选 Browser 模式前提本机装了 Chrome / Edge / Firefox。官方演示的指令是查一下 UI-TARS-Desktop 项目在 GitHub 上的最新 issue模型会自己开浏览器、导航、读屏、把结果汇报回来。搜索查资料、批量填表、跨系统抄数据这类重复浏览器工作都适用。把执行过程变成可分享的报告每个任务都能导出带逐步截图的 HTML 报告验收结果、排查第几步点歪了、或把操作记录发给同事都靠它。这也是 UI-TARS Desktop 和普通按键精灵最大的区别——每一步都有据可查。避坑指南5 个最常见的坑和解法坑解法点不动 / 识别不到界面macOS 的辅助功能管动手和屏幕录制管看屏幕权限都要开缺一不可改完重启应用动作解析失败、模型说不通Base URL 末尾必须带/v1Provider 与模型版本严格对应先点Check Model Availability多显示器任务失败官方只保证单屏稳定多屏先切单屏测试任务卡死或点偏检查 Provider 是否选错Max Loop默认 100、长任务调大Loop Wait Time默认 1000ms页面加载慢就调到 2000 左右首次跑不动看 docs/quick-start.md 的安装检查项对照 docs/deployment.md 确认模型服务真的起来了UI-TARS Desktop 把看屏幕、找按钮、做操作这串重复劳动整个自动化了你只需要交代目标和验收结果。更多参数说明在 docs/setting.md桌面应用源码在 apps/ui-tars/src/遇到问题可以去项目 issue 区或官方 Discord 社区提欢迎边用边提反馈。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考