Windows 11 · 0.2.0 Preview

把想法,交给桌面。

Prism 是由视觉模型驱动的原生 Windows 桌面助手。你描述想完成的事,它理解目标、观察界面,并通过真实鼠标与键盘逐步操作。

自然语言入口 / 真实桌面操作 / 随时接回控制

Prism 浅色主界面:任务输入与简约交互入口
项目实际界面 · 自有界面诊断截图
01 / Who it is for

知道想做什么,
不必先知道该点哪里。

优先面向日常使用 Windows、希望降低软件操作门槛的人。首要切入点是“帮我找到并修改一个设置”,再逐步拓展到普通应用中的多步任务。

01 — 核心用户

不熟悉设置入口的用户

知道想把界面变亮、调整显示或改变使用习惯,却记不住设置名称与菜单层级。

价值:从描述效果开始,减少搜索教程和反复找入口的成本。

02 — 日常办公用户

频繁切换软件的人

在桌面、文件管理器与普通应用间反复切换,完成细碎却需要多个步骤的事情。

价值:把分散点击组织成一个目标,减少机械操作和注意力切换。

03 — 早期使用者

愿意配置模型的探索者

希望体验真实 Computer Use,愿意填写自己的模型 API 配置,并在预览阶段提供反馈。

价值:使用可检查的开源实现,自主选择模型服务,并始终保留控制权。

产品面向普通用户的长期方向不变;当前版本需要自行配置 API,更适合愿意参与验证的早期用户。

02 / Problems → Value

让“告诉我怎么做”,走向“帮我做”。

Prism 的价值主张是减少从意图到操作之间的距离。以下是产品设计希望带来的改善,尚无量化的效率提升统计。

入口太深,术语难记

一个简单设置,常要先搜索再对照教程。

用期望结果描述目标

例如“把系统从黑的变成白的”,由模型理解为切换浅色外观。

教程与实际界面不一致

软件版本、布局和当前窗口状态各不相同。

观察当前界面再行动

结合屏幕图像与可用控件信息,基于当下状态选择下一步。

重复点击,打断注意力

简单目标可能横跨多个界面和操作。

以任务组织连续操作

保留目标、计划与执行反馈,逐步推进;完成后继续接收下一任务。

自动化过程难看懂、难接管

用户不知道正在做什么,也找不到回复入口。

进度、对话与控制放在一起

悬浮卡显示当前步骤,问题直接回复;暂停与停止始终可用。

A goal, not a click script
“打开设置,把系统从黑的变成白的。”

用户不需要写出逐步点击脚本。模型负责把口语目标转成可执行计划,程序负责把动作交给真实桌面并回传结果。

01 理解目标

推断为切换 Windows 浅色外观,展示任务理解。

02 创建计划

组织打开设置、定位外观选项、修改并检查等步骤。

03 观察与执行

每轮结合新画面与控件信息,执行可核对的动作。

04 核对与待命

反馈执行结果;有困难则保留任务,完成后等待新输入。

流程示意:解释产品工作方式,不代表任意界面或任意表述都已验证通过。

03 / How it works

模型理解意图,原生执行器完成动作。

采用 .NET 10 / WPF 与 Windows API 构建。界面、任务状态与桌面执行分层;视觉模型通过用户配置的 API 接入,在持续反馈中决定下一步。

交互层 · WPF

一个入口,持续对话

  • 自然语言输入与新任务
  • 悬浮进度、详情与确认卡
  • 浅深主题、胶囊与托盘
  • 暂停和紧急停止入口
决策层 · Core + 模型 API

目标 → 计划 → 下一步

  • 传入用户目标、截图与控件文字
  • 维护计划与有限步骤历史
  • 回传已执行动作、结果与拒绝原因
  • 管理恢复、预算及具体操作批准
执行层 · Windows API

作用于真实桌面

  • 获取当前屏幕与窗口信息
  • UIA 只读辅助定位控件
  • 真实系统鼠标与键盘输入
  • 动作绑定任务、租约及新帧
观察界面 → 模型决策 → 本地核对 → 真实输入 → 新观察与结果反馈 ↺

混合定位,降低操作歧义

视觉提供界面上下文,Windows 控件信息辅助识别名称、位置与状态。UIA 用于只读定位,最终点击和输入仍由真实系统输入完成。无法可靠定位时保留任务,等待继续。

状态约束,避免过期动作

动作与当前任务、执行租约和画面关联。暂停、停止或开启新任务后,旧结果不能继续控制桌面。高风险操作需对具体提交确认,启用权限不等于批准所有后续动作。

当前默认预设:DeepSeek / deepseek-v4-flash-vision-exp。另提供 OpenAI-compatible、Kimi、GLM 配置入口,各服务的模型可用性与视觉能力需单独验证。

04 / Core innovations

创新在于把理解、行动与接管连起来。

这里的“创新”指项目的产品与工程设计重点,不宣称模型算法原创、行业首创,也不把提示词优化等同于模型训练。

01

从口语目标到有反馈的计划

把用户目标、当前观察、执行结果放进连续决策过程,让模型根据真实反馈修正下一步。价值在于减少用户手写步骤,而不是为每个需求固定一套点击脚本。

02

视觉理解与控件证据互补

利用图像理解整体界面,再以可用控件信息辅助核对目标。将模型提出的动作与本地执行检查衔接,缓解只看像素时的名称、位置和状态歧义。

03

在桌面现场完成协作

当前步骤默认简洁展示,理解、计划与反馈按需展开。提问、回复、确认和新任务都能在任务卡处理,让用户在操作发生的位置参与协作。

04

把可接管性做进执行状态

暂停、停止、任务切换与动作有效性共同约束输入,配合具体提交确认。既让普通操作直接推进,也让用户在关键时刻接回控制。

05 / Designed to stay out of your way

少一点界面,
多一点可理解的进度。

轻玻璃任务卡和彩虹边框提示桌面控制状态。默认只显示当前步骤,点开再看细节;完成后保留输入入口,也可以收成小胶囊。

进度可以简洁,问题不能藏起来

需要补充或批准时,直接显示问题与回复入口。通过“新任务”切换目标,避免新请求被当成旧任务的补充。

用户随时接回控制

Ctrl+Alt+F8 暂停,Ctrl+Alt+F9 紧急停止。关闭主窗口会进入托盘;彻底退出请使用托盘菜单。

Prism 深色悬浮任务卡,展示当前步骤与展开详情入口
实际任务卡界面 · 截图中的任务为界面诊断示例
06 / Honest by design

可以体验的预览版,清楚标明能力边界。

0.2.0 Preview 1 已完成界面、桌面交互与独立分发准备。当前优先验证普通设置和应用操作,不承诺对所有 Windows 软件都能稳定自动完成任务。

1,030 / 1,030本地离线核心测试
84 / 84最终便携包界面检查
Windows x64便携包含 .NET 运行时
以上为 2026-09-06 的本地验证记录,不代表真实模型任务成功率。界面检查未调用模型、未操作其他软件;完整微信聊天查看、完整文件创建和任意应用操作尚未统一验收。在线 CI 状态以仓库 Actions 为准。

数据流向由配置决定

运行任务时,相关截图、控件文字与任务内容会发送到你配置的模型服务。密钥由用户填写,使用 Windows 当前用户加密存储。项目不附带开发者密钥。

下一阶段关注什么

优先改善陌生界面理解、多步任务恢复与真实任务成功率,补齐典型文件操作和应用场景验收。这些是后续目标,不能作为当前已交付能力。

Prism · 棱镜

让电脑理解目标,
让用户掌握过程。

查看源码、了解当前边界,或参与预览版反馈。

前往 GitHub 仓库 ↗

本页为独立 HTML 文档,样式与图片全部内嵌;离线可阅读,外部链接需联网。