不熟悉设置入口的用户
知道想把界面变亮、调整显示或改变使用习惯,却记不住设置名称与菜单层级。
价值:从描述效果开始,减少搜索教程和反复找入口的成本。
Prism 是由视觉模型驱动的原生 Windows 桌面助手。你描述想完成的事,它理解目标、观察界面,并通过真实鼠标与键盘逐步操作。
自然语言入口 / 真实桌面操作 / 随时接回控制
What would you like me to do today?
优先面向日常使用 Windows、希望降低软件操作门槛的人。首要切入点是“帮我找到并修改一个设置”,再逐步拓展到普通应用中的多步任务。
知道想把界面变亮、调整显示或改变使用习惯,却记不住设置名称与菜单层级。
价值:从描述效果开始,减少搜索教程和反复找入口的成本。
在桌面、文件管理器与普通应用间反复切换,完成细碎却需要多个步骤的事情。
价值:把分散点击组织成一个目标,减少机械操作和注意力切换。
希望体验真实 Computer Use,愿意填写自己的模型 API 配置,并在预览阶段提供反馈。
价值:使用可检查的开源实现,自主选择模型服务,并始终保留控制权。
产品面向普通用户的长期方向不变;当前版本需要自行配置 API,更适合愿意参与验证的早期用户。
Prism 的价值主张是减少从意图到操作之间的距离。以下是产品设计希望带来的改善,尚无量化的效率提升统计。
一个简单设置,常要先搜索再对照教程。
例如“把系统从黑的变成白的”,由模型理解为切换浅色外观。
软件版本、布局和当前窗口状态各不相同。
结合屏幕图像与可用控件信息,基于当下状态选择下一步。
简单目标可能横跨多个界面和操作。
保留目标、计划与执行反馈,逐步推进;完成后继续接收下一任务。
用户不知道正在做什么,也找不到回复入口。
悬浮卡显示当前步骤,问题直接回复;暂停与停止始终可用。
用户不需要写出逐步点击脚本。模型负责把口语目标转成可执行计划,程序负责把动作交给真实桌面并回传结果。
推断为切换 Windows 浅色外观,展示任务理解。
组织打开设置、定位外观选项、修改并检查等步骤。
每轮结合新画面与控件信息,执行可核对的动作。
反馈执行结果;有困难则保留任务,完成后等待新输入。
流程示意:解释产品工作方式,不代表任意界面或任意表述都已验证通过。
采用 .NET 10 / WPF 与 Windows API 构建。界面、任务状态与桌面执行分层;视觉模型通过用户配置的 API 接入,在持续反馈中决定下一步。
视觉提供界面上下文,Windows 控件信息辅助识别名称、位置与状态。UIA 用于只读定位,最终点击和输入仍由真实系统输入完成。无法可靠定位时保留任务,等待继续。
动作与当前任务、执行租约和画面关联。暂停、停止或开启新任务后,旧结果不能继续控制桌面。高风险操作需对具体提交确认,启用权限不等于批准所有后续动作。
当前默认预设:DeepSeek / deepseek-v4-flash-vision-exp。另提供 OpenAI-compatible、Kimi、GLM 配置入口,各服务的模型可用性与视觉能力需单独验证。
这里的“创新”指项目的产品与工程设计重点,不宣称模型算法原创、行业首创,也不把提示词优化等同于模型训练。
把用户目标、当前观察、执行结果放进连续决策过程,让模型根据真实反馈修正下一步。价值在于减少用户手写步骤,而不是为每个需求固定一套点击脚本。
利用图像理解整体界面,再以可用控件信息辅助核对目标。将模型提出的动作与本地执行检查衔接,缓解只看像素时的名称、位置和状态歧义。
当前步骤默认简洁展示,理解、计划与反馈按需展开。提问、回复、确认和新任务都能在任务卡处理,让用户在操作发生的位置参与协作。
暂停、停止、任务切换与动作有效性共同约束输入,配合具体提交确认。既让普通操作直接推进,也让用户在关键时刻接回控制。
轻玻璃任务卡和彩虹边框提示桌面控制状态。默认只显示当前步骤,点开再看细节;完成后保留输入入口,也可以收成小胶囊。
需要补充或批准时,直接显示问题与回复入口。通过“新任务”切换目标,避免新请求被当成旧任务的补充。
Ctrl+Alt+F8 暂停,Ctrl+Alt+F9 紧急停止。关闭主窗口会进入托盘;彻底退出请使用托盘菜单。
0.2.0 Preview 1 已完成界面、桌面交互与独立分发准备。当前优先验证普通设置和应用操作,不承诺对所有 Windows 软件都能稳定自动完成任务。
运行任务时,相关截图、控件文字与任务内容会发送到你配置的模型服务。密钥由用户填写,使用 Windows 当前用户加密存储。项目不附带开发者密钥。
优先改善陌生界面理解、多步任务恢复与真实任务成功率,补齐典型文件操作和应用场景验收。这些是后续目标,不能作为当前已交付能力。