OmniParser是微软推出的AI桌面控制解决方案，它让大语言模型能够”看懂”电脑屏幕并操控操作系统。核心原理是利用视觉语言模型对屏幕截图进行结构化解析——识别桌面图标、菜单按钮、文本框等UI元素的位置和功能，然后让LLM根据用户指令决定如何操作这些元素。OmniParser是微软在Computer Use领域的重要布局，让AI Agent能够像人类一样操作电脑完成复杂任务，如文件整理、软件操作和数据录入等。