球队数据与历史记录 微软与东南大学联手: 让AI助手真实学会"拖拽"和"绘制"

这项由东南大学、微软连接院、武汉大学、中山大学及阿布扎比穆罕默德·本·扎耶德东谈主工智能大学结伙完成的连接，以预印本局势于2026年5月发布在arXiv平台，论文编号为arXiv:2605.12501v1。感敬爱的读者可通过该编号在arXiv上找到完好意思论文。

**鼠标不单会点击——AI助手的"操作盲区"**

每当你灵通电脑，险些统统与屏幕的交互齐不单是点击按钮那么肤浅。你在Excel里拖动单位格边缘来填没收式，在Word里框选一段笔墨然后拖到新位置，在Photoshop里用套索器具一笔一划地描出东谈主物笼统，在PowerPoint里把一个体式拖到另一个体式的正中心——这些操作稀松平常，却对自动化AI助手组成了真实的难题。

比年来，像GPT-o3和Claude这么的"电脑操控AI"一经玩忽匡助用户自动完成一些屏幕上的责任。这类AI被称为"计较机使用智能体"，它们通过"看"屏幕截图来分解现时现象，然后决定下一步该作念什么。干系词，连接团队在实践测试中发现了一个让东谈主有些无言的表象：哪怕是目前最刚劲的AI模子，在面临"拖拽"、"框选"、"描边"这类稍许复杂少许的操作时，失实率远远高于肤浅点击。换句话说，这些AI就像一个刚学会按门铃的机器东谈主，却实足不知谈何如开锁。

连接团队把这个表象称为"长尾问题"——绝大多数的操作失败，齐纠合在那些复杂度高、出现频率相对较低的交互类型上。他们的中枢判断是：这个问题很猛进度上源于覆按数据的严重匮乏。肤浅点击的数据到处齐是，但"在Photoshop里描出一只猫的笼统"这种操作，险些莫得现成的覆按数据不错用。

**一次摸底测试：GPT-o3在"责任场景"中的真实进展**

为了摸清问题所在，连接团队在微软Azure平台上汇聚了近200个真实任务，涵盖办公软件操作、网页浏览和电子游戏三大场景，让GPT-o3逐个完成，并详备分析统统失败案例。

扫尾颠倒直不雅。在办公软件场景里，每100个失败案例中，有37个是因为AI找错了位置——也等于说，它知谈该作念什么，却不知谈该在屏幕的哪个场所作念。这类纰谬被称为"动作定位纰谬"，是最主要的失败原因，远独特"蓄意纰谬"（知谈在那里，但不知谈该作念什么）。而在那些需要拖拽或其他复合动作的任务里，坐标定位纰谬的比例更是权臣高于肤浅点击任务。

网页浏览场景的情况稍好一些，但规矩访佛。游戏场景中蓄意纰谬占主导，因为游戏需要更多政策性判断，而非精确定位。

这份测试敷陈告成指向了两个亟待处罚的问题：现存的评测基准无法议论复杂操作能力，而覆按数据里险些莫得这类复杂操作的样本。

**一把新尺子：CUActSpot评测基准的降生**

既然旧的尺子量不准，就得造一把新尺子。连接团队手工构建了一个名为CUActSpot的评测基准，专门用来测试AI在复杂交互上的能力。

这个评测基准的中枢鼎新，在于它突破了以前"只测点击"的传统。以往的评测基准，无论多难，基本上齐是归拢个模式：给AI看一张截图，让它找出某个按钮的位置，然后检查它指出的位置是否在按钮范围内。这就像只评语文的"找错别字"，而实足不考"写稿文"。

CUActSpot把测试范围延伸到了五种不同的操作对象：圭臬界面元素（按钮、复选框之类）、文本内容（选中某段话、在某处点击建立光标）、表格（Excel里的各式操作）、画布（PowerPoint里的图形操作）以及当然图像（Photoshop里对相片内容进行操作）。动作类型也从单纯的点击延伸到了拖拽（需要细则最先和极度两个坐标）和绘制（需要细则一系列连气儿坐标点，比如描出物体笼统）。

统统这个词基准包含206个用心瞎想的样本，涵盖12种高层任务类型和33种细分任务类型。为了确保质地，每个样本齐经过了至少四个东谈主的测试和修正——原始标注者瞎想任务，另外三个东谈主孤苦尝试完成，若有歧义就修改，东谈主类无法完成的就告成删除。

评分方式也经过了用心瞎想。关于需要多个坐标点的任务，评测系统会折柳"有序"和"无序"两种情况——拖拽鼠标画圆是有序的（必须从圆心运行），而框选一段笔墨是无序的（从前去后或从后往前齐不错）。此外，系统还引入了"不容区域"的宗旨，腐败AI通过在全屏速即乱点来蒙对谜底。

**数据工场：用代码"渲染"出覆按数据**

有了评测圭臬，下一步是处罚覆按数据匮乏的问题。连接团队提议了一套全新的数据合成活水线，其中枢念念路是：与其从现实宇宙的软件截图里勤奋地标注数据，不如告成用标准"生成"带有精确坐标信息的截图。

这个念念路不错用烘焙来分解。传统标准就像从街上买蛋糕然后分析因素，勤奋而不精确；新方律例是我方按照食谱烤蛋糕，从一运行就知谈每一种材料的精确用量。由于截图自己等于用代码渲染出来的，每个元素的坐标信息自干系词然就记载在案，实足不需要东谈主工标注。

在此基础上，连接团队让高等AI模子（具体使用的是OpenAI的o3模子）饰演"任务瞎想师"的变装，把柄这些坐标信息自动生成对应的操作辅导。更奥妙的是，他们允许o3在生成任务时进行数学推算。举一个论文中的真实例子：屏幕上有一个箭头体式和一个椭圆体式，已知箭头圆心坐标、箭头尖危坐标、椭圆顶部坐标，o3就能推算出"把箭头的圆心拖到某处，使箭头顶端刚巧指向椭圆顶部"这么的复杂任务，并自动计较出正确的最先和极度坐标。这种能力极地面丰富了生成任务的各种性。

五种操作对象各自有一套专属的渲染决议。界面元素数据复用了Phi-Ground表情的网页爬取活水线：从Common Crawl这个纷乱的网页归档库中握取网页，经过讲话过滤、领域去重（归拢网站最多保留50个页面，腐败单一网站作风主导模子）、渲染截图、划定过滤等多个清洗法子，最终用GPT-4o为每个元素生成姿首标签，共得到约1050万个高质地样本。

文本数据的渲染则罗致了一个"拼贴"决议：团队汇聚了2500种开源英笔墨体和约200张不同分辨率的笔墨布景图（包括空缺Word文档、记事本窗口截图等），然后用Python的PyQt5库把维基百科和GitHub上的笔墨内容渲染到这些布景上，同期精确记载每个字符的坐标。

表格数据的生成尤为紧密，分四步完成。最先从开源数据集汇聚约1.6万张原始表格，然后用GPT对每张表格进行"演化"——改变主题（比如把"责任时分统计表"改成"数学获利统计表"）、改变结构（添加合并单位格、新增列等），生成约16万张各不相易的表格。接着用o3生成约1万套不同作风的CSS阵势表，通过速即调养颜料、字体、边框等参数延伸成各种化的视觉作风。临了把内容和阵势速即组合，并对一半的表格速即遮盖大齐单位格（模拟Excel中大齐空缺格的真实情况），得到视觉作风高度各种的表格截图。

画布数据罗致了一个标准化的PowerPoint模拟器，救济76种基本质式，涵盖矩形、椭圆、三角形、箭头、不绝线、标注框、星形、多边形等九大类别。每个生成的画面齐包含3到8个速即放弃的体式，并模拟了PowerPoint剪辑模式下的视觉细节——八个红色抑遏点、顶角的蓝色极点记号、旋转手柄等，让合成数据尽可能逼近真实软件的外不雅。

当然图像数据则告成开始于Meta开源的SAM（Segment Anything）数据集。关于每张图片，团队速即考中五个区域，用GPT-4o为每个区域生成详备姿首，再用笼统索取算法把区域的分割掩码调度成20个极点的多边形领域弧线。这套领域数据主要用于救济Photoshop式的"抠图"和"涂抹遮罩"任务。

通过这套活水线，连接团队共生成了约5000万条覆按样本，其中界面元素数据约3000万条，其余四种模态各约500万条。

**覆按与对比：一个4B参数的小模子逆袭**

有了数据，连接团队用它来覆按模子。他们选拔了Phi-3.5-VL当作基础模子，这是微软开荒的一个参数限度约40亿的视觉讲话模子。选拔这个相对"小"的模子，是因为他们想测试纯数据质地和各种性的遵守，而不是单纯靠模子限度取胜。

覆按出来的模子被定名为Phi-Ground-Any-4B，在CUActSpot评测基准上取得了44.4%的总体得分，独特了统统参数目低于320亿的开源模子。对比一下其他模子的进展：领有70亿参数的UI-TARS-1.5-7B得了28.5%，领有320亿参数的EvoCUA-32B不异得了28.5%，参数目颠倒的OpenCUA-7B得了39.8%，而同为320亿参数的OpenCUA-32B得了52.5%。探讨到Phi-Ground-Any-4B只消40亿参数，这个获利颠倒出色。

固然，若是只看另外两个主流评测基准——ScreenSpot-Pro和UI-Vision，Phi-Ground-Any-4B的进展就相对平淡了，分别只得了26.3%和15.8%，远低于一些竞争敌手。这个反差引出了一个值得深念念的问题。

**评测基准的"学问壁垒"之争**

连接团队在论文中专门花了颠倒篇幅商讨这个反差背后的深层原因，这亦然整篇论文最故真理的不雅察之一。

ScreenSpot-Pro和UI-Vision这两个现时最流行的评测基准，齐遮盖了大齐真实桌面软件，包括Photoshop、AutoCAD、各种专科诈欺等。这些基准的一个辗转特色是：许多任务自己就需要软件专科学问才能完成。以论文中举的例子为例："点击Photoshop中的减淡器具图标"——若是你从来没用过Photoshop，压根不知谈减淡器具长什么样，即便图标就在咫尺也很难认出来。这对东谈主类用户亦然一样的。

这种瞎想有其合理之处：真实的AI助手如实需要熟识各式软件。但问题在于，2026FIFA世界杯中国比分网这么的评测扫尾，很难分了了一个模子得分高，究竟是因为它的"定位能力"强，还只是是因为它刚巧在覆按数据里见过这款软件的界面截图。一个专门用ScreenSpot-Pro干整个据覆按的模子，会在这个基准上得高分，但这不代表它果真学会了怎样准细则位屏幕上的轻易方针。

连接团队用了一个告成的实验来考证这少许。他们把Phi-Ground-Any-4B在Phi-Ground表情的诈欺数据（通过必应搜索汇聚的常见软件截图，可能与两个基准有重迭）上进一步微调，扫尾在ScreenSpot-Pro上的得分从26.3%跳升到41.5%，在UI-Vision上从15.8%跳升到29.7%，双双大幅升迁。但与此同期，在CUActSpot上的得分却从44.4%着落到了36.5%。覆按特定软件的数据，如实能让模子在依赖软件学问的基准上进展更好，但这种升迁并不代表通用定位能力的真实最初。

为了进一步考证评测基准的有用性，连接团队还作念了一个很有劝服力的实验。他们用GPT-o3协调充任"蓄意者"（决定下一步该作念什么），然后让不同的模子充任"实施者"（把蓄意改换为具体坐标），在OSWorld这个端到端的真实任务基准上测试。扫尾发现，有几个模子在ScreenSpot-Pro上的得分比GPT-o3高出近30个百分点，但在OSWorld上的得分却并不比GPT-o3高几许。而Phi-Ground-Any-4B在ScreenSpot-Pro上只消26.3%，在OSWorld上却能达到42.4%，接近GPT-o3我方实施时的44.1%。这证据CUActSpot的名次扫尾，与真实任务完成能力的干系性更高。

**各种性的魔法：为什么"博物多闻"比"深刻专精"更辗转**

论文中另一个辗转发现，来自对覆按数据组成的系统性消融实验。

连接团队从零运行，每次只增多一种模态的覆按数据，不雅察模子在各项测试上的进展变化。这个实验揭示了一个反直观但又很有劝服力的规矩：单独扩大某一种数据的限度，带来的收益赶紧递减；但每次引入一种新模态的数据，不仅该模态的测试分数大幅升迁，其他模态的分数也会随着涨。

具体来看，从零到200万条界面元素数据，总体得分从0跳到14.8%。加入100万条规本数据后，总体得分升到21.5%，而且不单是文簿子项升迁，界面元素子项也从31.6%升到了34.2%。加入100万条表格数据后，表格子项从21.9%大幅升到了40.6%，同期画布和图像子项也有小幅升迁。加入画布和当然图像数据后，各子项陆续稳步升迁。

比较之下，若是只是把某一种数据从200万条增多到500万条，带来的升迁远远莫得引入新模态来得权臣，致使会碰到平台期。

连接团队把这个表象定名为"各种性缩放"，并提议了一个解释：要想同期处理好文本选拔、表格操作、画布拖拽、图像区域定位这些看似不同的任务，模子必须学习一些底层的、跨任务通用的能力——比如分解"方针在那里"、"这个方针的领域是什么"、"从这里拖到那里才合理"。这些通用能力只消在见过填塞各种化的任务之后才能真实造成，单纯在一类任务上堆数据，反而会让模子过度专精于某种特定的模式识别。

这个发现，在某种进度上呼应了大型讲话模子的一个经典不雅察：讲话模子在讲话任务上展现出的"清楚能力"，时常来自于覆按数据在话题、作风、讲话方面的极高各种性，而不单是是数据量。

**跨任务泛化：学会了1加2，也学会了2加1**

除了各种性缩放，连接团队还发现了一个道理的"举一反三"表象。他们统计了Phi-Ground-Any-4B在CUActSpot上能告捷完成的细分任务类型数目：CUActSpot包含33种细分任务，覆按数据只遮盖了其中20种，但模子实践上能告捷完成其中27种。

也等于说，有7种覆按数据里实足莫得的细分任务，模子通过"组合"已有学问，我方摸索出了完成标准。论文中给出的解释是：模子分别学会了"操作笔墨内容"和"操作图像区域"这两种能力，然后在面临"操作图像里的笔墨"（比如选中PPT幻灯片图片里的笔墨）这种新任务时，玩忽把两种能力和会起来，在莫得专门覆按数据的情况下完成任务。

这种跨任务的泛化能力，让连接者对将来充满期待：随着覆按数据的模态和任务类型陆续延伸，AI助手在莫得见过的新式操作上的进展，很可能也会随着升迁，而不是永恒只会作念覆按时见过的那几件事。

**说到底，这项连接在作念什么**

归根结底，这篇论文作念了三件互干系联的事。

第一，它指出了一个被耐久冷落的问题：现存的AI操控能力评测，基本上只测"点击"，实足忽略了拖拽、绘制这类在实践责任中极为常见的操作。评测基准的瞎想偏差，导致统统这个词领域的连接想法也随着偏了。

第二，它提供了一套器具：CUActSpot评测基准，让连接者能更准确地测量模子在复杂操作上的真实能力；以及一套数据合成活水线，让这类稀缺的复杂操作覆按数据玩忽以大限度的方式自动生成。

第三，它给出了一个想法性的论断：关于电脑操控AI来说，覆按数据的各种性可能比数据限度更辗转。想要覆按出能真实匡助用户完成日常责任的AI助手，与其在归拢类操作上堆积海量数据，不如系统地延伸它所见过的操作类型。

固然，这项连接也有它坦承的局限。CUActSpot只消206个样本，是一个会诊性的微型基准，并不可遮盖真实责任流中的统统复杂情况，尤其是需要连气儿多步操作的长序列任务。合成数据与真实软件截图之间的散布互异，亦然一个尚未实足处罚的问题——从实验扫尾就能看出，在合成数据上覆按好的模子，还需要额外的真实数据微调才能在软件学问密集的基准上进展出色。

不外，从另一个角度来看，能在40亿参数限度上通过纯合成数据达到这么的性能，自己一经证据了这条道路的可行性。随着合成数据质地和各种性的陆续升迁，以及模子架构的进一步优化，一个真实能帮你在Photoshop里描笼统、在Excel里拖公式的AI助手，可能不再是远处的将来。

有敬爱深刻了解的读者，不错通过arXiv编号2605.12501查阅完好意思论文，连接团队也在GitHub（microsoft/Phi-Ground）上开放了基准数据、覆按数据、代码和模子权重，不错告成下载使用。

---

Q&A

Q1：CUActSpot评测基准和ScreenSpot-Pro这类主流评测基准有什么本质区别？

A：ScreenSpot-Pro等主流基准基本上只测试点击操作，方针以圭臬界面元素为主，而且许多题目需要软件专科学问才能作答，导致分数很难折柳"定位能力"和"软件回首"。CUActSpot则专门延伸了拖拽和绘制等复合动作，遮盖文本、表格、画布、当然图像五种操作对象，并刻意减少了对软件专科学问的依赖，让评测扫尾更能响应模子的通用定位能力。实考透露，CUActSpot的名次与真实任务完成率的干系性更高。

Q2：Phi-Ground-Any-4B的覆按数据是何如生成的，为什么不告成用真实截图？

A：连接团队罗致了代码渲染的方式生成截图，因为渲染流程中每个元素的坐标自然等于已知的，实足不需要东谈主工标注。五种模态分别用网页渲染、字体渲染、HTML表格渲染、标准化画布模拟器和SAM分割数据集齐备。比较从真实软件截图里勤奋标注，这种方式能以极低资本生成数千万条带有精确坐标的覆按样本，况且通过让o3模子进行数学推算来自动生成复杂操作辅导。

Q3："各种性缩放"这个发现对AI覆按有什么实践真理？

A：这个发现证据球队数据与历史记录，关于电脑操控AI来说，与其在归拢类操作（比如只点击界面按钮）上堆积大齐数据，不如系统地引入更多种类的操作类型。实验自大，每引入一种新模态数据，不仅该模态的性能大幅升迁，其他模态也会随着受益。这与堆同类数据很快碰到收益递减造成显明对比。实践层面的真理是：构建通用操控AI助手时，应该优先追求操作类型的广度，而不单是是某一类操作的数据量。