Opus 5.5看屏幕:截图缩放后,点击坐标也要换算
Opus 5.5继承较高分辨率的视觉输入能力,但电脑操作程序仍须处理截图尺寸、视觉令牌上限及点击坐标之间的关系。Anthropic说明,工具结果里的截图不会由接口自动缩小;若客户端先缩图,模型返回的是所见图像上的像素位置,执行端需要把它映射回原屏幕,不能重复沿用旧的缩放假设。

Opus 5.5看到的截图更清晰,并不意味着自动点击就一定更准确。Anthropic迁移指南说明,该模型继承自Opus 4.7的高分辨率图像处理能力;电脑操作文档同时要求应用自行处理截图限制和坐标映射。对于中文桌面软件中的小字号按钮,输入清晰度与实际点击位置仍是需要分别验证的两个环节。
官方列出的截图限制包括最长边二千五百七十六像素,以及最多四千七百八十四个视觉令牌。令牌数按图像宽、高分别除以二十八后向上取整,再将两者相乘计算。因而,最长边没有超限,并不自动说明整张图满足要求;宽度和高度共同决定图像占用,接近方形的截图也需要核算另一项限制。
工具结果与普通图像输入还有重要区别。电脑操作指南明确,接口不会自动缩小工具结果中的截图或缩放图;超过限制会导致验证错误。应用不能因为普通图像处理存在缩放机制,就假定电脑工具发回的任意大图也会被自动修正。这项要求约束的是应用最终真正提交的图像文件。尺寸控制必须在提交工具结果之前完成,并同时适用于截图和局部放大的结果。
若客户端为了适配限制而先缩小截图,模型报告的坐标以它实际看见的图像为准。执行程序因此需要保留缩放比例,把位置转换回原始屏幕坐标,再交给鼠标操作。反过来,如果截图已经以实际大小发送,却继续套用旧版本的缩放倍数,也可能把正确的图像坐标错误放大。重点在于本次输入的真实尺寸,而不是固定沿用一个历史常数。
迁移指南将上述能力与更早模型作比较:此前常见的最长边限制是一千五百六十八像素,而Opus 4.7及以后可以处理更大的图像。更高分辨率可能带来更多视觉令牌,指南提到特定情形下约为三倍。这个比较涉及图像输入的令牌量,不能直接写成所有请求的总费用都会增加三倍,更不能据此推断任务成功率按比例提高。
对接入团队而言,一套有用的检查应同时保存原始屏幕尺寸、发送给模型的图像尺寸和实际执行的点击位置。测试可以选用位置明确的按钮,分别验证不缩放、按比例缩放以及局部放大后的路径。这些是基于文档提出的验收方法,本文没有对操作系统、显示缩放设置或中文界面进行实测,也不宣称任何配置必然可靠。
这项变化属于从较早版本继承的能力,而不是Opus 5.5首次引入的独有功能。报道将它放在此次迁移中讨论,是因为仍沿用旧坐标转换逻辑的程序可能受到影响。用户看到鼠标偏移时,应检查图像处理和坐标转换的连接环节,不能仅凭一次点击失败就判断模型没有理解界面。
프리즘코리아 편집국 > 林知远



