核心导读与中文摘要
构建跨分辨率浏览器交互评测集,分析 DOM 树结构与视觉截图双模态融合对点击准确率与防误触的贡献。
网页 UI 自动化视觉定位基准精要
纯文本 DOM 抓取在 Canvas、复杂弹窗、Shadow DOM 与动态渲染页面上容易失效,而纯视觉点击在密集小图标处容易误触。
双模态定位实践启示
- DOM 语义树 + 视觉截图融合:先用无障碍树(Accessibility Tree)过滤可交互控件坐标范围,再由多模态模型结合截图确认语义。
- 跨分辨率坐标归一化:统一采用
0–1000相对坐标或元素唯一语义选择器,避免不同 DPI 缩放下点击漂移。 - 操作后状态断言:每次点击或表单提交后强制检查 URL、DOM 文本或可见状态变化,防止失败操作继续向下传播。
