从选择器到语义:用 Python 实现视觉增强的 WebUI 测试

闪电演讲
上海
16:00 - 16:10
分会场 D(综合楼 326 会议室)
  • 陈志伟 AI 开发工程师

    AI 开发工程师,来自“四大”会计师事务所内的技术咨询线,主要做全球企业内部的 AI 与数字工具。

    chenzhiwei

摘要

基于 Playwright + pytest,结合截图与自然语言描述定位元素、规划操作并完成断言,展示 AI 驱动的 Web UI 测试完整流程与 MCP/Skill 形态设计。

详情

背景:AI 工具让开发效率显著提升,大量新 Web 应用被快速交付,测试覆盖压力随之激增。然而,多数企业与开发者的测试效率仍未同步提升,传统手工测试成为瓶颈。所以本演讲将介绍,使用 Python 实现一个视觉增强的 Web UI 测试框架。

· 传统 UI 测试依赖 CSS 选择器、XPath 或 DOM 结构的工作模式,并分析其在页面重构、动态渲染以及 AI 生成内容可能带来的幻觉输出等场景下的脆弱性与失效风险。

· 基于 Playwright + pytest,演示如何结合截图与自然语言描述来定位元素、规划操作并完成断言,使测试用例更接近人类视角,显著降低对脆弱选择器的依赖。

· 演讲将展示完整的 AI 驱动流程:由 AI 自动生成测试用例、规划测试步骤,并最终输出可直接运行的 Playwright 脚本。

· 针对复杂的 WebApp 系统,在测试过程中引入 Knowledge 机制,保存成功例子,提取业务规则与历史经验,实现系统知识的复用。

最后再介绍如何将该 Web UI 测试工具设计为 MCP 与 Skill 形态,方便 AI 工具调用,演示智能工作流中的可用性。