背景:AI 工具让开发效率显著提升,大量新 Web 应用被快速交付,测试覆盖压力随之激增。然而,多数企业与开发者的测试效率仍未同步提升,传统手工测试成为瓶颈。所以本演讲将介绍,使用 Python 实现一个视觉增强的 Web UI 测试框架。
· 传统 UI 测试依赖 CSS 选择器、XPath 或 DOM 结构的工作模式,并分析其在页面重构、动态渲染以及 AI 生成内容可能带来的幻觉输出等场景下的脆弱性与失效风险。
· 基于 Playwright + pytest,演示如何结合截图与自然语言描述来定位元素、规划操作并完成断言,使测试用例更接近人类视角,显著降低对脆弱选择器的依赖。
· 演讲将展示完整的 AI 驱动流程:由 AI 自动生成测试用例、规划测试步骤,并最终输出可直接运行的 Playwright 脚本。
· 针对复杂的 WebApp 系统,在测试过程中引入 Knowledge 机制,保存成功例子,提取业务规则与历史经验,实现系统知识的复用。
最后再介绍如何将该 Web UI 测试工具设计为 MCP 与 Skill 形态,方便 AI 工具调用,演示智能工作流中的可用性。