撰写2024年12月我在《敏捷之旅》北京站分享了话题《AI加速敏捷测试转型：机遇与挑战并存》，本文基于演讲内容撰写。
GEN AI在软件测试领域能做什么？
有人在提“AI重塑软件测试”，目前看来，AI还不至于重塑软件测试，但是AI确实也有不少可能应用，最常见的是用来生成测试用例、编写自动化测试代码等等，从全生命周期的质量内建来看，可能的应用还有如下图这些：
我曾以小白身份咨询ChatGPT关于如何做软件测试的话题，它的回答非常全面，真的非常能干了，似乎不需要测试人员了？真的是这样吗？
GEN AI应用的风险与挑战
当然，测试小伙伴们，也不用太焦虑。AI还没那么成熟，还是存在很多风险与挑战的，主要有以下四类：数据隐私与安全、质量陷阱、黑盒问题、技术依赖。
1. 数据隐私与安全
数据隐私与安全的风险，主要与敏感数据的使用有关，涉及两方面：数据泄露风险、训练偏见导致不公平决策。
1）数据泄露风险
在给AI输入数据里如果包含个人身份信息或者商业机密数据，并且没有做好数据脱敏，就会有很大的泄露风险，导致不可控后果。如果采用数据匿名化处理，对敏感数据进行脱敏，又可能会影响到AI的输出，这是个两难的问题，需要很好的平衡才行。
2）训练偏见导致不公平决策
如果大模型训练的历史数据包含带有偏见的数据，如种族歧视、性别歧视等，再用这样的大模型去辅助软件测试，有可能导致智能决策的不公平，从而引发相应的质量问题。
2. 质量陷阱
质量陷阱主要由AI幻觉引起。
1）测试本身的质量与测试误报
大模型生成的单元测试，看似覆盖率很高，但实际情况可能有边界case没有覆盖到的情况，但这种测试的质量问题很难被发现。有的AI自动化测试工具存在测试误报的“假阳性”/“假阴性”问题，假阳性可能导致耗费大量时间诊断一个根本不存在的问题，而假阴性则可能导致严重的质量问题流到生产环境，其后果无法估量。
2）过于依赖AI判断，容易导致决策失误
当团队过于信任AI生成的测试数据或分析结果，而没有足够的人类评审时，AI幻觉产生的虚假信息可能直接影响到测试的质量。智能决策如果基于AI幻觉数据，显然决策不可能准确，比如：误判“不需要测试”的地方，可能已经有潜在问题出现。
3. 黑盒问题
黑盒问题主要是因为大模型的决策过程不透明所导致的问题。
1）难以追溯错误来源
大模型内部逻辑复杂，用户无法理解它的输出结论是如何得出的。如果结果不准确或者有偏差，溯源非常困难，难以定位问题到底出在哪里。
2）导致信任危机
由于决策过程无法理解，用户很难信任AI的结果；另外，无法清晰解释的决策存在法律和合规风险，尤其是金融软件相关的场景。
4. 技术依赖导致团队技能弱化
技术依赖导致团队技能弱化，主要体现在如下两个方面：
1）基础技能退化
AI自动化工具高度依赖，测试人员缺乏深入思考，人为判断能力会退化；慢慢地，逻辑思维能力也会下降，解决实际问题的能力缺失。
2）创新停滞
基于历史数据训练的大模型，倾向于优化现有模式，对新技术、新框架的适应性下降。另外，依赖工具制定的策略，根据实际情况灵活调整策略的能力不够，因而导致创新停滞。
GEN AI应用的现状和未来
GEN AI给软件测试带来了不同的机会，同时也存在风险和挑战。
1. 趋势报告解读AI在软件测试领域应用的现状
接下来通过三份趋势报告来了解一下大家目前的AI应用情况，以及对未来的预期是怎么样的。
报告原文：
Katalon: https://katalon.com/reports/state-quality-2024
Lambdatest: https://www.lambdatest.com/future-of-quality-assurance-survey
Capgemini: https://www.capgemini.com/insights/research-library/world-quality-report-2024-25/
基于三份报告，主要概述以下三个方面：
1）AI应用比较多的质量活动
主要有测试用例生成、自动化测试脚本生成、测试数据生成和自动缺陷分析和预测。
2）阻碍采纳AI的因素
主要包括可靠性、安全性、AI工具的能力、人员的AI技能等。
3）未来测试会由AI取代吗？
60.60%的组织认为，人工智能（AI）将提升团队的生产力，而人类将在测试过程中继续发挥主要作用。这表明，AI被广泛视为测试过程中的增强工具，而非完全替代品。
2. 未来质量人员能力培养
1）未来质量人员能力要求主要有两个方面：
- 质量/测试专业技能培养
- 拥抱AI，学习提升AI使用技能
2）避免陷入“迷宫困境”
我在《构建测试的体系化思维》系列文章和直播里讲过，测试人员需要延伸测试边界，要培养全局观和体系化思，也相应开发了系统性的培训课程。
3）持续学习能力和独立思考能力的培养
在AI盛行的当下，你是否会焦虑又不知所措？这个时候持续学习能力和独立思考能力就显得尤其关键。这两项能力如何培养呢？
最近开发出一节高效阅读课，包含一套高效阅读框架，旨在帮助大家通过阅读来提升学习能力和独立思考能力，并且将所读书籍中知识能够做到学以致用，提升自己应对复杂的不确定性的能力，改善自己的生活状态。
本次课程在 2025年1月22日（周三）晚 19:30-21:00 腾讯会议直播，限时9.9元。
现对本网站粉丝特发放以下福利🎁：报名并参加直播的同学，可以先听课，听完如果觉得有用再交费，如果觉得没有帮助可以不用交费，相当于免费听直播课。
课程详情参考这里，报名请扫码。
（本网站粉丝可以先报名听直播，后自行决定是否交费）