以用户为中心的移动应用探索测试实践
今夜酒店特价 王兴明
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
摘要
• 软件测试在传统的软件项目己经有很好的发展,随着移动应用的发展,现在
越来越多的业务发生在移动手机端了。
• 今夜酒店特价是一家在移动设备上提供酒店预订的创业公司,为了适应用业
务的发展,我们各个手机平台上的APP都采用了快速迭代的方式进行。
• 传统的测试方法在面对移动应用时,出现很多不适应的地方,比如成本高、
周期长,很多用户体验的问题,介于bug和非bug之间等等。
• 我们通过对移动应用在公司业务中价值点,重新设计了测试方法,加强了以
用户场景为中心的测试,而不只是在业务流程上的测试,从而提高用户的满
意度。
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
案例标题
• 对移动应用进行分析,识别对业务和客户重要价
值点。
• 对用户使用APP的场景进行识别和分类
• 规范的测试用例和探索式测试并行
• 将用户的任务作为测试重点
• 开展可用性测试
• 将一些设计方法引入到测试中来,比如信息架构。
• 将功能为中心的测试转化为以用户体验的测试。
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
议程
• 创业型团队对测试的要求
• 我们的选择与实践
• 遇到的问题与收获
• 我们的思考
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
背景介绍
• 公司规模:<50 人
• 行业:移动互联网酒店行业
• 主要产品:提供预定酒店服务的App
• 产品线:IOS, Android, Windows
Phone
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
•创业型团队对测试的要求
• 我们的选择与实践
• 遇到的问题与收获
• 我们的思考
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
创业型团队对测试的要求
• 使用最少的测试资源
• 保证最高的产品质量
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
可选择的测试方法
基于功能的测试 基于用户场景的测试
关注技术 关注用户
保证每个功能的质量 保证用户使用产品的质量
较多资源较长周期 较少资源短周期
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
• 中小团队对测试的要求
•我们的选择与实践
• 遇到的问题与收获
• 我们的思考
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
基于用户场景的测试
• 保证用户使用产品的质量
• 避免测试覆盖的场景上线后用户使用出
现问题
• 避免由于职责划分引起的遗漏
• 保证更好的用户体验
• 有效利用测试资源
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
我们的实践
• 用户场景的分析
• 根据用户场景分解测试用例
• 怎样执行测试
• Bug的记录和管理
• 场景用例的修正及补充
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
用户场景的分析
• 用户划分
• 用户使用上下文
• 达到怎样的目标
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
用户划分
• 入门级用户
• 熟练用户
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
用户使用的上下文
• 首次安装使用
• 特定时间打开App(12:00/20:00)
• 预订成功后
• 取消订单后
• 退出App后
。。。。
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
达到怎样的目标(参照产品功能)
• 随便看看
• 查找符合自己要求的酒店
• 预订酒店
• 入住酒店
• 离开酒店
。。。。
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
组合用户场景
• 入门级用
户
• 熟练用户
• 首次安装使用
• 特定时间打开
App(12:
00/20:00)
• 预定成功后
• 取消订单后
• 退出App后
• 随便看看
• 查找符合自己
要求的酒店
• 预定酒店
• 入住酒店
• 离开酒店
用户 上下文 目标
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
不合理场景的处理
• 丢弃不合理的场景
• 阻止不合理的场景对应功能的开发
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
测试用例的分解
• 整理路径:
1. 列出所有页面及关系
2. 对页面进行编号
3. 根据场景分析出场景对应页面的起点和终
点
4. 列出起点到终点的所有路径
5. 每个路径对应一条用例
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
怎样执行测试
• 按照用例执行测试
• 探索式测试
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
按照用例执行测试
• 精选出核心用例100条
–整理用户使用频率最高的场景
–选出这些场景中的最短路径对应的用例
• 每个用例详细描述每个操作步骤
• 执行时严格按步骤执行
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
探索式测试
• 探索式测试作为辅助方法提高测试覆盖
度
• 选择某些场景做探索式测试
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
Bug的记录和管理
• 记录发现bug的场景和用例
• 发现bug时没有对应用例则补充用例和场
景
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
场景用例的修正和补充
• 通过收集真实用户行为
• 通过online bug的出现
• 测试过程中发现bug
• 测试完成阶段总结
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
• 中小团队对测试的要求
• 我们的选择与实践
•遇到的问题与收获
• 我们的思考
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
遇到的问题
• 分析不出用户场景
• 思维方式始终停留在面向功能的测试
• 用户场景过多用例过多
• 不合理场景怎样处理
• 需求变了怎么办
• 第一次实践测试时间没有缩短反而增加
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
收获
• 用户场景高度复用提高测试效率
• 测试人员对产品质量非常有信心
• 有效的保证用户使用产品的质量
• 几个迭代后可以准确预估发布时间
• 团队中的Bug Star 消失了
• 场景和用例成为公司的宝贵资产
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
• 中小团队对测试的要求
• 我们的选择与实践
• 遇到的问题与收获
•我们的思考
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
我们的思考
•功能 VS 场景
• 100 用例 VS 10 用例
•场景 VS 测试用例
•需求 VS 优先级
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
案例ROI分析
• 通过将测试资源放到用户感知的体验上,提高了用户的操作体验和满意度。
• 缩短了测试时间 ,加速产品的代。
• 给测试人员新的技能发展空间。
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
案例启示
• 对于移动应用,不仅只做功能上的测试,来验证是否达到设计的要求,而且
要去测试用户场景下用户使用的困难、障碍,以保证用户在使用过程中是能
达到目的和满意的
揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!