O2O业务质量保证实践美团⺴⽹网 武海峰
$ whoami武海峰 2013年6⽉月加⼊入美团组建EP团队,⺫⽬目前负责整体多个业务线产品的交付质量提升、流程优化和效率改进。 之前参与/负责移动互联⺴⽹网产品、智能设备OS及应⽤用处理器的研发测试和发布。
今天主要讨论的内容美团O2O业务特点 ⾯面临的挑战 移动端质量保证体系 从耦合应⽤用测试说起 “初创”团队的策略
⼀一些数字90%189%49%50%
O2O业务特点本地/异地消费地理位置信息/POI相关逻辑本地开站城市相关逻辑/异地⽤用户依赖⾏行业信息化建设(标准化)程度接⼝口、异常处理标准化与监控移动应⽤用成为主要使⽤用场景操作系统、设备、⺴⽹网络碎⽚片化应⽤用互联(⾮非孤岛模式)耦合应⽤用检查和监控垂直业务快速复制可扩展性(系统/团队)、最佳实践传播服务访问时间多样性服务稳定性、监测、快速回滚所有服务都以交易为核⼼心围绕完成交易和消费的主干流程是核⼼心
⼀一些数据(设备)2015年3⽉月数据
⼀一些数据(固件版本)2015年3⽉月数据
早期⾯面临的挑战开发、PM测线上问题试参与度呈下⽤用户设备分化降趋势发⽣生了,RD严重默默地修复了上线了线上问题发业务团队扩张业务多⼈人少⽣生后不能第⼀一快时间知道SOA化,测开发测试流程试环境分散、总出现延期数据未打通⼤大家对问题认知不统⼀一
移动端质量保证体系开发迭代测试提测(⾃自动)灰度发布正式发布评审为主⽤用例设计及执⾏行为主测试⾃自动化为主测试执⾏行与评估为主监控和评估为主监控为主⽤用户体验测试闪退和错误监控测试⽤用例编写主流程测试⾃自动化闪退和错误监控产品需求评审请求延迟监控QA测试⽤用例评审新功能测试⽤用户评价监控RD功能冒烟⾃自测冒烟测试⾃自动化业务数据监控市场排名监控全功能回归测试PM功能验收测试技术⽅方案评审关键字搜索监控PM功能验收测试⼭山寨应⽤用监控⾃自动化构建⾮非功能测试⾃自动化全量发布检查版本质量报告专项测试静态代码检查线上问题回顾测试计划评审常发问题⾃自动化⽤用户反馈上线/发布前检查CI⾃自动化回归DNS问题上报可测性架构改造EP Portal测试辅助⼯工具内部版本发布(抢鲜)测试环境/数据(功能、性能、压⼒力)CI基础设施维护⾃自动化测试框架
专项测试移动端质量保证体系城市定位测试地理位置解析测试URL Scheme跳转弱⺴⽹网测试安全测试⻛风控测试稳定性测试兼容性测试(设备、操作系统、耦合应⽤用)升级兼容性测试(应⽤用、系统、耦合应⽤用)数据上报测试版本间评测(流量、性能、安装包体积、运⾏行时体积)竞品评测(流量、性能、安装包体积、运⾏行时体积)Bug优先级定义及提交规范应⽤用发布标准开发测试流程⽤用例与缺陷管理规范线上故障周知范围与流程发布前多⽅方ChecklistPM验收测试Checklist新业务接⼊入检查清单⾏行业标准与规范对⻬齐(如PCI-DSS)⼤大平台多业务线提测发布规范标准与规范
耦合应⽤用监测应⽤用市场Web版前端⻚页⾯面解析构造API请求关注的数据(版本,应⽤用市场客户端包⼤大⼩小,评价等)客户端截图⽐比对在Portal可视化展⽰示可视化展⽰示逻辑统⼀一处理后⼊入库邮件订阅通知订阅邮件逻辑
应⽤用市场监控解析引擎耦合应⽤用竞对应⽤用应⽤用市场Web版前端⻚页⾯面解析⼭山寨应⽤用应⽤用评论构造API请求关注的数据(版本,应⽤用市场客户端包⼤大⼩小,评价等)客户端截图⽐比对在Portal可视化展⽰示可视化展⽰示逻辑统⼀一处理后⼊入库邮件订阅通知订阅邮件逻辑
应⽤用市场监控-邮件
基于场景的流量测试t交易场景⻚页待测应⽤用主⻚页交易场景⻚页主⻚页竞对应⽤用1交易场景⻚页主⻚页竞对应⽤用2
基于场景的流量测试
“初创”团队的策略开发中有测试,测试中有开发。 优先杠杆效益⾼高的事。 强调“⼯工程师”作⽤用,忽略前缀。 保持⼩小团队,及时“拆分”。 团队设置保证“⺫⽬目标⼀一致性”。 及时建⽴立有效的职级体系,⿎鼓励团队有⺫⽬目标地发展。
Q&A