蚂蚁全球化无线端质量解决方案

最新推荐文章于 2022-07-28 17:28:39 发布

fin_123

最新推荐文章于 2022-07-28 17:28:39 发布

阅读量509

点赞数 1

文章标签：人工智能编程语言 xhtml 分布式单元测试

阿里QA导读：蚂蚁国际全球化业务场景多，面临多语言，多币种，多时区，复杂网络环境，以及本地化测试，本地监管合规等挑战，同时技术形态也是多种多样的。如何针对全球化业务搭建质量解决方案，成为蚂蚁国际质量团队同学的重要课题。

全球化面临的业务和技术挑战

业务场景非常多，包含自营业务和海外站点钱包业务等，涉及全球游，全球汇款，电商支付，钱包充转提等支付场景，森林 & 宠物等互动类公益活动；
国际化挑战非常大，面临多语种，多币种，多时区，复杂网络环境，本地化测试，本地监管合规等挑战；
技术形态非常广，有独立 APP，SDK，组件，动态化模板，H5，小程序等 ...

面临业务和技术如此多的困难挑战，经过多年深耕和持续打磨，我们沉淀了国际无线端质量解决方案 —— “夯实一个底盘，打透两个能力，强化 CI/CT/CD 流水线，打造全球小程序生态质量保障体系，建设下一代智能化测试体系”。

面对全球化过程中各业务线缺失缺少手机号 & 银行卡 & 测试账号等资源痛点，我们建设了全球化资源平台；

下面，将从以上五个维度分别进行详细介绍。

无线端质量产品能力

1、夯实无线质量技术底盘

【无线端质量解决方案的支柱】

1）海外真机实验室能力

线下租用、远程调试、多机适配、设备智能调度，覆盖全球热门机型，百台海外真机时刻待命。

解决方案

海外真机实验室作为无线质量产品能力技术底盘，承载无线所有支撑业务，平台需要具备高可用、可伸缩、轻量化、组件化等能力。整个方案基于开源的 ATX、WDA 实现设备操作执行，基于 OpenSTF 实现远程控制方案，具备任务调度、资源监控、故障自愈、多机并行的能力。

进展与成果

本财年，海外真机实验室重点抓住小程序生态建设、机房设备建设和稳定性提升维护三个要点，目前已建成上海真机实验室机房、杭州打包机集群、海外公网服务，保证 99%+ 整体稳定性，支撑包括小程序生态在内的多项业务。

目前，真机实验室现有设备规模超百台, 支撑每周超过万次小程序质量审核管控、国际小程序巡检、移动端功能 UI 自动化运行 & 智能深度遍历自动化和各项专项测试等任务，同时对外提供设备租用、远程调试等能力，并完成产品在 Dana、TnGD、Gcash 等多个海外合作伙伴当地的部署和使用赋能。

2 ）机器视觉能力

自研机器视觉能力，支持多种场景文字识别、图标识别、图像聚类、缺陷检测算法以及在线实时训练。

解决方案

重点着眼国际无线业务，支撑并助力上层无线端智能化测试和缺陷发现能力，现已赋能经济体多个 BU 及海外合作团队。

进展与成果

目前机器视觉方面已建成基于多种神经网络模型的图像识别、图像聚类、场景识别、小 icon 打标、白屏检测等多项能力，目前经济体已有多个 BU 接入了机器视觉能力，累计调用超过亿次，目前日均调用量几十万次。

本财年，我们对机器视觉能力进行了进一步的丰富和升级，进行了多个图像智能算法的落地：我们基于全新的 OCR 模型数据集和在无线业务中长期积累的大量私有数据集，对原有图像文本识别算法进行了全面升级，模型准确性获得很大提升，在简体中文、繁体中文和英文识别上精准度超过 99%，并良好支持空格、段落、文本旋转等文本形式和全比例图像尺寸，在无线业务中完美适配异形屏、长截屏、文本旋转和变形，8 月下旬正式上线以来新版本图像识别能力累计调用几十万次，落地蚂蚁国际无线、集团AE业务。

此外，我们基于特征模型和无监督学习实现了图像智能聚类算法，并完成持续学习和模型迭代升级机制，目前模型综合 F1 值达到 0.97，在小程序线上日常巡检与智能深度遍历测试中落地，基于聚类检查离群异常图片，快速发现兼容性问题和基线问题，提升缺陷发现能力和测试效能。

2. 强化 CI/CT/CD 流水线

【测试左移，与研发一起看守质量】

一站式打包构建解决方案，持续集成、持续构建、持续扫描、持续测试。

解决方案

自建 jenkins 集群、sonar 扫描平台、真机实验室和精准测试等多个平台无缝对接，基于 commit 监控和定时任务等机制自动发起流水线执行，进行编译、单元测试、静态代码扫码、打包、UI 自动化测试、兼容性测试和安全测试等阶段验证，同时打通一站式持续交付能力，高频运行，持续集成，持续测试等。

进展与成果

国际持续集成流水线产品能力已在无线自研产品/业务/组件中台等不同团队全面落地应用并在 Dana、TNGD、GCASH 当地部署使用，赋能海外合作伙伴。目前蚂蚁国际已接入百级别项目，周平均任务超过千个，实现 CI/CT/CD 能力。

3.打造全球小程序生态质量保障体系

【无线质量产品能力体系与新技术形态】

借鉴支付宝国内小程序生态质量保障思路，复用部分能力，建设国际生态小程序质量保障能力，包括上传持续构建、上架质量审核、发布后智能巡检。小程序生态质量的全方位保证，覆盖安全、性能、合规、稳定性、包大小等多个重点指标。

解决方案

在小程序的开发者开发完小程序并提交审核后，短时间就需要上线，对于平台的质量团队来说，需要确保上线的小程序满足性能稳定性的要求，同时满足代码安全和内容安全的要求，为此，生态质量中心在三个阶段提供配套进行质量保证：

研发阶段，进行持续构建：对开发者对小程序打包上传行为进行持续构建并触发审核流程，提前发现问题并上报给开发者，避免在小程序等待发布阶段才暴露问题，实现测试左移；
交付阶段，进行准入审核质量管控：质量准入是小程序质量保障的重要一环，国际小程序质量管控会使用性能稳定性、静态代码扫描、代码安全、内容安全等能力进行小程序准入审核；
发布阶段，进行线上巡检：使用了一站式智能化测试中的智能深度遍历测试能力作为巡检引擎，当小程序在平台上上线后，触发巡检任务创建，发现问题触达用户。

进展与成果

本财年小程序质量配套上线正常运行，共接入多个站点使用，小程序发布质量管控作为第一道防线，当前已经进行审核数千次，共计发现问题数百个问题，小程序线上日常巡检作为第二道防线，累计接入几百个个小程序执行巡检数万次，线上异常识别几十处。

4.建设下一代智能化测试体系

【端智能化主体，测试体系提效的核心】

基于深度学习的一站式移动端智能化测试，经济体首批 L3 级别智能化产品，持续提升测试效率。

基于AI图文识别技术的 UI 智测框架 —— Smatch

为了解决 UI 自动化用例维护成本高的痛点，助力蚂蚁国际赋能站点，使海外合作伙伴能低门槛地实现自动化，我们提供了基于 AI 图文识别技术的 UI 智测框架 —— Smatch，基于类自然语言的输入进行自动化用例的描述，基于机器视觉的能力和底层引擎驱动完成用例的执行。

基于深度学习和强化学习的智能深度遍历测试框架 —— Smartbot

以 Smatch 为基础，我们对智能测试的下一步进行思考，更高级的智能测试应具备无人工介入、高度业务覆盖、自动发现缺陷的能力，为此我们研发了 Smartbot —— 基于深度学习和强化学习的智能深度遍历测试框架，自动识别场景，构建测试意图，从而达到对业务的高度覆盖，高效多端执行，并借助异常检测和定位的能力，以完成缺陷和问题的快速自动发现。

进展与成果

一站式智能化测试基于智能化能力、真机实验室、雷达线上线下监控完成移动端测试，数倍提升效能，实现小时级回归，助力业务。

同时也降低了技术赋能门槛（无须开发语言门槛，适合赋能输出全球当地伙伴），解决了痛难点（跨平台差异，非标控件获取困难等），数倍提高开发维护效率，也提供 WebIDE 在线用例编写，基于云真机的进一步效能提升；

本财年，我们重点对智能深度遍历测试的算法模型进行了升级，在原有推荐算法和强化学习的基础上，基于分析和调研集成落地了基于特征算法和时间序列预测算法的全新算法模型，无效操作根部剪枝并添加交互序列信息感知，在 40 分钟典型测试场景下，平均 APP 页面覆盖提升是原有模型覆盖的 2.3 倍。目前一站式智能化测试服务经济体多个 BU，累计接入移动端应用几十个。

5.全球化资源平台

【全球化资源痛点解决方案】

全球化快速发展的道路上，经济体各个 BU 面临全球化测试资源（测试设备 & 手机号 & 银行卡 & 三方支付账号 & 各应用登录账密）匮乏痛点问题，导致不能进行线上测试和验证；我们重点建设了全球化测试资源共享和统一管理使用平台。