App自动化测试-测试管理

任务创建

• 三种任务类型
  • 功能测试：云端脚本执行，任务快速执行，支持数据源选择，深度截图对比，性能分析，报告多维度展现。
  • 兼容测试：安装/启动/遍历/monkey/卸载，支持脚本执行，错误日志/Crash/ANR，性能数据，monkey截图，遍历截图，报告以设备维度展现。
  • 拨测：
    拨测：批量任务定时发起，支持多网络类型，发起批次可配置，批次间隔可配置，报告以批次维度统计，报告支持excel导出。
    监控：把拨测任务注入告警中，设置告警条件，触发则告警通知，支持增删改操作，统一展示错误列表、告警日志，以图表形式展现监控数据。
• 在对应的测试菜单中点击“开始测试”，可直接进入对应测试项的提测页面——选择应用。

选择应用

• 列表内容：展示用户所在项目组下的所有应用
• 其他功能：创建新应用
• 筛选条件：同应用列表

选择应用示意图

选择App包

• 列表内容：展示用户所在项目组下所选应用对应的所有App包
• 其他功能：上传新App包
• 筛选条件：同App列表

选择App包示意图

选择策略

• 显示条件：任务类型为兼容测试时，提测流程才会出现“策略选择页”
• 执行方式说明：
  • 安装+启动：仅测试安装app和启动app。还可勾选遍历及monkey测试，可自主选择遍历和monkey测试时间。
  • 安装+启动+执行脚本：可执行功能测试中的脚本，并以兼容报告形式展示。选中该项后，提测流程增加一步“选择脚本” 。
• 执行前策略：可勾选覆盖安装或清除数据，若选择“安装+启动+执行脚本”，则按选择脚本时配置的执行策略为准。

选择执行策略示意图

选择脚本

• 支持脚本的目录化管理。
• 默认显示选中应用下App包的关联脚本。
• App自动化测试可选择脚本的其他历史版本进行提测。
• 支持批量添加。
• 支持拖拽调整脚本列表列宽。

选择脚本示意图

• “已添加”为测试时执行配置列表：
  • 支持对脚本再排序，即调整脚本执行顺序，可直接按住空白处进行拖拽变更顺序。
  • 支持删除，即从执行列表中剔除该脚本。
  • 支持脚本运行前清除应用数据、卸载安装应用、脚本锁定（定时任务和重测默认执行最新脚本，锁定脚本后将不再执行最新脚本，执行该脚本）、不关闭应用（脚本执行完后不关闭应用，直接执行下一条脚本）。
  • 支持选择脚本和脚本组数量。
  • 点击“生成脚本组”，将把当前已选择的脚本和脚本组保存成脚本组（已选择里的脚本组，将以脚本的形式存入新脚本组）。注意：在执行选项为快速执行时，为保证脚本组内脚本的关联性，脚本组将已组为单位下发到同一个设备上执行。

已选择脚本示意图

• 支持选择脚本组，注意仅支持选择有效的脚本组，若脚本组中有脚本无效，则该脚本组无效。

选择脚本组示意图

选择设备

• 设备筛选：可根据品牌、系统版本、屏幕大小、分辨率、内存、CPU主频、空闲状态进行筛选。
• 实时显示设备占用状态。
• 支持批量添加所有设备。

选择设备示意图

完善信息

• 完善信息页根据任务类型展现不同的输入信息。
• 功能测试：
  • 任务描述（必填）。
  • 数据源配置（分配策略只对局部变量生效，全局变量是针对一个子任务的全局配置，所以一个全局变量一个设备只有一个初始值）：
    1） 按设备分配：脚本参数选择的数据源按设备分配变量值，即当在一个设备中有多个相同脚本，多个脚本中的相同变量（变量名称相同）默认分配到的变量值相同；若设备不同分配到的变量值不同。
    2） 按脚本分配：脚本参数选择的数据源按设备并脚本分配变量值，即当在一个设备中有多个相同脚本，多个脚本中的相同变量（变量名称相同）默认分配到的变量值不相同；若设备不同分配到的变量值不同。（需要数据源中的变量值数量大于等于所选择的脚本×设备数量，否则也会出现重复情况）。
  • 脚本参数：
    1） 输入项显示规则：当执行选项为“普通执行”时，显示该选项。
    2） 脚本参数可选择任意数据管理中的数据源，执行时按数据源中定义的变量值执行；默认不选择数据源，执行时按脚本中的默认值执行。
    3） 选择任意数据源后，点击“定义数据分配策略”可以给对应设备和脚本指定执行变量；切换数据源，则原数据源已配置的策略清空；不配置分配策略，则按照默认策略分配。
    4） 定义数据分配策略：选项卡显示数据源的全局表、任务主脚本的脚本id（脚本提测顺序），可在选项卡（即对应主脚本）中选择对应数据表（主脚本和调用脚本）、对应设备的变量值，变量值以行为整体，一次定义一行变量；设备支持鼠标悬停，悬停显示设备详细信息；数据单元格支持鼠标悬停，悬停显示数据表该行变量及对应变量值。
  • 执行选项：普通执行、快速执行（每个脚本只执行一次，脚本随机分配到某一设备上执行，注意：待测脚本相互存在依赖关系时，请谨慎使用）。
  • 脚本重测：任意步骤出错时，将会对该步骤所在的脚本进行重测，重测次数可配置。
  • 执行时间：立即执行、定时任务（可选择具体日期或者每天固定时间执行）。
  • 视频录制：测试时是否开启录制视频，默认开启，开启后测试完成可在报告中观看执行视频。
  • 网络环境：
    1） 默认选wifi，可切换成sim卡信号或者模拟网络。
    2） sim信号网络执行时，如果已选设备未插入sim卡则使用wifi网络。
    3） 模拟网络只有当管理中心配置完成才会出现。
    4） 网络环境在功能测试与兼容测试为单选，只可使用一种网络环境。
  • 报文截取: 默认OFF状态，隐藏参数输入框，切换到ON状态时，默认展开1行输入框，IP/域名+端口（IP/域名不可为空，本行不可删除，可增加最大10个输入框）。
  • 是否发送邮件：默认选择“是”，发送对象为项目组内成员，不可对外发送
  • 是否短信通知：默认选择“否”，发送对象默认加载组内成员，手机号可修改
  • 已选内容展示：待测app-icon+版本+系统类型、测试脚本列表、测试设备列表。
  • 生成脚本组：同选择脚本-已添加中的生成脚本组功能。

分配数据源示意图

功能完善信息示意图

切换数据源示意图

• 兼容测试：任务描述、执行时间、脚本参数、执行方式、待测app-icon+版本+系统类型、测试脚本、测试设备、执行选项、网络环境、报文截取。

兼容完善信息示意图

• 拨测：
  • 任务描述（必输）。
  • 脚本参数：可选择任意数据管理中的数据源，执行时按数据源中定义的变量值执行；默认不选择数据源，执行时按脚本中的默认值执行。
  • 脚本重测：任意步骤出错时，重测机制将对当前步骤的所在脚本重新发起执行，重测次数可配置。
  • 执行时间：立即执行、定时任务（可选择具体日期或者每天固定时间执行）。
  • 执行轮数：1次拨测任务可执行多轮已选脚本，轮数最大支持100轮。
  • 执行时间间隔：每一轮测试完成后，从第一轮执行完成后等待“执行时间间隔”所指定的时间后发起下一轮测试。
  • 网络环境：
    1） 默认选wifi，可切换成sim卡信号或者模拟网络。
    2） sim信号网络执行时，如果已选设备未插入sim卡则使用wifi网络。
    3） 模拟网络只有当管理中心配置完成才会出现。
    4） 网络环境在拨测为多选，测试任务会分别在各个网络环境下进行测试。
  • 报文截取: 默认OFF状态，隐藏报文截取参数输入框，切换到ON状态时，默认展开1行输入框（IP/域名+端口），且IP/域名不可为空，本行不可删除，可增加最大10个ip地址。
  • 是否发送邮件：默认选择“是”，发送对象为项目组内成员，不可对外发送
  • 已选内容展示：待测app-icon+版本+系统类型、测试脚本列表、测试设备列表。
  • 所属监控：下拉显示当前所有已添加的监控，选择监控名称，把该测试报告加入监控中

拨测完善信息示意图

任务列表

• 列表信息：应用名称、App名称（icon+名称+版本+系统类型）、渠道名称、任务描述、创建人、创建时间、执行时间、任务状态、测试结果。
  • 报告的结果结果按脚本统计：当无测试结果上报时，显示待执行数量；当有结果上报时，不再显示待执行数量，仅显示测试完成有测试结果的数量信息。
• 检索条件：应用名称、App名称+包名、App版本、系统类型、任务状态、测试结果、任务类型（仅兼容测试支持任务类型筛选）、创建时间（当前仅功能测试支持该筛选项）。
• 列表分为两个Tab页
  • 实时任务：
    1） 展示正在运行或者已完成运行的任务。
    2） 执行中任务可终止。
    3） 点击任务描述可查看测试报告。
    4） 定时任务执行时会在实时任务tab中创建一条记录，任务描述中显示定时任务图标。
  • 定时任务：展示执行策略=定时任务的任务列表，任务可编辑。
• 实时任务重测：
  • 支持任务重测，点击后，进入提测流程最后一步-完善信息页，且带入所有任务的已选信息。
  • 用户可点击上一步进行任务信息调整。
  • 重测任务相当于重新提测，会新生成一个任务ID。
• 定时任务操作：
  • 修改：可修改定时任务提测信息。
  • 立即执行：立即发起该任务，对已过期任务同样有效。
  • 暂停/恢复：暂停/恢复定时任务的发起。
  • 删除：删除定时任务

时时任务列表示意图

定时任务列表示意图

报告管理

功能报告概述

• 功能报告概述页包含任务基本信息及统计图表，并从多个维度展现统计内容（报告概况、脚本执行报告、脚本问题分析、设备执行报告、脚本截图横向对比）。
• 任务基本信息：App ICON、App版本、build号、包名、渠道名称、提测人、创建时间、耗时、完成时间、任务描述、网络环境、版本备注、提测设备数、提测脚本总数、执行方式、数据源、重测配置，支持展开/收起。
• 支持报告分享：无登陆链接分享。
• 支持报告下载：下载excel和PDF格式报告。
• 支持手动填写报告总结。
• 任务概况中图表均支持与表格相互切换。

功能报告-任务基本信息示意图

• 测试概况Tab：
  • 脚本执行概况：以柱状图的形式展现各种脚本的执行概况，包括通过脚本、失败脚本、未执行脚本、异常脚本，脚本总数=设备数*脚本数。
    1）通过脚本：正常执行通过的脚本数量及占比（通过脚本占比=通过脚本数/脚本总数*100%）。
    2）失败脚本：正常执行，但是执行中出错，未通过的脚本数量及占比（失败脚本占比=失败脚本数/脚本总数*100%）。
    3）未执行脚本：超时、取消等未执行已完成的脚本数量及占比（未执行脚本占比=超时、取消脚本数/脚本总数*100%）。
    4）异常脚本：初始化失败等由于环境异常导致失败的脚本数量及占比（异常脚本占比=初始化失败脚本数/脚本总数*100%）。
  • 脚本问题统计：以饼图的形式展现各错误分类的未通过脚本对未通过脚本的数量及占比（例子：安装失败占比=安装失败脚本数/（失败脚本数+异常脚本数）*100%），总脚本数包括脚本脚本执行概况中的失败脚本和异常脚本，“异常脚本”对应错误分类“环境异常”，“失败脚本”对应错误分类“安装失败、启动失败、应用无响应、应用崩溃、脚本错误”等非超时、取消及环境异常的错误类型。
  • 标签执行概况：以柱状图的形式展现各标签的脚本的执行概况，包括通过脚本、失败脚本、未执行脚本、异常脚本，脚本无标签则不显。
  • 标签问题统计：以柱状图的形式展现各标签的未通过脚本（脚本脚本执行概况中的失败脚本和异常脚本）的错误情况，脚本无标签则不显。
  • 问题TOP5列表：显示问题发生次数最多的5个错误信息，内容：错误定位、问题脚本、所属标签、问题类型、发送次数。点击发送次数显示当前问题截图，点击截图进行报告详情。
  • 问题品牌分布：以脚本维度统计问题脚本品牌数量和占比。
  • 问题系统分布：以脚本维度统计问题脚本系统数量和占比。
  • 问题分辨率分布：以脚本维度统计问题脚本分辨率数量和占比。
  • 性能数据统计：显示安装耗时、启动时间、CPU占用、内存占用、流量消耗、电池温度的平均值和最大值，点击最大值可进入对应的报告详情页。

功能报告-测试概况示意图

• 脚本执行报告
  • 支持关键字筛选:脚本ID、脚本描述、执行设备、错误定位，除了脚本ID外都支持模糊搜索。
  • 支持枚举筛选：问题类型及状态、所属标签，枚举筛选项可隐藏。
  • 脚本列表：显示已执行完成的脚本，内容包括脚本ID、脚本描述、所属标签、执行设备、状态、问题类型、错误定位、耗时、操作。支持统计脚本总数、通过脚本总数、未通过脚本总数。
  • 操作：查看详情（点击进入报告详情页）、下载日志（可下载该脚本的日志）、真机调试（直接进入该设备真机控制页）、补测（执行完成脚本可对原有设备、原有脚本进行补测。默认执行提测时的脚本版本，若需要执行最新版的脚本，请勾选“执行最新脚本”选项）、忽略（忽略脚本状态即为无效，不计入报告统计数据中）。
  • 支持下载日志说明文档，文档中介绍了如何通过查看Log获取错误信息。

功能报告-脚本执行报告示意图

• 问题分析
  • 支持脚本维度的问题统计，数据同测试概况中脚本问题统计，图表和表格数据分开展示。
  • 支持关键字筛选:错误定位（支持模糊搜索）、问题脚本。
  • 支持枚举筛选：问题类型、所属标签，枚举筛选项可隐藏。
  • 问题列表：显示所有问题信息，同测试概况问题TOP5，内容包括错误定位、问题脚本、所属标签、问题类型、发生次数。点击发送次数显示当前问题截图，点击截图进行报告详情。支持统计问题总数。

功能报告-问题分析示意图

• 设备执行报告
  • 支持关键字筛选:支持设备名称模糊搜索。
  • 支持枚举筛选：问题类型及状态，枚举筛选项可隐藏。
  • 设备列表：显示所有设备任务信息，内容包括设备名称、版本、分辨率、执行起始时间、执行耗时、完成时间、状态、问题类型、操作。支持统计设备总数、通过设备总数、未通过设备总数
  • 操作：查看详情（点击进入报告详情页）、终止（执行中设备可终止）、观察（执行中设备可观察）、补测（执行完成设备可补测，补测默认选中原有机型，支持更改机型发起补测。默认执行提测时的脚本版本，若需要执行最新版的脚本，请勾选“执行最新脚本”选项）、真机调试（直接进入该设备真机控制页）、忽略（忽略设备状态即为无效，该设备中所有脚本不计入报告统计数据中）。

功能报告-设备执行报告示意图

• 截图对比：
  • 以脚本步骤维度对比每个设备的截图。
  • 设备执行脚本出错时，截图下方以红色圆点标识。
  • 支持关键字查询脚本，仅对主脚本进行查询，查询关键字包括：脚本ID、脚本描述（支持模糊搜索）、脚本状态（状态仅支持查询“通过”和“未通过”）。
  • 支持切换截图切换横/竖版显示，点击图片，支持查看大图。
  • 点击设备名称可跳转到对应设备的报告详情页。
  • 若多个设备中执行同一个脚本，但版本不一致，支持点击切换，查看对应版本的设备上的截图。

功能报告-截图对比示意图

截图对比-点击切换示意图

功能报告概述-快速执行

• 与普通功能报告区别：仅按脚本维度展示，所以没有设备执行报告和截图对比Tab。
• 脚本执行报告的脚本列表：显示所有提测脚本

功能报告-快速执行报告示意图

功能报告详情

• 功能报告详情页展现单个设备执行脚本情况概述，内容包含脚本执行概况、脚本执行步骤，脚本执行详情。
• 脚本执行概况包含
  • 任务描述
  • 通过情况：所有脚本均执行通过才按通过统计
  • 执行总耗时
  • 脚本通过状态及数量：分别展示已通过/未通过/未执行的脚本数量
  • 脚本执行概况：包括序号、每个脚本的脚本id、脚本描述、状态、错误定位和执行视频、操作（补测和忽略）。
  • 点击【补测】后，将使用该脚本(提测时的脚本版本)在当前设备上重新执行测试，若需要执行最新版的脚本，请勾选“执行最新脚本”选项，执行结果将覆盖当前报告中的结果；点击【忽略】后，该脚本状态即为无效，不计入报告统计数据。
  • 设备信息：显示设备基本信息，包括设备名称、品牌、型号、系统、版本、分辨率、设备ID、MAC。
  • 支持切换性能轨迹查看报告。
• 脚本执行步骤展示：首先展示任务初始化的步骤，然后依次展示所有脚本的序号、ID、脚本描述及状态；点击任意脚本展开该脚本的所有步骤 ，且对所有步骤进行状态（通过/未通过/未执行）标注
• 脚本步骤支持关键字查询，仅对主脚本进行查询，查询关键字包括：脚本ID、脚本描述（支持模糊搜索）、脚本状态（状态仅支持查询“通过”和“未通过”）。
• 测试结果：点击页面左侧的任意脚本步骤，右侧显示该步的执行结果，其内容包含：
  • 步骤描述
  • 播放视频：点击后开始播放执行视频；编辑脚本：点击后进入对应脚本的online编辑页面
  • 执行状态：通过、未通过、未执行（不予显示）
  • 执行耗时：单位“毫秒”或“秒”
  • 执行截图、预期截图
  • monkey参数和Monkey LOG：当脚本步骤中存在monkey时显示
  • 埋点信息：当脚本步骤中存在性能埋点时显示
  • 出错重测信息：支持展示每一次错误信息
  • 控制器配置信息：当脚本步骤中存在电视按键配置时显示
  • 按键列表：当脚本步骤中存在组合按键时显示
  • 按键执行信息：当脚本步骤中存在按键时显示，包括执行方式、按键延迟时间、按键持续时间
  • 业务检查点步骤报告展示：录制脚本时添加业务检查点后，每一个业务检查点中间的执行结果将在报告中独立展示，这样可以查看一条脚本用例在各个阶段的执行情况；业务检查点状态显示：通过点击脚本执行概况中的“检查点”，可查看业务检查点的执行状态。
• LOG：
  • 检索条件：日志等级、PID和关键字查询
  • 支持下载功能，日志按脚本划分，在脚本步骤中只能下载该脚本的日志
  • 支持下载ANR_TRACES
  • iOS设备支持下载ips文件

功能报告-脚本执行总览示意图

功能报告-步骤测试结果示意图

功能报告-脚本LOG示意图

• 性能数据：按脚本维度展示CPU占用率、内存占用、缓存占用、GPU占用率、电池温度、流量消耗、电量消耗、FPS，且性能数据与脚本步骤关联，即性能数据图表中的点对应脚本步骤，且性能数据支持下载。

功能报告-脚本性能数据示意图

• 轨迹执行分析：
  • 任务描述
  • 执行截图区：显示当前步骤名称、当前步骤的执行截图(当前步骤没有截图则显示默认截图)，可进行上一步、下一步和播放操作（自动切换到下一步骤）；“步骤展开”可展开该脚本，选择脚本步骤。
  • 相关日志区：显示当前步骤对应的日志内容，包括行号、时间、PID、Level、Text、Tag。
  • 性能轨迹区：显示当前脚本 App的CPU占用率、内存占用、流量耗用总量，可根据时间轴放大缩小。
  • 点击轨迹上的数据点可实时查看对应的图片和日志；切换截图可实时查看对应的性能数据和日志。
  • 右侧显示脚本id，可选择切换脚本数据，鼠标悬浮显示脚本描述。
  • 可切换到执行详情页面。

功能报告-测试轨迹示意图

兼容报告概述

• 兼容报告概述页顶端任务属性与功能测试相同，Tab分为4个，测试概况、错误日志、性能数据、截图对比
  • 测试概述：测试结果-执行情况、测试结果-通过情况、测试结果-错误分布、终端列表（显示执行状态、错误日志、错误原因，支持设备补测）、运行失败终端分布（按系统、品牌、屏幕尺寸分析）

    兼容报告-测试概况示意图

  • 错误日志：合并分析Crash、ANR、Exception日志，且可跳转至关联设备，默认跳转至第一次发生错误的设备的报告详情页

    兼容报告-错误日志示意图

  • 性能数据：性能概况、性能分析、终端数据

    兼容报告-性能报告示意图

  • 截图对比：当使用脚本测试时，显示该Tab页，内容与功能测试“截图对比相同

    兼容报告-截图对比示意图

兼容报告详情

• 兼容测试-报告详情页展示三个Tab信息：测试概况、遍历截图、monkey截图、log
• 测试概况：执行步骤（安装-启动-遍历<可选>-monkey<可选>-脚本测试<可选>-卸载），步骤耗时；设备信息、异常信息、性能数据
• 遍历截图：在提测流程中增加遍历测试才会有遍历截图
• monkey截图：在提测流程中增加monkey测试才会有monkey截图
• log：显示任务的log信息，支持monkey-logcat日志的单独下载，iOS设备支持下载ips文件。

兼容报告-报告详情概况示意图

兼容报告-Monkey截图示意图

兼容报告-LOG示意图

兼容报告-遍历截图示意图

拨测报告概述

• 拨测报告以轮次为统计单元，展示拨测概况信息及各性能埋点的时延与上下行流量图表数据及具体到设备的详细数据
• 拨测任务基本信息：
  • 在页面顶端展示拨测任务描述及执行状态
  • 任务信息文字可点击：显示任务详情，内容同功能报告
• 轮次可筛选：
  • 默认选择：所有轮次
  • 关联数据：执行总时长、通过率、统计图表、埋点详情、执行详情
• 参考值设置：点击后展开性能埋点高级设置，完成各个性能埋点的达标值、挑战值的录入
• 达标值、挑战值作用域：图表信息、Excel报告
• 拨测报告支持Excel报告导出
• 报告tab页内容介绍
  • 埋点概况：以图表形式展示所有埋点信息
  • 埋点详情：可通过筛选，获得每个设备埋点信息的具体值
  • 执行详情：展现所有设备脚本执行的通过情况

拨测报告-测试概况示意图

拨测报告-埋点详情示意图

拨测报告-执行详情示意图

云监控

云监控用于长时间监控拨测定时任务，并以时间维度反映各个性能指标、业务指标的数值趋势。

• 任务注入：拨测任务在完善信息页面可选择所属监控，实时注入设备通过情况，脚本通过情况，埋点数据

提测示意图

• 监控概况：显示所有注入到该监控的性能埋点数据，并以时间维度汇总显示，每个设备为一条折线图；埋点显示项可通过设置功能自定义，埋点名称、性能指标、网络环境可自定义

监控报告示意图

埋点数据示意图

• 错误列表：显示所有报错信息，支持筛选项过滤
• 告警配置：可根据性能埋点的达标率进行告警配置，支持取样范围与时间范围的限定（取样范围：当性能埋点达到取样数量是才会计算达标率、时间范围：每个时间范围间隔统计一次性能埋点通过率）

告警配置示意图

• 告警日志：日志内容包含所有告警采集项的概要信息

告警详情示意图