通过 Bug 屏幕快照众包生成 告

摘要：

关键字：众包测试，移动应用测试，错误 告生成

1. 背景

在某些领域，众包测试已被证明比传统的内部测试有效得多。在移动应用程序测试中，众包测试已成为主流方法，这是因为设备模型的碎片化，移动设备的数量众多，操作系统版本的多样性以及测试场景的多样性。但是，众包的开放性也很容易导致质量差的结果。质量控制是众包的挑战，尤其是在软件测试等专业领域。

在许多领域都有许多成功的图像理解案例。这激励我们引入图像理解技术，以提高众包 告的质量。我们提出了一种新颖的方法，称为 CroReG，用于了解众包截图并结合使用深度学习和光学字符识别（OCR）技术自动生成错误 告。 我们使用 im2txt 模型将屏幕截图转换为文本标题，并使用 OCR 提取屏幕截图中现有的文本。 将计算两个模块的文本相似度，以进一步生成错误 告。 预期生成的错误 告可以准确反映屏幕快照中显示的错误。

卷积神经 络（CNN）由于其独特的结构而具有很强的自学习和分类识别能力。 CroReG 还借鉴了机器翻译的思想，使用递归神经 络（RNN），长期短期记忆（LSTM）的变体将图像特征向量转换为字幕。LSTM 存储先前的信息，并将其应用于当前的计算。 CroReG 中引入了 OCR，以准确识别屏幕截图中存在的字符。

为了评估 CroReG 的有效性，我们对来自不同类别的移动应用程序的一些错误截图进行了初步实验。 每个屏幕截图使用 CroReG 生成 4 个字幕。 根据人工评估，所生成 告的正确性达到 90％，并且 告中的描述均采用高度模拟的自然语言。 结果确认大多数生成的 告与屏幕截图中显示的错误紧密相关。 我们相信，CroReG 不仅可以提高未经培训的工作人员的错误 告的质量，还可以减少熟练的人群工作人员的工作费用。

2. 方法

我们首先提出一种基于众包错误截图的 告生成方法 CroReG。 生成过程分为两部分：图像翻译和文本提取。 这两个部分分别工作，来自这两个模块的结果将得到进一步处理，并生成屏幕快照的最终错误 告。

2.1 方法框架图

2.2 图像翻译

CroReG 利用名为 im2txt 的深度学习模型，该模型由编码器和解码器组成。 编码器是 CNN，将获得固定长度的矢量作为从屏幕截图中提取的特征。 解码器是 LSTM 络，特征向量被处理成自然语言的错误说明。 CroReG 中特定的 CNN 模型是 Inception-v3。 此外，该数据集是从百度 MTC3 和 MOOCTEST4 获取的。 它包含 26387 个带有手动字幕的屏幕截图。 数据集分为三个不相交的集：训练集，验证集和测试集。 还生成与错误相关的关键字列表文件。 im2txt 模型生成的字幕将根据可能性进行排序，并根据 OCR 过程的结果进行分析。 前 3 个匹配的字幕将显示给用户，其他字幕将被丢弃。

2.3 文本提取

当出现错误（例如弹出窗口）时，移动应用程序页面始终包含与错误相关的丰富文本信息。 因此，OCR 技术适用于在错误屏幕截图中提取文本信息。 CroReG 使用第三方远程界面来识别上传的屏幕截图。 系统将生成多个候选文本片段，并将根据在图像翻译模块中生成的关键字列表文件中的预设关键字来筛选此类文本片段。 将每个候选片段与关键字列表进行比较，以判断其是否包含一个或多个关键字。 关键字片段将被处理以排除冗余信息，并生成与上载屏幕截图相对应的可读性强的错误字幕。

2.4 告生成

3. 结论

致谢