管理众包软件测试：基于案例研究洞察众包中介的挑战

论文：Zogaj, Shkodran and Bretschneider, Ulrich and Leimeister, Jan Marco, Managing Crowdsourced Software Testing: A Case Study Based Insight on the Challenges of a Crowdsourcing Intermediary (2014). J Bus Econ, February 2014, DOI:
10.1007/s11573-014-0721-9.

https://ssrn.com/abstract=2471711

摘要：

近年来，众包在实践中得到广泛关注。许多公司利用众包来执行不同的任务和价值创造活动。尽管众包很受欢迎，但关于众包尤其是众包中介的基础知识仍然很少。众包中介机构在众包活动中扮演着重要角色，它构建了众包公司与人群的联系。然而，众包中介如何管理众包活动的问题尚未得到解决。我们通过与一家名为testCloud的德国创业众包中介公司进行案例研究来解决这些问题，该公司为计划将部分或全部测试活动外包给特定人群的公司提供软件测试服务。案例研究表明，testCloud面临三个主要挑战：管理流程、管理人群和管理技术。对于每个维度，我们概述了testCloud用于众包项目相关挑战的机制。

背景：

面对动态变化的环境，越来越多的组织寻求从其职能范围之外甚至组织外部获取知识的新方法。在这方面，新的信息技术特别是互联 脱颖而出，作为一种具有低成本沟通代价的多媒体技术，它允许公司以更有效的方式接触大量外部资源并与之互动。“以公开呼叫的形式将原来由员工完成的任务外包给未定义的人员 络”（Howe 2006b），这种形式的外包被称为“众包”。群体共同承担任务，例如产生创新想法、解决研究问题或模式识别，这些任务能以比机器或专家更便宜和更好的方式完成。在众包框架中，公司既可以直接与人群互动，也可以利用中介在人群和公司之间协调。众包中介的突出代表是InnoCentive、oDesk或Amazon’s Mechanical Turk，它们允许企业在平台上向大量 络用户提供任务，并向解决任务的用户提供费用。

1. 众包与众包中介

众包任务通常可分为依赖驱动的或独立驱动的。在依赖驱动任务中，众包工人合作完成一个任务，这会导致贡献的解决方案之间存在重要的依赖关系。维基百科是一个代表性的例子，创建一篇文章的成员贡献是强烈相互依赖的。与此相反，在独立驱动的任务中，群体每个成员贡献自己独立的问题解决方案。两种情况下的众包过程基本相同：首先，公司选择想要众包的特定内部任务，然后到众包平台广播基础任务。第二步，众包工人选择以单独或协作方式提供解决方案 ，并在众包平台提交。然后众包平台评估提交的内容，并由发起组织支付 酬。在众包模型中，至少有两种类型的参与者参与其中（参见图1）：任务的发起组织以及执行这些任务的人。第一个实体我们称之为众包发起者，后者称之为众包工人。

图1 众包活动的角色与中介

众包中介作为众包活动市场运作的 络平台，管理众包发起者和众包工人之间的关系，管理整个众包流程，在众包活动中发挥着关键作用。一方面，他们与众包公司进行互动，适当地构建任务和解决方案要求，以便人群能够正确地解决众包任务。另一方面，中介机构负责管理人群本身以及人群中的所有活动。

2.testCloud案例：软件测试的众包中介

鉴于缺乏对众包中介机构的研究，我们选择了一家名为testCloud的德国初创众包中介公司做案例研究，主要为了更好地了解中介机构如何在众包模式中管理协调。经过分析，testCloud存在三个主要挑战：管理流程，管理人群和管理技术。第一个维度是指testCloud必须执行的活动序列，以确保测试项目顺利进行； 第二个维度包括特定的所有行动，以确保众包工人持续参与众包项目；第三个维度是指管理testCloud的在线平台。

2.1管理流程

作为众包活动的中介，testCloud管理整个众包流程，从众包工人的需求查询开始到缺陷导出结束。客户将目标软件（例如 站、移动应用程序）呈现给testCloud项目经理，testCloud管理员和客户一起详细说明测试要求。首先，他们确定众包工人要测试的质量范围，例如功能，性能，负载和安全性。此外，众包工人可以评估可用性以及交互设计。第二个方面是定义“测试上下文”，即设备、操作系统和浏览器等。第三个方面是确定“软件测试的范围”，客户决定测试阶段将进行多长时间以及有多少测试人员。

testCloud安排测试项目的流程如下。首先，要测试的软件应用程序必须上载到testCloud平台。 其次，testCloud管理员为测试项目选择众包工人。随后，testCloud激活平台上的特定软件测试，并开启众包工人的测试。一旦众包工人检测到错误，就须记录并在平台上提交，众包工人提交的软件缺陷将受到testCloud管理员严格的质量保证。最后，客户收到记录了所有已识别缺陷的 告。图2描绘了具有相应功能的整个结算过程。

图2：testCloud结算过程

2.2管理人群

人群管理是运营众包中介时的一个关键问题。在众包工人、testCloud和众包公司之间建立保密机制和信任，是testCloud面临的最关键挑战之一。 对于公司而言，发布保密任务会承担失去相关技术诀窍的风险，这表明必须有确保机密性的机制。testCloud强制其众包工人签署保密协议（NDAs），以防止其泄露重要信息。同时，众包公司与经验丰富众包工人会面并讨论联合测试项目，通过这种方式增加双方的信任。其次，testCloud必须确保众包工人的收入纳税。只有那些证明来自testCloud的收入将缴税的众包工人被允许参与测试活动。第三，人口统计学数据的收集也是重要方面，因为它能帮助testCloud确定人群的特征。

所有申请成为testCloud众包工人的人都必须在testCloud Internet平台上完成注册过程，用户在注册过程中必须认可并遵守上述协议（保密协议、税务覆盖范围检查和人群统计调查），注册过程如图3所示。

图3：testCloud注册过程

2.3管理技术

对于testCloud客户，测试要求的定义和协调非常重要，因此需要为客户提供能记录其特定要求的功能：首先，计划建立测试项目的客户必须定义测试类型（例如功能、可用性等）来确定“测试场景”，以及测试上下文（例如仅在Apple设备上）。此外，客户确定测试指令和测试用例，以及测试程序，包括测试人员数量、项目开始时间、项目结束时间和测试人员要求。

testCloud客户的个人资料页面与众包工人的不同，客户页面仅显示项目相关信息，但众包工人页面提供更多功能。首先，众包工人的个人资料中有一个“仪表板”，仪表板可视化众包工人的错误统计信息，例如已成功完成的测试数量和类型。testCloud管理员可以访问这些统计数据，并根据这些数据为特定测试项目选择众包工人。众包工人非常欣赏这些功能，因为这能展示他们的测试技能和能力。因此，在管理技术的背景下，这种支持功能的创建被视为主要挑战。

3.结论

我们概述了一个名为testCloud的德国初创中介的案例研究，并发现testCloud作为众包中介面临三个主要挑战：管理流程、管理人群和管理技术。对于实践中的管理人员而言，本研究提供了几种机制来应对众包项目的相关挑战，例如，在众包活动中如何定义和操作任务，如何确保提交的质量。此外，我们概述了解决每个阶段的关键职能。

致谢

此文由南京大学软件学院2017级硕士宋少行翻译转述。