“超级明星”在众包竞赛中的作用分析

引用：

Shunyuan Zhang, Param Vir Singh, and Anindya Ghose. “A Structural Analysis of the Role of Superstars in Crowdsourcing Contests.” Information Systems Research 30.1 (2019): 15-33.

摘要：

我们研究了在众包竞赛中与“巨星”竞争的长期影响。利用 1677 个软件设计众包竞赛的纵向面板数据集，我们发现工人在与超级明星竞争时能够学习更多技能。我们的研究表明，当个体参加了有“超级明星”程序员的比赛后，他在之后的比赛中获胜的概率会显著增加。我们还发现学习能力较低的个体往往更高度重视金钱奖励，反之亦然。结果表明，那些非常喜欢金钱奖励的人反而赢得较少的比赛，他们认为有“超级明星”的比赛获得奖金的概率更低，因此他们会回避“超级明星”，但也失去了向他们学习更高技能的机会。反事实分析表明，不应回避“超级明星”，而应鼓励个体参加有“超级明星”的比赛，因为这会大大推动他们的学习效率，从而提高每次比赛的质量和提交量。总的来说，我们的研究表明，那些愿意参加与“超级明星”的比赛而放弃短期金钱奖励的人，在长期内会获得更多好处。

关键词：众包竞赛、超级明星效应、贝叶斯学习、效用、信息系统经济学、动态结构模型、动态规划、马尔可夫链蒙特卡罗

一、介绍

众包是指一个组织将一项传统上由其员工执行的任务外包给组织边界之外的一群人的行为。它能使企业接触大量潜在人才，利用群体的力量来解决内部问题，这已经成为一种流行创新的软件开发方法。在不同类型的众包活动中，众包竞赛的工人解决一个定义明确的问题，并为一个固定的奖项而竞争。

本研究使用来自 Topcoder.com 的 50 个月中 1677 个软件设计众包竞赛的纵向数据集。研究表明，工人在“超级明星”在场的情况下，在比赛中获胜的概率明显较低，但当他在之后的比赛中的表现会显著提高。我们构建了具有个体异质性的动态结构模型，其中工人选择竞赛参加，并且在比赛中使用基于信息理论的贝叶斯学习框架，应用 IJC 方法获得个体动态规划问题的完整解。我们发现，个体在参加有“超级巨星”参加的竞赛中学到的比无“超级明星”的多。我们还发现，个体的学习能力和对金钱奖励的偏好有关。研究结果表明，看重金钱奖励的个体学习能力较低，很少具备赢得比赛所需的高技能，往往赢得较少的比赛。相比之下，那些不太看重金钱奖励的人有更高的学习能力，从长远来看，他们最终赢得了大多数比赛。研究结果还显示，不能快速学习的人会产生更高的参与成本，因此参与程度更低。

通过反事实分析评估策略干预，以确定众包竞赛平台如何提高工人提交的总体质量，并帮助工人学习。结果表明，如果众包竞赛平台最初鼓励个体参与有“超级明星”的竞赛，那么随着时间的推移，整个众包项目的解决方案平均质量将显著提高。另外，项目也将收到更多的提交方案，这也有利于众包平台和任务请求者。

二、模型

为了测试在当前或未来的比赛中，与“超级明星”的竞争是否对个体的表现有任何影响，我们建立了线性回归模型，以理清向“超级明星”学习的机制。结果表明，当超级明星出现在比赛中时，对其他参赛者成绩有积极影响但不显著，但是对后续比赛的参赛成绩有积极而显著的影响，也就是说，在比赛中与“超级巨星”竞争可以提高选手在未来比赛中的表现。相较于在比赛中与“超级明星”交流进行学习，通过浏览和分析超级明星的解决方案是主要的学习方式。

我们提出了一个结构模型来解释个体的学习、比赛获胜概率和竞赛选择行为的动态关系。通常，学习是为了提高执行任务的能力或者降低执行任务的成本。我们的模型涵盖了学习的两个方面。首先，我们建立了可以通过经验改善个体解决方案质量的模型。其次，我们建立了一个经验间接效应模型，在这个模型中，当个体学习时，产生一个解决方案的成本也可能降低。为了确定参加有“超级明星”的比赛对学习的影响，学习率会因是否参加有超级明星的比赛而变化。

三、 估计方法与结果

我们按以下顺序依次估计参数：（1）学习的相关参数；（2）比赛获胜概率的相关参数；（3）竞赛选择的相关参数。

1、 学习的相关参数

估计是在分层贝叶斯框架中执行的，方法是使用马尔科夫链蒙特卡罗（MCMC）方法从后验分布中得到估计值。

结果表明，个体学习能力存在一定程度的异质性，如图 1 所示，有些人的学习速度比其他人更快。在不同竞赛中，最优方案存在一定的差异。此外，涉及“超级明星”的比赛中获得的信息比其他比赛更多，这意味着个体能在有“超级明星”的比赛中学到更多。

图 1 个体学习能力的直方图

图 2 展示了在有“超级明星”参加和没有“超级明星”参加的比赛中学习的速度，表明有“超级明星”的比赛提供了更好的学习机会，与“超级明星”竞争有助于更快地学习和提高技能。

图 2 有无“超级明星”参赛时的学习速度对比图

2、比赛获胜概率的相关参数

结果表明，“超级明星”的出现对个体获胜的可能性有较大的负面影响，但是随着个体在编写高质量解决方案能力变得更强，赢得比赛的机会也会增加。

3、竞赛选择的相关参数

采用结合了离散选择动态规划（DDP）和贝叶斯 MCMC 方法的 IJC 方法估计，可同时求解动态规划（DP）和模拟参数向量的后验分布。

结果表明，金钱奖励对个体参加竞赛的决策具有正面影响，其中有些人相对其他人更重视金钱奖励。随着任务需求的增加，成本也在增加。同时，奖金高的比赛需要更多的努力，这一估计与我们的观察一致，即奖金高的任务通常很少收到提交的材料，这可以解释为个体完成任务所需的努力成本较高。此外，技能水平较低的人体必须付出更高的成本才能完成一个项目。

图 3 表明学习能力较低的人更高度重视金钱奖励，学习能力较强的人往往不太看重回 。

图 3 个体学习能力与金钱奖励偏好关系图

图 4（a）显示了赢得比赛的概率与个体的学习能力的关系，表明获胜的概率随着学习能力的增加而增加；图 4（b）显示了最不看重金钱奖励的人最有可能赢得比赛。这一结果的真正原因是，工人要想在比赛中获得高分，就需要有很强的技能。如前所述，那些学习能力更强的人和那些与“超级明星”竞争过的人是那些提高技能最快的人。然而，那些最看重金钱奖励的人往往学习能力很低，并且会避开“超级明星”竞争。因此，这些人学习非常缓慢，很少达到赢得比赛所需的高水平技能。相比之下，那些不太看重金钱奖励的人往往有很高的学习能力，而且更倾向于选择与“超级明星”竞争。结果，这些人迅速提高了自己的技能，并开始更频繁地赢得比赛。

图 4 赢得比赛中学习能力与金钱奖励偏好的影响

线性回归结果和结构模型结果都表明，在项目中与“超级巨星”竞争后，工人在后续项目中的得分增加更多。这表明，向“超级明星”学习主要是通过工人在项目完成时访问和分析他们获胜的解决方案来实现的。个体可以从所有成功的解决方案中学习，但是，他们从“超级明星”的成功解决方案中学习的比从其他解决方案中学习的更多。数据显示，有“超级明星”参与的项目比没有超级明星参与的项目有更高的得分。

四、 政策模拟

我们进行反事实分析，以研究像 Topcoder.com 这样的众包竞赛平台如何鼓励个体参与并提高交付解决方案的整体质量。

1、Topcoder 最初是否应该激励个体与超级明星竞争？

由于学习对个体的最大益处发生在技能最差的时候，我们只允许在 Topcoder 中的前五个涉及超级明星的项目进行这种激励，并与只激励前 50%最看重金钱奖励的个体以及现行的无激励政策进行对比。如图 5 所示，无论是在提交数量还是平均预期得分方面，前两项为个体参加涉及超级明星比赛提供激励的政策都优于现行的无激励政策。更重要的是，只激励那些重视金钱奖励个体的政策比其他两项政策都要好。

图 5 政策模拟：激励与超级明星竞争的影响

这表明，看重金钱的人是学习迟缓的人，他们对金钱奖励的偏好使他们避免与超级明星竞争，这也减少了他们的学习机会。相比之下，对于金钱奖励偏好较低的个体来说，“超级明星”出现在比赛中并不会阻止他们参加比赛。这些人也往往有很高的学习能力，因此参加涉及“超级明星”的竞赛可以大大提高他们的技能。这些个体并不像那些高度重视金钱奖励的人那样，不加额外激励就不愿参加有“超级明星”的项目。这个政策模拟表明，应当找出那些看重金钱奖励、学习能力低的人，并激励他们参与有“超级明星”的竞赛，而不是激励所有人。从长远来看，重视金钱奖励的高技能人才是有益的，因为与那些不重视金钱奖励的人相比，他们更有动力参加竞赛。

2、Topcoder 是否应该帮助学习能力低的人学习？

Topcoder 可以主动接触学习能力低的人，并在参加比赛时教他们如何学习。这可以包括教他们如何在比赛中提问，以及如何将他们的解决方案与获胜的解决方案进行比较。此外，还可以建立一个 区，帮助找到这些人的缺点，并帮助他们提高技能。将此政策与当前政策进行对比，如图 6 所示，帮助提高学习能力低的个体对提交的数量和平均预期分数有显著的积极影响。随着时间的推移，这两项政策结果的差异正在增加。

图 6 政策模拟：帮助学习能力低的个体的影响

学习能力低的人对金钱奖励有很高的偏好。在目前的政策中，这些人的进步非常缓慢，因此他们参加比赛的积极性增长缓慢。相比之下，当我们帮助提高低学习能力者时，这些人学习更快，而且随着他们技能的提高，他们赢得比赛的概率也会增加。因此，随着时间的推移，他们更有动力参与竞赛，并提供高质量的解决方案。

五、结论

众包竞赛正变得越来越受欢迎。我们的论文提供了第一个实证证据，证明在众包竞争的背景下，“超级明星”效应是积极的。

在本研究中，我们建立一个动态结构模型来分析超级巨星在众包竞赛中的角色，应用 IJC 方法来获得个体 DP 问题的完全解。该模型包含三个不同的过程：学习、比赛获胜概率和竞赛选择。研究表明，当个体和超级明星竞争时，他赢得比赛的机会会大大降低，但他从一个超级明星的比赛中学到的东西要比其他人多得多。这意味着那些放弃短期金钱奖励的人在未来可以赢得更多。

我们发现，在学习能力和对金钱奖励的偏好方面，个体之间存在显著的异质性。学习能力低的个体倾向于金钱奖励，反之亦然。即学习能力低的人会避免与“超级明星”竞争。结果，那些最看重金钱奖励的人最终赢得的最少，因为他们无法将自己的技能提高到可以赢得的水平。相比之下，学习能力强的人对金钱奖励的重视程度较低，因此他们愿意参加了有“超级明星”的比赛，学习速度很快，达到了未来赢得比赛所需的高技能要求。

我们研究像 Topcoder 这样的平台如何鼓励更多的人参与，并提高工人的平均技能水平。通过政策模拟，表明 Topcoder 可以在早期为那些高度重视金钱奖励的个体提供激励，鼓励他们参与涉及超级明星的项目。另一个政策模拟有助于提高低学习能力工人的学习能力，也可以显著增加在比赛中提交解决方案的数量和质量。这两项政策都旨在帮助学习能力较低和高度重视金钱奖励的个体更快地学习。根据这些政策，这些人将获得赢得比赛所需的技能。当他们的技能高到足以获胜时，因为他们非常重视金钱奖励。这些人将更有可能参加比赛。

论文也有一定的局限性。首先，模型是一个部分平衡模型。第二，由于模型是一个学习模型，需要每个人至少两个数据点来衡量学习的程度，所以排除了只参加过一次比赛的个体。第三，由于数据集有限，因此假设竞赛中只存在一个共同的项目的噪声。第四，假设个体决定参与项目是基于“超级明星”是否参与其中，但有时个体在做出比赛选择决定时可能无法获得这个信息。最后，模型关注工人的竞争参与行为，而不关注 Topcoder 及其任务请求者的竞赛发布行为。

致谢

感谢国家重点研发计划（2018YFB1403400）和国家自然科学基金（71732003，61772014）支持！