来自大数据的反思：需要你读懂的10个小故事 三

故事08：谷歌流感预测：预测是如何失效的h2>

2009年2月，谷歌公司的工程师们在国际著名学术期刊《自然》上发表了一篇非常有意思的论文^【11】：《利用搜索引擎查询数据检测禽流感流行趋势》，并设计了大名鼎鼎的流感预测系统（Google Flu Trends，GFT，访问 址为：www.google.org/flutrends/）。
GFT预测H1N1流感的原理非常朴素：如果在某一个区域某一个时间段，有大量的有关流感的搜索指令，那么，就可能存在一种潜在的关联：在这个地区，就有很大可能性存在对应的流感人群，相关部门就值得发布流感预警信息。
GFT监测并预测流感趋势的过程仅需一天，有时甚至可缩短至数个小时。相比而言，美国疾病控制与预防中心（Center for Disease Control and Prevention，CDC）同样也能利用采集来的流感数据，发布预警信息。但CDC的流感预测结果，通常需要滞后两周左右才能得以发布。但对于一种飞速传播的疾病（如禽流感等），疫情预警滞后发布，后果可能是致命的。

GFT一度被认为是大数据预测未来的经典案例，给很多人打开了一扇未来的窗口。根据这个故事，大数据的布道者们给出了4个令自己满意的结论：

1. 由于所有数据点都被捕捉到，故传统的抽样统计的方法完全可以被淘汰。换句话说，做到了“n=All”；
2. 无需再寻找现象背后的原因，只需要知道某两者之间的统计相关性就够用了。针对这个案例，只需知道“大量有关流感的搜索指令”和“流感疫情”之间存在相关性就够了。
3. 不再需要统计学模型，只要有大量的数据就能完成分析目的，印证了《连线》主编Chris Anderson 提出的“理论终结”的论调。
4. 大数据分析可得到惊人准确的结果。GFT的预测结果和CDC公布的真实结果相关度高达96%。

但据英国《财经时 》（FT）援引剑桥大学教授David Spiegelhalter毫不客气的评价说 ^[3]，这四条 “完全是胡说八道（complete bollocks. Absolute nonsense）”。

针对前3条观点的不足之处，前文故事已经涉及到了，不再赘言。针对第4条，我们有必要再解析一下——GFT预测是如何失效的p>

谷歌工程师们开发的GFT，可谓轰动一时，但好景不长，相关论文发表4年后，2013年2月13日，《自然》发文指出^【12】，在最近（2012年12月）的一次流感爆发中谷歌流感趋势不起作用了。GFT预测显示某次的流感爆发非常严重，然而疾控中心（CDC）在汇总各地数据以后，发现谷歌的预测结果比实际情况要夸大了几乎一倍，如图7所示。

研究人员发现，问题的根源在于，谷歌工程师并不知道搜索关键词和流感传播之间到底有什么关联，也没有试图去搞清楚关联背后的原因，只是在数据中找到了一些统计特征——相关性。这种做法在大数据分析中很常见。为了提高GFT的预测准确性，谷歌工程师们不断地微调预测算法，但GFT每一次算法微调，都是为了修补之前的测不准，但每次修补又都造成了另外的误差。

谷歌疫情之所以会误 ，还因为大数据分析中存在“预测即干涉”的问题。量子物理创始人之一维尔纳?海森堡（Werner Heisenberg），曾在1927年的一篇论文中指出，在量子世界中，测量粒子位置，必然会影响粒子的速度，即存在“测不准原理”。也就是说，在量子尺度的微距世界中，“测量即干涉”。如今，在媒体热炒的“大数据”世界中，类似于“测不准原理”，即存在“预测即干涉”悖论。

这个“预测即干涉”悖论和“菜农种菜”的现象有“曲艺同工”之处：当年的大白菜卖价不错（历史数据），预计明年的卖价也不错（预测），于是众多菜农在这个预测的指导下，第二年都去种大白菜（采取行动），结果是，菜多价贱伤农（预测失败）。

进一步分析就可发现，GFT预测失准在很大程度上是因为，一旦GFT提到了有疫情，立刻会有媒体 道，就会引发更多相关信息搜索，反过来强化了GFT对疫情的判定。这样下去，算法无论怎么修补，都无法改变其愈发不准确的命运。

《科学》一文还认为，“大数据傲慢(Big Data Hubris)”还体现在，存在一种错误的思维方式，即误认为大数据模式分析出的“统计学相关性”，可以直接取代事物之间真实的因果和联系，从而过度应用这种技术。这就对那些过度推崇“要相关，不要因果”人群，提出了很及时的警告。毕竟，在某个时间很多人搜索“流感”，不一定代表流感真的暴发，完成有可能只是上映了一场关于流感的电影或流行了一个有关流感的段子。

果壳 有一篇对《科学》一文深度解读的文章：“数据并非越大越好：谷歌流感趋势错在哪儿了感兴趣的读者可以前去围观。

苏萌、柏林森和周涛等人合著的《个性化：商业的未来》^【14】，他们强调，“个人化”服务是未来最有前途的商业模式。可这里有个问题，提供“个人化”服务，就需要了解顾客的“个性化信息”，如果顾客许可使用个人信息的，那么这种个性化服务是贴心的，如果没有许可呢p>

下面这个故事就是一则有关商品个性化推荐的，但它体现出来的是数据分析的智慧，还是愚蠢呢。

图8 《纽约时 》：这些公司是如何知道您的秘密的

一家零售商是如何比一位女孩的亲生父亲更早得知其怀孕消息的呢就需要用到“关联规则+预测推荐”技术。

事实上，每位顾客初次到Target刷卡消费时，都会自动获得一个唯一顾客识别编 （ID）。以后，顾客再次光临Target消费时，计算机系统就会自动记录顾客购买的商品、时间等信息。再加上从其它管道取得的统计资料，Target便能形成一个庞大数据库，运用于分析顾客的喜好与需求。

有了数据，特别是有了“大”容量的数据，后面的问题就简单了。Target的数据分析师，开发了很多预测模型，其中怀孕预测模型（pregnancy-prediction model）就是其中的一个。Target通过分析这位女孩的购买记录——无味湿纸巾和补镁药品，就预测到了这为女顾客可能怀孕了，而怀孕了，未来就有可能需要购置婴儿服装和孕妇服装，多么贴心的商店啊。但是需要我们注意的是：

1.这是“大”数据的傲慢，而非聪慧。

由于故事极其具戏剧性——亲生爸爸居然比不上一台电脑更了解自己的女儿，因此，这个故事往往被用来作为“数据比人更了解人”的证明，并在当下，被用来论证大数据的功力。国内有的新闻媒体，对大数据的理解似是而非，针对这个案例的 道标题就是《大数据的功力：比父亲更了解女儿冲击大卖场》^【16】。大数据的无所不能的“傲慢”，跃然纸上。

或许“旁观者清”，信息领域外的上海金融与法律研究院研究员刘远举认为^【17】，这案例并不能说明，数据比人更“聪慧”，更了解人，恰好相反，这证明计算机是“愚蠢的”：还在读高中的女儿，显然想保护自己的隐私，并不想父亲知道，但“愚蠢的”计算机却自作主张，把孕妇优惠卷寄寄到了她家里，结果被爸爸逮个正着。

这正是（大）数据的另一种傲慢——好像有了（大）数据，就可以“君临天下”，对顾客的理解就可做到出神入化，对顾客的隐私就可以肆无忌惮。

2.这并非大数据的案例

进一步分析，我们可以发现，实际上这个例子并不属于大数据的案例，它不需要太强的计算能力，甚至用一台普通的电脑就能实施类似的关联规则分析。很多有关大数据的图书和文章都把这个案例当作大数据的案例来讲，其实是不恰当的。

大数据一般要具备典型的4个V特征，Target收集的消费数据属于典型的结构化数据，即使数量再大，也仅仅满足4V特征之一——Volume（体积大）。但是，“数据大”不等于“大数据”。如果光拼体积“大”，那么早在20年前，天文、物理和生物信息学的数据，也够得上是“大数据”了。《纽约时 》的原文^【15】，非常“厚道”，通篇没有提及“big data（大数据）” 字样。

3.更重要的是，这个神奇的数据预测故事被人为地灌入了很多“心灵鸡汤”。

数据挖掘界的数据分析师、咨询师们有时候同样也需要 “心灵鸡汤”，励志自己，忽悠客户。对此，美国纽约大学统计学教授Kaiser Fung认为^[3]，很多人在看到这个故事时，都误认为Target的预测算法是非常可靠的——几乎每个收到婴儿连体服和湿纸巾优惠券的人，都是孕妇。但这是不可能的！更为实际的情况是，孕妇之所以能收到这些购物券，是因为Target给非常多客户都邮寄了这种购物券。在众多客户中，碰巧有那么一位高中女生“不太可能但却又真地”怀孕了，碰巧那位父亲发现并投诉了，碰巧那位父亲发现自己错了并道歉了，这么多巧合，“无巧不成书”。因为极具有故事性，所以大家都爱听。

各位读者在相信Target这类读心术般的故事之前，首先应该先想想，这类商家的预测命中率到底有多高。这里并不说，数据分析一无是处，相反，数据分析极具商业价值，即使能够把“直邮（Direct Mail，DM）”的准确度提高一点点，哪怕是1%，对商家而言，都将是有利可图的。但能赚钱并不意味着这种工具无所不能、永远正确。

商家能够提供个性化服务，确实很贴心，但倘若在利益的趋势下，商家对顾客的个性化信息运用不当或越界，就会给顾客带来不能承受的隐私之痛。下面我们聊聊有关大数据隐私的故事。

当然，Uber此处虽多为开玩笑之举，但也确实严重侵犯了用户的隐私，在遭到了很多用户及媒体的的抗议，例如，《纽约时 》发表题为《我们不能信任优步》（We Can’t Trust Uber）^【18】。

在遭到用户和媒体抗议以后，Uber迅速删除了这篇博客，但在这个数字时代，一旦上 ，“侯门一入深似海”，踏雪无痕梦难成”。感兴趣的读者仍可访问互联 文档收录 站https://archive.org/，找到这篇文章。

在希腊神话中，伊卡洛斯是个自负的天神，他是代达罗斯的儿子，一天，在与父亲代达罗斯使用蜡和羽毛制造的羽翼逃离克里特岛时，由于他过分相信自己的飞行技，故而飞得太高，双翼上的蜡在太阳照射下融化，羽翼脱落，最终导致自己葬身大海。

大数据技术就犹如那 “蜡和羽毛”做的翅膀，它可以助我们飞得更高，但倘若过分依赖它，就有葬身大海的风险。我们要学会如何让大数据为我所用，而不是成为大数据的奴隶。

参考文献（部分链接，需翻墙才能访问）：
[1]  湖北日 .李国杰：大数据刚刚过了炒作的高峰期.  ,2015-3-30
[2] Gary Marcus and Ernest Davis. Eight (No, Nine!) Problems With Big Data. New York Times.  6, 2014
[3]  Tim Harford. Financial Times. Big data: are we making a big mistakebsp; . March 28, 2014
[4] 池建强. 大数据都是骗人的啊.北京青年 . 
[5]  Phil Simon. Potholes and Big Data: Crowdsourcing Our Way to Better Government.Wried. 
[6]  Jonah Berger. Is Little Data The Next Big Databsp; .
[7]  Steve Lohr. New York Times. 
[8] 李国杰. 对大数据的再认识[J]. 大数据, 2015, 1(1): 2015001.
[9] Shanks B. Scout’s honor: The bravest way to build a winning team[M]. Sterling & Ross Pub Incorporated, 2005.
[9]  Chris Anderson. End of Theory: the Data Deluge Makes the Scientific Method Obsolete.Wired. 
[10] 李国杰. 大数据研究的科学价值[J]. 中国计算机学会通讯, 2012, 8(9): 8-15.
[11] Ginsberg J, Mohebbi M H, Patel R S, et al. Detecting influenza epidemics using search engine query data[J]. Nature, 2009, 457(7232): 1012-1014
[12]  Declan Butler. When Google got flu wrong. Nature news.
[13]  Lazer D, Kennedy R, King G, et al. The parable of Google Flu: traps in big data analysis[J]. Science, 2014, 343(14 March). 
[14]苏萌,柏林森,周涛.个性化：商业的未来[M]. 机械工业出版 , 2012.
[15]  Charles Duhigg. How Companies Learn Your Secrets. 
[16]刘戈（央视经济频道《今日观察》观察员）.  中外管理. 大数据时代：重新定义商业.
[17]  刘远举.大数据的傲慢.百度百家. 
[18]  Zeynep Tufekci and Brayden Kingdec. We Can’t Trust Uber，New York Times . 2014-07.
[19]邱仁宗, 黄雯, 翟晓梅. 大数据技术的伦理问题[J]. 科学与 会, 2014, 4(1): 36-48.