【摘要】大数据的挑战和局限每个人都知道互联网改变了企业经营、政府运作以及人们生活的方式。但是一种新的、不那么明显的技术趋势却有着同样巨大的

大数据的挑战和局限

每个人都知道互联网改变了企业经营、政府运作以及人们生活的方式。但是一种新的、不那么明显的技术趋势却有着同样巨大的变革能力，那就是“大数据”。大数据的趋势发端于下面这个事实：如今到处传播的信息比以往任何时候都多出了许多，而且这一趋势正在应用于非同寻常的新用途。大数据与互联网截然不同，虽然互联网使数据的收集和共享方便了很多。大数据的意义并不仅仅是通信：其本质是我们可以从大量的信息中学习到从较少量的信息中无法获取的东西。
   将改变人类思考方式
    早在公元前3世纪，亚历山大图书馆被认为收藏了全部的人类知识。而如果把当今全世界的信息平分给每一个活着的人，那么每个人拥有的信息量将足足超过当年亚历山大图书馆全部藏书的320倍。如果把所有这些信息刻到光盘上并且分五摞叠起来的话，那么这些光盘可以一直堆到月球。
    这种数据爆炸是相对新鲜的现象。仅仅在2000年的时候，全世界全部的存储信息中还只有四分之一是数字化的，其余的都保存在纸张、胶片和其他模拟介质上。但是由于数字数据数量的增长十分迅速——几乎每三年就翻一番，这种情形很快发生了逆转。如今，在所有存储信息中只有不到2%是非数字化的。
    鉴于如此悬殊的比例，人们免不了在理解大数据的时候仅仅从数量上进行考虑。然而这将会产生误导。大数据的另一个特征是它能够用数据来表现世界的众多层面，而这些层面以往从来都没有被量化过——这种特征可以被称为“数据化”。例如，位置信息的数据化最早是由于经纬度的发明，而最近又有了GPS。当计算机对几个世纪内的书籍进行取样时，文字便成了被处理的数据。甚至连友谊和爱好也被数据化了——例如通过Facebook。
    借助于廉价的电脑内存、高性能处理器、智能算法、聪明软件以及从基本统计学中借鉴来的数学知识，这样的一类数据正在被应用于难以置信的新用途中。这种新方法并不是试图“教会”计算机去从事驾驶或翻译这样的事情，而是要向计算机输入足够多的信息，从而使它们能够推断概率，例如交通指示绿灯亮、红灯不亮的概率，或者是在特定语境下“light”一词意为“光”而不是“轻”的概率。
    以这种方式对大量数据加以利用，要求人们在三个方面彻底改变对数据的态度。第一是收集和使用大量数据，而不是像统计学家们在过去100多年里所做的那样，只满足于少量的数据或样本。第二是抛弃人们对有条理和纯净的数据的偏爱，转而接受杂乱无章——在越来越多的情形下，少许的不精确是可以容忍的。第三，在许多场合，人们需要放弃对事情原委的追究，而代之以对相关性的接纳。利用大数据，而不是试图弄懂发动机抛锚或药物副作用消失的确切原因，研究人员可以收集和分析大量有关此类事件的信息及一切相关素材，找出可能有助于预测未来事件发生的规律。大数据有助于回答是什么、而不是为什么的问题——通常有这样的回答就足够了。
    互联网重塑了人类交流的方式。大数据则不同：它标志着社会处理信息方式的变化。随着时间的推移，大数据可能会改变人们思考世界的方式。随着人们利用越来越多的数据来理解事情和作出决定，人们很可能会发现生活的许多层面是随机的、而不是确定的。
   从因果关系到相关性
    人们看待数据的方式的两个变化——从局部变为全部以及从纯净变为凌乱——催生了第三个变化：从因果关系到相关性。这代表着告别总是试图了解世界运转方式背后深层原因的态度，而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题。
    加拿大的研究人员正在开发一种大数据手段，以便能在明显症状出现之前发现早产婴儿体内的感染。通过把包括心率、血压、呼吸和血氧水平等16种生命体征转化成每秒1000多个数据点的信息流，他们已经能够找到极其轻微的变化与较为严重的问题之间的相关性。最终，这项技术将使医生能够提前采取行动，从而拯救生命。
   大数据所产生的影响将远远超出医学和消费品的范畴：它将深远地改变政府的运作方式和政治的性质。在推动经济增长、提供公共服务或进行战争等方面，那些能够有效利用大数据的人将拥有胜过别人的巨大优势。迄今为止，最令人兴奋的成果出现在市级，在这个级别上获取数据和利用这些信息进行实验要容易一些。纽约市长迈克尔·布隆伯格（他本人就是靠着数据行业发家的）率先进行了一项努力：该市正在利用大数据改善公共服务和降低成本。其中一个例子就是新的火灾预防策略。
    非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉，但市里只有200名处理投诉的巡视员。市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库，并在其中加入市里19个部门所收集到的数据：欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉，诸如此类。接下来，他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较，希望找出相关性。果然，建筑物类型和建造年份是与火灾相关的因素。不过，一个没怎么预料到的结果是，获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。
    利用所有这些数据，该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因，但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的：过去房屋巡视员出现场时签发房屋腾空令的比例只有13%，在采用新办法之后，这个比例上升到了70%——效率大大提高了。
   大数据的挑战和局限
   大数据也正在帮助提高民主政府的透明度。一个建立在“开放数据”概念上的运动已经形成，其诉求超出了目前在发达民主国家已经十分常见的信息自由法。这一运动的支持者呼吁政府把手上浩如烟海的普通数据向公众开放。
    与此同时，在政府推动使用大数据的同时，它们还需要保护公众免受不正当市场垄断的侵害。管理大数据的法规甚至可能成为国家间的角斗场。出于对反托拉斯和保护隐私的关切，欧洲各国政府已经在严查谷歌公司。脸谱网可能会成为世界各地类似行动的打击目标，因为它持有太多的个人数据。外交官们应该准备好围绕是否像对待自由贸易那样对待信息流动展开交锋。
   大数据势必将改变人们生活、工作和思考的方式。建立在强调因果关系基础上的世界观正在受到推崇相关性的挑战。知识的占有曾经意味着对历史的了解，而现在却意味着预言未来的能力。解决大数据所带来的挑战将不是易事。
    在决策越来越多地受到数据支配的世界里，人、直觉或是不顾事实的蛮干还有什么用武之地呢？如果每个人都求助于数据，都利用大数据工具的话，那么不可预测性——例如人类的本能、冒险、意外甚至失误——也许将会成为差异的关键。如果真是这样的话，那么需要专门为人为因素辟出一席之地——即为直觉、常识、运气留出空间，以确保它们不会被数据和机器生成的答案挤走。
    这将对社会进步的观念产生重要影响。大数据使我们可以更快地进行实验，对更多的线索展开探索。这些优势应该会导致更多创新的产生。但在有些时候，发明的火花迸发是数据所无法表现的。倘若亨利·福特当初求助于大数据算法系统来研究顾客希望得到的东西，算法系统得到的答案会是“更快的马匹”，也就不会有福特著名的汽车生产线了。在大数据的世界里，需要培养的恰恰是与人类关系最密切的特性——创造力、直觉和上进心，因为人的聪明才智才是进步的源泉。
   大数据是一种资源和一种工具。它的目的是告知，而不是解释；它意在促进理解，但仍然会导致误解——关键在于人们对它的掌握程度。人们必须以一种不仅欣赏其力量，而且承认其局限的态度来接纳这种技术。