【摘要】大数据需要理性认知 认清大数据 “当前对于大数据最明显的认识误区是把大数据和Hadoop MapReduce划等号，和互联网UGC（用户生成内容）画

大数据需要理性认知

认清大数据
    “当前对于大数据最明显的认识误区是把大数据和Hadoop MapReduce划等号，和互联网UGC（用户生成内容）画等号。”

《计算机世界》：“大数据”是当前最流行的概念，应该怎样理解这个概念？
    潘越：大数据原来只是技术领域里的概念，后来逐渐发展到与产业和商业紧密相关，这导致围绕着大数据的很多观念和做法都发生了转变。过去人们更强调数据本身的价值，只保存“有用的”数据，然后对此做出分析就可以了。但是随着数据管理和数据分析技术的进步，现在已经可以处理更大规模的数据，所以此时就需要考虑数据分析服务的个性化问题，人们对于数据应用的理念也开始发生转变。现在的大数据服务商可以先把各种各样的数据保存下来，包括那些原来被认为是“没有用”的数据，然后进行有针对性的分析和实现按需交付，从而给客户带来快捷和更细化的服务，推动商业的进步。
    《计算机世界》：大数据应用就是保存所有的数据、分析所有的数据？
    潘越：把数据尽可能地保存并不是说把数据像堆杂物一样地储存，而是需要对数据进行组织和管理，IBM称之为数据治理，意思就是把数据当做资产来看待。资产肯定包括不同的类型，数据也一样。
    对一个企业来说，它的主数据就是核心资产，其中可能包括客户信息、产品信息、供应商信息等。核心资产非常重要，也经常要被使用，所以必须保证其在安全和高效的环境下得到利用和保护；还有一类数据关系到企业的业绩水平，它将决定企业的运营做得好还是不好，体现出的是绩效管理的结果，这部分数据由数据仓库支持；第三类则是关系到企业未来的数据，它们的价值在于“潜力”，比如原始单据就是这类数据，企业有可能从中挖掘出新价值，让自己的业务做得更好、更有前景，它们是“内容管理”的对象；此外还有一类“很快的数据”，它们是需要迅速得出处理结果的数据。比如一个客户来了，企业马上就要分析出该客户的兴趣点是什么、与其他客户有何关联关系等，以便及时做出最有效的应对。这种数据的形态与前几种都不同，它们需要以流数据的方式进行处理。
    需要指出的是，每一类数据都有一个生命周期，都有一个从获取、管理、应用，到用于决策支持的过程。
    《计算机世界》：大数据应用发展到理想状态，企业就可以精准预测客户需求，提前解决供应问题吗？人们对大数据的认识是否有误区？
    潘越：1974年的诺贝尔经济学奖得主哈耶克，他发表的获奖演说题为《知识的伪装》，其中说到：“随着科学知识的增加，我们高估了自己理解构成世界的微妙变化能力，也高估了我们对每个变化的重要性做出判断的能力。”所以，无所不知只是人的错觉。现在很多研究者制作出一些精确的数学模型，认为这就是因果模型，但其实它们是关联模型。同样，大数据本身也不能帮你得出因果关系，而只能显现关联关系。
    当前对于大数据最明显的认识误区是把大数据和Hadoop MapReduce画等号，和互联网UGC画等号。其实MapReduce只对处理大数据中的一类数据有效，而且只是一种处理方法。互联网UGC也只是大数据分类中的一部分，许多行业都有待挖掘的大数据资源，包括传统零售行业、医疗行业、政府信息等。
   数据就是资产
    “各行各业都有大规模的数据资源，只不过因为种种原因，很多没有开放，只要有合理的机制解决开放问题，让数据能在被充分保护的基础上加以利用，就能发掘出很多大数据的应用机会。”
    《计算机世界》：大数据时代，IBM追寻怎样的目标？
    潘越：IBM总的原则就是：为客户创造价值。在大数据方面，IBM所做的是帮助客户确认数据资产，对数据资产进行有效管理和有效利用，让数据资源长久为客户服务，这是我们的基本原则。短时期内，IBM的目标是通过自己的技术、产品和服务，帮助客户管好、用好数据资源。而在将来，IBM一方面希望更深层次地利用现有或者可能产生的数据，进一步挖掘数据的价值；另一方面，IBM认为数据既然是资产，就可以进行交易，未来是否可以把数据资产定价，像别的资产一样自由交易，又该怎样进行交易，这个问题IBM正在研究。
    《计算机世界》：当前在行业应用方面，IBM的大数据能力体现在哪里？
    潘越：目前零售行业是大数据应用非常活跃的领域，在中国，IBM跟王府井百货和苏宁都有合作，用大数据技术和服务帮助这些传统零售商在向电商形态转变。事实上，传统的零售商也有自己的优势，比如它的物流系统要比第三方更稳定可靠，所以在电商领域他们有自己的后发优势，当这种优势与大数据技术得到良好结合，他们的电商之路一定会顺畅很多。另外，医疗行业也是大数据应用的重要行业，超级电脑Watson就在朝这个方向努力。
    Watson是一个问答系统，可以根据病人的病历、分析文献和其他医生的意见，给出一个诊断决策。目前Watson在医疗领域已经有应用案例，比如IBM和美国最大的保险公司WellPoint就在进行相关合作。更重要的是，IBM将Watson与大数据结合在一起，还在于探索解决非结构化数据的处理问题，尤其是多媒体数据，包括图像、视频等等。比如医学影像通常需要专业的医生去解读，而IBM现在试图让Watson也去完成这类解读，这是一个很大的挑战，但是如果能够探索出解决办法，无疑将对医疗行业的发展带来巨大推动力。
    《计算机世界》：用户生成内容是大数据的重要来源，这是否意味着互联网企业在大数据时代的话语权最大？
    潘越：短期来讲互联网企业很有优势，因为他们既是数据的生产者，也是数据的利用者，他们可以很方便地把数据用于改善用户体验，由此便获得了先天的话语权。但从长远来看，大数据的应用远远不限于互联网，就好像采矿，最初都会挖一些容易探到的矿产，生产出来的产品也都比较初级，然而当行业发展成熟，下游产品越来越丰富，后续的探索会更加有价值。比如石油资源可以支持化工行业，化工业的价值要比初级的炼油高得多。所以，数据的后续深挖能力，也将决定大数据领域企业的份量。另外，当把浅层的矿产挖完后，就需要具备更强的探矿能力，把用户生成数据理顺以后，对于其他类型的数据是否具备处理能力会显得更加重要。其实，各行各业都有大规模的数据资源，只不过因为种种原因，很多没有开放，只要有合理的机制解决开放问题，让数据能在被充分保护的基础上加以利用，就能发掘出很多大数据的应用机会。所以在将来，一定不是非互联网企业就没有掌控大数据产业话语权的机会。
    《计算机世界》：IBM认为大数据和目前正在不断推进的认知计算的交汇点在哪里？认知计算将会是最理想的大数据计算方式吗？
    潘越：认知计算，从狭义来讲，是计算机和心理学以及神经生物学交叉的研究领域。现在相关概念被扩大化了，能跟人有自然接口的、可以学习的系统，都被称为认知计算。最近认知计算领域进展比较快，有两个原因：一是因为硬件技术的进步，现在已经能够更大规模地建立神经网络，IBM有一个项目就是在研究利用立体的集成电路去搭建一个高密度的神经网络，现在能做到类猫脑的程度，最终的目标是构建一个达到人脑级别的神经网络；第二，当前计算领域，算法方面有很大的提高。在认知计算领域，越是基本的概念机器越难学会表达，以前这是计算方面的难点，而现在这一块有了突破。
    不过目前，认知计算和大数据还是各做各的，没有完全融合，未来如果两者能很好地结合，将带来无限可能。事实上，认知计算属于人工智能范畴，而人工智能一直是IBM特别关注的领域，因此把认知计算和大数据应用的能力协调发挥，也是IBM的努力方向。