大数据时代
2010年著名数据科学家维克托.迈尔.舍恩伯格在《经济学人》上发表论文,前瞻性地指出:大数据带来的信息风暴正在变革着我们的生活、工作和思维,大数据正在开启一次重大的时代转型。
2009年的甲型HIN1流感,在短短几周之内迅速传播。互联网巨头谷歌公司的工程师们设立一个系统关注特定检索词条的频繁使用与流感在时间和空间上的传播之间的关系。软件发现了45条检索词条的组合,一旦将它们用于一个数学模型,它们的预测与官方数据的相关性高达97%,和疾控中心一样,它们由此判断出流感是从哪里传播出来的,而且他们的判断非常及时。这是当今社会所独有的一种新型能力;以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务。基于这样的技术理念和数据储备,下一次流感来袭的时候,世界将会拥有一种更加好的预测工具,以预防流感的传播。
哈佛大学首届计算机科学专业的毕业生奥伦.埃齐奥尼在一次飞机票价不等的打击下开发一个系统,这个系统用来推测当前网页上的机票价格是否合理。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。这个预测系统,它帮助虚拟的乘客节省了很多钱。之后这个项目变为风险投资基金支持的科技创业公司,名为farecast,如今,farecast已经拥有惊人的约2000亿条飞行数据记录。
半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。人们不再认为数据是静止和陈旧的。信息总量的变化还导致了信息形态的变化:量变引发了质变。最先经历信息爆炸的学科,如天文学和基因学,创造出了“大数据”这个概念。如今,这个概念几乎应用到了所有人类致力于发展的领域中。
2003年人类第一次破译人体基因密码的时候,幸苦工作了十年才完成了三十亿对碱基对的排序。大约十年之后,世界范围内基因仪每15分钟就可以完成同样的工作。在金融领域,美国股市每天的成交量高达70亿股。而其中三分之二的交易都是由建立在算法公式上的计算机程序完成的。这些程序运用海量数据来预测利益和降低风险。
大数据的核心是预测,它通常被视为人工智能的一部分,或者更确切地说,被视为一种机器学习。大数据不是要教机器像人一样思考。相反,它是把数学算法运用到海量的数据上来预测事情发生的可能性。就像互联网通过给计算机添加通讯功能而改变了世界,大数据也将改变我们生活中最重要的方面,因为它为我们的生活创造了前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。
大数据是大挑战,数据化意味着我们把一切都透明化,甚至包括很多我们以前认为和“信息”根本搭不上边的事情。大数据时代开启了一场寻宝游戏,而人们对于数据的看法以及对于由因果关系向相关关系转化时释放出的潜在价值的态度,正是主宰这场游戏的关键。
大数据目前主要的应用还是在企业中,当然科学研究中的应用也在不断扩展,大数据让许多企业找到许多不曾解决的问题答案,而在此之前企业甚至不知道问题是什么。这可能会产生引出新产品的想法,或者帮助确定改善运营效率的方法。不过,也有一些已经明确的大数据用例,无论是互联网巨头谷歌,和linkedin还是更多的传统企业。
目前大数据所面临困境并不在技术方面,而是在数据流动方面。大数据时代,一个人的智慧并不能帮助我们更好的利用大数据价值,所以要让数据流动起来,让不同的部门和不同的公司都参与进来,进而优化数据。
“更多的人会认为大数据只是用在企业营销方面,但是如果让他们知道大数据可以帮助孩子更好的学习、更好的生活居住条件,以及能够解决城市交通、居住等问题,他们慢慢发现大数据的好处,他们就会关心大数据。”维克托•迈尔•舍恩伯格谈道,“一方面,人们要信任大数据,不要害怕大数据暴露隐私,需要建立完善的大数据保护。不信任就导致人们不愿
意让其他机构知道数据,如果不能使用这些数据就更谈不上大数据的价值。所以只有让他们信任数据,才能挖掘大数据价值。另一方面,一定要接受大数据使用问题,不要赋予大数据过多的意义。”
维克托•迈尔•舍恩伯格理解的大数据赢家,并不是指本来就已经很成功而且在大数据时代同样成功的的公司,“我认为大数据的最大赢家应该是一些默默无闻的公司,因为大数据而发生飞跃性的变化,所以大数据时代最大赢家不可能是那些已经掌握大量数据的大公司,而是新兴创业、年轻人来工作的小公司,帮助他们在大数据时代成为非常有竞争力的企业。所以数据好比一座金山,但是数据在那里放着,这座金山就不会属于你,我们需要做的是了解并挖掘这些‘金子’,成为大数据的赢家。”维克托•迈尔•舍恩伯格如是说。
大数据是看待现实的新角度,不仅改变了市场营销、生产制造,同时也改变了商业模式。数据本身就是价值来源,这也就意味着新的商业机会,没有哪一个行业能对大数据产生“免疫能力”,适应大数据才能在这场变革中继续生存下去。