第1章 大数据技术体系概述

大数据是信息化时代迅速发展的产物和必然结果。现如今，我们正在被数据包围，自商业、科学、网页等各方面的数据扑面而来，其规模呈爆炸式增长，大数据时代已经到来。现如今，当谈到大数据定义时都运用比较有代表性的3V定义，即认为大数据需满足以下3个特点：规模性（Volume）、多样性（Variety）和高速性（Velocity）。而IDC认为大数据还应当具有价值性（Value）,IBM认为大数据还必然具有真实性（Veracity）。当然每个企业可以拥有自己不同的理解，但面对实际问题时没必要拘泥于这些现有的定义，只要符合业务规则就可以。伴随着网络和信息技术的不断发展与普及，我们的社会信息已经进入到了大数据时代，所有大量数据的产生和流转都将成为再平常不过的了。目前，全球近50%的人口都在使用互联网，大多数人都拥有一台或多台网络终端设备，随时随地都可以上网，所以全球的数据量也在飞速地增长。到2020年，预计全球的数据使用量将会达到40ZB，每个行业都将会产生并使用大数据，大数据也将成为发展的新趋势，解决大数据问题的核心就是大数据技术。大数据技术和应用一方面给社会、经济和科技的发展带来了深远的影响，另一方面也对数据的获取、管理、安全和应用等技术提出了全新的挑战。