分别是分布式文件系统gfs、大数据分布式计算框架mapreduce和nosql数据库系统bigtable。
2004年那会儿,整个互联网还处于懵懂时代,google发布的论文实在是让业界为之一振,大家恍然大悟,原来还可以这么玩。
因为那个时间段,大多数公司的关注点其实还是聚焦在单机上,在思考如何提升单机的性能,寻找更贵更好的服务器。
而google的思路是部署一个大规模的服务器集群,通过分布式的方式将海量数据存储在这个集群上,然后利用集群上的所有机器进行数据计算。这样,google其实不需要买很多很贵的服务器,它只要把这些普通的机器组织到一起,就非常厉害了。
2006年,dougcutting将这些大数据相关的功能从nutch中分离了出来,然后启动了一个独立的项目专门开发维护大数据技术。
这就是后来赫赫有名的hadoop,主要包括hadoop分布式文件系统hdfs和大数据计算引擎mapreduce。
hadoop发布之后,yahoo很快就用了起来。大概又过了一年到了2007年,百度和阿里巴巴也开始使用hadoop进行大数据存储与计算。
2008年8月由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中将“大数据”这个概念完整的阐述出来。
其实“大数据”这个名词本身出现的还要早,1980年未来学者托夫勒在《第三次浪潮》中首次使用了大数据这个名词。
2002年,美国政府在911之后以反恐的名义开始涉足大数据挖掘领域。
“互联网存在着海量的数据,而这些数据都是人与机器交互产生的。”秦少言用力拍着那几个英文字母,“只要经过就必然留下痕迹,也就是数据。”
“每个人每天会产生多少数据,一周呢?一年呢?一万人和十万人呢?”
“这些数据是什么?是财富是宝藏!”
“互联网公司的价值除了概念以外什么最值钱,当然是数据!”
秦少言随后看向了熊潇歌,“当然,我要在这里插一句,你们做互联网风投的对数据的价值远远低估了。”
熊潇歌刚要张嘴反驳,秦少言马上说道:“不过这个也不能怪你们,是现在的互