1.部署阶段
2011—2013年,互联网公司开始实验大数据技术,推出了若干的Hadoop(一个开发和处理大规模数据的软优平台)试点计划或者尝试了一些试点方案,由此出现了诸如“数据科学家”和“首席数据官”等此前并不存在的职位。他们做了很多努力,但是依然没有出现足够多的、可以展示的成果。此时,更多的公司对大数据技术持观望态度,它们寄希望于某个大型供应商可以提供一个一站式解决方案,比如IBM公司,但这种情况并没有出现。
2.生态体系正在成熟
当一部分大数据企业完成了融资,企业规模得到了扩大时,更重要的是它们从早期的失败中获得了宝贵的经验,已经可以提供成熟、经受过考验的产品。其中的佼佼者已经成功上市,比如2015年上市的Hortonworks公司;没上市的也已经获得上亿美元融资,在资金方面看起来不会显得那么单薄,比如Cloudera公司。
随着大数据领域的创业持续进行,公司的数量与日俱增,行业基本趋势也慢慢发生了变化,大数据业务的中心从基础设施(开发者和工程师)转移到了数据分析(数据科学家和分析师),甚至在应用方面已经初露端倪。
3.大数据基础设施持续创新
尽管大数据的重心已经转移,但是基础设施领域的创新仍然富有活力。2015年,ApacheSpark大热,这个利用了内存处理的开源框架受到了IBM、Cloudera等企业的拥护。ApacheSpark的出现解决了一些导致Hadoop采用放缓的关键问题:ApacheSpark数据分析更快,更容易编程,并且跟机器学习能够很好地搭配。
在数据库领域内,出现了很多新兴玩家,也出现了很多令人兴奋的技术进步,比如图形数据库的成熟、专门数据库的出现&#x