我心中接地气的大数据【前言】

        2015年，“大数据”这个词可谓是炒得热火朝天。回想2014年6月到2015年12月这一年半的时间里，我来到深圳一家拿到500万风投的小公司，在大数据的道路上磕磕碰碰，但也实实在在的玩了一边大数据。我作为一个一线开发人员，讲讲我心中接地气的大数据蓝图。

        大数据并不是一种具体的技术实现，而是为了处理海量数据的解决方案。大数据主要解决三件事情：“存储”、“传输”、“挖掘”。

        存储：一个系统是否有海量数据支撑，在存储方面的要求可谓截然不同。大数据在存储方面要求“存储足够大”、“错误乃常态”。在生产环境中，通常最低要求是能达到10PB（1PB=1024TB）级。在庞大的存储面前，一个星期坏一两块硬盘是很正常的，必须要保证这种情况下，不会破坏数据的完整性。用到的是hadoop的hdfs，hbase，hive。

        传输：在大数据系统面前，各个子系统的功能对服务器的要求各不相同。比如图像计算的子系统，需要高CPU的服务器；索引检索的子系统，需要高内存的服务器等等。在海量数据面前，这些子系统对服务器性能的不同要求显得特别突出。我们不可能把所有的子系统集中在一台超大计算能力的服务器上（比如小型机、中型机、甚至大型机），为什么呢？因为：贵（一台小型机50万上下，中型机500万上下，大型机就是几千万的事情了），而且是个无底洞。这意味这需要一个健壮的RPC框架，把各个子系统放到不能性能要求的普通服务器上，之后在通过TCP来相互通讯，传输数据。用到的是facebook开源的thrift项目来做。

        挖掘：这个是为了让我们的大数据系统展现成果给老板看的。这里更细节的分，应该是“统计”和“发现”。统计：就是为了解决数据库因海量数据而无法短时间得到报表结果的问题。用到的是hadoop的mapreduce，pig。发现：就是发现未知的规律。比如我们耳熟能详的“尿不湿”的故事。用到的是hadoop的 mahout。

        喜欢我分享的内容的朋友，欢迎留言，或加我微信：qinxiongzhou

        我们共同探讨大数据的玩法。