大数据

很久没有来写博客了，忙于工作，已经不再公网上发总结很久了。

近些年来大数据很火，从云开始，云过后就是大数据，两者有一定的关系。

大数据在于数据量之大，关系复杂，有人总结为几条特性，这里不列举。

目前只是个开篇，开始继续这里的生涯。

大数据依赖于底层的分布式架构，运行计算的拆分。更加在于深度学习的升温， 机器学习、推荐技术在越来越多的互联网公司得到重视， 很多底层的数据工作跟这相关，最终变现的能力也很大层度依赖于模型，因此有商业利益的诱导，致使更多的企业注重大数据。

在数据层面我的理解如下：

数据工厂：存储大量的数据，主要包括日志行为。

数据关联：引入外部数据，将其与本公司的数据打通关联，发现更多价值。 （数据越多，越能充分利用数据规律，越能挖掘出更有价值的东西）

数据清洗：将数据整理成结构化的形式，或者抽取出更加清洁的能源形式。

数据利用：主要表现为在线使用，广告触发、推荐排序等。

当然，当下大数据的算法重镇-- 深度学习，也是一个桥头堡，兵家必争之地。 在海量数据时代，传统人工特征+机器学习的方式发展到瓶颈。深度学习更加侧重用无监督的发现价值。当然各家公司争相推广，甚至引出**大脑作为宣传，也是包装精美的推销客户大量投钱的利器。