典型数据智能项目的数据流程介绍

目前我在某大型互联网公司的AI事业部的数据智能组，主要业务是利用内部数据进行ai业务开发，最近由于内部原因暂时手头工作不是很忙，闲下来整理下这个基本已经初具模型的ai数据业务的整个数据流程。

 

数据流程

首先对整个项目的数据流做下阐述，整个流程如下所示：

      1. 数据来源

      数据通过Nginx反向代理将http服务发送的log日志信息保存在服务器本地，运维使用的是logrotate工具

      2. 数据处理

      这里是整个项目的核心，包括数据清洗、hive数据仓库搭建、特征提取、模型运算、数据分析等等

      具体的流程是：

•       利用data_stream（flume）将本地的log日志数据上传至大数据开发平台的hdfs集群
•       在大数据开发平台上用spark、hive进行数据清洗
•       hive数据仓库搭建，清洗完的数据落入相应表格中
•       业务特征抽取
•       算法模型计算、数据分析计算
•       结果保存

       涉及到的处理语言和技术除算法领域外有azkaban、spark、hive、hadoop、python、java、linux shell等

       3. 结果处理

       这一块的话分为2个方向：

       图表展示：一般的话会用到数据可视化的技术、但由于公司内部本身已经有了成熟的数据可视化的产品，所以直接在上面展示和分析

       结果反馈：该项目是精准定点广告投放业务，算法模型的最终结果是广告投放名单，所以拿到结果之后需要将这些名单发给广告平台进行投放，具体操作是使用广告平台提供的http api进行发送

         4. 额外数据

       主要是利用爬虫去获取一些额外数据，例如广告投放效果反馈数据等

 

总结

本身对于大数据的处理和存储已经有成熟的开源产品（hadoop）和平台（ambrai、hdp），也有商业化较为成熟的产品例如（阿里云数加平台、网易猛犸、网易有数等），所以现在在处理数据大数据相关的问题上较为方便快捷，直接使用成熟的产品进行开发即可，工作量主要集中在数据的ETL、hive仓库构建、算法建模（特征计算、提取等）、结果的应用（图表或者其他方向，这其中又涉及到了BI的内容）

后期的工作方向主要是2块：

• 对于算法的改进和更新
• 工程上如何进行快速的部署和应用甚至是产品化