目录
主题
本篇文章主要介绍ZDH-智能营销平台下的标签服务,包含标签的应用场景,计算引擎,标签表达方向
项目源码
zdh_web: GitHub - zhaoyachao/zdh_web: 大数据采集,抽取平台
zdh_magic_mirror: https://github.com/zhaoyachao/zdh_magic_mirror
预览地址
用户名:zyc
密码:123456
安装包下载地址
5.1.1版本之后不支持安装包下载,需要用户下载源码自行编译,源码见第一章节
标签服务
标签服务是营销模块主要的数据来源,用户可以使用多个标签通过交集,并集,排除等算法进行客户的筛选
标签使用场景
标签场景1(值查人):用户输入标签值查询满足此标签的数据(人/物)
标签场景2(人查值):用户根据指定人/物查询对应标签的标签值
根据标签的场景可得2种场景分别对应数据处理部分的离线处理和实时处理,因此标签底层至少有2套服务来共同满足用户的标签需求
在zdh_magic_mirror项目中【值查人】场景对应label模块,【人查值】场景对应variable模块
标签计算引擎
label模块
当前支持3种计算引擎,mysql, hive-sql, spark-sql, presto, 通过sql方式获取标签结果集,本质上支持jdbc类的引擎,由于多种jdbc直接存在兼容性问题,所以采用的语法规范是上述几种,截止到5.3.0版本spark-sql暂未实现,其他几种sql都已实现
variable模块
仅支持redis,人查值场景下,一般用于风控,业务平台,对实时性要求较高,因此选择使用redis,如果对性能要求较高,可通过读写分离,集群方式实现相应部署
标签表达层
以下图为例
可视化表达
通过类似流程图组件,用户可自由构建多标签计算逻辑
计算规则表达
多个标签之间的计算方式只有3种,交集,并集,排除
交集语法:and
并集语法:or
排除语法:not
底层全部采用内存运算,因此当前label模块的限制尽量保持每个标签结果集在2000万以下,具体情况和服务器资源有关,如果服务器内存有128G,在并发量较少的情况下,可支持10亿结果集
标签语法表达
单个标签内的语法,通过参数形式,开放给业务人员,业务人员通过配置参数的值,进行获取标签信息,比如【用户名标签】,配置参数用户名,业务可通过输入用户名进行获取相应的数据信息
标签底层数据建设
标签底层依赖的数据,当前可通过zdh_web的etl能力解决
感谢支持
如果觉得项目有意思可以在github上给个星星和fork, 也可以分享给朋友, zdh_web:GitHub - zhaoyachao/zdh_web: 大数据采集,抽取平台