TecentRec :Real-time Stream Recommendation in practice
-
解决问题
主要解决问题: 数据量大、实时、准确性 -
实时计算平台选取
(1) 支持实时数据统计计算
(2)集群扩展性好
(3)失败恢复快
(4) 活跃度较高的开源工具
(5)简单编程模式,支持多种国语言 -
数据存取(data access)
如何存取大量不同应用且不同格式的数据。开发腾讯TDacces(Tencent Data Access), 为不同的数据集提供统一的接口。
TDAccess集群:
第一:数据服务不需要共享他们的状态给主服务。因此,集群容易线性扩展。
第二:数据服务管理队列的生产和消费。
第三:不同传统消息队,传统消息队列不需要存储消息数据。
TDStore:
包含:配置服务与数据服务 -
协同过滤算法实践
(1)因此反馈问题解决
不同行为设置不同的权重
(2)相似度计算进行拆解为多个部分,然后统计。
(3)实时裁剪
基于霍夫不等式,计算不超过最小相似度的置信度,如果在置信度范围类,则将该pair对进行裁剪。
(4)数据稀疏
基于人口属性聚类,获取群体偏好。
(5)实时过滤机制
通过滑动窗口和实时个性化过滤,获取用户实时兴趣。 通过滑动窗口过滤旧的数据。相似度计算中,只考虑最近的W个会话。