实时产生推荐结果

最新推荐文章于 2023-06-20 09:28:19 发布
最新推荐文章于 2023-06-20 09:28:19 发布
阅读量275 收藏 1
点赞数
分类专栏： 人工智能 个性化推荐系统 文章标签： 人工智能 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zimiao552147572/article/details/106795768
版权

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

六 实时产生推荐结果

6.1 推荐任务处理

  • CTR预测模型 + 特征 ==> 预测结果 ==> TOP-N列表
  • 特征获取
import redis
import json
import pandas as pd
from pyspark.ml.linalg import DenseVector


def create_datasets(userId, pid):
    client_of_recall = redis.StrictRedis(host="192.168.19.137", port=6379, db=9)
    client_of_features = redis.StrictRedis(host="192.168.19.137", port=6379, db=10)
    # 获取用户特征
    user_feature = json.loads(client_of_features.hget("user_features", userId))

    # 获取用户召回集
    recall_sets = client_of_recall.smembers(userId)

    result = []

    # 遍历召回集
    for adgroupId in recall_sets:
        adgroupId = int(adgroupId)
        # 获取该广告的特征值
        ad_feature = json.loads(client_of_features.hget("ad_features", adgroupId))

        features = {}
        features.update(user_feature)
        features.update(ad_feature)

        for k,v in features.items():
            if v is None:
                features[k] = -1

        features_col = [
            # 特征值
            "price",
            "cms_group_id",
            "final_gender_code",
            "age_level",
            "shopping_level",
            "occupation",
            "pid", 
            "pvalue_level",
            "new_user_class_level"
        ]
        '''
        "cms_group_id", 类别型特征，约13个分类 ==> 13维
        "final_gender_code", 类别型特征，2个分类 ==> 2维
        "age_level", 类别型特征，7个分类 ==>7维
        "shopping_level", 类别型特征，3个分类 ==> 3维
        "occupation", 类别型特征，2个分类 ==> 2维
        '''

        price = float(features["price"])

        pid_value = [0 for i in range(2)]#[0,0]
        cms_group_id_value = [0 for i in range(13)]
        final_gender_code_value = [0 for i in range(2)]
        age_level_value = [0 for i in range(7)]
        shopping_level_value = [0 for i in range(3)]
        occupation_value = [0 for i in range(2)]
        pvalue_level_value = [0 for i in range(4)]
        new_user_class_level_value = [0 for i in range(5)]

        pid_value[pid_rela[pid]] = 1
        cms_group_id_value[cms_group_id_rela[int(features["cms_group_id"])]] = 1
        final_gender_code_value[final_gender_code_rela[int(features["final_gender_code"])]] = 1
        age_level_value[age_level_rela[int(features["age_level"])]] = 1
        shopping_level_value[shopping_level_rela[int(features["shopping_level"])]] = 1
        occupation_value[occupation_rela[int(features["occupation"])]] = 1
        pvalue_level_value[pvalue_level_rela[int(features["pvalue_level"])]] = 1
        new_user_class_level_value[new_user_class_level_rela[int(features["new_user_class_level"])]] = 1
 #         print(pid_value)
#         print(cms_group_id_value)
#         print(final_gender_code_value)
#         print(age_level_value)
#         print(shopping_level_value)
#         print(occupation_value)
#         print(pvalue_level_value)
#         print(new_user_class_level_value)

        vector = DenseVector([price] + pid_value + cms_group_id_value + final_gender_code_value\
        + age_level_value + shopping_level_value + occupation_value + pvalue_level_value + new_user_class_level_value)

        result.append((userId, adgroupId, vector))

    return result

# create_datasets(88, "430548_1007")
  • 载入训练好的模型
from pyspark.ml.classification import LogisticRegressionModel
CTR_model = LogisticRegressionModel.load("hdfs://localhost:9000/models/CTRModel_AllOneHot.obj")
pdf = pd.DataFrame(create_datasets(8, "430548_1007"), columns=["userId", "adgroupId", "features"])
datasets = spark.createDataFrame(pdf)
datasets.show()

显示结果:

+------+---------+--------------------+
|userId|adgroupId|            features|
+------+---------+--------------------+
|     8|   445914|[9.89999961853027...|
|     8|   258252|[7.59999990463256...|
|     8|   129682|[8.5,1.0,0.0,1.0,...|
|     8|   763027|[68.0,1.0,0.0,1.0...|
|     8|   292027|[16.0,1.0,0.0,1.0...|
|     8|   430023|[34.2000007629394...|
|     8|   133457|[169.0,1.0,0.0,1....|
|     8|   816999|[5.0,1.0,0.0,1.0,...|
|     8|   221714|[4.80000019073486...|
|     8|   186334|[106.0,1.0,0.0,1....|
|     8|   169717|[2.20000004768371...|
|     8|    31314|[15.8000001907348...|
|     8|   815312|[2.29999995231628...|
|     8|   199445|[5.0,1.0,0.0,1.0,...|
|     8|   746178|[16.7999992370605...|
|     8|   290950|[6.5,1.0,0.0,1.0,...|
|     8|   221585|[18.5,1.0,0.0,1.0...|
|     8|   692672|[47.0,1.0,0.0,1.0...|
|     8|   797982|[33.0,1.0,0.0,1.0...|
|     8|   815219|[2.40000009536743...|
+------+---------+--------------------+
only showing top 20 rows

prediction = CTR_model.transform(datasets).sort("probability")
prediction.show()

+------+---------+--------------------+--------------------+--------------------+----------+
|userId|adgroupId|            features|       rawPrediction|         probability|prediction|
+------+---------+--------------------+--------------------+--------------------+----------+
|     8|   631204|[19888.0,1.0,0.0,...|[2.69001234046578...|[0.93643471623189...|       0.0|
|     8|   583215|[3750.0,1.0,0.0,1...|[2.69016170680037...|[0.93644360664433...|       0.0|
|     8|   275819|[3280.0,1.0,0.0,1...|[2.69016605691669...|[0.93644386554961...|       0.0|
|     8|   401433|[1200.0,1.0,0.0,1...|[2.69018530849532...|[0.93644501133142...|       0.0|
|     8|    29466|[640.0,1.0,0.0,1....|[2.69019049161265...|[0.93644531980785...|       0.0|
|     8|   173327|[356.0,1.0,0.0,1....|[2.69019312019358...|[0.93644547624893...|       0.0|
|     8|   241402|[269.0,1.0,0.0,1....|[2.69019392542787...|[0.93644552417271...|       0.0|
|     8|   351366|[246.0,1.0,0.0,1....|[2.69019413830591...|[0.93644553684221...|       0.0|
|     8|   229827|[238.0,1.0,0.0,1....|[2.69019421235044...|[0.93644554124900...|       0.0|
|     8|   164807|[228.0,1.0,0.0,1....|[2.69019430490611...|[0.93644554675747...|       0.0|
|     8|   227731|[199.0,1.0,0.0,1....|[2.69019457331754...|[0.93644556273205...|       0.0|
|     8|   265403|[198.0,1.0,0.0,1....|[2.69019458257311...|[0.93644556328290...|       0.0|
|     8|   569939|[188.0,1.0,0.0,1....|[2.69019467512877...|[0.93644556879138...|       0.0|
|     8|   277335|[181.5,1.0,0.0,1....|[2.69019473528996...|[0.93644557237189...|       0.0|
|     8|   575633|[180.0,1.0,0.0,1....|[2.69019474917331...|[0.93644557319816...|       0.0|
|     8|   201867|[179.0,1.0,0.0,1....|[2.69019475842887...|[0.93644557374900...|       0.0|
|     8|    25542|[176.0,1.0,0.0,1....|[2.69019478619557...|[0.93644557540155...|       0.0|
|     8|   133457|[169.0,1.0,0.0,1....|[2.69019485098454...|[0.93644557925748...|       0.0|
|     8|   494224|[169.0,1.0,0.0,1....|[2.69019485098454...|[0.93644557925748...|       0.0|
|     8|   339382|[163.0,1.0,0.0,1....|[2.69019490651794...|[0.93644558256256...|       0.0|
+------+---------+--------------------+--------------------+--------------------+----------+
only showing top 20 rows
  • TOP-20
# TOP-20
prediction.select("adgroupId").head(20)

显示结果:

[Row(adgroupId=631204),
 Row(adgroupId=583215),
 Row(adgroupId=275819),
 Row(adgroupId=401433),
 Row(adgroupId=29466),
 Row(adgroupId=173327),
 Row(adgroupId=241402),
 Row(adgroupId=351366),
 Row(adgroupId=229827),
 Row(adgroupId=164807),
 Row(adgroupId=227731),
 Row(adgroupId=265403),
 Row(adgroupId=569939),
 Row(adgroupId=277335),
 Row(adgroupId=575633),
 Row(adgroupId=201867),
 Row(adgroupId=25542),
 Row(adgroupId=133457),
 Row(adgroupId=494224),
 Row(adgroupId=339382)]

[i.adgroupId for i in prediction.select("adgroupId").head(20)]

显示结果:

[631204,
 583215,
 275819,
 401433,
 29466,
 173327,
 241402,
 351366,
 229827,
 164807,
 227731,
 265403,
 569939,
 277335,
 575633,
 201867,
 25542,
 133457,
 494224,
 339382]
# 推荐任务处理：CTR预测模型 + 特征 ==> 预测结果 ==> TOP-N列表
# 特征获取
import redis
import json
import pandas as pd
from pyspark.ml.linalg import DenseVector

# userId（用户ID）、pid（广告位ID）
def create_datasets(userId, pid):
    client_of_recall = redis.StrictRedis(host="192.168.19.137", port=6379, db=9)
    client_of_features = redis.StrictRedis(host="192.168.19.137", port=6379, db=10)
    # 获取用户特征："user_features"为大key，userId（用户ID）为小key，获取出来的是value（用户特征值feature_cols_from_user）
    user_feature = json.loads(client_of_features.hget("user_features", userId))

    # 获取该用户userId对应的召回集(500个adgroupId(商品ID))。之前是通过client.sadd(userId, *ret)把userId对应的500个adgroupId(商品ID)存储到redis。
    recall_sets = client_of_recall.smembers(userId)
    result = []
    # 遍历用户的召回集：每个adgroupId（商品ID）
    for adgroupId in recall_sets:
        adgroupId = int(adgroupId)
        # 获取该广告的特征值。"ad_features"为大key，adgroupId（商品ID）为小key，获取出的value为商品价格price
        ad_feature = json.loads(client_of_features.hget("ad_features", adgroupId))

        features = {}
        features.update(user_feature)
        features.update(ad_feature)

        for k,v in features.items():
            if v is None:
                features[k] = -1 #把空值替换为-1

        features_col = [
            # 特征值
            "price",
            "cms_group_id",
            "final_gender_code",
            "age_level",
            "shopping_level",
            "occupation",
            "pid", 
            "pvalue_level",
            "new_user_class_level"
        ]
        '''
        "cms_group_id", 类别型特征，约13个分类 ==> 13维
        "final_gender_code", 类别型特征，2个分类 ==> 2维
        "age_level", 类别型特征，7个分类 ==>7维
        "shopping_level", 类别型特征，3个分类 ==> 3维
        "occupation", 类别型特征，2个分类 ==> 2维
        '''

	#第一种one-hot化写法：Pipeline(stages=[StringIndexer, OneHotEncoder])
	#	该写法特点：每次使用StringIndexer进行转换时每个类型的值变成是哪个索引值是随机的
	#	stringindexer = StringIndexer(inputCol='pid', outputCol='pid_feature')
	#	encoder = OneHotEncoder(dropLast=False, inputCol='pid_feature', outputCol='pid_value')
	#	pipeline = Pipeline(stages=[stringindexer, encoder])
	#	pipeline_model = pipeline.fit(raw_sample_df)
	#	new_df = pipeline_model.transform(raw_sample_df)
	#	new_df.show()
	#第二种one-hot化写法：
	#	pid_value = [0 for i in range(2)] # pid有两种类型的值，因此先初始化one-hot向量为2个0，-1也是其中一种类型的值，-1代表空值。
	#	pid_value[pid_rela[pid]] = 1 # pid_rela如图所示，根据pid实际值最终给初始化one-hot向量中对应的索引位置上设为1。

        price = float(features["price"])
        pid_value = [0 for i in range(2)] #[0,0]
        cms_group_id_value = [0 for i in range(13)]
        final_gender_code_value = [0 for i in range(2)]
        age_level_value = [0 for i in range(7)]
        shopping_level_value = [0 for i in range(3)]
        occupation_value = [0 for i in range(2)]
        pvalue_level_value = [0 for i in range(4)]
        new_user_class_level_value = [0 for i in range(5)]

        pid_value[pid_rela[pid]] = 1
        cms_group_id_value[cms_group_id_rela[int(features["cms_group_id"])]] = 1
        final_gender_code_value[final_gender_code_rela[int(features["final_gender_code"])]] = 1
        age_level_value[age_level_rela[int(features["age_level"])]] = 1
        shopping_level_value[shopping_level_rela[int(features["shopping_level"])]] = 1
        occupation_value[occupation_rela[int(features["occupation"])]] = 1
        pvalue_level_value[pvalue_level_rela[int(features["pvalue_level"])]] = 1
        new_user_class_level_value[new_user_class_level_rela[int(features["new_user_class_level"])]] = 1
#         print(pid_value)
#         print(cms_group_id_value)
#         print(final_gender_code_value)
#         print(age_level_value)
#         print(shopping_level_value)
#         print(occupation_value)
#         print(pvalue_level_value)
#         print(new_user_class_level_value)

        # DenseVector稠密向量(矩阵)：每个变量值之间使用逗号拼接在一起。比如[18.5,1.0,0.0,1.0... 代表price为[18.5]，pid_value为[1.0,0.0]等等
        vector = DenseVector([price] + pid_value + cms_group_id_value + final_gender_code_value\
        + age_level_value + shopping_level_value + occupation_value + pvalue_level_value + new_user_class_level_value)

        result.append((userId, adgroupId, vector))

    return result

# create_datasets(88, "430548_1007")
# 载入训练好的模型
from pyspark.ml.classification import LogisticRegressionModel
CTR_model = LogisticRegressionModel.load("hdfs://localhost:9000/models/CTRModel_AllOneHot.obj")
# userId（用户ID）为8，pid（广告位ID）为"430548_1007"。
# ["userId", "adgroupId", "features"] 对应的是 result中的 (userId, adgroupId, vector)
pdf = pd.DataFrame(create_datasets(8, "430548_1007"), columns=["userId", "adgroupId", "features"])
datasets = spark.createDataFrame(pdf)
datasets.show()

显示结果:
+------+---------+--------------------+
|userId|adgroupId|            features|
+------+---------+--------------------+
|     8|   445914|[9.89999961853027...|
|     8|   258252|[7.59999990463256...|
|     8|   129682|[8.5,1.0,0.0,1.0,...|
|     8|   763027|[68.0,1.0,0.0,1.0...|
|     8|   292027|[16.0,1.0,0.0,1.0...|
|     8|   430023|[34.2000007629394...|
|     8|   133457|[169.0,1.0,0.0,1....|
|     8|   816999|[5.0,1.0,0.0,1.0,...|
|     8|   221714|[4.80000019073486...|
|     8|   186334|[106.0,1.0,0.0,1....|
|     8|   169717|[2.20000004768371...|
|     8|    31314|[15.8000001907348...|
|     8|   815312|[2.29999995231628...|
|     8|   199445|[5.0,1.0,0.0,1.0,...|
|     8|   746178|[16.7999992370605...|
|     8|   290950|[6.5,1.0,0.0,1.0,...|
|     8|   221585|[18.5,1.0,0.0,1.0...|
|     8|   692672|[47.0,1.0,0.0,1.0...|
|     8|   797982|[33.0,1.0,0.0,1.0...|
|     8|   815219|[2.40000009536743...|
+------+---------+--------------------+
only showing top 20 rows

# 概率"probability"，预测值"prediction"(0代表不被点击，1代表被点击)。
# sort("probability")：按概率"probability"升序排列数据，"probability"表示预测结果的概率。
# 模型预测：不被点击的概率越低也就是被点击的概率越高
prediction = CTR_model.transform(datasets).sort("probability")
prediction.show()

显示结果:
+------+---------+--------------------+--------------------+--------------------+----------+
|userId|adgroupId|            features|       rawPrediction|         probability|prediction|
+------+---------+--------------------+--------------------+--------------------+----------+
|     8|   631204|[19888.0,1.0,0.0,...|[2.69001234046578...|[0.93643471623189...|       0.0|
|     8|   583215|[3750.0,1.0,0.0,1...|[2.69016170680037...|[0.93644360664433...|       0.0|
|     8|   275819|[3280.0,1.0,0.0,1...|[2.69016605691669...|[0.93644386554961...|       0.0|
|     8|   401433|[1200.0,1.0,0.0,1...|[2.69018530849532...|[0.93644501133142...|       0.0|
|     8|    29466|[640.0,1.0,0.0,1....|[2.69019049161265...|[0.93644531980785...|       0.0|
|     8|   173327|[356.0,1.0,0.0,1....|[2.69019312019358...|[0.93644547624893...|       0.0|
|     8|   241402|[269.0,1.0,0.0,1....|[2.69019392542787...|[0.93644552417271...|       0.0|
|     8|   351366|[246.0,1.0,0.0,1....|[2.69019413830591...|[0.93644553684221...|       0.0|
|     8|   229827|[238.0,1.0,0.0,1....|[2.69019421235044...|[0.93644554124900...|       0.0|
|     8|   164807|[228.0,1.0,0.0,1....|[2.69019430490611...|[0.93644554675747...|       0.0|
|     8|   227731|[199.0,1.0,0.0,1....|[2.69019457331754...|[0.93644556273205...|       0.0|
|     8|   265403|[198.0,1.0,0.0,1....|[2.69019458257311...|[0.93644556328290...|       0.0|
|     8|   569939|[188.0,1.0,0.0,1....|[2.69019467512877...|[0.93644556879138...|       0.0|
|     8|   277335|[181.5,1.0,0.0,1....|[2.69019473528996...|[0.93644557237189...|       0.0|
|     8|   575633|[180.0,1.0,0.0,1....|[2.69019474917331...|[0.93644557319816...|       0.0|
|     8|   201867|[179.0,1.0,0.0,1....|[2.69019475842887...|[0.93644557374900...|       0.0|
|     8|    25542|[176.0,1.0,0.0,1....|[2.69019478619557...|[0.93644557540155...|       0.0|
|     8|   133457|[169.0,1.0,0.0,1....|[2.69019485098454...|[0.93644557925748...|       0.0|
|     8|   494224|[169.0,1.0,0.0,1....|[2.69019485098454...|[0.93644557925748...|       0.0|
|     8|   339382|[163.0,1.0,0.0,1....|[2.69019490651794...|[0.93644558256256...|       0.0|
+------+---------+--------------------+--------------------+--------------------+----------+
only showing top 20 rows


# TOP-20
prediction.select("adgroupId").head(20)

显示结果:
[Row(adgroupId=631204),
 Row(adgroupId=583215),
 Row(adgroupId=275819),
 Row(adgroupId=401433),
 Row(adgroupId=29466),
 Row(adgroupId=173327),
 Row(adgroupId=241402),
 Row(adgroupId=351366),
 Row(adgroupId=229827),
 Row(adgroupId=164807),
 Row(adgroupId=227731),
 Row(adgroupId=265403),
 Row(adgroupId=569939),
 Row(adgroupId=277335),
 Row(adgroupId=575633),
 Row(adgroupId=201867),
 Row(adgroupId=25542),
 Row(adgroupId=133457),
 Row(adgroupId=494224),
 Row(adgroupId=339382)]


[i.adgroupId for i in prediction.select("adgroupId").head(20)]

显示结果:
[631204,
 583215,
 275819,
 401433,
 29466,
 173327,
 241402,
 351366,
 229827,
 164807,
 227731,
 265403,
 569939,
 277335,
 575633,
 201867,
 25542,
 133457,
 494224,
 339382]

あずにゃん
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
推荐系统（六）：实时产生推荐结果、推荐任务处理
汪雯琦的博客
03-15 3696
文章目录六 实时产生推荐结果6.1 推荐任务处理 六 实时产生推荐结果 6.1 推荐任务处理 CTR预测模型 + 特征 ==> 预测结果 ==> TOP-N列表 特征获取 import redis import json import pandas as pd from pyspark.ml.linalg import DenseVector def create_da...
推荐系统特征的实时性
给我一点温度
08-04 3405
目录 为什么说推荐系统的实时性是重要的？ 推荐系统“特征”的实时性 客户端实时特征 流处理平台的准实时特征处理 分布式批处理平台的全量特征处理 为什么说推荐系统的实时性是重要的？ 为了证明推荐系统实时性和推荐系统效果的关系，Facebook曾利用GBDT+LR模型和单纯的树模型进行过实时性的实验。 上图中横轴代表的是模型训练结束到模型测试的时间间隔（天数），纵轴是损失函数Nor...
第九章 - 多表查询（join，left join 等），合并查询（union & union all），子查询
M冰的博客
02-21 1094
多表查询（join，left join 等）的使用 合并查询（union 和 union all） 的使用介绍
大数据平台实战——实时推荐系统
boolbirdm的博客
06-20 1460
其次就是在答辩的时候老师提出的我不在流里边进行推荐发送和文件应该覆盖存储的问题，由于时间关系我解决了第一个，思路是离线训练模型，在线调用训练好的模型进行推荐处理。打开一个Kafka消息发送窗口，单独使用一个Topic，发送用户ID和他浏览的商品ID给Spark Streaming，程序应考虑到用户的并发访问，要支持多个用户ID同时发送和处理。最后经过这两周的实践课，自己感觉对于流处理实时处理的流程，大致细节有了更多的了解，对于自己以后的学习也会更加的努力和坚定。打开接收端接收返回每个用户的推荐商品。
推荐系统数据集
yichudu
12-11 5382
RecSys 2015 见参考[1]. RecSys Challenge 2015. 一家电商网站的点击和购买日志. train set Session ID, Timestamp ,Item ID ,Category ,Price , Quantity (how many of this item were bought) test set Session ID,Timestamp,Item ...
推荐系统原理
然后就去远行
09-04 531
当今社会进入一个数据“爆炸”的时代，如何让用户更快地找到想要的数据，如何让用户发现自己潜在的兴趣和需求，这对于各行各业都在互联网化的社会是至关重要的。因此，推荐引擎受到了大家越来越多的关注。 推荐引擎和传统搜索引擎不一样的地方在于，用户其实并不清楚自己的需求，或者他们的需求很难用简单的关键字来表述，又或者他们需要更加符合自身口味和喜好的结果，因此就出现了基于用户需求、口味、喜好的信息发现机制的推荐系统。 最简答的推荐系统流程如下所示： 构成推荐系统的主要元素如下： 物品集合：要推荐的物品或内容，例如商品
实时个性化推荐综述
GFDGFHSDS的博客
04-03 1506
随着互联网的深入发展和产品布局的多元化，越来越多的企业通过提供快节奏的产品及服务消耗用户的碎片化时间，从而赢得用户的青睐。这类产品通过便捷的UI交互来跟用户进行实时互动，在极短的时间内给用户“奖赏”，让用户欲罢不能，根本停不下来。这类产品普遍用到的一个技术就是实时个性化推荐技术。 相比于传统的个性化推荐每天更新用户的推荐结果，实时推荐基于用户最近几秒的行为实时调整用户的推荐结果。实时推荐系统让用户...
基于局部敏感哈希技术的能耗社区实时推荐系统
04-01
能耗社区是以用户为中心、绿色节能为主题的在线社区,它具有用户类别多,...实验结果表明,本文提出的在线实时推荐系统能够在尽量降低数据处理量的情况下保证推荐质量,并根据用户当前在线行为,实时推荐用户感兴趣的内容.
毕设项目：商品大数据实时推荐系统
07-31
推荐模块：包含离线推荐和实时推荐，离线推荐负责把推荐结果存储到存储系统中实时推荐负责产生实时的消息队列，并且消费实时消息产生推荐结果，最后存储在存储模块中。 数据展示模块：负责展示项目中所用的数据。 ...
flink-commodity-recommendation-system:基于Flink的商品实时推荐系统。当用户产生评分行为时，数据由kafka发送到flink，根据用户历史评分行为进行实时和离线推荐。实时推荐包括：基于行为和实时热门，离线推荐包括：历史热门，历史优质商品和itemcf
03-11
Flink商品推荐系统Recs 1.前言系统使用入门的Recs ，灵感源于Recommendation System 。徽标使用在线徽标网站制作。作者开发该项目，是为了学习Flink以及相关的大数据中间件。出于展示目的，使用Springboot + Vue开发...
基于Spark的实时推荐系统，使用MovieLens作为测试数据集.zip
最新发布
09-01
实时预测阶段，利用训练好的模型对新产生的用户行为数据进行实时分析，生成推荐结果。 推荐算法是推荐系统的核心部分。协同过滤是最常见的推荐方法，分为基于用户的协同过滤和基于物品的协同过滤。前者通过找到与...
mapreduce编程 好友推荐
11-01
此外，为了实时性，可以结合Apache Spark或Apache Flink这样的流处理框架，对新产生的数据进行实时计算，提供实时的好友推荐。 总的来说，通过MapReduce编程，我们可以有效地处理社交网络中的大规模数据，实现高效...
人工智能AI：TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part1
热门推荐
あずにゃん梓喵的博客
06-18 3万+
日萌社 github标星11600+：最全的吴恩达机器学习课程资源（完整笔记、中英文字幕视频、python作业，提供百度云镜像！） Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战 用户画像 C、C++笔记 JavaWeb+大数据笔记 CDH 6、CDH5 Python笔记 链接：https://pan.baidu.com/s/1...
推荐算法：协同过滤推荐算法、相似度计算
あずにゃん梓喵的博客
07-08 3343
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 1.3 推荐算法 学习目标 了解推荐模型构建流程 理解协同过滤原理 记忆相似度计算方法 应用杰卡德相似度实现简单协同过滤推荐案例 1 推荐模型构建流程 Data(数据)->Features(特征)->ML Algorithm(选择算法训练模型)->Prediction Output(预测输出) 数据清洗/数据处.
基于TF-IDF的特征提取技术：基于内容的电影推荐（物品画像、用户画像、为用户产生TOP-N推荐结果）
あずにゃん梓喵的博客
07-06 2206
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 基于内容的电影推荐：物品画像 物品画像构建步骤： 利用tags.csv中每部电影的标签作为电影的候选关键词 利用TF·IDF计算每部电影的标签的tfidf值，选取TOP-N个关键词作为电影画像标签 将电影的分类词直接作为每部电影的画像标签 基于TF-IDF的特征提取技术 前面提到，物品画像的特征标签主要都是指的如电影的导演、演员、图书的作者、出版社等结.
排序模块：模型选择与原理
あずにゃん梓喵的博客
06-26 1938
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 3.1 模型选择与原理 学习目标 目标 了解推荐系统CTR模型的发展历史 说明Wide&Deep模型的结构以及原理 了解TF Wide&Deep模型的接口设置和使用 应用 无 3.1.1 CTR模型发展历史 3.1.1.1 传统CTR模型发展历史 2012左右之后，各大中小公司的主流CTR模型无一例外全都是LR模.
基于协同过滤的电影推荐
あずにゃん梓喵的博客
07-08 1735
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 1.4 案例--基于协同过滤的电影推荐 学习目标 应用基于用户的协同过滤实现电影评分预测 应用基于物品的协同过滤实现电影评分预测 1 User-Based CF 预测电影评分 数据集下载 下载地址：MovieLens Latest Datasets Small 建议下载ml-latest-small.zip，数据量小，便于我们单机使用和运行 .
Word2Vec与文章相似度
あずにゃん梓喵的博客
06-26 1698
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 2.7 Word2Vec与文章相似度 学习目标 目标 知道文章向量计算方式 了解Word2Vec模型原理 知道文章相似度计算方式 应用 应用Spark完成文章相似度计算 2.7.1 文章相似度 在我们的头条推荐中有很多地方需要推荐相似文章，包括首页频道可以推荐相似的文章，详情页猜你喜欢 需求 首页频道推荐：每个频道推荐的时
推荐系统：推荐系统架构设计
あずにゃん梓喵的博客
07-08 1495
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 1.1 推荐系统简介 学习目标 了解推荐系统概念及产生背景 记忆推荐系统工作原理及作用 了解推荐系统与web项目区别 1 推荐系统概念及产生背景 个性化推荐(推荐系统)经历了多年的发展，已经成为互联网产品的标配，也是AI成功落地的分支之一，在电商(淘宝/京东)、资讯(今日头条/微博)、音乐(网易云音乐/QQ音乐)、短视频(抖音/快手)等热门应用中,推荐.
Python实时推荐系统：架构与算法详解
2. 数据流处理：数据流是实时推荐系统的核心部分，数据从用户产生，经过处理，再返回到用户，形成闭环。书中可能会介绍如何从用户行为数据到实时数据流，再到消息队列、流式数据和缓存的转换，确保数据的实时流动和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

あずにゃん

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值