【笔记】《Letting Users Choose Recommender Algorithms: An Experimental Study》

MovieLens上部署了四个推荐算法。

四种推荐算法让普通用户来进行选择切换，给算法重新命名，并加上简短的描述：

算法 新名字 描述
The Baseline algorithm Peasant non-personalized
The Pick-Groups recommender Bard based on movie group point allocation
The Item-Item recommender Warrior based on ratings
The SVD recommender Wizard based on ratings

1. Peasant(user-item的平均打分),
2. Bard(基于组的推荐Chang et al. CSCW2014),
3. Warrior(item CF), 
4. Wizard(FunkSVD CF).

提出如下问题

1. Do users take advantage of a means to switch recommender algorithms?
2. What algorithm(s) do users prefer to use? Is there a clear favorite, or do different users prefer different algorithms?
3. How do users explore the algorithm options?
4. How stable are user selections? Do they experiment for a little while, pick a recommender, and leave it alone, or do they change recommenders often throughout their use of the application?
5. How do the recommendations users receive from the algorithms differ?
6. Can we predict the user’s choice of algorithm, or do we need to keep them in control in order to identify the algorithm with which they will be most satisfied?
7. Does the algorithm with which a user starts affect their use of the system, final choice of algorithm, or likelihood to continue using the system?

实验结果：

共有3005人使用过该系统，有748人(24.9%)改变过推荐算法，平均账龄为1653天，推荐算法共有11423条更改日志。

539 人(72.1%做切换的用户) 选择了不同的推荐算法。

最终采用各算法的人数。
svd最受欢迎，其次是item-item，最后是pick-groups和baseline。

在不同初始化情况下，用户切换推荐算法的可能性。
用户分配到非个性化推荐的情况下，更倾向于改变推荐算法。

初始算法会影响用户尝试其他的推荐系统的可能性，但几乎不影响他们的最终选择。

绝大多数用户(97.3%)切换算法不超过20次，21.4%的用户切换超过5次。
最常见的情况是，用户只切换一次算法，或尝试2~3次不同的算法，然后固定下来。

最常见的切换序列。第一项是初始化的算法，最后一项是最终固定的算法。

如果把用户的行为按照60分钟分解成session。
44%的用户在第一个session进行了切换。
63%的用户只在一个session中有切换，81%的用户只在2个session中有切换。

各个推荐算法对用户的推荐列表的相似度。
Baseline 和 item-item 是最相似的。svd与其他算法最不相似。

各个算法有着不同的预测和推荐准确度。

不同算法的推荐列表的流行度和多项性。
svd的推荐流行度最低。item-item推荐的多样性最好，svd推荐的多样性方差最大。

图中显示了两个个性化推荐系统的相对性能。

用逻辑回归去预测用户的切换行为，发现用户的行为无法预测。

DISCUSSION

使用推荐算法切换功能的用户，往往切换成一个和初始不同的算法，即使初始的是个性化推荐算法。
虽然这个系统在用户保留上没有任何决定性的影响，但它需要包容和发展。
用户在论坛上对不同推荐算法的区别有兴趣。
用户通常很早就切换好推荐算法，然后不再更改。
SVD推荐最受欢迎，但是仍然有很多用户使用item-item推荐。
尝试了几种方法去预测用户是否会切换算法，但是没有显著的预测效果。