协同过滤算法的问题及解决方案

1 协同过滤在应用中存在的问题

    尽管协同过滤在电子商务推荐系统中的应用获得了较大的成功，但随着站点结构、内容复杂度和用户人数的不断增加，基于协同过滤的推荐系统的发展面临着两个主要挑战：

    1) 提高协同过滤算法的可扩展性

    协同过滤算法能够容易地为几千名用户提供较好的推荐，但是对于电子商务网站，往往需要给成百上千万的用户提供推荐，这就一方面需要提高响应时间的要求，能够为用户实时地进行推荐;另一方面还应考虑到存储空间的要求，尽量减少推荐系统运行的负担。

   2) 提高对用户推荐信息的质量

    用户需要得到值得信任的推荐来帮助他找到喜欢的产品。假如用户相信推荐购买了商品，而后发现并不喜欢，用户对推荐系统推荐结果的信任度降低，同时将不愿再次使用该推荐系统。

    从一定意义上讲，推荐系统面临的这两个挑战之间存在着矛盾，系统要提高算法的可扩展性及响应时间，在质量上必然会有所损失。因此，如何协调好这两方面的要求，使推荐系统不仅有用而且实用，是实现协同过滤技术需要考虑的重要因素。

    为了能够更好地改进协同过滤技术，适应推荐系统发展的需要，首先要分析协同过滤在实现过程中存在的问题，从而进行有针对性的改进。通过对协同过滤技术以及推荐系统的研究，我们发现协同过滤技术的实现中存在的问题主要有以下几点。

   1．1 稀疏性问题

    协同过滤技术的实现首先需要使用用户—项评价矩阵对用户信息进行表示，尽管这在理论上很简单，但实际上，许多电子商务推荐系统要对大量的数据信息进行处理，而在这些系统中一般用户购买商品的总量占网站总商品量的1%左右，因此造成了评价矩阵(用户-项矩阵)非常稀疏。在这种数据量大而且又稀疏的情况下，一方面难以找到最近邻居用户集，另一方面进行相似性计算的耗费也会很大。

    同时，由于数据非常稀疏，在形成目标用户的最近邻居用户集时，往住会造成信息的丢失，从而导致推荐效果的降低。例如，邻居用户关系传递性的丢失。用户A与用户B相关程度很高，用户B与用户C相关程度也很高，但由于用户A与用户C很少对共同的产品进行评价，而认为两者关联程度较低，由于数据的稀疏性，丢失了用户A与用户C之间潜在的关联。

    1．2 冷开始问题

    又称第一评价问题（first- rater），或新项目问题（New-item），从一定角度可以看成是稀疏问题的极端情况。因为传统的协同过滤推荐是基于邻居用户资料得到目标用户的推荐，在一个新的项目首次出现的时候，因为没有用户对它作过评价，因此单纯的协同过滤无法对其进行预测评分和推荐。而且，由于新项目出现早期，用户评价较少