本文展示了如何利用K-means算法对亚马逊食品评论数据集进行聚类分析。首先，从Kaggle下载数据集，然后合并评论摘要和正文，接着使用pandas、scikit-learn等库进行预处理和聚类。最后，通过openai API对聚类进行命名，并展示每个聚类的随机样本，探讨如何利用聚类发现数据中的模式。
- 加载数据集
这个示例使用的数据集是来自亚马逊的精细食品评论数据集。该数据集包含截至2012年10月亚马逊用户留下的共计568,454条食品评论。出于演示目的，我们将使用该数据集的一个子集，包含最近的1,000条评论。这些评论是用英语编写的，通常是正面或负面的。每个评论都有一个产品ID、用户ID、评分、评论标题（摘要）和评论正文（正文）。
我们将把评论摘要和评论正文合并成一个单一的组合文本。模型将对这个组合文本进行编码，然后输出一个单一的向量嵌入。
要运行，您需要安装: pandas, openai, transformers, plotly, matplotlib, scikit-learn, torch (transformer dep), torchvision, 和 scipy。
数据集的下载地址 https://www.kaggle.com/datasets/snap/amazon-fine-food-reviews
import pandas as pd
import tiktoken
from openai
订阅专栏 解锁全文
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
