- 加载数据集
这个示例使用的数据集是来自亚马逊的精细食品评论数据集。该数据集包含截至2012年10月亚马逊用户留下的共计568,454条食品评论。出于演示目的,我们将使用该数据集的一个子集,包含最近的1,000条评论。这些评论是用英语编写的,通常是正面或负面的。每个评论都有一个产品ID、用户ID、评分、评论标题(摘要)和评论正文(正文)。
我们将把评论摘要和评论正文合并成一个单一的组合文本。模型将对这个组合文本进行编码,然后输出一个单一的向量嵌入。
要运行,您需要安装: pandas, openai, transformers, plotly, matplotlib, scikit-learn, torch (transformer dep), torchvision, 和 scipy。
数据集的下载地址 https://www.kaggle.com/datasets/snap/amazon-fine-food-reviews
import pandas as pd
import tiktoken
from openai