openai的API使用Embeddings文本分类的示例

有许多方法可以对文本进行分类。本笔记本分享了使用Embeddings文本分类的示例。
Embeddings分类方法指的是使用词嵌入技术对文本进行表示，并基于此对文本进行分类。在这种方法中，文本首先被转换为向量表示，然后使用分类器对向量进行分类。通过使用词嵌入技术，文本中的每个单词都被表示为一个向量，这些向量在高维空间中表示单词的上下文信息和语义含义。因此，将这些向量组合起来可以生成整个文本的向量表示。这种方法已被广泛应用于自然语言处理领域中的多个任务，如情感分析、文本分类、垃圾邮件过滤等。

#加载数据集
这个示例使用的数据集是来自亚马逊的精细食品评论数据集。该数据集包含截至2012年10月亚马逊用户留下的共计568,454条食品评论。出于演示目的，我们将使用该数据集的一个子集，包含最近的1,000条评论。这些评论是用英语编写的，通常是正面或负面的。每个评论都有一个产品ID、用户ID、评分、评论标题（摘要）和评论正文（正文）。
我们将把评论摘要和评论正文合并成一个单一的组合文本。模型将对这个组合文本进行编码，然后输出一个单一的向量嵌入。
数据集的下载地址 https://www.kaggle.com/datasets/snap/amazon-fine-food-reviews
要运行，您需要安装: pandas, openai, transformers, plotly, matplotlib, scikit-learn, torch (transformer dep), torchvision, 和 scipy。

import pandas as pd
import tiktoken

from openai.embeddings_utils import get_embedding
embedding_model = "text-embedding-ada-002"
embedding_encoding = "cl100k_base"  # this the encoding for text-embedding-ada-002
max_tokens = 8000  # the maximum for text-embedding-ada-002 is 8191
# load & inspect dataset
input_datapath = "data/fine_food_reviews_1k.csv"  # to save space, we provide a pre-filtered dataset
df = pd.read_csv(input_datapath, index_col=0)
df = df[["Time", "ProductId", "UserId", "Score", "Summary", "Text"]