- 博客(27)
- 收藏
- 关注
原创 chatGLM基于incontext learning原理微调nlp任务
chatGLM基于incontext learning原理微调nlp任务
2024-05-14 10:23:04
737
1
原创 PDF文档智能问答
在文本中,将会介绍如何使用fitz模块来处理PDF文档,并基于此,再使用大模型对PDF文档内容进行智能问答,提升问答效果。
2024-04-16 11:10:11
935
1
原创 向量数据库实战介绍
本文简单介绍了三种常见的向量数据库:faiss, Milvus, Qdrant,每种向量数据库都有其利弊。同时,结合一个具体的应用案例:文本相似性搜索,来分别展示这三种向量数据库的使用方法。
2024-04-02 10:37:47
1294
1
原创 基于gunicorn+flask+docker模型高并发部署
此项目的是基于已有深度学习环境进行迁移,利用gunicorn+flask+docker的形式进行模型部署,实现高并发。
2024-02-03 16:30:39
738
1
原创 基于paddleNLP的文本二分类任务
此次项目是基于paddleNLP的文本二分类任务,利用Label Studio对数据进行标注,生成特定格式的异常言论和正常言论数据进行训练和推理。
2024-01-23 10:28:59
1575
原创 基于Sentence Transformers和faiss文本检索与匹配算法
SentenceTransformers 是一个可以用于句子、文本和图像嵌入的Python库。可以为 100 多种语言计算文本的嵌入并且可以轻松地将它们用于语义文本相似性、语义搜索和同义词挖掘等常见任务。该框架基于 PyTorch 和 Transformers,并提供了大量针对各种任务的预训练模型。还可以很容易根据自己的模型进行微调。阅读论文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks,深入了解模型的训练方式。
2024-01-22 11:06:13
1170
1
原创 基于pytorch的层次分类
本项目提供通用场景下基于Bert+MLP的层次分类端到端应用方案,打通数据标注-模型训练-模型调优-模型转换-预测部署全流程,有效缩短开发周期,降低AI开发落地门槛。层次文本分类任务的中数据样本具有多个标签且标签之间存在特定的层级结构,目标是预测输入句子/文本可能来自于不同级标签类别中的某一个或几个类别。以下图新闻文本分类为例,该新闻的一级标签为体育,二级标签为足球,体育与足球之间存在层级关系。
2024-01-21 16:56:39
1371
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人