Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）

已于 2024-10-14 14:13:23 修改
阅读量7.9w 收藏 759
点赞数 174
分类专栏： 收费专栏 文章标签： 深度学习 人工智能 机器学习
于 2022-08-08 11:29:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/126224199
版权

免费链接： Blogger

文章目录

本文内容

本文主要包括如下内容：

  1. Hugging Face是什么，提供了哪些内容
  2. Hugging Face模型的使用（Transformer类库）
  3. Hugging Face数据集的使用（Datasets类库）

HuggingFace简介

Hugging Face Hub和 Github 类似，都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。Hugging Face为用户提供了以下主要功能：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
hugging face 使用教程———快速入门
TigerZ*的博客
07-24 1万+
本篇存在的意义是快速介绍hugging face使用，梳理主要部件，梳理易混淆概念。原因是：目前hugging face的使用，官方放在了3个地方（参考链接部分）：使用文档、NLP教程、Transformers git的readme 文件，很多重叠内容比较浪费时间，很容易看懵。等大家有了主要概念再去看需要具体看某个函数或功能。
7.数据集处理库Hugging Face Datasets
YPeng_Gao的博客
06-12 479
只需一行代码便可以访问数十种不同领域（自然语言处理、计算机视觉、强化学习等）的评估方法。Evaluate 库 是一个用于轻松评估机器学习模型和数据集的 Python 库。构造 DatasetBuilder 类的主要配置 BuilderConfig。Datasets.load_dataset 实现原理简介。使用 datasets.map 方法全量应用预处理策略。实际构造数据集的类 DatasetBuilder。Datasets 帮助构建不同用途的数据集。使用 Datasets 下载开源数据集。
Huggingface的介绍，使用（CSDN最强Huggingface入门手册）
热门推荐
大模型天花板
11-29 7万+
Huggingface即是网站名也是其公司名，随着transformer浪潮，Huggingface逐步收纳了众多最前沿的模型和数据集等有趣的工作，与transformers库结合，可以快速使用学习这些模型。进入Huggingface网站,如下图所示。Models（模型），包括各种处理CV和NLP等任务的模型，上面模型都是可以免费获得Datasets（数据集），包括很多数据集Spaces（分享空间），包括社区空间下最新的一些有意思的分享，可以理解为huggingface朋友圈。
什么是HuggingFace？Huggingface 已是无法绕过的存在
最新发布
技术人宝哥
03-20 2540
Huggingface汇聚了众多最前沿的模型和数据集等有趣的成果，与强大的 transformers 库深度结合，也因transformers模型而闻名，为开发者提供了一个极为便捷的平台，使得大家能够快速上手学习和使用这些模型。这为广大研究者和开发者提供了宝贵的资源，无论是初学者想要尝试不同的模型架构，还是资深专家进行创新性的研究，都能在这里找到合适的模型起点。Huggingface 的 Docs 包含了各种模型算法等说明使用文档，无论是对模型原理的深入解释，还是实际使用中的参数设置和代码示例。
Huggingface中Transformer模型使用
苏云南雁的博客
03-11 4914
2、如何培养模型的学习能力？自然语言处理就像我们读书一样，要训练它的阅读能力、学习能力、理解能力，给出的是一系列阅读材料，然后想办法让它理解语言，不仅仅是一个分类的专项技能，这里就涉及到注意力机制了。1、自然语言处理究竟要做一件什么事呢？自然语言处理最终解决的是分类问题，但是它不仅仅输出一个分类的预测结果，关键的在于构建一个聪明的模型，不光能学习不同数据集的问题，还能处理不同类别的问题。
HuggingFace快速入门
chengxuyuanyy的博客
06-29 1万+
和 Github 类似，都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。
自然语言处理——Hugging Face 详解
goTsHgo的博客
11-05 3196
Hugging Face 通过提供易用的 API、预训练模型和社区支持，极大地降低了 NLP 和深度学习的使用门槛。它的库让研究人员和开发者能够快速上手并在各种任务上获得很好的效果。通过微调、模型共享和高效的训练工具，Hugging Face 为 NLU（自然语言理解）任务和 NLP 研究提供了强大的支持，帮助推动了该领域的进步。
深度学习笔记：HuggingFace入门使用
weixin_58430619的博客
02-22 5133
Hugging Face 其实可以类比为机器学习领域的 GitHub，它是用于分享、协作和托管预训练模型、数据集和相关代码的平台。其主要的优势是提供了简单易用的 API 和界面，使得即使是没有深厚机器学习背景的用户也能轻松使用这些模型。
【完全攻略】畅游NLP海洋：HuggingFace的快速入门
艰难困苦，玉汝于成。
07-19 3096
Hugging Face是一个以自然语言处理（NLP）为重点的技术公司，也是一个开源社区和平台，旨在提供丰富的NLP模型、工具和资源。Hugging Face的目标是成为NLP领域的社区和创新驱动者，他们通过为开发者和研究人员提供开源工具、预训练模型和数据集来实现这一目标。Hugging Face的开源库和工具广泛应用于各种NLP任务，包括文本分类、命名实体识别、情感分析、机器翻译等。
2024年最全HuggingFace入门教程--环境搭建_拥抱脸，2024年最新物联网嵌入式开发开发面试准备
2401_85014194的博客
05-14 850
2.1 安装python3-venv创建虚拟环境需要使用，我们先安装一下。使用命令命令新建一个虚拟环境。上述命令新建了一个名为hug的虚拟环境，等右下角的新建进度条走完之后，你会在目录中看到hug文件夹，展开它进入bin目录，会发现在bin目录下有许多对虚拟环境操作的命令。2.2 激活虚拟环境。目前我们已经新建了一个名为hug的虚拟环境，进入hug文件夹使用source命令激活hug虚拟环境，也可以使用sourceactivate所在路径的方式激活，请参照下图。
HuggingFace简明教程
weixin_44748589的博客
08-16 2万+
什么是huggingface？huggingface是一个开源社区，它提供了先进的NLP模型，数据集，以及其他便利的工具。这些数据集可以根据任务、语言等来分类官方文档：主要的模型：自回归：GPT2、Transformer-XL、XLNet自编码：BERT、ALBERT、RoBERTa、ELECTRA安装环境：前置环境：python、pytorch安装#安装transformers#pip安装#conda安装#安装datasets#pip安装#conda安装。......
Hugging Face系列2：详细剖析Hugging Face网站资源——实战六类开源库transformers/diffusers/datasets/PEFT/accelerate/optimum
shao918516的博客
06-05 1901
Hugging Face在GitHub上开源了一系列的机器学习库和工具，在其组织页面置顶了一些开源库，包括transformers、diffusers、datasets、peft、accelerate以及optimum，本篇逐一详细介绍并给出对应的实战用例，方便读者更直观的理解和应用。
Hugging Face系列1：详细剖析Hugging Face网站资源——models/datasets/spaces
shao918516的博客
05-15 3283
本篇主要介绍Hugging Face。它的核心产品是Hugging Face Hub，这是一个基于Git进行版本管理的存储库，已托管大量模型、数据集及Spaces应用。另外，Hugging Face还开源了一系列的机器学习库和界面演示工具Gradio。Hugging Face设计开发了很多学习资源，比如与NLP、扩散模型及深度强化学习等。本篇还介绍了大量Spaces应用，如IDM-VTON、IC-Light、LLM Leaderboard及stable-diffusion-xl-base/refiner等。
Hugging Face 的 Transformers 库快速入门 （三）必要的 Pytorch 知识
liu_chengwei的博客
10-22 2262
在上一篇《模型与分词器》中，我们介绍了Model类和Tokenizers类，尤其是如何运用分词器对文本进行预处理。Transformers 库建立在 Pytorch 框架之上（Tensorflow 的版本功能并不完善），虽然官方宣称使用 Transformers 库并不需要掌握 Pytorch 知识，但是实际上我们还是需要通过 Pytorch 的DataLoader类来加载数据、使用 Pytorch 的优化器对模型参数进行调整等等。
【一文详解】Hugging face训练学习大模型的必懂技能
longxiaotian718的博客
03-08 2692
1）注册并登录HuggingFace平台：首先，你需要在HuggingFace官网上注册一个账号并登录。这将使你能够访问平台上的所有资源和功能。2）选择合适的模型和数据集：在平台上浏览并选择合适的预训练模型和数据集。你可以根据自己的需求和任务来选择相应的模型和数据集。3）下载并加载模型和数据集：一旦选择了模型和数据集，你可以直接下载并加载到本地环境中。HuggingFace提供了详细的文档和教程来帮助你完成这个过程。4）进行NLP任务：使用加载好的模型和数据集进行NLP任务。
手把手教你Hugging Face的正确使用方式
qq_61829672的博客
10-23 5万+
本博客致力于教会您如何正确使用Hugging Face平台，以及如何优雅地下载您想要的模型！
huggingface镜像站hf-mirror的各大AI模型文件下载
唯有热爱 可抵万难
03-05 2102
huggingface地址：https://huggingface.co但是由于需要国外网络，国内网络延迟较大或无法下载，所以使用国内镜像站：hf-mirror地址：https://hf-mirror.com/
HuggingFace 简介
engchina的专栏
09-03 2万+
HuggingFace 简介
hugging face下载数据集
05-24
要下载 Hugging Face 上的数据集，可以使用以下步骤： 1. 首先安装 Hugging Face 的 Transformers 库。可以通过 pip 安装： ``` pip install transformers ``` 2. 接下来，可以使用 `datasets` 模块来下载数据集。例如，要下载 IMDb 数据集，可以使用以下代码： ```python from datasets import load_dataset dataset = load_dataset('imdb') ``` 这将从 Hugging Face 下载 IMDb 数据集并将其存储在 `dataset` 变量中。 请注意，不是所有数据集都在 Hugging Face 上都可用。您可以在 Hugging Face 数据集页面上查找可用的数据集：https://huggingface.co/datasets
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值