Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）

已于 2024-10-14 14:13:23 修改
阅读量7.9w 收藏 759
点赞数 174
分类专栏： 收费专栏 文章标签： 深度学习 人工智能 机器学习
于 2022-08-08 11:29:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/126224199
版权

免费链接： Blogger

文章目录

本文内容

本文主要包括如下内容：

  1. Hugging Face是什么，提供了哪些内容
  2. Hugging Face模型的使用（Transformer类库）
  3. Hugging Face数据集的使用（Datasets类库）

HuggingFace简介

Hugging Face Hub和 Github 类似，都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。Hugging Face为用户提供了以下主要功能：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
hugging face 使用教程———快速入门
TigerZ*的博客
07-24 1万+
本篇存在的意义是快速介绍hugging face使用，梳理主要部件，梳理易混淆概念。原因是：目前hugging face的使用，官方放在了3个地方（参考链接部分）：使用文档、NLP教程、Transformers git的readme 文件，很多重叠内容比较浪费时间，很容易看懵。等大家有了主要概念再去看需要具体看某个函数或功能。
Hugging Face系列1：详细剖析Hugging Face网站资源——models/datasets/spaces
shao918516的博客
05-15 3412
本篇主要介绍Hugging Face。它的核心产品是Hugging Face Hub，这是一个基于Git进行版本管理的存储库，已托管大量模型、数据集及Spaces应用。另外，Hugging Face还开源了一系列的机器学习库和界面演示工具Gradio。Hugging Face设计开发了很多学习资源，比如与NLP、扩散模型及深度强化学习等。本篇还介绍了大量Spaces应用，如IDM-VTON、IC-Light、LLM Leaderboard及stable-diffusion-xl-base/refiner等。
Huggingface的介绍，使用（CSDN最强Huggingface入门手册）
热门推荐
大模型天花板
11-29 7万+
Huggingface即是网站名也是其公司名，随着transformer浪潮，Huggingface逐步收纳了众多最前沿的模型和数据集等有趣的工作，与transformers库结合，可以快速使用学习这些模型。进入Huggingface网站,如下图所示。Models（模型），包括各种处理CV和NLP等任务的模型，上面模型都是可以免费获得Datasets（数据集），包括很多数据集Spaces（分享空间），包括社区空间下最新的一些有意思的分享，可以理解为huggingface朋友圈。
什么是HuggingFace？Huggingface 已是无法绕过的存在
技术人宝哥
03-20 3303
Huggingface汇聚了众多最前沿的模型和数据集等有趣的成果，与强大的 transformers 库深度结合，也因transformers模型而闻名，为开发者提供了一个极为便捷的平台，使得大家能够快速上手学习和使用这些模型。这为广大研究者和开发者提供了宝贵的资源，无论是初学者想要尝试不同的模型架构，还是资深专家进行创新性的研究，都能在这里找到合适的模型起点。Huggingface 的 Docs 包含了各种模型算法等说明使用文档，无论是对模型原理的深入解释，还是实际使用中的参数设置和代码示例。
Hugging Face 模型：AI 模型的“拥抱”与开源革命！！！
小丁的博客
04-12 787
Hugging Face 通过。
深度学习笔记：HuggingFace入门使用
weixin_58430619的博客
02-22 5890
Hugging Face 其实可以类比为机器学习领域的 GitHub，它是用于分享、协作和托管预训练模型、数据集和相关代码的平台。其主要的优势是提供了简单易用的 API 和界面，使得即使是没有深厚机器学习背景的用户也能轻松使用这些模型。
HuggingFace快速入门
chengxuyuanyy的博客
06-29 1万+
和 Github 类似，都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。
【完全攻略】畅游NLP海洋：HuggingFace的快速入门
艰难困苦，玉汝于成。
07-19 3111
Hugging Face是一个以自然语言处理（NLP）为重点的技术公司，也是一个开源社区和平台，旨在提供丰富的NLP模型、工具和资源。Hugging Face的目标是成为NLP领域的社区和创新驱动者，他们通过为开发者和研究人员提供开源工具、预训练模型和数据集来实现这一目标。Hugging Face的开源库和工具广泛应用于各种NLP任务，包括文本分类、命名实体识别、情感分析、机器翻译等。
2024年最全HuggingFace入门教程--环境搭建_拥抱脸，2024年最新物联网嵌入式开发开发面试准备
2401_85014194的博客
05-14 866
2.1 安装python3-venv创建虚拟环境需要使用，我们先安装一下。使用命令命令新建一个虚拟环境。上述命令新建了一个名为hug的虚拟环境，等右下角的新建进度条走完之后，你会在目录中看到hug文件夹，展开它进入bin目录，会发现在bin目录下有许多对虚拟环境操作的命令。2.2 激活虚拟环境。目前我们已经新建了一个名为hug的虚拟环境，进入hug文件夹使用source命令激活hug虚拟环境，也可以使用sourceactivate所在路径的方式激活，请参照下图。
Hugging face快速入门
大数据开发、JAVA开发、人工智能AI
03-22 2万+
Hugging face Introduction Hugging face 是一家总部位于纽约的聊天机器人初创服务商，开发的应用在青少年中颇受欢迎，相比于其他公司，Hugging Face更加注重产品带来的情感以及环境因素。官网链接在此 https://huggingface.co/ 。 但更令它广为人知的是Hugging Face专注于NLP技术，拥有大型的开源社区。尤其是在github上开源的自然语言处理，预训练模型库 Transformers，已被下载超过一百万次，github上超过24000个st
7.数据集处理库Hugging Face Datasets
YPeng_Gao的博客
06-12 482
只需一行代码便可以访问数十种不同领域（自然语言处理、计算机视觉、强化学习等）的评估方法。Evaluate 库 是一个用于轻松评估机器学习模型和数据集的 Python 库。构造 DatasetBuilder 类的主要配置 BuilderConfig。Datasets.load_dataset 实现原理简介。使用 datasets.map 方法全量应用预处理策略。实际构造数据集的类 DatasetBuilder。Datasets 帮助构建不同用途的数据集。使用 Datasets 下载开源数据集。
Hugging Face系列2：详细剖析Hugging Face网站资源——实战六类开源库transformers/diffusers/datasets/PEFT/accelerate/optimum
shao918516的博客
06-05 1930
Hugging Face在GitHub上开源了一系列的机器学习库和工具，在其组织页面置顶了一些开源库，包括transformers、diffusers、datasets、peft、accelerate以及optimum，本篇逐一详细介绍并给出对应的实战用例，方便读者更直观的理解和应用。
Hugging Face Transformers进阶：模型微调与训练
最新发布
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
05-03 78
模型微调是指在预训练模型的基础上，针对特定任务进行进一步训练的过程。预训练模型通常在大规模通用语料上进行训练，能够学习到语言的通用特征。然而，这些模型可能无法直接适应特定任务的需求。通过在特定任务的数据集上继续训练，我们可以调整模型的参数，使其更好地捕捉任务相关的特征，从而提升模型在该任务上的性能。定义训练循环是微调过程的核心步骤。加载数据：使用Dataset类加载数据集。定义模型：加载预训练模型，并根据任务需求添加额外的层（如分类层）。定义优化器和损失函数：选择合适的优化器和损失函数。训练模型。
全面解析大型模型——Hugging Face Transformers使用指南
2401_85373898的博客
10-28 3030
使得研究人员和开发者能够轻松地加载、微调和使用这些模型。，最初被创建用于，如今它的功能已经扩展到包括。这意味着，除了处理语言数据之外，Hugging Face Transformers还能，使其成为一个多功能的工具库。：这些模型已经在庞大的数据集上进行过训练，可以直接使用，帮助用户节省了大量的时间和计算资源，让开发过程更加高效。：详细的文档和简洁的API使得开发者可以快速上手，进行实验和开发。：包含最新的研究成果和模型，用户可以及时获取和使用最前沿的技术，保持项目的先进性。
手把手教你Hugging Face的正确使用方式
qq_61829672的博客
10-23 5万+
本博客致力于教会您如何正确使用Hugging Face平台，以及如何优雅地下载您想要的模型！
HuggingFace 自然语言处理
Man
10-07 6939
是一个开源社区，提供了统一的AI 研发框架、工具集、可在线加载的数据集仓库和预训练模型仓库。准备数据集，定义模型，训练，测试；每个部分都提供了相应的工具集⽂字是⼀个抽象的概念，不是计算机擅长处理的数据单元，计算机擅长处理的是数字运算，所以需要把抽象的⽂字转换为数字，让计算机能够做数学运算。为了把抽象的⽂字数字化，需要⼀个字典把⽂字或者词对应到某个数字。⼀个⽰意的字典如下：# 字典：这只是⼀个⽰意的字典，所以只有 11 个词，在实际项⽬中的字典可能会有成千上万个词vocab = {
【一文详解】Hugging face训练学习大模型的必懂技能
longxiaotian718的博客
03-08 3523
1）注册并登录HuggingFace平台：首先，你需要在HuggingFace官网上注册一个账号并登录。这将使你能够访问平台上的所有资源和功能。2）选择合适的模型和数据集：在平台上浏览并选择合适的预训练模型和数据集。你可以根据自己的需求和任务来选择相应的模型和数据集。3）下载并加载模型和数据集：一旦选择了模型和数据集，你可以直接下载并加载到本地环境中。HuggingFace提供了详细的文档和教程来帮助你完成这个过程。4）进行NLP任务：使用加载好的模型和数据集进行NLP任务。
hugging face下载数据集
05-24
要下载 Hugging Face 上的数据集，可以使用以下步骤： 1. 首先安装 Hugging Face 的 Transformers 库。可以通过 pip 安装： ``` pip install transformers ``` 2. 接下来，可以使用 `datasets` 模块来下载数据集。例如，要下载 IMDb 数据集，可以使用以下代码： ```python from datasets import load_dataset dataset = load_dataset('imdb') ``` 这将从 Hugging Face 下载 IMDb 数据集并将其存储在 `dataset` 变量中。 请注意，不是所有数据集都在 Hugging Face 上都可用。您可以在 Hugging Face 数据集页面上查找可用的数据集：https://huggingface.co/datasets
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值