AI学习指南HuggingFace篇-Hugging Face 社区的力量

最新推荐文章于 2025-04-08 11:01:10 发布
最新推荐文章于 2025-04-08 11:01:10 发布
阅读量884 收藏
点赞数 21
分类专栏： AI学习指南 文章标签： ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaopeng_yu/article/details/145347748
版权

一、引言

Hugging Face社区作为自然语言处理（NLP）和人工智能（AI）领域的重要开源社区，通过共享模型、库和工具，极大地推动了技术的发展。本文将介绍Hugging Face社区的生态，包括如何参与开源项目、贡献代码和模型，以及社区对技术发展的推动作用，鼓励读者加入开源社区。

二、Hugging Face社区的生态

（一）Hugging Face Hub

Hugging Face Hub是一个集成了大量预训练模型、数据集和其他资源的平台。开发者可以通过几行代码轻松加载如BERT、GPT等模型，无需深入了解模型的底层实现。此外，许多业界权威的研究者和公司也在Hugging Face上发布和分享自己的最新模型，使得广大的开发者和研究人员能够在这些资源的基础上进行创新。

（二）开源工具与库

Hugging Face提供了丰富的开源工具和库，如Transformers、Tokenizers等。这些工具简化了模型的开发、训练和部署过程，使得更多的开发者能够参与到机器学习的研究中。同时，Hugging Face还提供了易于使用的API和文档，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI之HuggingFace：Hugging Face(AI社区抱抱脸/侧重存放开源模型及其数据集)的简介、使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-17 2万+
Hugging Face，抱抱脸，是AI社区届的网红公司，构建、培训和部署由机器学习中的参考开源提供支持的最先进的模型。目前，包括艾伦人工智能研究院、Meta AI、Google AI、Intel、Microsoft、SpeechBrain等，超过5000个组织正在使用“Hugging Face”。Hugging Face 的联合创始人兼 CEO Clément Delangue 说道，Hugging Face 的名字来源于一个表情符号，看起来像一张带有手势的笑脸。
AI学习指南HuggingFace篇-Hugging Face 的论文平台 Daily Papers
俞兆鹏的博客
02-05 188
用户可以通过描述自己的研究兴趣（称为“Magnet”），让平台自动推荐与这些兴趣相关的论文。系统会根据arXiv的日常更新，每日最多推荐5篇相关论文。设置研究兴趣：通过“Magnet”功能，设置自己的研究兴趣，让平台自动推荐相关论文。选择阅读模式：平台提供“暗黑”和“明亮”两种阅读模式，以及“简洁”和“详细”两种视图，用户可以根据自己的喜好选择。Hugging Face的Daily Papers平台是一个强大的工具，帮助研究人员和开发者跟踪AI领域的最新进展。
Hugging Face: 拥开源模型社区
Silver__Wolf的博客
02-01 1499
Hugging face是一个开源的模型社区，里边包含各种各样的模型。Hugging face在github上开源了一个Transformers库，这个库非常的好用，我们可以用这个库做模型的推理、微调。推荐这个库的另一个原因是简单好用，我们看一下huggingface的网站huggingface除了开源模型外，还提供数据集、模型的结构与训练代码，我们甚至可以无痛在这个框架下做模型finetune。
huggingface 使用和模型微调
最新发布
AI大模型/Python/Java/MySQL技术栈，快来和我一起学习吧 ~
04-08 1472
1. 核心组件构成Transformers库：提供统一API支持30+架构的预训练模型加载，核心抽象类包括AutoModelPipeline。Hub平台：包含250k+模型、数据集及演示应用，采用Git LFS管理大文件版本。：基于Kubernetes的动态扩缩容服务，支持零代码模型部署，提供REST/gRPC接口。2. 模型仓库元数据结构"model_card": { # Markdown文档，含训练数据/偏差声明/使用限制},"metrics": { # 模型评估结果"f1": 0.88。
让AI触手可及的繁荣社区Hugging Face
酌沧
04-17 1098
HuggingFace提出了一套可以依照的标准研发流程，按照该框架实施工程，能够在一定程度上规避开发混乱、开发人员水平不一致的问题，降低了项目实施的风险及项目和研发人员的耦合度，让后续的研发人员能够更容易地介入，即把HuggingFace的标准研发流程变成所有研发人员的公共知识，不需要额外地学习。可以看出，HuggingFace提供的工具集基本囊括了标准流程中的各个步骤，使用HuggingFace工具集能够极大地简化代码复杂度，让研发人员能把更多的精力集中在具体的业务问题上，而不是陷入琐碎的细节中。
【一文了解 Hugging Face】NLP 学习热门社区，机器学习的 GitHub
weixin_55939638的博客
01-16 2047
Hugging Face 是一个集成了大量预训练模型、数据集和其他资源的开源社区，专注于自然语言处理（NLP）。它为开发者和研究人员提供了方便的工具，可以快速使用并微调大规模预训练的 NLP 模型。通过与库的紧密集成，Hugging Face 极大地简化了 NLP 项目的开发过程，降低了门槛。Hugging Face 提供的工具和资源极大简化了 NLP 模型的使用和微调过程。通过 Hugging Face Hub，我们可以轻松下载并使用多种预训练模型.
玩转Hugging Face/魔搭社区/魔乐社区”教程
m0_53291740的博客
11-02 2443
我们将深入探索如何充分利用 Hugging Face、魔搭社区和魔乐社区的资源和工具，学习模型下载、上传以及创建您的专属Space，玩转三大平台。注册登录ModelScope平台，进入导航栏模型库，可以搜索internlm找到相关模型（但是这也包括非官方模型），在这里我们可以搜索 internlm2_5-chat-1_8b，下载1.8b的对话模型，也类似于hugging face 一样拥有具体的详情页。它旨在汇集来自AI社区的最先进的机器学习模型，并简化在实际应用中使用AI模型的流程。
Hugging Face 社区冲刺活动来啦！
Hugging Face
11-25 179
上周，我们宣布了与 arXiv 的合作——论文的 Demos 标签页可以展示运行在 Hugging Face Spaces 上的、基于该论文的开源演示内容，这将有助于增进论文的趣味性和易用程度。今天，我们邀请全球的社区成员们参加我们的 Hugging Face ❤️ arXiv 社区冲刺活动。Hugging Face ❤️ arXiv 社区冲刺活动介绍在这场社区冲刺活动里，我们的目标是将一些 开源...
AI学习指南HuggingFace篇-Hugging Face 的环境搭建
俞兆鹏的博客
01-30 842
本文详细介绍了如何搭建适合Hugging Face开发的环境，包括Python环境配置、依赖安装以及推荐的开发工具。通过使用Anaconda或Miniconda创建虚拟环境，安装Transformers库和其他依赖，以及配置PyCharm或Jupyter Notebook，读者可以快速准备好开发环境，开始使用Hugging Face进行自然语言处理任务。
AI学习指南HuggingFace篇-Hugging Face 简介与背景
俞兆鹏的博客
01-29 616
Hugging Face已经成为AI领域的一股变革力量。其全面的工具套件（包括库、协作式Model Hub和Datasets库）使高级NLP功能变得民主化。通过营造一个共享、共同创新的环境，Hugging Face不仅推动了AI技术的进步，还塑造了一个更加开放、包容、强大的未来。
AI学习指南HuggingFace篇-Hugging Face 的核心工具
俞兆鹏的博客
02-22 135
Datasets和Tokenizers。这些工具通过简洁的API和强大的功能，极大地简化了自然语言处理（NLP）任务的开发流程。通过结合使用这些工具，开发者可以快速加载数据集、处理文本数据，并训练预训练模型。希望本文能帮助读者更好地理解和使用Hugging Face的工具库，提升NLP开发的效率和效果。
飞桨携手Hugging Face共建开源社区，文图生成黑科技画你所想！
PaddlePaddle
03-08 453
2023 PaddlePaddle Hackathon 飞桨黑客马拉松第四期 AIGC 趣味创意赛来袭，为期三个月的线上编程马拉松活动启动，参赛选手可以使用扩散模型，结合 LoRA、DreamBooth 等技术实现自己的无限创意。
无缝支持Hugging Face社区，Colossal-AI低成本轻松加速大模型
luchentech的博客
07-13 620
无缝支持Hugging Face社区，Colossal-AI低成本轻松加速大模型
探索Hugging Face：开源AI社区的核心工具与应用实践
qq_39842184的博客
02-14 1684
Hugging Face的成功印证了开源协作的力量。无论是通过Model Hub分享模型，还是在Spaces展示创意，每个开发者都能参与这场AI民主化运动。正如其CTO所言："我们的使命是让最好的机器学习技术对所有人开放。行动建议从Hugging Face官方课程开始学习参与社区举办的模型微调大赛将个人项目部署到Spaces展示通过Hugging Face提供的工具生态，每个开发者都拥有了塑造AI未来的能力。现在就开始你的开源AI之旅吧！
Hugging Face Hub 使用DuckDB进行分析
qq_34068440的博客
06-12 896
数据集查看器会自动将Hub上的所有公开数据集转换为Parquet文件，您可以通过点击数据集页面顶部的“Auto-converted to Parquet”按钮查看。您还可以通过一个简单的HTTP调用访问Parquet文件URL列表。urls# 输出：")")连接后，您可以开始编写SQL查询！count(*),FROM ' {url } 'count(*),FROM ' {url } 'count(*),FROM ' {url } '了解更多，请查看文档。
HuggingfaceNLP笔记4.1Hugging Face Hub
HITzwx的博客
04-25 906
—我们的主要网站——是一个集中的平台，让任何人都可以发现、使用和贡献最先进的模型和数据集。在Hub上分享模型意味着将其开放给社区，让任何想要轻松使用的人能够访问，从而消除他们自己训练模型的需求，简化分享和使用。社区中的任何人都可以在模型页面上直接测试它，使用自定义输入和适当的控件。需要注意的是，选择的检查点必须适合它将要执行的任务。在使用预训练模型时，请务必检查其训练方式、使用的数据集、限制以及偏见。最棒的是，使用Hub上的任何公开模型是完全免费的！假设我们正在寻找一个基于法语的模型，可以进行词填空。
AGI 之 【Hugging Face】 的[ 简单介绍 ] [ 基础环境搭建 ] 的简单整理
仙魁XAN
06-21 1822
目录AGI 之 【Hugging Face】 的[ 简单介绍 ] [ 基础环境搭建 ] 的简单整理一、简单介绍二、Hugging Face三、环境搭建python 环境的搭建Pycharm 环境搭建1、下载 Pycharm 安装包2、安装 Pycharm3、打开 Pycharm4、Pycharm 的简单使用Hugging face 基础环境搭建附录一、模型中的一些文件说明二、本案例的环境中一些关键库的版本。
Hugging Face Hub:大模型的参数中心
遇码开源社区
03-30 935
Hugging Face是一家人工智能公司，专注于自然语言处理（NLP）和机器学习领域。该公司的使命是使人工智能技术更加普及和可访问，通过开源工具和模型的提供，帮助开发者和研究人员在NLP领域取得更好的成果。Hugging Face最著名的贡献是开发和维护了一个名为"Transformers"的开源库。这个库提供了大量预训练的Transformer模型，如BERT、GPT、RoBERTa等，这些模型在NLP任务中表现出色。
一文了解 Hugging Face 平台
叶庭云 成为自己的光
11-29 2307
一文了解 Hugging Face 平台
huggingface DeepSeek-R1微调
04-03
<think>好的，用户想了解如何在Hugging Face上对DeepSeek-R1模型进行微调。首先，我需要整理已知的信息。根据用户提供的引用，引用[1]提到了在Medical Chain-of-Thought数据集上微调DeepSeek-R1-Distill-Llama-8B模型的教程，这可能是一个关键资源。此外，引用[2]提到了访问DeepSeek-V3的仓库获取本地运行DeepSeek-R1的信息，这可能与模型的使用环境有关。引用[3]讨论了使用梯度自由指令提示搜索（GrIPS）的方法来优化提示生成，这可能与微调过程中的提示工程相关。引用[4]指向了Nodeshift的注册页面，可能与部署或工具相关，但暂时不确定其直接关联。引用[5]是一个概率问题，似乎与当前问题无关。 接下来，我需要确定用户的具体需求。用户提到“huggingface deepseek-r1 fine-tuning tutorial or guide”，因此需要提供一个分步指南，可能包括环境设置、数据准备、模型加载、训练配置、评估和部署等步骤。同时，用户可能对如何应用特定的数据集（如Medical Chain-of-Thought）以及优化方法（如GrIPS）感兴趣。 需要确保回答结构清晰，逐步引导用户完成微调过程。可能需要引用提供的参考文献，特别是引用[1]中的教程，引用[2]中的本地运行信息，以及引用[3]中的提示优化方法。同时，要检查是否有遗漏的步骤，例如数据处理的具体方法、超参数调整建议等。 另外，用户可能对性能优化和应用场景有后续问题，因此在相关问题部分需要包括这些方面。确保所有技术细节准确，例如使用Hugging Face的Transformers库和Datasets库，正确的代码示例，以及如何保存和加载模型。 最后，需要验证所有引用是否正确对应，例如引用[1]确实涉及在指定数据集上的微调教程，引用[3]的方法是否适用于指令提示的优化。如果有不确定的地方，可能需要提示用户参考具体文档或提供进一步的资源链接。</think>### Hugging Face上DeepSeek-R1模型微调指南 #### 一、准备工作 1. **环境配置** - 安装Hugging Face生态工具链： ```bash pip install transformers datasets accelerate peft ``` - 确认GPU环境（推荐NVIDIA驱动版本>=535）[^2] - 创建Nodeshift账户用于实验跟踪（可选）[^4] 2. **数据准备** - 推荐使用Medical Chain-of-Thought数据集[^1] - 加载示例： ```python from datasets import load_dataset dataset = load_dataset("medical_chain_of_thought") ``` #### 二、模型加载 ```python from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained( "deepseek-ai/deepseek-r1-distill-llama-8b", trust_remote_code=True ) ``` #### 三、微调配置 $$ \text{Learning Rate} = 3e-5,\quad \text{Batch Size} = 16,\quad \text{Epochs} = 3 $$ ```python from transformers import TrainingArguments args = TrainingArguments( output_dir="./results", learning_rate=3e-5, per_device_train_batch_size=16, num_train_epochs=3, logging_dir="./logs" ) ``` #### 四、优化技巧 1. 使用GrIPS方法优化提示模板[^3] 2. 采用LoRA参数高效微调： ```python from peft import LoraConfig lora_config = LoraConfig(r=8, lora_alpha=16) ``` #### 五、训练执行 ```python from transformers import Trainer trainer = Trainer( model=model, args=args, train_dataset=dataset["train"], peft_config=lora_config ) trainer.train() ``` #### 六、模型保存与部署 ```python model.save_pretrained("./fine_tuned_deepseek") tokenizer.save_pretrained("./fine_tuned_deepseek") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值