endNone-CSDN博客

部署llama3时，RuntimeError: Expected one of cpu, cuda, ipu, xpu, mkldnn, opengl, opencl, ideep, hip, ve, fpga, ort, xla, lazy, vulkan, mps, meta, hpu, mtia, privateuseone device type at start of device string: auto问题解决

2024-05-06 02:56:05 399

原创大模型精度

这篇博客详细介绍了浮点数在计算机中的存储方式、不同类型的浮点精度（如FP16、FP32、FP64等）及其用途，以及在深度学习和大模型训练中采用的混合精度训练方法。文章通过理论解释和实例展示，阐述了如何在提高计算效率和节约内存使用的同时，保持数值计算的精度和稳定性。

2024-05-01 21:39:50 754 1

原创 Hugging Face space 快速部署 Argilla

在部署AutoPrompt项目时我发现需要配置一个名为Argilla的注释方法项目，提供用户界面让人类注释者可以审查和修改模型的输出。Argilla是一个开源的、以数据为中心的 NLP 平台，可以用于数据标注、机器学习运维和反馈循环，旨在增强小型和大型语言模型（LLM）的开发。使用Argilla，每个人都可以使用人工和机器反馈，通过更快的数据管理来构建强大的语言模型，为 MLOps 周期中的每个步骤提供支持，从数据标记到模型监控。

2024-04-25 15:38:10 336 1

原创 json 学习笔记

这个函数用于将 Python 对象序列化为 JSON 格式，并直接写入到一个文件中。适用于需要将对象转化为字符串以便在网络上传输或其他需要字符串形式的场合。通过这些函数，你可以方便地在 Python 对象和 JSON 格式之间进行转换，无论是处理文件还是处理网络传输的数据。在 json 标准中，对于数组和对象的长度以及它们可以嵌套的深度没有做出具体的限制。需要注意的是在程序中使用json数据，需要特定方法转化为对象变量才能使用。，没有多余的标记，因此在网络中传输时可以减少数据量，提高效率。

2024-04-24 22:12:38 1066 3

原创最新qwen2_moe模型加载，出现KeyError: ‘qwen2_moe‘报错解决

原因：pip中的最新版的transformers还没有更新，因此用github上的版本更新。

2024-04-08 01:21:34 1494

原创 huggingface下载模型总是下载到~/.cache/huggingface的问题解决

其实是软链接，这样做的好处是为了统一管理，即第一次过后假设自己忘记过下载这个文件，再次运行下载命令即可直接获取这个完整的文件，不必从头下载。但这样做的缺陷是如果/home路径所在的磁盘空间紧张，很容易导致磁盘空间爆了，网络上的解决方法是在命令中设置参数。,经过实测，这个参数可以更改下载的临时路径，问题得到解决。，但实测下来这个参数没有任何效果，估计版本升级的原因。为了统一存储管理，默认将文件的下载地址设置在了。在最新版本的help中我找到了这个参数。

2024-03-16 16:00:04 873 2

原创 Docker学习笔记

不依赖于操作系统的运行层（layer）：添加安装包、依赖、配置等，每一次操作都形成新的一层基础镜像（BaseImage）：应用依赖的系统函数库、环境、配置、文件等入口（Entrypoint）：镜像运行入口，一般是程序启动的脚本和参数Dockerfile其中包含一个个指令，用指令来说明要执行什么操作来构建镜像。将来Docker可以根据Dockerfile帮我们构建镜像。指令说明示例FROM指定基础镜像ENV设置环境，可在后面指令使用COPY拷贝本地文件到镜像的指定目录RUN。

2024-03-13 10:42:40 1143 1

原创 huaggingface模型国内网络下载

hf-mirror](https://hf-mirror.com/）是huggingface的镜像网站，在国内可以直接使用，对于新出的模型魔方社区不一定有人第一时间搬运到社区里，所以使用hf-mirror更保险一点。上的大模型时，需要连接外网，但由于出于对服务器的安全性考虑，一般服务器是不会允许连接外网的。操作上和huggingface完全一致，复制命令下载即可。找到你想要的模型，在模型文件里找到对应命令运行即可。当我们在GPU服务器上要下载。

2024-03-13 10:33:31 663 1

原创 AttributeError: ‘Qwen2ForCausalLM‘ object has no attribute ‘chat‘解决方案

AttributeError: 'Qwen2ForCausalLM' object has no attribute 'chat'解决方案

2024-03-10 14:57:47 3302 4

原创 ValueError: Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.解决方法

ValueError: Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.解决方法

2024-03-09 14:31:13 1485 3

原创在国内网络内却无法访问部分内网（例如知网）的问题解决

在国内网络内却无法访问部分内网（例如知网）的问题解决

2023-09-22 10:20:37 1124 1

原创 Linux学习日志-1-基础命令

linux学习笔记-常用命令篇，本文章详细罗列了Linux的常用命令和用法

2023-09-22 00:51:37 82

原创如何在共享服务器里建立自己工作目录的“马奇诺防线”

在共享服务器里通过GPG和openssl加密自己的工作目录，同时在需要时随时解密解压，既安全又高效

2023-09-03 04:26:59 93

原创 Easyconnect 状态异常及连接上校园网无法访问校内网站的问题

Easyconnect 状态异常及连接上校园网无法访问校内网站的问题

2023-05-26 13:27:24 4425 3

原创局部线性拟合的最优数据选择

在系统误差和偶然误差同时存在的情况下，进行局部线性拟合的最优数据选择

2023-03-08 23:31:00 595

原创如何作出优美的曲线

用三种程序（python、matlab、R）介绍一些简单的曲线拟合作图保姆级教程

2023-03-03 21:30:00 1174 1

(中英文)停用词表( 3076)

内容概要本资源包含一套综合性的中英文停用词表，总计包含2313个词汇。这些停用词来源于多个权威来源，包括但不限于中文停用词表、哈工大停用词表、百度停用词表以及四川大学机器智能实验室停用词库。这些词表经过精心整合和去重，旨在为中英文文本处理提供一个高效、准确的基础词库。适用人群数据科学家和文本分析专家，需要清洗和预处理大规模文本数据。自然语言处理（NLP）研究人员和学生，寻求优化算法性能和提升数据处理效率。机器学习工程师和开发者，涉及到文本挖掘、情感分析、主题建模等应用。任何需要进行高效中英文文本分析和处理的专业人士和爱好者。使用场景及目标文本预处理：在文本分析和自然语言处理（NLP）任务中，停用词通常被视为噪声，需要从数据集中去除以提高算法效率和准确性。搜索引擎优化：通过过滤无意义的停用词，改进搜索算法的相关性和效率。情感分析：净化文本，保留更有情感色彩的词汇，提高情感分析的准确度。文本摘要和关键词提取：去除常见但无关紧要的词汇，突出文本的关键信息和主题。其他说明该停用词表不仅包含了单个字词，也涵盖了一些常见短语和标点符号，适用于更广泛的文本处理场景。

2024-04-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人