- 博客(37)
- 收藏
- 关注
RSS订阅原创 双塔模型：DSSM&SENET
代码：https://github.com/HeartFu/DSSM?知乎：https://zhuanlan.zhihu.com/p/1945210591322042709。
2026-01-22 00:55:08
701
原创 【扩散模型】diffusion model
1. 输入图片X_0给X0逐步添加噪声，持续T个时间步骤。马尔科夫链，某个时间步的分布只取决于前一步的样本。
2025-12-26 20:59:43
788
原创 【flash-attn】加速注意力计算
github版本：https://github.com/Dao-AILab/flash-attention/releases。项目需要在做千万级别的embedding生成，用flashattn2后单卡50w的数据大概能快5min。安装：https://www.cnblogs.com/lyjun/p/18272829。从头安装：https://zhuanlan.zhihu.com/p/655077866。可能的问题：GLIBC报错说我版本太低。
2025-12-22 15:41:39
134
原创 【llm相关】受限解码
Trie树，参考：https://github.com/HonghuiBao2000/LETTER/blob/master/LETTER-TIGER/generation_trie.py。他们没空修：https://github.com/huggingface/transformers/issues/22890。感觉预留的目的应该是 先推理然后筛选掉不合法的 再保留num_beams个。好像是因为候选token的概率分数都是-inf，而-inf是不允许的？莫名其妙地不从我的候选item里选token。
2025-12-03 17:50:11
375
原创 【vllm】vllm调用
参考：https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html。
2025-12-03 13:56:57
277
原创 【EasyR1】GRPO训练
官方github：https://github.com/hiyouga/EasyR1参考：https://opendeep.wiki/hiyouga/EasyR1/quickstart。
2025-08-24 20:03:22
622
原创 【自用-学习记录】强化学习
Policy Gradient算法思想：先将策略表示成一个和奖励有关的连续函数，然后用连续函数的优化方法去寻找最优的策略，优化目标是最大化连续函数，最常用的是优化方法是梯度上升法（与最小化loss的梯度下降相对）。强化学习，需要agent不断地在环境中进行交互实验，通过环境给予的反馈（奖励）来不断优化（状态-行为）的对应关系，目标一般是追求最大回报。鱼与熊掌不可兼得，我们不可能同时把探索和利用都做到最优，因此，强化学习问题中存在的一个重要挑战即是如何权衡探索-利用之间的关系。因为抽样的结果是随机的，服从。
2025-07-21 21:17:38
632
原创 【docker】环境和代码打包到其他服务器上
CMD设置容器启动后默认执行的命令，中括号数组形式，和vscode的launch.json的args写法类似。因为服务器没网，所以我在自己电脑上pull了ubuntu:latest镜像，然后保存导入到服务器上。我想拉一个ubuntu:latest的镜像，容器化后把我代码和环境配好，最后再转为镜像。WORKDIR设定镜像的工作目录，后面的命令都基于这个目录，如。把一个运行中的容器的当前状态打包为一个镜像：commit命令。镜像标签的意义是标识镜像的版本。，然后会返回镜像的ID。代表当前目录，可以修改。
2025-05-22 11:11:02
1504
原创 【llama-factory】Lora微调和DPO训练
merge完在对应的输出文件夹里自带了ollama导入模型需要的Modelfile文件。，比如qwen1-2.5的template都是qwen。配置中：template可以参考。
2025-05-10 19:24:06
2635
原创 【mysql】python+agent调用
提出了semantic operators语义运算符，这是一种声明性编程接口，它通过基于人工智能的可组合操作扩展关系模型，用于对数据集进行语义查询（例如，使用自然语言标准对记录进行排序或聚合）。扩展数据查询API：提供一组基于声明式人工智能的运算符（例如，过滤、排序、聚合和使用自然语言指定符执行搜索）或LM用户定义函数。R是自然语言问题，Q是可执行的SQL语句，T是SQL查询得到的数据，A是回答。数据：可以是数据库，也可以是无结构、半结构化数据（free-text，图片，视音数据，图，向量等）
2025-04-28 17:30:42
1078
原创 【agent】Function Calling、MCP、skill
工具输入风格沿用function calling。不同llm的风格不一样。可能是忘了同步pyproject.toml，同步一下。同步pyproject.toml的文件。pyproject.toml改为。里看它们的工具输入格式信息。构建项目和uv构建环境。
2025-04-01 15:05:06
974
原创 【MinerU】可本地部署的PDF解析器
snapshot_download会有一个默认下载位置。export MODELSCOPE_CACHE=“目标地址”export HF_HOME=“目标地址”把pdf转换为markdown。从hugginface下载模型。
2025-03-30 22:43:34
1026
原创 【Ollama】大模型运行框架
GGUF是一种存储LLM的格式。ollama选用了这种格式。所以hugginface下下来的llm需要转换为gguf格式。然后把ollama/bin添加到path里。注意.gguf文件存储在model文件夹内部。
2025-03-30 21:56:51
839
原创 【ES】Elasticsearch学习
官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/targz.html。参考：https://blog.csdn.net/smilehappiness/article/details/118466378。
2025-03-21 17:10:05
562
原创 【github】代码仓库
两种开分支的做法：https://www.cnblogs.com/qyf404/p/git_push_local_branch_to_remote.html。vscode里先输入commit messages，然后 ^X离开，选择Y来保存，最后enter退出。现在貌似下载自己代码仓库只用账号密码是不行的。我用的vscode，直接命令行git操作。或者commit全部。
2024-11-25 11:17:43
449
原创 【找工作】力扣热题100
我感觉大多数空间复杂度要求特别高，或者要求原地置换的，就得利用输入数据空间，比如《缺失的第一个正数》用正负号来承载其他信息，比如《矩阵置零》用额外的一个bool表示首列是否置零，然后用0代表该行是否置零。我的做法也是O(n)，慢一点。找到最远（最左最右）的大于等于自己的点，然后就可以计算以height[i]为高度的最大的面积。要求复杂度O(n)。用的unordered_set，用的是哈希表，插入查询都是常数时间。维护的是每个高度的水位可以覆盖的最远范围区间，查询的是每个位置可以被覆盖的最高水位。
2024-09-10 15:55:46
482
原创 【LLM微调】以llama3为例
smart_tokenizer_and_embedding_resize是alpaca自定义的函数，把自定义的token字典传到tokenizer中，并且修改模型中的token的embedding。我最开始以为这里的padding="longest"是写错了，后来明白它的意思是限制文本长度不超过tokenizer.model_max_length，并且不填充到model_max_length。注意，当前批次下，input_ids的pad是普通的pad，但是labels的pad是。
2024-08-08 14:59:31
1117
原创 【fastapi】的使用（部署LLM）
与WSGI类似，ASGI（ Asynchronous Server Gateway Interface）描述了Python Web应用程序和Web服务器之间的通用接口。与WSGI不同的是，ASGI允许每个应用程序有多个异步事件。常见ASGI如uvicorn，gunicorn，hypercorn。fastapi安装，需要安装自身包和一个ASGI的服务器。
2024-07-31 15:25:36
1030
原创 【neo4j】win/linux安装和使用+cypher+langchian+向量索引
进入http://localhost:7474后输入用户密码，用户名是neo4j，密码是刚刚设置的数据库密码。设置下环境变量，把解压后的neo4j-community-5.21.2/bin放到环境变量的path里。上述做法是在conf配置里取消一行内容的注释，但是我这版的conf根本没有这行内容。设置下数据库名和密码，我这里设置的数据库是test，密码是rootroot。照上面参考的使用就可以了，windows和linux两版的连接都没有问题。bolt://localhost:7687是bolt协议。
2024-07-24 22:40:04
1662
原创 论文阅读2：RoG
KL散度是两个概率分布P和Q差别的非对称性的度量，在消息系统中称为相对熵。相对熵为非负数对于离散随机变量，概率分布P和Q的KL散度为：等价于。
2024-07-07 17:13:14
1299
原创 论文阅读1：GNN-RAG
训练时，给定question-answer pairs，把QA当成node- classification任务来训练（判断每个实体是answer还是 not answer），即L层GNN后获得每个实体的分数，然后打分。推理时，把超过一个分数阈值的实体都当成候选答案，并且给出每个answer对应的最短路径（从question entity到当前的answer）。实际使用中，GNN retriever抽取的路径、LLM-based抽取的路径结合起来传到LLM中。本文训了2个GNN，一个用的是预训练的。
2024-07-04 20:45:46
1468
原创 【ssh转发】如何在本地计算机上查看远程服务器上的网页？
ngrok不能用代理->关闭远程服务器的代理设置->远程服务器没网->ngrok需要有网->远程服务器需要设置代理->ngrok不能用代理。目前了解的可以端口转发或者快速构建web并支持端口转发的包有ngrok、flask、uvicorn、gradio。但是如果远程服务器上本来能联网不需要代理，可能可以正常使用ngrok。我使用的远程服务器上是没有网的，需要用我本地计算机的代理。ngrok的使用需要NGROK_AUTHTOKEN。但是我在远程服务器上没有管理员账号，所以我在个人账户下安装了ngrok。
2024-06-01 15:23:15
1448
原创 【huggingface】下载、使用和参数generationConfig介绍
以text_generation为例。huggingface GenerationConfig参数介绍。
2024-05-15 14:38:57
2669
原创 【机器翻译指标】BLEU、ROUGE、METEOR应用到中英文
比如tokenizer也可以自定义""""""""""""""""""""""""
2024-05-14 10:16:21
940
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人