torch
文章平均质量分 58
ziuno
NLP爱好者,专注于解决小众bug~
展开
-
Inner Product (IP) Topk
faiss的检索功能确实强大,尤其是在使用HNSW或PQ等功能时,确实无法比拟(HNSW不适合在gpu上运行),但如果仅论IP内积计算,faiss未必有优势,可能反而不如使用cuda版本的torch计算速度快,且faiss的检索计算精度与torch略有差异,具体测试可以参考我之前的。(faiss-gpu面对过大corpus也无法存储完整,也需要分块,且搜索时需先加载成cpu再转移到gpu上,加载过程时间消耗大,直接在cpu上计算与加载到gpu后总计算时间相当,因此可以直接使用faiss-cpu)原创 2023-04-26 11:21:41 · 301 阅读 · 0 评论 -
faiss与torch的Topk
faiss与torch的topk原创 2023-04-22 15:37:48 · 315 阅读 · 0 评论 -
DistributedDataParallel的eval与save
(虽然训练结束后不同进程上的模型参数应该是相同的,eval过程理论上可以拆分到几个进程上并行再合并以提速,但实际会导致,与加载存储的模型再eval的结果不一致,即模型参数存在差异)同样的,eval时也只能用相应local_rank为0的模型(与save过程的local_rank保持一致即可),否则将会导致结果不同,不可复现问题。DDP的save通常只能存储一个进程的模型,例如只存储local_rank为0的模型。torch的DistributedDataParallel(简称DDP)原创 2022-10-14 10:06:08 · 279 阅读 · 0 评论