- 博客(17)
- 收藏
- 关注
RSS订阅原创 InternLM 实战营笔记-5-LMDeploy量化部署LLM&VLM实践
这里的前向推理公式主要适用那些采用了Decoder-only并且是逐个Token生成的LLM，这里公式也是指生成一个Token的前向计算量。2N表示的是单个Token与模型参数之间的计算量，不包括注意力图的计算，这个结果可以通过将LLM简化成一个大的全连接层来看即ywxb,这里假设x大小为1bw大小为abb的大小为a,由于x与w进行的是点积运算，所以相应运算量为a∗b乘法和a∗b−1加法运算，相应的和偏置的运算量为a次加法，因此总计2∗a∗b。
2024-04-17 15:46:17
796
原创 InternLM 实战营笔记-3-RAG助手
RAG(检索式增强生成)，其核心思想是在LLM回答问题或者生成文本时会先从事前构建好的知识库(文献资料)中检索相关信息，然后基于相关问题和检索到的信息来回答问题或者文本，从而提高预测质量。如果说大模型在之前回答用户问题是在参与一场闭卷考试，那现在通过RAG技术，大模型回答用户的问题就是在参加一场开卷考试，RAG技术中构建的知识库也就相当于开卷考试时带进考场的资料。
2024-04-12 20:14:49
762
原创 BatchNorm、LayerNorm、InstanceNorm以及GroupNorm
如果某个特征的值明显大于另一个特征，这会导致模型输出的结果对该特征变化变的十分敏感。
2024-04-04 22:21:23
721
原创 Opencv-直方图&直方图均衡化&直方图反射
主要简单介opencv直方图相关操作，参考资料来源《数字图像处理》和opencv官方文档以及wiki。
2023-12-15 23:38:32
67
原创 [阅读笔记]Conditional Image-to-Video Generation with Latent Flow Diffusion Models
[阅读笔记]Conditional Image-to-Video Generation with Latent Flow Diffusion Models
2023-08-11 10:37:25
821
原创 [论文笔记]Soft-Gated Warping-GAN for Pose-Guided Person Image Synthesis
Soft-Gated Warping-GAN for Pose-Guided Person Image Synthesis阅读笔记
2023-01-17 16:43:34
203
原创 [论文笔记]Deformable GANs for Pose-based Human Image Generation
Deformable GANs for Pose-based Human Image Generation的阅读笔记
2022-12-27 16:01:33
362
2
原创 [论文笔记]Disentangled Person Image Generation
Disentangled Person Image Generation
2022-12-22 19:59:42
203
1
原创 [论文笔记]pose guided person image generation
Pose Guided Person Image Generation的阅读笔记
2022-12-18 22:00:27
615
3
原创 [论文笔记]Face X-ray for More General Face Forgery Detection
Face X-ray for More General Face Forgery Detection论文笔记
2022-11-21 18:21:37
900
1
原创 [论文笔记]On the Detection of Digital Face Manipulation
On the Detection of Digital Face Manipulation 阅读笔记
2022-11-16 22:26:20
341
原创 [论文笔记]Towards Solving the DeepFake Problem
Towards Solving the DeepFake Problem :An Analysis on Improving DeepFake Detection using Dynamic Face Augmentation 的阅读笔记
2022-11-13 14:23:17
189
1
原创 [论文阅读]Representative Forgery Mining for Fake Face Detection
Representative Forgery Mining for Fake Face Detection阅读笔记
2022-11-11 20:43:27
394
1
原创 [论文笔记]Multi-attentional Deepfake Detection
Multi-attentional Deepfake Detection的阅读笔记
2022-11-11 20:33:17
582
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人