NLP面试总结

已于 2023-09-09 11:47:02 修改
阅读量178 收藏 2
点赞数
分类专栏： 面试 文章标签： 自然语言处理
于 2023-03-09 11:12:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouzhou0929/article/details/129419209
版权

1. 标准化

https://www.zhihu.com/question/487766088/answer/2309239401

1.1 为什么要加入标准化层

深度学习每层网络结构都会造成数据分布的变化，当网络很深时，这种变化出现累加，顶层网络的输入数据分布变动很大。称为ICS（内部协方差偏移）。标准化层的出现就是为了解决ICS问题。

1.2 ICS带来的问题

过大的数据波动，会导致数据在经过激活函数后，落在饱和区，产生非常小的梯度，影响模型训练速度
过大的数据波动，上层网络需要不断调整去适应下层网络，因此学习率不宜设置过大

1.3 解决ICS常用的方法

采用非饱和的激活函数，比如relu
更小的学习率
更细致的参数初始化方法
数据白化（PCA计算量大，BN更合适）

1.4 常见的标准化层

BatchNorm, LayerNorm, InstanceNorm
从NLP的角度分析三种标准化的不同，数据格式为[batch_size * seq_length * embed_dim]。BN从batch维度做标准化，取第一条文本第一个字和第二条文本第一个字，计算均值和方差。LN从seq_length维度做标准化，取每一条文本计算。IN从token维度，也就是拿每个字的embedding计算
值得注意的是bert，transformer的LayerNorm，虽然调用的torch.nn.LayerNorm,但实际操作维度是IN

1.5 为什么bert用LN不用BN

一般来说CV适合BN,NLP适合LN,这是由数据特性决定的，LN更适合处理变长的序列，且不受batch_size影响。

2.位置编码

2.1 为什么要有位置编码

解决自注意力机制不能处理词序问题，让模型能够理解词的顺序信息。

2.2 位置编码有哪些

1.固定的绝对位置编码，正余弦形式(也称三角式)
2.可学习的绝对位置编码，直接给不同位置加一个position embedding,作为参数参与训练
3.相对位置编码：attention中建模token两两之间的相对距离，即下图的B在这里插入图片描述

3.CRF

3.1概念

条件随机场
Bert的输出是在每个字上的分布概率，称发射矩阵，也是CRF的输入
结构是一个可学习的矩阵，称为转移矩阵
训练过程：更新转移矩阵的参数，使得损失最小
损失构成：真实路径的分数/所有路径的分数 ， 其中真实路径分数是所有路径中最高的
优化算法：拟牛顿法（二阶导数下降快）

3.2和HMM对比

不需要满足HMM的两大假设：齐次马可夫假设（任一时刻隐藏状态只跟上一时刻隐藏有关），观测独立性假设（观测只取决于当前时刻的隐藏状态）

4.Transformer

https://zhuanlan.zhihu.com/p/396221959

4.1结构

1.输入模块
源文本嵌入层 + 位置编码器
目标文本嵌入曾 + 位置编码器
2.输出模块
线性层 + softmax
3.编码器模块
由N层堆叠而成
每个编码器包括两个子层连接结构
第一个子层包括 多头自注意力层 + 规范化层 + 残差连接
第二个子层包括 前馈全连接子层 + 规范化层 + 残差连接
4.解码器模块
由N层堆叠而成
每个解码器层包括三个子层结构
第一个子层包括 带mask的多头自注意力层 + 规范化层 + 残差连接
第二个子层包括 多头注意力层 + 规范化层 + 残差连接
第三个子层包括 前馈全连接层 + 规范化层 + 残差连接

4.2 多头自注意力机制

1.注意力机制
注意力机制是注意力计算规则能够应用在深度学习网络的载体，除了注意力计算规则外，还包括一些必要的全连接层以及相关张量处理，使其与应用网络融为一体。
2.为什么要除根号dk
对于较大的dk来说,在完成Q·K转置后将会得到很大的值，而这将导致在经过sofrmax操作后产生非常小的梯度，不利于网络的训练。除根号dk能把输出重新拉回均值0方差1.
3.为什么要多头
解决应用注意力机制时，模型在对当前位置的信息进行编码时，会过度的将注意力集中于自身的位置的问题

5.量化

1.静态量化：静态量化是在模型训练完成后进行的，一般会对整个模型的所有参数和激活值进行量化。这种方法不需要对模型进行重新训练，但可能会导致一定程度的精度损失。

2.动态量化：动态量化是在模型推理阶段进行的，只对模型的权重进行量化，而激活值则是在每次推理时动态量化的。这种方法可以在保持精度的同时，减少模型的内存占用和计算量。大小减半以上，速度加倍，不能gpu运行

6.onnx onnx_runtime

onnx_runtime是微软的推理框架，可在cpu和gpu运行。把模型图切分成更小的子图，使用onnxruntime核心进行算子的优化.cpu上速度快3倍
onnx是模型的中间件，模型转其他部署工具可以用上。onnx格式也可以用runtime部署。

import torch
import os
import numpy as np
import time
import onnxruntime
device = torch.device("cpu")
from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")

model = AutoModel.from_pretrained("bert-base-chinese").to(device)

# print(model)

text = "那些坚持996的员工最后会猝死么？"
inputs = tokenizer(text)
print(inputs)
inputs_ids = torch.LongTensor([inputs["input_ids"]]).to(device)
attention_mask = torch.LongTensor([inputs["attention_mask"]]).to(device)

time1 = time.time()
out = model(input_ids=inputs_ids, attention_mask=attention_mask)
print(time.time()-time1)
print(out["last_hidden_state"].size())
print(out["pooler_output"].size())


# 动态量化
# quantized_model = torch.quantization.quantize_dynamic(
#     model, {torch.nn.Linear}, dtype=torch.qint8
# )

# print(quantized_model)
#
# torch.save(quantized_model.state_dict(), "temp.p")
# # 打印持久化文件的大小
# print('Size (MB):', os.path.getsize("temp.p") / 1e6)
# # 移除该文件
# os.remove('temp.p')
#
# torch.save(model.state_dict(), "temp.p")
# # 打印持久化文件的大小
# print('Size (MB):', os.path.getsize("temp.p") / 1e6)
# # 移除该文件
# os.remove('temp.p')

# time1 = time.time()
# text = "中国高铁怎么样？"
# inputs = tokenizer.encode(text)
# print(inputs)
# inputs = torch.LongTensor([inputs]).to(device)
# print(inputs)
# out = quantized_model(input_ids=inputs)
# print(out.logits)
# print(time.time()-time1)

example = {"input_ids":inputs_ids, "attention_mask":attention_mask}
example2 = {"input_ids":inputs_ids.cpu().numpy(), "attention_mask":attention_mask.cpu().numpy()}

torch.onnx.export(model, example, 'model.onnx', export_params=True, opset_version=11,
                  input_names=['input_ids', 'attention_mask'],
                  output_names=['last_hidden_state','pooler_output'])

onnx_session = onnxruntime.InferenceSession('model.onnx')
t1 = time.time()
pred_onnx = onnx_session.run(None, example2)
print(time.time()-t1)
print(pred_onnx[0].shape)
print("-------------------")
print(pred_onnx[1].shape)

7.LLM-finetune

https://zhuanlan.zhihu.com/p/625896377
这些训练方式理解比较难，我抽象一下，都是为了减少训练参数，在原模型上打的补丁

7.1 prefix-tuning

固定模型参数， 在输入token前面加入虚拟tokens，在训练时只更新这部分tokens

7.2 prompt-tuning

7.3 lora

固定模型参数，旁路增加降维矩阵A,升维矩阵B,输出时将AB与模型参数相加，用高斯随机初始化A，0初始化B
一般取QKV-attention增加旁路
r（矩阵的秩）一般取1，2，4，8，领域与原模型差距越大，r取值越大。同时也需要更多的语料。
A不能全为0，否则会导致B的梯度始终为0，无法更新参数

zhouzhou0929
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NLP面试注意事项：本项目是作者们根据个人面试和经验总结出的自然语言处理（NLP）面试准备的学习笔记与资料，该资料目前包含自然语言处理各领域的面试题积累
03-04
本项目是作者们根据个人面试和经验总结出自然语言处理（NLP）面试准备的学习笔记与资料，该资料目前包含自然语言处理各领域的面试题积累。 目录架构 一， 二， 三， 四， 4.1 4.1.1 4.1.2 4.1.3 4.2 4.3 4.4 4.5 ...
机器学习+面试题目与解答+算法工程师+NLP工程师面试题目
03-06
囊括了本人在面试中可能遇到以及总结的相关问题，秋招除了华为的offer外，陆陆续续也拿到了美团、字节等offer,同时分别也靠着这个在商汤、电信研究院、华为都进行过相关算法实习；总体问题的重复度还是很高的，不过...
深度学习_深度学习基础知识_Internal Covariate Shift
关注大家关注我
01-02 416
深度神经网络模型的训练为什么会很困难？其中一个重要的原因是深度神经网络涉及到很多层的叠加，而每一层的参数更新导致上层的输入数据分布发生变化，通过层层叠加，高层的输入分布变化会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新。为了训练好模型，我们需要非常谨慎地去设定学习率、初始化权重以及尽可能细致的参数更新策略。 Google将这一现象总结为Internal Covariate Shift，简...
深度学习中的Internal Convariate Shift (ICS)
weixin_30423977的博客
04-24 557
　　深度学习网络模型的训练为什么会很困难？其中一个重要的原因是，深度神经网络设计到很多层的叠加，而每一层的参数更新会导致上层的输入数据分布发生变化。通过层层叠加，高层的输入分布变化会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新。为了训练好模型，我们需要非常谨慎地设定学习率、初始化权重以及尽可能细致的参数更新策略。 　　Google将这一现象总结为Internal Convariate ...
深度学习——Internal Covariate Shift与Normalization
霓而~
03-04 3251
转载自https://blog.csdn.net/sinat_33741547/article/details/87158830 Internal Covariate Shift与Normalization 一、“Internal Covariate Shift”问题 什么是“Internal Covariate Shift”？ 深度神经网络涉及到很多层的叠加，而每一层的参数更新会导致上...
深度学习中的Internal Convariate Shift (ICS) 问题
hxxjxw的博客
04-10 843
深度学习网络模型的训练为什么会很困难？其中一个重要的原因是，深度神经网络设计到很多层的叠加，而每一层的参数更新会导致上层的输入数据分布发生变化。通过层层叠加，高层的输入分布变化会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新。为了训练好模型，我们需要非常谨慎地设定学习率、初始化权重以及尽可能细致的参数更新策略。 Google将这一现象总结为Internal Convariate Shift，简称ICS。 Google提出BN的本之就是能够解决ICS问题，但是最近也有paper指出B...
吴恩达深度学习02-3.567 Batch Normalization（BN）
lyy的博客
12-14 413
目录前言why BN？Internal Covariate ShiftBN起源具体操作白化使之趋于非线性将BN拟合进神经网络 前言 最近在着手一项课设，在使用深度学习FCN网络的时候遇到了BN的问题，正巧的是，我同时在吴恩达老师的深度学习课程上看到了有关BN的问题，同时BN也是挺有意思、挺重要的知识。于是写下这篇文章来记录有关BN的学习过程。 本文综合了吴恩达老师的深度学习课程以及诸多博客的优秀见解，在此致谢。 why BN？ Internal Covariate Shift 首先介绍一个概念——ic
奇虎360自然语言处理面试总结
qq_28935065的博客
01-16 7010
奇虎360面试主要考察的知识点： 1.机器学习常用的分类算法，Logistic回归，SVM，Decision Tree，随机森林等相关分类算法的原理，公式推导，模型评价，模型调参。模型使用场景 2.机器学习常用的聚类算法，Kmeans,BDSCAN，SOM（个人论文中使用的算法），LDA等算法的原理，算法（模型）中参数的确定，具体到确定的方法；模型的评价，例如LDA应该确定几个主题，Kmean
NLP面试总结一
鲨鱼儿的博客
07-13 483
https://blog.csdn.net/qq_34896915/article/details/73565045-------------机器学习——神经网络、深度学习 知识点 总结 及 面试题汇总 ...
自然语言处理（NLP）岗位最新面试经验总结
seeblue1981的博客
05-04 1029
几乎所有自然语言类（NLP）岗位都是3轮及以上的面试。第一轮：基本沟通（自我介绍、经验介绍…）、基础知识（线程、设计模式…）、基础算法题(Transformer、Bert…)。第二轮：有一定难度的算法题、项目经验的详细讨论。第三轮：技术Leader和HR的最终面试。并且必定会考算法题。对于每一家公司，算法绝对是一个基本线，如果算法不过关那么几乎没有机会到达第三轮面试。所以算法准备是必须的！但也不是万能的，如果你以为只刷leetcode就能顺利通过面试，那就有点盲目乐观了。下面开始分享干货很干的呦，比干香菇还
自然语言处理NLP面试问题
艰难困苦，玉汝于成。
12-31 2917
自然语言处理NLP面试问题前言一、二、三、四五、总结 前言 提前准备总归是好的嘛，每次入职都要准备跳槽来应对下一家更大的公司。 一、 手推逻辑回归 朴素贝叶斯 K邻近。 SVM（一般不会手推，说一下最大间隔、KKT，核） 决策树 集成方法。 二、 CNN RNN lstm结构图 梯度下降 学习率 各个激活函数：Sigmoid、Tanh、Relu、Leaky Relu、Elu attention self-attention transformer结构图 三、 去除噪声、数据获取 数据不平衡的处理：重采样
华数面试总结.docx
05-18
在IT面试中，Java语言和其集合框架是常见的考察点，特别是对于...同时，对于华数传媒这样的公司，可能还会涉及到如何在实际项目中选择合适的数据结构，优化性能，以及处理并发等问题，这些都是面试者需要准备的内容。
NLP_ability:总结梳理自然语言处理工程师（NLP）需要积累的各个方面的知识，包括面试题，各种基础知识，工程能力等等，提升核心竞争力
03-18
背景介绍建立这个仓库是为了梳理自然语言处理（NLP）各方面的知识，提升自己的核心竞争力。我觉得NLP是一个值得深耕的领域，所以希望可以不停的提升自己的段位！微信公众号：NLP从入门到放弃深度学习自然语言处理...
NLP算法面试必备！史上最全！PTMs：NLP预训练模型的全面总结.md
04-08
通过借鉴不同的归纳方法进行总结，同时也**整合**了专栏之前已经介绍过的《[nlp中的词向量对比](https://zhuanlan.zhihu.com/p/56382372)》和《[nlp中的预训练语言模型总结](https://zhuanlan.zhihu.com/p/76912493)...
MaxKB-无需代码，30分钟创建基于大语言模型的本地知识库问答系统
specssss的博客
06-18 1095
模型类型选择 大语言模型基础模型不能随意填写，只能使用ollma模型库中已有的模型类型：https://ollama.com/library，这里我们用的是qwen:1.8b。大模型和知识库创建成功后，就可以创建应用了。点击“应用->创建应用”，填入应用名称和应用描述，注意这里AI模型和关联知识库要选择前面两步创建的AI模型和知识库。除了上面截图中的环境要求外，建议docker的版本不低于20.10.8，否则可能无法启动Ollama服务。API域名填写前面ollama起服务的机器ip和端口（11434）
【LLM-多模态】高效多模态大型语言模型综述
最新发布
weixin_45607947的博客
06-21 962
一、结论写在前面模型规模的庞大及训练和推理成本的高昂，限制了MLLMs在学术界和工业界的广泛应用。因此，研究高效轻量级的MLLMs具有巨大潜力，特别是在边缘计算场景中。论文深入探讨了高效MLLM文献的领域，提供了一个全面的视角，涵盖了其核心主题，包括基础理论及其扩展。论文的目标是识别并强调需要进一步研究并提出未来研究可能的方向。论文旨在提供一个关于高效MLLM当前状态的全面视角，希望能够激发更多的研究。鉴于该领域的动态性，可能有些最新的发展并未被完全覆盖。为此，论文建立了一个专门的网站，利用众包来跟上最新的
GT_BERT文本分类
东方佑
06-20 1137
），其中开头的为分类特殊标记“［CLS］”，结尾的为句子分隔特殊标记“［SEP］”，其余部分对输入句子进行切分后标记序列输入BERT模型后得到编码向量序列为=(,…然后,引人SS-GAN框架改进模型的训练方式,使 BERT-theseus模型能有效利用无标注数据,并实验了多组生成器与判别器的组合方式,获取了最优的生成器判别器组合配置,进一步提升了模型的分类性能。在反向传播中，未标注样本只增加。标注的真实样本只会影响，在最后和都会受到Ｇ的影响，即当Ｄ找不出生成样本时，将会受到惩罚，反亦然。
Amazon 文本数据提取服务-Textract对比Amazon 自然语言处理服务-Comprehend
llllllsb的博客
06-19 897
前言在人工智能技术不断进步的当下，自然语言处理（NLP）和机器学习正变得越来越重要。Amazon Web Services（AWS）为我们提供了Amazon Textract 和 Amazon Comprehend这两大服务，帮助我们更好地处理和分析文本数据。本文将对比这两个服务的核心功能、独特特性、响应时间、吞吐量、文档支持等多个方面，旨在帮助开发者和企业技术负责人选择最适合自己项目需求的AWS服务。
人工智能自然语言处理面试题
09-13
在人工智能自然语言处理面试中，可能会涉及到以下一些问题： 1. 什么是自然语言处理（NLP）？它的应用领域有哪些？ 2. 请解释一下BERT模型及其衍生模型，以及它们在NLP中的应用。 3. Batch Normalization在NLP中有...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值