山东大学软件学院深度学习期末考试题2024

考试时间：2024年6月17日

题量明显增大，白送的20分计算图没了，但还是比较基础，没考出上课的两本书范围。

一、名词解释 3*8

1. 分布式表示
2. 超参数
3. 梯度确认
4. 共现矩阵
5. Attention机制
6. 截断的BPTT
7. 语言模型
8. 困惑度

二、简答8*6

1. 神经网络学习过程
2. Word2vec计算瓶颈，解决方法
3. 激活函数为什么使用非线性
4. Dropout为什么能抑制过拟合
5. Batchnorm三个优点
6. 训练集，测试集，验证集用处，为什么要分为训练集和测试集

三、大题

1. 256*256的彩色RGB图像，有一个10神经元的隐藏层，输出层神经元数量为1000.不考虑偏置，

        1）求参数数量 6分

        2）Cnn的特点 3分

        3）SGD效率低的根本原因，写出三个除SGD外的参数更新方法。 4分

2.

        1）画出LSTM计算图 5分

        2）简述LSTM三个门 5分

        3）RNNLM的优化方法，至少三条 5分