题目内容
（请给出正确答案）
A、梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量梯度下降（Mini-Batch Gradient Descent）
B、批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新
C、随机梯度下降法不同于批量梯度下降，是每次迭代使用一个样本来对参数进行更新
D、小批量梯度下降法是对批量梯度下降以及随机梯度下降的一个折中办法。更新参数时使用一部分训练样本。一般将训练样本集分成若干个batch，每个batch包含m个样本。每次更新都利用一个batch的数据，而非整个训练集
简答题官方参考答案
（由简答题聘请的专业题库老师提供的解答）
更多“下面关于梯度下降法描述正确的是”相关的问题
A、LSTM是简化版的RNN
B、LSTM是双向的 RNN
C、LSTM是多层的RNN
D、LSTM是RNN的扩展，其通过特殊的结构设计来避免长期依赖问题
A、长短期记忆网络LSTM
B、卷积神经网络CNN
C、多层感知机MLP
D、受限玻尔兹曼机
A、一般需要一个 sigmoid 神经网络层和一个 pointwise 乘法操作
B、一般需要一个 sigmoid 神经网络层和一个 pointwise 加法操作
C、一般需要一个 tanh 神经网络层和一个 pointwise 乘法操作
D、一般需要一个 tanh 神经网络层和一个 pointwise 加法操作
A、标准RNN隐藏层只有一个状态h，对短期输入敏感，但难以捕捉长期上下文
B、LSTM在隐藏层上增加了一个长期状态c (cell state)，用于保存长期状态。C也被称为单元状态或细胞状态
C、LSTM只有长期状态，没有隐藏状态
D、LSTM既有长期状态，也有隐藏状态
A、GRU混合了长期状态和隐藏状态
B、和LSTM相同的是, GRU也有三个门，即忘记门、更新门和输出门
C、在GRU中，取消了LSTM中的输出门
D、如果reset门为1，而update门为0的话，则GRU完全退化为一个RNN
A、注意力机制只能应用于计算机视觉领域，目前在文本处理中没有应用案例
B、注意力机制只能应用于文本分类，无法应用在计算机视觉等领域
C、注意力机制是一种通用的思想，本身并不依赖于特定框架
D、注意力机制只能应用在循环神经网络框架中，无法在其它深度学习框架中应用
A、输入门层的目的是确定什么样的新信息被存放在长期状态中
B、使用sigmoid 层决定什么值将要更新
C、使用一个 tanh 层创建一个新的候选值向量，被加入到状态中。在创建新的候选值向量时，只会利用到当前的输入
D、之前的长期状态Ct-1将被更新为Ct。在这个更新过程中要用到加法门
下面关于计算LSTM中的忘记门的描述错误的是：
A、忘记门层 的任务是从当前输入中“忘记”信息
B、忘记门的输入为ℎ−1 和 ，输出的矩阵中每个元素为 0 到 1 之间的数值
C、忘记门的输出要与长期状态矩阵−1中的每个对应位置元素相乘
D、忘记门的输出中1 表示“完全保留”，0 表示“完全舍弃”
A、LSTM中忘记门和输入门要用到乘法门
B、LSTM中输入门和输出门要用到乘法门
C、LSTM中只有输出门要用到乘法门
D、LSTM中忘记门和输出门要用到乘法门
A、LSTM中的输入门要用到加法门
B、LSTM中的输出门要用到加法门
C、LSTM中的忘记门要用到加法门
D、LSTM中的输入和输出门要用到加法门
警告：系统检测到您的账号存在安全风险
为了保护您的账号安全，请在“简答题”公众号进行验证，点击“官网服务”-“账号验证”后输入验证码“”完成验证，验证成功后方可继续查看答案！
