NNDL作业10第六章课后题（LSTM|GRU）-创新互联

创新互联公司服务项目包括涡阳网站建设、涡阳网站制作、涡阳网页制作以及涡阳网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，涡阳网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到涡阳省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

习题6-4推导LSTM 网络中参数的梯度,并分析其避免梯度消失的效果.

习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果. (选做)

附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)

附加题 6-2P LSTM BP推导，并用Numpy实现

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

梯度爆炸问题产生的原因是由于公式 $Z_{k}=Uh_{k-1}+Wx_{k}+b$ 作为函数 $g(\ast )$ 在第k时刻的输入时，计算误差项 $\delta _{t,k}=\frac{\partial L_{t}}{\partial z_{k}}$ ，梯度可能会过大，从而导致梯度爆炸，可以通过使用LSTM网络来增加门控机制，以此来解决该问题。

习题6-4推导LSTM 网络中参数的梯度,并分析其避免梯度消失的效果.

习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果. (选做)

附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)

相较于LSTM，由于 GRU 参数更少，收敛速度更快，因此花费时间要少很多。而LSTM则更加灵活，因为它具有三个门控。但实际上，二者之间的表现差距往往并不大，远没有调参所带来的效果明显，二者之间的选择要根据具体的任务和数据集而定。

附加题 6-2P LSTM BP推导，并用Numpy实现

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧

本文标题：NNDL作业10第六章课后题（LSTM|GRU）-创新互联
文章出自：http://hbruida.cn/article/dcejoe.html

NNDL作业10第六章课后题（LSTM|GRU）-创新互联

其他资讯