目录作者观点数据集模型/实验/结论概念和术语总结作者 Junyoung ChungCaglar GulcehreKyungHyun ChoYoshua Bengio 观点 RNN 在很多机器学习任务尤其是变长输入输出的任务上效果拔群经典 RNN 有两个主要的问题: 梯度消失, 长期记忆急速衰减。解决 RNN 难以训练的尝试有两种: 一种是设计更好的学习方法(Bengio 2013)，另外一种是设计更复杂的激活函数 LSTM 不会每次都重写 memory，而是可以通过 input/forget gate 在需要的时候尽量地保留原来的 memoryLSTM/GRU 中额外增加的 cell stat……