论文笔记:Decoupled Neural Interfaces using Synthetic Gradients

ZMonster at 
论文笔记:Decoupled Neural Interfaces using Synthetic Gradients的配图
智能单元上看到这个消息的,觉得挺有趣的,就去读了一下。这篇论文干了什么呢?它在现有的神经网络模型基础上,提出了一种称为 Decoupled Neural Interfaces(后面缩写为 DNI) 的网络层之间的交互方式,用来加速神经网络的训练速度。作者在开篇指出,在神经网络模型训练中存在几个问题 Forward Locking: 前一层没有用输入完成计算,后一层无法进行根据输入进行计算 Update Locking: 如果一个网络层依赖的层没有完成前馈计算,该层无法进行更新 Backward Locking: 如果一个网络层依赖的层没有完成反向传播,该层无法进行更新由多个异步模块组成的复杂的……