论文笔记:Memory Networks

ZMonster at 
论文笔记:Memory Networks的配图
大部分 ML 方法都缺乏建立长期记忆(long term memory)的能力以及基于长期记忆的推理和处理 —— RNN 虽然能一定程度上做到,但由于 gradient vanish 的问题,实际上长期记忆在 RNN 中会衰退为短期记忆,LSTM 的提出对此问题有所改善,但效果有限作者主要是想进行基于知识库(Knowledge Base,或称知识图谱)的问答,但希望知识库可以作为模型的一部分并在此基础上进行 QANTM 的结构很好,但是它能使用的 memory 还是太小了时序性: 信息的输入是时序的,有先有后因果性: 先输入的信息对后输入的信息会产生影响,如果将两者调换,那么结果会不一样整个模……