NLP 中的 RNN、Seq2Seq 与 attention 注意力机制

limboy's HQ at 
这篇文章通过易于理解的例子,把自然语言处理过程中会遇到 RNN(循环神经网络)、Seq2Seq、Attention 的大致工作方式讲的挺清楚的(主要面向初学者,不涉及实现细节,基本不需要数学和编程知识)。循环神经网络,就是有这么个神经网络,它会挨个处理文字(计算机内部会将它表示为特定的向量),同时也会将上一次的处理结果作为输入一并处理。这样的话,即使是同一个文字,如果出现的位置不一样,就会有不同的效果。也是因为这个特性,导致无法并行处理文字。Seq2Seq,就是将一个序列映射为另一个序列,比如将一段中文映射(翻译)为一段英文。一个纯粹的神经网络是一一对应的,如果输入的长度为 10,那么输出的长……