FTRL 是 Google 提出的一种优化算法。常规的优化方法例如梯度下降、牛顿法等属于批处理算法，每次更新需要对 batch 内的训练样本重新训练一遍。在线学习场景下，我们希望模型迭代速度越快越好。例如用户发生一次点击行为后，模型就能快速进行调整。FTRL 在这个场景中能求解出稀疏化的模型。基础知识 L1 正则比 L2 正则可以产生更稀疏的解。次梯度：对于 L1 正则在 \(x=0\) 处不可导的情况，使用次梯度下降来解决。次梯度对应一个集合 \(\{v: v(x-x_t) \le f(x)-f(x_t)\}\)，集合中的任意一个元素都能被当成次梯度。以 L1 正则为例，非零处梯度是 1 或……