一日一技:如何从大量商品数据里面找到降价商品?

谢乾坤|青南 at 
相信很多做爬虫的同学都会爬电商网站,每天爬一次,然后监控商品是否降价。如果你只监控一个商品,那么是否降价这非常容易判断,但如果你要找到这个网站里面所有降价的商品,那就非常麻烦了。如下图所示,是美国电商沃尔玛的全站商品数据:每个商品每天都会爬一次,一共有 61w+条数据。里面有 N 个商品降价了,现在需要把这些降价的商品找出来。商品有十几万个,如果你分别找到每个商品的 ID,然后用 ID 再找到这个商品每一天的数据,最后看它是否降价,这个工作量非常大,速度也会非常慢。Pandas 内部使用了 SIMB 技术来对并行计算进行优化,我们需要尽量在不使用 for 循环的情况下,完成这个任务。为了简单起……