有不少同学在写爬虫时，会使用 Scrapy + scrapy_redis 实现分布式爬虫。不过 scrapy_redis 最近几年更新已经越来越少，有一种廉颇老矣的感觉。Scrapy 的很多更新，scrapy_redis 已经跟不上了。大家在安装 Scrapy 时，如果没有指定具体的版本，那么就会默认安装最新版。这两天如果有同学安装了最新版的 Scrapy 和 scrapy_redis，运行以后就会出现下面的报错：1TypeError: crawl() got an unexpected keyword argument 'spider'如下图所示：遇到这种情况，解决方法非常简单，不要安装 S……