之前有一位爬虫大佬写了一篇文章，说 HTTP/2 协议天然就能防大部分的爬虫。Python 无论是 requests 还是 Scrapy 都不支持 HTTP/2 协议。Go + HTTP/2 这个网站可以检测你是否使用 HTTP/2 协议进行请求。当我们直接使用浏览器访问的时候，页面长这样：但如果我们直接使用 Scrapy 访问这个页面，并打印源代码，返回的 HTML 长这样：这样看起来，似乎 Scrapy 确实不支持 HTTP/2 协议？但我为什么总是一直强调要读官方文档，不要去搜索一些垃圾博客呢。因为官方文档里面，已经明确告诉你 Scrapy 不仅原生支持 HTTP/2，而且只需要改一个配……