一个爬虫的小技巧先看这篇文章爬信息爬到服务器瘫痪，今日头条的头条搜索成了小网站的噩梦！可以看到大家都被今日头条的爬虫弄的苦不堪言。。。不知道你看完这篇文章有没有学到什么？只要你把 User-Agent 改成 Bytespider,那么你就可以甩锅给头条了（哈哈哈把 User-Agent 伪装成搜索引擎的，也算一个小技巧（一般大家都欢迎搜索引擎爬取，不容易被封 IP）当然在爬取的时候还是要注意频率本文作者：高金本文地址： https://igaojin.me/2019/10/26/爬虫小技巧/版权声明：转载请注明出处！var gitalkConfig = {"clientID":"935e92a……