开篇先抛出我的观点：希望各位做爬虫的同学，尽快，尽可能多地做海外的爬虫项目，爬海外的网站。这才是你们新的未来。我最近两年时间，已经没有做过任何国内网站的爬虫了，根据这两年爬海外网站的一些经验，谈谈我的发现和想法。内地的环境不适合做爬虫国内的网站在这么多年的爬虫与反爬虫的斗争中，反爬能力越来越强，瑞数、极验和其它第三方专业反爬虫系统，就能挡住很多人了。国内值得爬的网站就只有这么几个，大家都在爬，你有 1GB 的数据，他有 1TB 的数据，内卷极其严重。很多工作室直接使用群控技术，几万台机器一起爬。普通人很难跟他们竞争。国内一些专门做舆情分析的公司，他们甚至可以通过地下渠道直接拿到网站的内部 AP……