爬虫出海 Step by Step(一)

谢乾坤|青南 at 
上周的文章《一日一知:国内爬虫开发人员的未来》发布以后,很多同学私信我表示对爬虫出海很有兴趣,希望我能详细介绍一下。因此,我准备用几篇文章来介绍爬虫出海的具体做法细节和注意事项。今天我们的话题是,如何规避法律风险。如果你是个人开发者,那么你直接写爬虫爬就可以了。不会有人跨国来抓你的。如果你是小公司,并且在海外没有分公司,那么你也可以像个人开发者一样直接爬。如果你是大公司,关注自己的国际声誉;或者你的公司在海外有分公司,那么你需要注意如下的几个问题。藏好自己很多网站几乎没有反爬虫机制。你直接使用 requests.get(url)就能获取数据,连 headers 参数都不需要加。网站反不反爬虫是……