一日一技:爬虫模拟浏览器如何避免重复登录?

谢乾坤|青南 at 
一日一技:爬虫模拟浏览器如何避免重复登录?的配图
当我们使用模拟浏览器访问一个网站的时候,可能会遇到网站需要登录的情况。我的爬虫练习网站提供了这样一个登录练习的案例。如果你手动用浏览器测试,你会发现这样一个现象:第一次访问的时候,自动跳转到登录页面。输入账号 kingname 和密码 genius 以后,可以看到登录成功的页面,如下图所示:现在,你把浏览器关了再打开,然后再次访问这个网址,你会发现浏览器直接就能进入到登录成功的页面,不会再出现登录页面。我们都知道,这是因为浏览器记住了网站的 Cookies,即使关闭了浏览器再打开,这个 Cookies 依然存在,所以可以绕过登录功能。但如果你使用 Selenium 或者 Puppeteer/P……