智联招聘的cookies是动态变化的,这种该怎么处理?-灵析社区

走你啊啊啊啊啊

最近在学习爬虫,练习爬取智联招聘网站时,发现列表页是可以正常爬取的,但是详情页不行,发现在F12的请求头里复制的cookies值随着每次刷新都是变化的,本来打算用发送登录请求,每次获取cookies值,但是发现网站只有短信验证码登录,没有账号密码登录,就不知道怎么做了,看了之前别人爬取的都是固定cookies是前两年智联招聘cookies还不是动态变化的原因吗? 是不是只能用selenium这类模拟登陆的方式了,求解答。

阅读量:213

点赞量:0

问AI
在请求列表页面时,不仅仅保存页面数据,把请求头也一起保存,第二步请求详情页自动带着,放在一个流程里。 也就是完全模拟浏览器操作。 selenium有很多标识,可以识别你是爬虫来禁止你爬取,要挨个去处理。 练手的话,爬取速度尽量慢一点,再慢一点,手下留情 ^_^