request和scrapy模拟cookies登录的方式

request三种方式:

1,通过session模拟登录获取cookies

2,将cookies信息添加到header里

3,将cookies以字典形式添加到request请求的cookies字段里

scrapy三种方式:

1,scrapy.Request直接携带cookies

scrapy.Request(url, callback, cookies={})

2,scrapy.FormRequest(url, formdata={}, callback=)找到发送post请求的url地址,带上信息,发送请求

3,scrapy.FormRequest.from_response(response, formdata={}, callback)自动寻找表单中action的地址

模拟登陆的几个场景如:

cookie过期时间很长,或者过期前把所有数据拿到,或者配合其他程序,如使用selenium把登陆之后的cookie获取到保存到本地,scrapy发送请求之前先读取本地cookie

可以在scrapy setting中添加COOKIES_DEBUG = True,查看过程。

未经允许不得转载:MR LYU » request和scrapy模拟cookies登录的方式

赞 (0)

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址