scrapy pipeline

一个pipeline可以对应多个爬虫,通过设置item[“come_from”]字段,在pipeline中通过if item[“come_from”]==”XXX”来判断区别数据或者通过spider.name来判断来自于那个spider

process_item 名字不能改,只有它能接受item

未经允许不得转载:MR LYU » scrapy pipeline

赞 (0)

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址