scrapy 浅拷贝的坑

在很多层parse函数传递,每一次都对item进行for循环赋值的时候,会出现浅拷贝带来的问题。

scrapy.Request()中数据传递,meta必须是一个字典,在下一个函数中可以使用response.meta获取,meta传递的数据是浅拷贝传递的,如果传递的数据是可变的数据类型,那么数据可能会错乱,需要用深拷贝来避免。

至于yield是否要深拷贝,参考这个:
https://www.jianshu.com/p/42f22085f4c5

未经允许不得转载:MR LYU » scrapy 浅拷贝的坑

赞 (1)

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址