scrapy 浅拷贝的坑

在很多层parse函数传递,每一次都对item进行for循环赋值的时候,会出现浅拷贝带来的问题。

scrapy.Request()中数据传递,meta必须是一个字典,在下一个函数中可以使用response.meta获取,meta传递的数据是浅拷贝传递的,如果传递的数据是可变的数据类型,那么数据可能会错乱,需要用深拷贝来避免。

至于yield是否要深拷贝,参考这个:
https://www.jianshu.com/p/42f22085f4c5

发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据