2019年03月的文章

python

类属性和方法

cool0x 发布于 2019-03-30

属性分为实例属性与类属性 方法分为普通方法,类方法,静态方法 一:属性:   尽量把需要用户传入的属性作为实例属性,而把同类都一样的属性作为类属性。实例属性在每创造一个实例时都会初始化一遍,不同的实例的实例属性可能不同,不同实例的类属性都相同。从而减少内存。   1:实例属性: ...

阅读(73)评论(0)赞 (0)

python

scrapy pipeline

cool0x 发布于 2019-03-30

一个pipeline可以对应多个爬虫,通过设置item[“come_from”]字段,在pipeline中通过if item[“come_from”]==”XXX”来判断区别数据或者通过spider.name...

阅读(91)评论(0)赞 (0)

python

scrapy流程框架

1

cool0x 发布于 2019-03-29    来源:CNBLOG

Scrapy主要包括了以下组件: 引擎(Scrapy)用来处理整个系统的数据流, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下...

阅读(98)评论(0)赞 (0)

VMware

VCSA6.7部署DNS的问题

cool0x 发布于 2019-03-29

第一步: 没有DSN服务器的话,FQDN里填写IP地址 第二步: 用网页登陆安装,将系统名称改为IP地址,否则,VCSA回到DNS服务器查询

阅读(98)评论(0)赞 (0)

网络游侠

正向代理和反向代理的区别

cool0x 发布于 2019-03-21

浏览器————-代理————- 目标服务器(如google) 正向代理:类似V P N, 浏览器客户端知道目标服务器的信息和地址 反向代理:浏览器客户端不知道目标,常用的有nginx服...

阅读(101)评论(0)赞 (0)