当前位置:首页 > 教育 > 正文

负责处理被spider提取出来的item

时间:2019-01-29 14:15 来源:未知 编辑:彩70娱乐

核心提示

终于写到了 scrapy 爬虫框架了,这个框架可以说是python爬虫框架里面出镜率最高的一个了,我们接下来重点研究一下它的使用规则 mySpider/items.py 项目的目标文件,规范数据格式,用来定...

  终于写到了 scrapy 爬虫框架了,这个框架可以说是python爬虫框架里面出镜率最高的一个了,我们接下来重点研究一下它的使用规则

  mySpider/items.py 项目的目标文件,规范数据格式,用来定义解析对象对应的属性或字段

  mySpider/pipelines.py 项目的管道文件,负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库)

  name = 这个是爬虫的名字,必须唯一,在不同的爬虫需要定义不同的名字

  start_urls =[] 爬取的URL元组/列表。爬虫从这里开始爬取数据,第一次爬取的页面就是从这里开始,其他的URL将会从这些起始的URL爬取的结果中生成

  parse(self,response) 解析网页的方法,每个初始URL完成下载后将调用,调用的时候传入每一个初始URL返回的Response对象作为唯一参数,主要作用 1、负责解析返回的网页数据,response.body 2、生成下一页的URL请求

  尴尬的事情发生了,竟然是一个POST请求,本打算实现一个GET的,这回代码量有点大了~

  scrapy 模式是GET请求的,如果我们需要修改成POST,那么需要重写Spider类的start_requests(self) 方法,并且不再调用start_urls里面的url了,所以,咱对代码进行一些修改。重写代码之后,注意下面这段代码

  我们在 def parse(self, response): 函数里面,输出一下网页内容,这个地方,需要用到1个知识点是

  运行该文件,记住在scrapy中的其他py文件中,运行是不会显示相应的结果的,每次测试的时候,都需要运行begin.py 当然,你可起一个其他的名字

  运行起来,就在控制台打印数据了,测试方便,可以把上述代码中那个数字7,修改成2,有心人能看到我这个小文字

  pycharm在运行过程中,会在控制台打印很多红色的字,没事,那不是BUG

  一定要在红色的字中间找到黑色的字,黑色的字才是你打印出来的数据,如下,得到这样的内容,就成功一大半了

  但是这个地方有个小坑,就是,你会发现返回的数据不一致,这个我测试了一下,是因为第一页的数据返回的不是JSON格式的,而是普通的网页,那么我们需要针对性处理一下,这个先不用管,我们把 items.py 进行完善

  使用yield返回数据,不要使用return。这样子parse就会被当做一个生成器。scarpy将parse生成的数据,逐一返回

  如果返回值是request则加入爬取队列,如果是item类型,则交给pipeline出来,其他类型报错

  到这里,如果想要数据准备的进入到 pipeline 中,你需要在 setting.py 中将配置开启

  好了,代码全部编写完毕,还是比较简单的吧,把上面的数字在修改成7,为啥是7,因为只能获取到前面150条数据



相关推荐:



  • 火锅+早餐,日营业额达5万,这是什么操 火锅+早餐,日营业额达5万,这是什么操

    有一家火锅店,早中晚餐全天候经营,为此还专门发明了一项专利。这种模式,能助推一匹火锅黑马诞生吗? 7年磨一剑,全国悄然布局30家门店 提起火锅,今天新闻,你会想到谁?...

  • 负责处理被spider提取出来的item 负责处理被spider提取出来的item

    终于写到了 scrapy 爬虫框架了,这个框架可以说是python爬虫框架里面出镜率最高的一个了,我们接下来重点研究一下它的使用规则 mySpider/items.py 项目的目标文件,规范数据格式,用来定...

  • 丽盈彩70娱乐平台苹果版战争销量寒冬下 丽盈彩70娱乐平台苹果版战争销量寒冬下

    赛诺、中国信通院、Strategy Analytics等纷纷曝光了2018年中国手机市场的销量数据,市场容量较于2017年有着超过10%的下滑。一个冷冰冰的事实终于摆在手机厂商面前:蒙眼狂奔的时代业已...

  • 同创彩70娱乐平台登陆简阳网球场护栏厂 同创彩70娱乐平台登陆简阳网球场护栏厂

    对于框架式及其他形式的体育场围网来说只要安装上立柱、法兰盘,后期的工作速度是非常快的,安装工期是不一样的,这要看安装的体育场围网材质如何 篮球场围网主要针对学校、操...

  • 广西网球场围栏网厂家运输方便 广西网球场围栏网厂家运输方便

    广西网球场围栏网厂家运输方便各体育场地区也都在积极的建筑安全体育场围栏网。对于隐患的排查及整改都实行的定人、定时、定措施的做法。储备防滑料、融雪剂,防滑链等必要的...

  • hr彩70娱乐平台理塘网球场护栏厂家应用 hr彩70娱乐平台理塘网球场护栏厂家应用

    现阶段在国内体育场围网的销售行业内,由于生产体育场围网的原材料的供应出现了混乱和供应价格大幅度的上涨的原因 环保是最关紧的一个利益之一,因为体育场围栏不包括金属汞、...

  • 东森彩70娱乐平台国际政治经济增长下行 东森彩70娱乐平台国际政治经济增长下行

    当今世界正面临百年未有之大变局,2019年及今后一段时期,随着世界大调整大变革加速展开,国际环境将更趋复杂多变,国际关系中的不确定性与不稳定性明显增大 2018年5月24日,朝鲜...

  • 【直击达沃斯】特朗普挑战和瓦解国际秩 【直击达沃斯】特朗普挑战和瓦解国际秩

    特朗普确实挑战和瓦解了现有国际机制,但没有战略计划,多极在世界其他地区已经被广泛讨论,但美国没有意识到自己正在衰弱。 对于世界经济论坛总裁布伦德(Borge Brende)来说,地...

  • NBA靠脸吃饭人气排行榜!姚明易建联上榜 NBA靠脸吃饭人气排行榜!姚明易建联上榜

    NBA作为全世界最成功的篮球联盟,可以说是体育界人气最旺的一个联赛之一。NBA球员身价超级巨星可以达到几千万一年的年薪,有些球星如果受伤,说不定一场比赛都可以拿到几千万的...