爬虫网站代码(spiders/duanzi.py)：

import scrapy# 这里须要导入items.py文件包from duanziPro.items import DuanziproItemclass DuanziSpider(scrapy.Spider): name = 'duanzi' # allowed_domains = ['www.xxx.com'] start_urls = ['https://duanzixing.com/段子/'] def parse(self, response): # 数据解析名称和内容 article_list = response.xpath('/html/body/section/div/div/article') for article in article_list: title = article.xpath('./header/h2/a/@title').extract_first() note = article.xpath('./p[2]/text()').extract_first() # 实例化一个item类型工具，将解析到的数据存储到该工具中 item = DuanziproItem() item['title'] = title item['note'] = note # 将item工具提交给管道 yield item

item.py

import scrapyclass DuanziproItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Field() note = scrapy.Field()

管道文件代码(pipelines.py)：

Php递归爬取文件如何应用scrapy爬取多页Python爬虫scrapy的手动要求发送 Bootstrap

class DuanziproPipeline: def process_item(self, item, spider): print(item)

实行工程，打印数据如下：

数据看到了，但这只是一页，那怎么爬取多页呢？

有的同学就说了，这还不大略，直接加fro循环。

但有没有想过，管道的工具通报是yield，fro循环肯定行不通。

以是，这里我们引入了一个新的办法：手动要求发送。

手动要求发送

scrapy手动发送要求代码：

GET

yield scrapy.Request(url,callback)

callback:制订解析函数，用于解析数据。

POST

yield scrapy.FormRequest(url,callback,formdata)

formdata:字典，要求参数

代码实现：

我们先来创建一个新的工程：

scrapy start hanReqProcd hanReqProscrapy genspider www.xx.com

然后修正配置文件等等

好了后我们先剖析下网站。

我们看到翻页后的网址是/段子/2/等，那么就可以定义一个url模板

# 通用的url模板url = 'https://duanzixing.com/段子/%d/'

上面说了，须要一个callback函数,用于解析数据的实现。
实在便是我们爬取一页时的数据解析函数parse:

def parse(self, response): # 数据解析名称和内容 article_list = response.xpath('/html/body/section/div/div/article') for article in article_list: title = article.xpath('./header/h2/a/@title').extract_first() note = article.xpath('./p[2]/text()').extract_first() # 实例化一个item类型工具，将解析到的数据存储到该工具中 item = HandreqproItem() item['title'] = title item['note'] = note # 将item工具提交给管道 yield item

第一页的数据是直接通报给了管道，爬取5页的话，我们须要一个递归！

我们先在函数外定义一个page_num:

# 由于第一页有了，以是我们从第二页开始page_num = 2

然后我们写递归代码，让yield scrapy.Request(url,callback)实行指定次数:

# 直接写在parse函数里面。
放在yield item下面# 爬取剩下的4页 while self.page_num <= 5: # 结束递归的条件 new_url = format(self.url % self.page_num) # 其他页码对应的完全url self.page_num += 1 # 对新的页码对应的url进行要求发送（手动要求GET发送） yield scrapy.Request(url=new_url, callback=self.parse)

管道中(pipelines.py)我们直接打印item就可以了，紧张是看效果

class HandreqproPipeline: # 定义一个数值,记录吸收item的次数。
也便是记录打印了多少条数据 count = 0 def process_item(self, item, spider): print(item) self.count += 1 print(self.count)

完全代码：

import scrapyfrom handReqPro.items import HandreqproItemclass DuanziSpider(scrapy.Spider): name = 'duanzi' # allowed_domains = ['www.xx.com'] start_urls = ['https://duanzixing.com/段子/'] # 通用url模板 url = 'https://duanzixing.com/段子/%d/' page_num = 2 # 将段子网中所有页码对应的数据进行爬取（前五页） def parse(self, response): # 数据解析名称和内容 article_list = response.xpath('/html/body/section/div/div/article') for article in article_list: title = article.xpath('./header/h2/a/@title').extract_first() note = article.xpath('./p[2]/text()').extract_first() # 实例化一个item类型工具，将解析到的数据存储到该工具中 item = HandreqproItem() item['title'] = title item['note'] = note # 将item工具提交给管道 yield item while self.page_num <= 5: new_url = format(self.url % self.page_num) self.page_num += 1 yield scrapy.Request(url=new_url, callback=self.parse)

实行工程~我们就创造打印了60条数据，每页是12条，统共5页！

其他问题

为什么start_urls列表中的url会被自行进行get要求的发送？由于列表中的url实在是被start_requests这个父类方法实现的get要求发送

# 父类方法：这个是该方法的原始实现 def start_requests(self): for u in self.start_urls: yield scrapy.Request(url=u, callback=self.parse)如何将start_urls中的url默认进行post要求的发送？

重写start_requests(self)父类方法即可

def start_requests(self): for u in self.start_urls: yield scrapy.FormRequest(url,callback,formdata)

关注Python涛哥！
学习更多Python知识！