[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?

  • 大數學堂
  • 2016年3月1日 16:49

Scrapy 有提供CrawlSpider 的類別以實現多網頁爬取的功能。

使用方法相當簡單,只要讓爬蟲繼承CrawlSpider類別,並增加抓取規則Rule 至rules 清單中,在LinkExtractor 中增加分頁抓取的規則,便可以順利將符合條件的蘋果新聞資料快速爬取下來。