[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?

[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?

[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?

Scrapy 有提供CrawlSpider 的類別以實現多網頁爬取的功能。使用方法相當簡單,只要讓爬蟲繼承CrawlSpider類別,並增加抓取規則Rule 至rules 清單中,在LinkExtractor 中增加分頁抓取的規則,便可以順利將符合條件的蘋果新聞資料快速爬取下來。

  • 星期二 01 三月 2016
回到最上面