[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?
Scrapy 有提供CrawlSpider 的類別以實現多網頁爬取的功能。
使用方法相當簡單，只要讓爬蟲繼承CrawlSpider類別，並增加抓取規則Rule 至rules 清單中，在LinkExtractor 中增加分頁抓取的規則，便可以順利將符合條件的蘋果新聞資料快速爬取下來。
Scrapy 有提供CrawlSpider 的類別以實現多網頁爬取的功能。
使用方法相當簡單，只要讓爬蟲繼承CrawlSpider類別，並增加抓取規則Rule 至rules 清單中，在LinkExtractor 中增加分頁抓取的規則，便可以順利將符合條件的蘋果新聞資料快速爬取下來。