[Scrapy 爬蟲] 如何撰寫第一支Scrapy 爬蟲以抓取蘋果即時新聞?

  • 大數學堂
  • 2016年2月1日 16:12

繼說明為何要使用Scrapy這爬蟲框架後,我們便可以開始寫作第一支Scrapy爬蟲。

1. 於spiders目錄下開一個Python檔案 (e.g. crawl.py)

2. 於crawl.py中定義:

a. class name b. name c. start_urls d. parse函數

3. 於scrapy.cfg處執行: scrapy crawl apple