[Scrapy 爬蟲] 什麼是Scrapy以及為什麼要用Scrapy 爬取網頁?

• 大數學堂
• Jan. 31, 2016, 2:59 p.m.

Scrapy是一個網路爬蟲框架，可以幫助我們撰寫具有非同步請求能力的爬蟲，避免重造輪子。安裝Scrapy的步驟包括下載並安裝Anaconda，使用Anaconda Command Prompt安裝Scrapy，以及開啟爬蟲專案。

開始上課

[Scrapy 爬蟲] 如何撰寫第一支Scrapy 爬蟲以抓取蘋果即時新聞?

• 大數學堂
• Feb. 1, 2016, 4:12 p.m.

這篇文章介紹了如何使用Scrapy爬蟲框架進行網站爬蟲的步驟。首先，我們需要在spiders目錄下建立一個Python檔案，並在其中定義一個class，指定爬蟲的名稱 起始網址以及解析函數。最後，執行指令"scrapy crawl 爬蟲名稱"來運行爬蟲。

開始上課