[Scrapy 爬蟲] 如何設置 Job 以分段爬蟲任務?

[Scrapy 爬蟲] 如何設置 Job 以分段爬蟲任務?

[Scrapy 爬蟲] 如何設置 Job 以分段爬蟲任務?

在爬取大型網站時,常會需要將爬取任務分段,所幸我們可以在Scrapy中透過 -s JOBDIR=DIR 暫停及回復任務(Job)暫停,讓頭痛的任務管理留給Scrapy 處理。

  • 星期日 13 三月 2016
回到最上面