• 大數學堂
• 2016年3月13日 16:42

在爬取大型網站時，常會需要將爬取任務分段，所幸我們可以在Scrapy中透過 -s JOBDIR=DIR 暫停及回復任務(Job)暫停，讓頭痛的任務管理留給Scrapy 處理。