[爬蟲實戰] 如何突破證交所的限制,穩穩抓取最新成交資訊?
最近證交所的頁面更新,爬蟲面臨網頁伺服器的rate limiting造成無法連上證交所的問題。為解決此問題,我們可以讓爬蟲在抓取資料之間隔幾秒讓其小睡,避免IP被封鎖。這樣,爬蟲就能夠順利抓取所需要的資料。有關程式碼可以參考Github連結。
開始上課最近證交所的頁面更新,爬蟲面臨網頁伺服器的rate limiting造成無法連上證交所的問題。為解決此問題,我們可以讓爬蟲在抓取資料之間隔幾秒讓其小睡,避免IP被封鎖。這樣,爬蟲就能夠順利抓取所需要的資料。有關程式碼可以參考Github連結。
開始上課