[爬蟲實戰] 如何突破證交所的限制,穩穩抓取最新成交資訊?

[爬蟲實戰] 如何突破證交所的限制,穩穩抓取最新成交資訊?

[爬蟲實戰] 如何突破證交所的限制,穩穩抓取最新成交資訊?

最近證交所的頁面更新,除了讓人有耳目一新的感覺,也帶給爬蟲(Python Crawler)全新的挑戰!尤其很多人發現,只要頻繁抓取該網站頁面資訊,最終都會面臨無法繼續連上證交所的窘境;這其實一切都是網頁伺服器的rate limiting 在作祟。因此,我們只要讓抓取之間能夠讓爬蟲小睡(Sleep)個幾秒,便能擺脫IP被封鎖的命運,讓爬蟲重振雄風,順利抓取您想抓取的資料! 程式碼: https://github.com/ywchiu/largitdata/blob/master/code/Course_100.ipynb

  • 星期四 25 一月 2018
回到最上面