• 大數學堂
• July 26, 2023, 2:34 p.m.

最近證交所的頁面更新，除了讓人有耳目一新的感覺，也帶給爬蟲(Python Crawler)全新的挑戰！尤其很多人發現，只要頻繁抓取該網站頁面資訊，最終都會面臨無法繼續連上證交所的窘境；這其實一切都是網頁伺服器的rate limiting 在作祟。

因此，我們只要讓抓取之間能夠讓爬蟲小睡(Sleep)個幾秒，便能擺脫IP被封鎖的命運，讓爬蟲重振雄風，順利抓取您想抓取的資料！

程式碼: https://github.com/ywchiu/largitdata/blob/master/code/Course_100.ipynb