[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

  • 大數學堂
  • Sept. 28, 2020, 2:47 p.m.

利用Python 網路爬蟲抓取一些會鎖IP 的網站 (例如：GoodInfo, 證交所 )，就需要一些免費的Proxy 當成跳板，規避網路爬蟲被封鎖的風險。因此我們先抓取Free Proxy List 上的頁面，再利用正規表達法蒐集所有的IP 清單，最後再透過 ipify 做測試，如此反覆操作，我們就很快能累積出屬於我們自己的Python 網路爬蟲跳板(Proxy)清單摟!

影片： https://largitdata.com/course/133/

程式碼：https://github.com/ywchiu/largitdata/blob/master/code/Course_133.ipynb

#Python網路爬蟲
#Proxy
#ipify
#跳板
#免費IP