[爬蟲實戰] 如何抓取某知名財報網站的資訊 ?

  • 大數學堂
  • May 30, 2015, 9:40 a.m.
[爬蟲實戰] 如何抓取某知名財報網站的資訊 ?

縱使針對網站進行多層保護,但只要爬取資料的思路正確,破解任意網站只是時間問題。就像這個知名財經網站,儘管檢查使用者是否使用爬蟲或內嵌iframe,仍無法逃脫被爬取的命運。

開始上課

[爬蟲實戰] 如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例

  • 大數學堂
  • July 21, 2015, 3:45 p.m.
[爬蟲實戰] 如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例

這篇文章介紹了如何使用Selenium來解決爬取司法院法學檢索系統的問題。由於該系統使用了Iframe來嵌入檢索結果,常常造成爬蟲無法正確獲取內容。作者建議使用Selenium IDE來自動記錄抓取步驟,並將步驟轉換為Python腳本,使得抓取過程變得更加簡單。

開始上課