有的網頁伺服器,會透過檢查用戶代理(User Agent),以限制爬蟲存取頁面內容,此時我們只要在標頭上增加自身瀏覽器所使用的用戶代理(User Agent) 就可成功騙過對方伺服器,存取網頁內容!
我們便能使用這技術成功抓取永慶房屋的房價資訊瞜!