[爬蟲實戰] 如何突破蝦皮拍賣的重重限制以順利抓取拍賣商品資訊?

[爬蟲實戰] 如何突破蝦皮拍賣的重重限制以順利抓取拍賣商品資訊?

[爬蟲實戰] 如何突破蝦皮拍賣的重重限制以順利抓取拍賣商品資訊?

又回到爬蟲實戰的課題了,這次要抓時下最夯的蝦皮拍賣(https://shopee.tw/)。蝦皮的抓取方法必須先找到放在XHR 的請求連結,接下來必須連同json 格式的參數一同透過POST做傳輸,方能送出正確的請求出去。但是如果今天發出請求後,如何都拿不到正確回應時,便要思考是不是有少帶哪些標頭(Headers)資訊,此時只要一一嘗試,總會找到一個正確的組合取得商品資訊。當然,有些標頭資訊是很難以取得的,此時再搭配Selenium 取得正確Cookie,任何難解的網站都可以迎刃而解!

  • 星期五 07 四月 2017
回到最上面