[爬蟲實戰] 如何在1111購物狂歡節 快速爬取淘寶上的商品資訊?

  • 大數學堂
  • 2019年10月30日 13:39

又來到一年一度的1111購物狂歡節了,在這令人歡欣的購物季節裡,我們來練習一下該如何快速寫一個淘寶爬蟲程式吧!以前的電商網頁都擋東擋西,不太好爬,但是現在都有提供API,能夠讓你快速將商品資訊下載下來,因此我們只要能透過Chrome 的開發人員工具,快速找到API 的端口,就可以透過requests 快速將JSON 格式資料爬取下來。再搭配Pandas強大的資料整理功能,就可以快速將所有資料整理成表格,方便我們閱覽跟分析所有的商品資訊。有了API 的資料源,寫爬蟲就是這麼的輕鬆自在。不信,你可以下來看看!

影片:https://largitdata.com/course/120/

程式碼:https://github.com/ywchiu/largitdata/blob/master/code/Course_120.ipynb

#Python網路爬蟲

#1111購物狂歡節

#淘寶

#不信你可以下來看看

#大數學堂