如何使用GET 抓取網頁內容?

  • 大數學堂
  • 2015年4月16日 15:15
如何使用GET 抓取網頁內容?

這篇文章介紹了如何使用Python編寫三行程式碼來抓取淘寶網的網頁內容。並且提供了一個範例網頁連結供讀者參考。

開始上課

如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?

  • 大數學堂
  • 2015年4月18日 01:59
如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?

這篇文章介紹如何使用Python的requests和BeautifulSoup4來完成淘寶網站的爬蟲。作者提到,既然已經了解了如何使用requests抓取網頁內容,並使用BeautifulSoup4來解析有用的資訊,接下來將進入實戰階段,示範如何完成淘寶爬蟲。

開始上課

[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

  • 大數學堂
  • 2016年10月10日 15:27
[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

本文介紹了作者對於更新淘寶爬蟲的一些方法。他提到以前的爬蟲只需要獲取Document下的連結即可獲取商品價格資訊,但淘寶現在使用了AJAX的方式填充頁面內容。為了解決這個問題,作者建議從XHR和JS入手,使用正則表達式來解析重要資訊,以便在雙十一節中獲取淘寶資訊更容易。

開始上課

[爬蟲實戰] 如何在1111購物狂歡節 快速爬取淘寶上的商品資訊?

  • 大數學堂
  • 2019年10月30日 13:39
[爬蟲實戰] 如何在1111購物狂歡節 快速爬取淘寶上的商品資訊?

這篇文章介紹了如何快速寫一個淘寶爬蟲程式。現在的電商網頁都有提供API,可以方便地將商品資訊下載下來。只要透過Chrome的開發人員工具找到API的端口,然後使用requests將JSON格式資料爬取下來。再搭配Pandas的資料整理功能,就可以將商品資訊整理成表格,方便閱覽和分析。文章最後提供了相關影片和程式碼的連結。

開始上課