[爬蟲實戰] 如何極速擷取1111購物狂歡節的特價商品資訊?

  • 大數學堂
  • Nov. 10, 2016, 2:34 p.m.
[爬蟲實戰] 如何極速擷取1111購物狂歡節的特價商品資訊?

本文介紹了如何使用Python網路爬蟲來抓取天貓特價商品資料。使用Python的requests模組抓取商品頁面,再使用BeautifulSoup4抓取特價商品的資料區塊,最後使用json.loads將資料轉換成字典結構。這樣就可以在1111購物狂歡節期間,同時享受購物樂趣,又顧好自己的錢包了。程式碼可以在文章中提供的GitHub連結中找到。

開始上課

[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

  • 大數學堂
  • Oct. 10, 2016, 3:27 p.m.
[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

本文介紹了作者對於更新淘寶爬蟲的一些方法。他提到以前的爬蟲只需要獲取Document下的連結即可獲取商品價格資訊,但淘寶現在使用了AJAX的方式填充頁面內容。為了解決這個問題,作者建議從XHR和JS入手,使用正則表達式來解析重要資訊,以便在雙十一節中獲取淘寶資訊更容易。

開始上課

[實價登錄分析] 如何使用Python Pandas 整併歷年實價登錄資訊?

  • 大數學堂
  • Sept. 14, 2016, 4:29 p.m.
[實價登錄分析] 如何使用Python Pandas 整併歷年實價登錄資訊?

文章中提到,僅整理一季的資料無法完整進行房價分析,因此需要將歷年的實價登錄資訊存放在不同的目錄夾中。接著,使用Pandas的Data Frame將各季的資料讀入,再使用Concat指令合併所有的Data Frame。以此,可以選擇使用describe指令獲得敘述性統計,或使用to_excel功能將資料寫入Excel檔案中。

開始上課