[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

  • 大數學堂
  • Oct. 10, 2016, 3:27 p.m.
[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

本文介紹了作者對於更新淘寶爬蟲的一些方法。他提到以前的爬蟲只需要獲取Document下的連結即可獲取商品價格資訊,但淘寶現在使用了AJAX的方式填充頁面內容。為了解決這個問題,作者建議從XHR和JS入手,使用正則表達式來解析重要資訊,以便在雙十一節中獲取淘寶資訊更容易。

開始上課

[財經爬蟲] 如何使用正規表達法快速抓取所有上市公司代號?

  • 大數學堂
  • Oct. 13, 2020, 2:20 p.m.
[財經爬蟲] 如何使用正規表達法快速抓取所有上市公司代號?

這篇文章介紹如何使用Python網路爬蟲抓取GoodInfo的所有上市公司基本資訊。作者首先透過Tej的網站找到上市上櫃公司的代碼清單,接著使用正規表達法快速抽取出所有的數字代碼,以獲得所有上市公司的代碼。文章中還提供了影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

  • 大數學堂
  • June 1, 2021, 2:59 p.m.
[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

在疫情期間的居家隔離中,大家都感到非常無聊。有人提到了網易雲的性格主導色心理測驗,並探討了該測驗中還有哪些顏色性格以及哪種性格最特別。透過網路爬蟲工具和Python的正規表達法,可以快速列出所有的性格色。作者分享了自己的性格色是橙+粉,並分享了觀察Python網路爬蟲常見的開發人員工具和Python的正規表達法的方法。該文章還提供了相關的影片和程式碼連結,以及性格主導色的完整資料的鏈接。

開始上課

[爬蟲實戰] 如何使用Python 爬蟲 (Python Crawler) 下載Youtube 影片

  • 大數學堂
  • July 26, 2023, 2 p.m.
[爬蟲實戰] 如何使用Python 爬蟲 (Python Crawler) 下載Youtube 影片

這堂免費課介紹了如何使用Python爬蟲抓取YouTube影片並進行下載。不同於一般的爬蟲,要抓取實體影片連結,需要使用正規表達式和查詢字符串解析函數。接著,使用二進制編碼的方式,可以下載Girl's day Expectation的音樂影片串流。這篇文章提供了一個實際的例子來示範如何下載YouTube影片。

開始上課

[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

  • 大數學堂
  • Sept. 28, 2020, 2:47 p.m.
[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

這篇文章介紹了利用Python網路爬蟲抓取一些會鎖IP的網站時,需要使用免費的Proxy來規避被封鎖的風險。文章提到了抓取Free Proxy List上的頁面,利用正規表達式蒐集IP清單,再利用ipify進行測試,重複操作便能建立自己的Python網路爬蟲跳板清單。文章中還提供了相關影片和程式碼連結。

開始上課