[Selenium] 如何使用 Selenium 開啟 Chrome 瀏覽器?

  • 大數學堂
  • May 11, 2018, 3:09 p.m.
[Selenium] 如何使用 Selenium 開啟 Chrome 瀏覽器?

本篇文章介紹了Selenium的基礎教程，Selenium是一種能夠進行人機互動操作的工具，可以自動打開瀏覽器 瀏覽網頁，對於不擅長觀察資料連結的爬蟲開發者來說非常有用。文章提供了一段程式碼，詳細介紹了如何使用Selenium的基本指令來開啟Chrome瀏覽器並自動瀏覽網頁。具體的程式碼則可以在文章中提供的連結中找到。

開始上課

[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

  • 大數學堂
  • June 25, 2023, 9:23 a.m.
[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

本教學將教您如何使用Selenium自動瀏覽Expedia網站，並利用LangChain和ChatGPT的Extraction功能，自動解析半結構化資料。最後，使用Pandas將半結構化資料轉換為結構化資訊。透過ChatGPT和LangChain的幫助，我們可以省去編寫網路爬蟲時需要觀察元素的麻煩。再加上Selenium可以模擬人類操作，我們能夠簡化網路爬蟲的過程，輕鬆地獲取所需的網頁資訊。期待著中秋節的到來，並希望能在日圓跌至新低的時候，節省機票費用，享受一趟愉快的旅程。

開始上課

[爬蟲實戰] 如何使用 Selenium 以及 Python 輕鬆抓取 Agoda 的旅館資訊?

  • 大數學堂
  • July 26, 2023, 3:44 p.m.
[爬蟲實戰] 如何使用 Selenium 以及 Python 輕鬆抓取 Agoda 的旅館資訊?

這堂免費課介紹了使用Selenium和BeautifulSoup4來抓取以Ajax生成的網頁的方法。傳統上，抓取這樣的網頁需要很多耐心觀察，才能找到抓取的切入點。但是使用Selenium可以自動點擊和載入Ajax生成的頁面，使得抓取變得簡單。然後，配合BeautifulSoup4的強大解析功能，使用Python抓取網頁就變得非常簡單了。

開始上課

[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

  • 大數學堂
  • June 1, 2021, 2:59 p.m.
[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

在疫情期間的居家隔離中，大家都感到非常無聊。有人提到了網易雲的性格主導色心理測驗，並探討了該測驗中還有哪些顏色性格以及哪種性格最特別。透過網路爬蟲工具和Python的正規表達法，可以快速列出所有的性格色。作者分享了自己的性格色是橙+粉，並分享了觀察Python網路爬蟲常見的開發人員工具和Python的正規表達法的方法。該文章還提供了相關的影片和程式碼連結，以及性格主導色的完整資料的鏈接。

開始上課

[爬蟲實戰] 如何用Python網路爬蟲抓取台灣運彩上的世界杯足球賠率?

  • 大數學堂
  • Dec. 4, 2022, 10:19 a.m.
[爬蟲實戰] 如何用Python網路爬蟲抓取台灣運彩上的世界杯足球賠率?

這篇文章主要是介紹如何透過突破台彩網站的防爬蟲機制，使用開發者工具觀察網頁並使用Python快速撰寫網路爬蟲，抓取世界杯足球賠率。文中也提到，台彩還有其他防範機制阻止抓取正確的數據，如果讀者對此有興趣，可以在文章下方留言，未來或許會再開視頻專門解說。文章中也附上了相關的影片和程式碼連結。

開始上課

[爬蟲實戰] 如何使用Python 爬蟲 (Python Crawler) 下載Youtube 影片

  • 大數學堂
  • July 26, 2023, 2 p.m.
[爬蟲實戰] 如何使用Python 爬蟲 (Python Crawler) 下載Youtube 影片

這堂免費課介紹了如何使用Python爬蟲抓取YouTube影片並進行下載。不同於一般的爬蟲，要抓取實體影片連結，需要使用正規表達式和查詢字符串解析函數。接著，使用二進制編碼的方式，可以下載Girl's day Expectation的音樂影片串流。這篇文章提供了一個實際的例子來示範如何下載YouTube影片。

開始上課