[AI人工智慧] 你也能成為編曲大師!探索如何運用 AudioCraft 以文字創造音樂

  • 大數學堂
  • Aug. 6, 2023, 4:30 p.m.
[AI人工智慧] 你也能成為編曲大師!探索如何運用 AudioCraft 以文字創造音樂

現今人工智慧的進步為我們的生活帶來了前所未有的變革。你或許已熟悉使用ChatGPT創作文章、寫信、翻譯或是使用MidJourney、DALL-E以文字產生千變萬化的圖片,但今天,我們要談論的不僅僅是生文、生圖,我們要談論的是如何利用文字生成音樂!有了AudioCraft,現在你不需要專業的音樂背景,只要提供文字,AudioCraft就能為您生成旋律,音樂家可以獲取新的靈感,而中小企業主也可以輕鬆地為他們的廣告增加配樂,相信有了AudioCraft,再搭配自己的音樂品味,相信在不久的將來,大家都可以成為音樂創作大師!

開始上課

[Selenium] 如何使用 Selenium 開啟 Chrome 瀏覽器?

  • 大數學堂
  • May 11, 2018, 3:09 p.m.
[Selenium] 如何使用 Selenium 開啟 Chrome 瀏覽器?

本篇文章介紹了Selenium的基礎教程,Selenium是一種能夠進行人機互動操作的工具,可以自動打開瀏覽器 瀏覽網頁,對於不擅長觀察資料連結的爬蟲開發者來說非常有用。文章提供了一段程式碼,詳細介紹了如何使用Selenium的基本指令來開啟Chrome瀏覽器並自動瀏覽網頁。具體的程式碼則可以在文章中提供的連結中找到。

開始上課

[ChatGPT] 用說的也會通!如何用語音與ChatGPT 對話

  • 大數學堂
  • Jan. 15, 2023, 7:50 a.m.
[ChatGPT] 用說的也會通!如何用語音與ChatGPT 對話

本文介紹了如何使用revChatGPT接出ChatGPT API並透過Python的SpeechRecognition與gTTS,創造一個能夠透過語音與ChatGPT對話的介面。這個方法讓使用者能夠與ChatGPT進行真正的對談,不僅限於使用官方介面或GPT3 API。文章提供了相關的影片和程式碼連結,並引用了其他與語音文字轉換相關的資源。整體而言,該方法能夠讓使用者在無人陪伴的時刻找到一個人工智慧好夥伴與之對話。

開始上課

[ChatGPT] 如何使用Python 網路爬蟲強化ChatGPT 的問答能力?

  • 大數學堂
  • Feb. 5, 2023, 1:20 p.m.
[ChatGPT] 如何使用Python 網路爬蟲強化ChatGPT 的問答能力?

這篇文章介紹了使用ChatGPT時遇到的問題,即當ChatGPT不知道答案時,它會胡說八道。作者建議使用Selenium和Python網路爬蟲來獲取Google搜索的準確結果,並將其提供給ChatGPT,這樣ChatGPT就能夠回答更符合預期的答案。文末還提供了相關影片和課程的連結,以供讀者參考。

開始上課

Visual Studio Code (VSCode) 安裝與操作簡介

  • 大數學堂
  • May 23, 2022, midnight
Visual Studio Code (VSCode) 安裝與操作簡介

這個章節介紹了如何安裝和使用Visual Studio Code(VSCode)。 VSCode是一個免費且開源的程式碼編輯器,適用於各種程式語言。安裝非常簡單,只需要從官方網站下載安裝檔進行安裝。它提供了很多方便的功能,如自動完成 語法檢查 變數跳躍等。並且支援許多擴充套件,可以根據需要進行自定義配置。你可以安裝相關的擴充套件,如語言支援 程式碼格式化工具 Git整合等等,以提高編程效率。這個章節將帶領你了解如何安裝和操作VSCode,方便快速上手並提高程式碼編寫的效率。

開始上課

[RPA]如何用PyAutoGUI 建立Python 版的按鍵精靈?

  • 大數學堂
  • July 8, 2019, 2:56 p.m.
[RPA]如何用PyAutoGUI 建立Python 版的按鍵精靈?

這篇文章介紹了使用RPA(Robotic Process Automation)流程機器人自動化處理繁瑣而重複的作業流程。然而,你不需要花大錢購買專業的軟體,只需使用PyAutoGUI建立簡單的Python程式即可實現這個功能。該程式可以做為一個簡單的按鍵精靈,讓電腦快速完成各種操作任務。同時提供了一個影片和程式碼連結以供參考。

開始上課

[比特幣程式交易] 如何透過API獲取比特幣歷史報價數據?

  • 大數學堂
  • Jan. 13, 2021, 2:11 p.m.
[比特幣程式交易] 如何透過API獲取比特幣歷史報價數據?

比特幣快速突破歷史新高後,開始快速回檔。因此,有人打算透過 Python 分析比特幣的買賣點,以引領獲利。他們首先教大家使用Poloniex的API獲取歷史報價資訊,並用Plotly將數據繪製成K線圖。影片和程式碼可以在相應的鏈接中找到。

開始上課

[財經爬蟲] 如何透過Pandas 快速抓取並分析黃金價格?

  • 大數學堂
  • May 15, 2020, 2:56 p.m.
[財經爬蟲] 如何透過Pandas 快速抓取並分析黃金價格?

這篇文章介紹了如何使用Python的Pandas套件進行黃金價格的抓取和分析。文章提供了一個影片教學和相應的程式碼連結。這將幫助讀者輕鬆地掌握黃金價格的網路爬蟲。文章也列出了一些相關的標籤,包括Python網路爬蟲 黃金價格 Pandas和財經爬蟲。

開始上課

[深度學習] 如何建構深度學習模型分辨誰是屈中恆、宋少卿、鈕承澤 (1)?

  • 大數學堂
  • Dec. 11, 2018, 3:14 p.m.
[深度學習] 如何建構深度學習模型分辨誰是屈中恆、宋少卿、鈕承澤 (1)?

最近爆出鈕承澤一案,引起人們對於屈中恆 宋少卿和鈕承澤的驗證碼的關注。為此,研究人員提出利用深度學習的卷積神經網絡讓電腦自動識別圖片中的人物。他們使用Python網絡爬蟲從Google圖片搜索中抓取這三位明星的圖片,並存檔。然後,他們使用這些素材來建構人臉識別模型。你可以查看他們的程式碼。

開始上課

[其他專題] 完美結合! Excel 中也可以用 Python 做機器學習?

  • 大數學堂
  • Oct. 17, 2023, 9 p.m.
[其他專題] 完美結合!  Excel 中也可以用 Python 做機器學習?

以前在Python中進行資料分析可能會讓你不得不依賴Pandas,但當需要進行資料修改或新增時,Excel總是那個得心應手的選擇,對吧?現在有一個令人興奮的消息!微軟和Anaconda攜手合作,將Anaconda帶入Excel的世界中。這意味著,現在你可以在Excel的熟悉界面中,發揮Python的強大威力,進行資料分析和機器學習。不再需要繁瑣的資料匯出和匯入,一切都在一個地方搞定!🔗🔢

開始上課

[AI人工智慧]如何使用ROOP換臉製作自己的迷因圖?

  • 大數學堂
  • Nov. 5, 2023, 5 p.m.
[AI人工智慧]如何使用ROOP換臉製作自己的迷因圖?

夢想成為迷因界的超級巨星嗎?✨ 你的時刻到了!用 #Roop,一切只需點點滑鼠!🚀 忘掉過去使用DeepFaceLab的複雜步驟,現在,只要上傳你的肖像,Roop能在瞬間把你變成任何迷因角色!下次想要輕鬆地吐槽,就來一張個人定製的迷因吧。🤨 為你的疑問加上一點個人風格,讓你的不屑一顧更加生動!👤💬

開始上課

[Selenium] 如何使用 Selenium 查找元素定位?

  • 大數學堂
  • June 26, 2018, 3:42 p.m.
[Selenium] 如何使用 Selenium 查找元素定位?

這篇文章介紹了使用Selenium開啟瀏覽器後,如何尋找網頁元素定位並進行操作。其中,文中提到了幾個常用的定位方法,包括使用元素的id class名稱 name CSS selector以及XPath。若要查看完整的程式碼,可以點擊連結進入GitHub頁面。

開始上課

[比特幣程式交易] 如何使用 Backtesting.py回測交易策略?

  • 大數學堂
  • Jan. 26, 2021, 1:44 a.m.
[比特幣程式交易] 如何使用 Backtesting.py回測交易策略?

這篇文章介紹了如何透過回測來驗證交易策略的穩定性,並使用Backtesting.py和Bokeh進行視覺化呈現交易策略 利潤/虧損和資產變化。同時,文章提供了相關的影片和程式碼連結,以便讀者深入瞭解和應用程式交易 比特幣 回測策略等相關主題。

開始上課

[ChatGPT] 如何使用Whisper API 與 ChatGPT API 快速摘要YouTube 影片?

  • 大數學堂
  • March 5, 2023, 9:26 a.m.
[ChatGPT] 如何使用Whisper API 與 ChatGPT API 快速摘要YouTube 影片?

OpenAI最近發布了自動語音辨識模型Whisper API和ChatGPT API,讓付費企業和開發人員更輕鬆地使用AI模型。這兩個API提供了快速摘要YouTube影片的功能,使用者只需生成API金鑰,下載音頻檔案並將其分割為小檔案後,就可以使用Whisper API將影片轉換為文字,再使用ChatGPT API將文字轉換為摘要。使用AI摘要影片的好處包括節省觀看時間 更準確地捕捉重點,且這兩個API的收費非常便宜。這可以是一個簡單而有效的方法,同時還能創造更多有趣的應用。

開始上課

[Selenium] 如何使用 Selenium 操作網頁元素?

  • 大數學堂
  • Aug. 1, 2018, 2:37 p.m.
[Selenium] 如何使用 Selenium 操作網頁元素?

這篇文章介紹了如何使用Selenium點擊網頁按鈕和送出內容,並提供了相關程式碼的連結。同時,文章還提到正在尋找網站可靠工程師的招募訊息,並提供了應徵連結。

開始上課

WHILE 迴圈

  • 大數學堂
  • May 23, 2022, midnight
WHILE 迴圈

WHILE 迴圈是 Python 中的一種重要概念,用於重複執行程式碼塊。只有當條件為真時,程式碼塊才會被執行。WHILE 迴圈的語法非常簡單,只需提供一個條件和要執行的程式碼塊即可。WHILE 迴圈非常有用,特別是在需要根據不同情況執行不同操作的情況下。

開始上課

[Selenium] 如何使用 Selenium 撰寫網路爬蟲?

  • 大數學堂
  • Aug. 15, 2018, 1:53 p.m.
[Selenium] 如何使用 Selenium 撰寫網路爬蟲?

這篇文章介紹了如何使用Selenium和BeautifulSoup進行網頁爬取。使用Selenium的page_source屬性可以抓取當前頁面的原始碼,並透過BeautifulSoup處理,使得能夠爬取任何瀏覽器瀏覽的網頁。同時提供了程式碼以供參考。

開始上課

[ChatGPT] Whisper還是剪映?選擇最佳字幕創建工具讓你的影片更專業!

  • 大數學堂
  • March 12, 2023, 8:31 a.m.
[ChatGPT] Whisper還是剪映?選擇最佳字幕創建工具讓你的影片更專業!

這篇文章提到隨著YouTube影片的普及,語音轉文字的需求也相應增加。文章介紹了如何使用Python調用Whisper API將YouTube影片轉錄成字幕,並利用Pysrt合併和修改字幕時間。同時還比較了這種轉錄方式與剪映的差異。影片和程式碼也提供了相關連結,以便讀者更深入了解。該文章還以標籤形式列出了相關的主題,如語音識別 YouTube字幕生成等,方便讀者查找相關資訊。

開始上課

[Selenium] 如何設定 Selenium 中的隱含等待(Implicit Wait)?

  • 大數學堂
  • Oct. 30, 2018, 3:05 p.m.
[Selenium] 如何設定 Selenium 中的隱含等待(Implicit Wait)?

Selenium在抓取資料時,有時會遇到頁面尚未完全載入的問題,導致NoSuchElementException的錯誤。為了避免此問題,可以使用implicit_wait功能,讓程式在執行後續動作之前等待頁面完全載入。附上程式碼範例的連結。

開始上課

[AI人工智慧] 探索香港Deepfake詐騙案背後的科技:如何只憑免費Colab與基本Python知識製作深度偽造影片?

  • 大數學堂
  • Feb. 7, 2024, 9 p.m.
[AI人工智慧] 探索香港Deepfake詐騙案背後的科技:如何只憑免費Colab與基本Python知識製作深度偽造影片?

最近香港發生一起利用AI技術的詐騙案,歹徒使用Deepfake技術製作假影片,冒充公司財務長詐騙兩億港幣。這引起了大家對AI模仿能力的疑慮。為展示AI換臉有多麽容易實作,我們將使用Python的Roop套件,並以賈伯斯的照片創造深度偽造影片。希望能用這個範例提高大家對AI詐騙的警覺

開始上課

[ChatGPT] 如何結合Python網路爬蟲和GPTs打造你自己的財經新聞聚合應用程式!

  • 大數學堂
  • Nov. 19, 2022, 4 p.m.
[ChatGPT] 如何結合Python網路爬蟲和GPTs打造你自己的財經新聞聚合應用程式!

🔍 想知道如何從頭開始建立自己的財經新聞聚合器嗎?我們的最新影片將一步步指引您如何運用 Python 網路爬蟲技術來擷取、整理財經新聞,並且展示如何將這些數據轉換成 CSV 檔案格式,進一步應用於 GPTs。 📈 此外,我們也將探討如何利用 GPTs 的強大功能,將您的財經新聞聚合器提升至一個新層次,提供更深入、更客製化的財經資訊。

開始上課

[ChatGPT] 如何使用ChatGPT 快速翻譯 PDF 文件?

  • 大數學堂
  • July 26, 2023, 9:46 a.m.
[ChatGPT] 如何使用ChatGPT 快速翻譯 PDF 文件?

【用chatgpt翻譯pdf】我們經常需要閱讀英文文件和論文,但以往將中文複製貼上到Google翻譯,往往得到一些含糊不清的翻譯結果。因此,我們現在要教大家如何使用強大的人工智慧模型 - ChatGPT快速翻譯PDF文件!

開始上課

[ChatGPT] 用ChatGPT輕鬆掌握外資對台積電法說會的看法

  • 大數學堂
  • April 23, 2023, 8:25 a.m.
[ChatGPT] 用ChatGPT輕鬆掌握外資對台積電法說會的看法

聽說最近外資對台積電法說會的評價很高,不知道是真的還是假的呢?那麼就讓我ChatGPT來告訴你們答案吧!為了能夠快速探索外資對台積電法說會的看法,我們先蒐集了一堆外資對台積電的投資建議報告,並運用最近話題最熱的兩大神器:langchain 與 llama_index來將所有外資的建議報告索引起來。 而本教學不只是教學如何建立單篇的PDF索引,而是包含多篇PDF的索引服務。當我們將所有報告索引起來後,這項服務就比ChatPDF更加傑出!使用者只需要對索引提問,就可以輕輕鬆鬆得知每家外資對台積電法說會的看法了!

開始上課

[AI人工智慧] 使用 Ollama 調用本地語言模型生成文章並且辨識圖片內容

  • 大數學堂
  • March 24, 2024, 4 p.m.
[AI人工智慧] 使用 Ollama 調用本地語言模型生成文章並且辨識圖片內容

Ollama是一款能在個人電腦上輕鬆部署和使用語言模型的工具,透過Ollama,我們便能在終端機使用:1. 聯發科的 Breeze 7b 模型、2. 利用 Python 接合 Ollama 的端口,3. 甚至使用 Llava 模型智慧地重命名文件中的圖片。透過本地端部署的大型語言模型,便能在保障隱私與安全的前提下,有效能夠提高工作效率。

開始上課

[RPA] 如何使用 Selenium 自動下載漫畫 (1)?

  • 大數學堂
  • Aug. 12, 2019, 3:20 p.m.
[RPA] 如何使用 Selenium  自動下載漫畫 (1)?

這篇文章介紹了一個使用Python爬蟲的專題,目的是為了自動化閱讀漫畫的過程。文章提到了使用Selenium來自動開啟漫畫頁面,然後使用BeautifulSoup解析圖片位置,最後使用Requests下載圖片。作者分享了相關的影片和程式碼連結。整篇文章展示了使用爬蟲技術來達到自動化閱讀漫畫的目標,展現了黑客精神。

開始上課

[AI人工智慧] EasyOCR v.s. PaddleOCR 誰才是圖片轉文字(OCR)的最佳神器?!

  • 大數學堂
  • Oct. 1, 2023, 5:30 p.m.
[AI人工智慧] EasyOCR v.s. PaddleOCR 誰才是圖片轉文字(OCR)的最佳神器?!

光學字元辨識(OCR)能夠將紙上文字數位化,使得資訊管理變得更加方便,例如:將書籍掃描成電子版、識別及翻譯外國的路標或菜單,以及將手寫筆記快速轉化成文字檔。本文介紹如何透過 Python使用EasyOCR和PaddleOCR兩種開源工具,可以簡單地識別圖片中的文字。同時,影片中亦比較了兩個套件與不同類型文字的識別準確率。

開始上課

[爬蟲實戰] 如何透過 Python 網路爬蟲快速找出1111購物狂歡節折扣最多的商品? (2018年版)

  • 大數學堂
  • Nov. 10, 2018, 12:43 p.m.
[爬蟲實戰] 如何透過 Python 網路爬蟲快速找出1111購物狂歡節折扣最多的商品? (2018年版)

1111購物狂歡節即將到來,如果你還不知道該買什麼,可以嘗試使用數據來做決策。本課程將使用Python網路爬蟲抓取天貓的商品頁面,再用json和pandas整理商品資訊,最後使用pandas的排序功能,幫助你找出折扣最多的商品。程式碼可參考:https://github.com/ywchiu/largitdata/blob/master/code/Course_108.ipynb

開始上課

[深度學習] 如何使用 DeepFakes 技術移花接木影片人物的臉(三)?

  • 大數學堂
  • March 16, 2020, 2:51 p.m.
[深度學習] 如何使用 DeepFakes 技術移花接木影片人物的臉(三)?

DeepFakes技術利用DeepFaceLab程式碼將鋼鐵人的臉放到作者的臉上。這個技術使得製作高度逼真的偽造影片變得非常容易。作者使用Google Colab的免費提供的GPU來加速深度模型的訓練和實施。詳細程式碼和相關資源已提供。 #DeepFakes #DeepFaceLab #DeepLearning #深度偽造 #鋼鐵人

開始上課

[RPA] 如何使用 img2pdf 將圖檔合併成 pdf 檔 ?

  • 大數學堂
  • Aug. 22, 2019, 1:26 p.m.
[RPA] 如何使用 img2pdf  將圖檔合併成 pdf 檔 ?

本文介紹了如何使用img2pdf將漫畫圖檔合併成PDF,以方便流暢地觀看。同時提供了一個影片和程式碼的連結,用於解釋和實踐這個功能。本文也涉及RPA和Python自動化相關的主題。

開始上課

[RPA] 如何使用 Line Notify 取得第一手通知?

  • 大數學堂
  • Sept. 16, 2019, 3:30 p.m.
[RPA] 如何使用 Line Notify 取得第一手通知?

文章介紹了如何使用Line Notify機器人來獲取最新漫畫的通知。只需要將機器人加入群組,就可以隨時收到最新訊息。同時提供了影片教學和程式碼連結,可以讓讀者更深入了解。文章標籤包括LineNotify RPA和Python自動化。

開始上課

[ChatGPT] 使用Llama Parse和 ChatGPT 翻譯 Google Drive 上的PDF文件

  • 大數學堂
  • May 5, 2024, 10 p.m.
[ChatGPT] 使用Llama Parse和 ChatGPT 翻譯 Google Drive 上的PDF文件

在 [ 如何使用ChatGPT 快速翻譯 PDF 文件? ] 的影片中,我們探討了如何使用ChatGPT來翻譯文件。許多觀眾提問,表示他們有大量的論文儲存在自己的電腦或Google Drive上。因此,今天我們將展示如何有效利用我們的程式來翻譯這些文件。我們將直接從Google Drive存取文件,並使用ChatGPT進行翻譯。今天的教程不僅是對之前程式的改良,我們還將介紹一種更強大的PDF解析器。以往,我們使用了PyPDF來處理PDF文件,但由於PDF的結構複雜,我們今天將引入一個更專業的工具—LamaParse,這是由知名的RAG套件Lama Index所提供。讓我們開始今天的教程吧!

開始上課

[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(一) - YOLO簡介?

  • 大數學堂
  • April 13, 2020, 3:37 p.m.
[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(一) - YOLO簡介?

為了減少檢測人力,作者介紹了一個口罩檢測系統的建構方法,使用YOLO (You only look once)來快速檢測是否每個人都有配戴口罩。文章提到了YOLO的介紹以及在Colab上安裝YOLO的步驟。作者也提供了相關的教學影片和程式碼連結。這個系統有助於確保大家的健康,尤其在新冠肺炎持續延燒的情況下。

開始上課

[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

  • 大數學堂
  • June 25, 2023, 9:23 a.m.
[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

本教學將教您如何使用Selenium自動瀏覽Expedia網站,並利用LangChain和ChatGPT的Extraction功能,自動解析半結構化資料。最後,使用Pandas將半結構化資料轉換為結構化資訊。透過ChatGPT和LangChain的幫助,我們可以省去編寫網路爬蟲時需要觀察元素的麻煩。再加上Selenium可以模擬人類操作,我們能夠簡化網路爬蟲的過程,輕鬆地獲取所需的網頁資訊。期待著中秋節的到來,並希望能在日圓跌至新低的時候,節省機票費用,享受一趟愉快的旅程。

開始上課

[AI人工智慧] 運用 Whisper 輕鬆打造即時字幕轉錄神器!😎

  • 大數學堂
  • April 7, 2024, 5:15 p.m.
[AI人工智慧] 運用 Whisper 輕鬆打造即時字幕轉錄神器!😎

今天要帶大家挑戰用 Whisper 和 PyAudio 打造即時字幕轉錄功能!😲 先安裝必要套件,寫個錄音函數把聲音切成小片段,讓 Whisper 辨識語音轉文字,最後用無窮迴圈讓錄音、辨識輪番上陣,就能創造即時語音轉文字的魔法!🎉 最後還用 OpenAI CEO Sam Altman 的片段實測給你看!想要更精準的結果可選用更大的模型,但要有 GPU 硬體才能兼顧速度和準確度喔!😉跟著這個教學,你也可以輕鬆用 Whisper 做出自己的即時語音轉文字應用!

開始上課

[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(二) – 建立口罩檢測模型?

  • 大數學堂
  • April 16, 2020, 9:17 a.m.
[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(二) – 建立口罩檢測模型?

本文介紹了如何使用YOLOv3建立口罩檢測模型。首先,需要下載Kaggle上的口罩資料集並將其上傳至Google Drive。然後,將標註好的Label XML檔案轉換為YOLOv3可接受的格式。接下來,設定模型所需的設定檔案並下載預訓練模型darknet53.conv.74。最後,開始訓練口罩檢測模型。附帶的影片和程式碼提供了更詳細的操作步驟。

開始上課

[ChatGPT] 出一張嘴就能賺錢?! 利用 Code Interpreter 打造最強 ETF 定期定額投資策略

  • 大數學堂
  • July 9, 2023, 7:03 a.m.
[ChatGPT] 出一張嘴就能賺錢?! 利用 Code Interpreter 打造最強 ETF 定期定額投資策略

ChatGPT的Code Interpreter能自動撰寫和執行Python程式碼,使用者可以快速分析各種ETF的優缺點,並比較各種定期定額投資策略。該功能還具有檔案上傳功能,可以直接分析來自Yahoo Finance的數據,並提供統計和視覺化報告。它甚至可以模擬不同的ETF定期定額投資策略,計算各種策略的成本、收益和收益率。Code Interpreter可以幫助投資者進行專業的投資策略分析,無需寫任何程式碼,甚至可以充當資料科學家的角色。

開始上課

[RPA] 如何透過 Line 發送最新一集的漫畫?

  • 大數學堂
  • Oct. 24, 2019, 3:30 p.m.
[RPA] 如何透過 Line 發送最新一集的漫畫?

本文章介紹了如何將整個漫畫自動發送流程串接起來,先將漫畫集數存放至SQLite,再透過爬蟲結果比對取得尚未抓取的集數,利用Selenium爬取新集數後,使用Line Notify發送最新的漫畫圖片。這樣可以讓看漫畫變得簡單有趣。文章中還附有相關影片和程式碼來幫助讀者。提到的技術有SQLite LineNotify Selenium RPA和Python自動化。

開始上課

[ChatGPT] 如何利用Meta開源的Llama2模型,打造屬於自己的ChatGPT

  • 大數學堂
  • July 23, 2023, 12:10 p.m.
[ChatGPT] 如何利用Meta開源的Llama2模型,打造屬於自己的ChatGPT

ChatGPT是一個強大的語言模型,不僅可以寫信、摘要文章、翻譯,還能協助寫程式。然而,與ChatGPT對話時也引發了擔憂,擔心機密或敏感資料可能因此外流。所幸,Meta公司推出了開源的Llama2模型,可以在本地部署並在離線環境下使用。這個模型減少了與外部服務的數據傳輸,提高了安全性。本課程介紹了在Colab上使用Llama2模型的示範,包括下載、使用transformers套件載入模型以及生成對話結果。

開始上課

[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(三) – 建立即時口罩檢測系統

  • 大數學堂
  • April 21, 2020, 1:02 p.m.
[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(三) – 建立即時口罩檢測系統

此文章介紹了如何使用YOLOv3模型和攝影機畫面建立一個即時的口罩檢測系統。作者將原有的darknet模型改為使用opencv讀取,並結合opencv的攝影機擷取功能,讓人們可以即時檢測鏡頭下的人是否戴著口罩。此外,文章還提供了相關的影片和程式碼連結。文章標籤包括DeepLearning YOLO COVID19 新冠肺炎和口罩檢測。

開始上課

[其他專題] 運用數據科學分析Wordle 該從哪個字開始猜?

  • 大數學堂
  • Feb. 12, 2022, 5:25 a.m.
[其他專題] 運用數據科學分析Wordle 該從哪個字開始猜?

Wordle是一款熱門遊戲,許多人想嘗試猜出當天的字謎。文章提到,猜字謎有訣竅,選擇涵蓋範圍最廣的字可得到更多提示。作者介紹使用nltk和pandas來分析,發現ceria和corey是不錯的起始字。文章附有影片和程式碼供讀者參考。同時,作者也在徵資深前端工程師,提供職缺連結。標籤包括wordle nltk pandas 資料科學和數據科學。

開始上課

[AI人工智慧] 如何用OpenAI API 快速搭建一個類似 NotebookLM 的 Podcast 功能 ?

  • 大數學堂
  • Sept. 17, 2024, 4:30 p.m.
[AI人工智慧] 如何用OpenAI API 快速搭建一個類似 NotebookLM 的 Podcast 功能 ?

今天我們要探索一個超酷的主題:如何打造你自己的中文Podcast!🎙️ 最近,NotebookLM推出了一個令人興奮的新功能——將筆記轉換成Podcast。聽起來很棒,對吧?但是,它目前只支持英文,而且操作不太直觀。別擔心!我們有更好的解決方案。 😉 在本教程中,我們將利用OpenAI的強大API,向你展示如何輕鬆創建引人入勝的中文Podcast。

開始上課

[財經爬蟲] 如何使用Python 網路爬蟲抓取Yahoo 台指期的即時行情?

  • 大數學堂
  • Sept. 30, 2022, 12:59 p.m.
[財經爬蟲] 如何使用Python 網路爬蟲抓取Yahoo 台指期的即時行情?

這篇文章介紹了如何使用Python網路爬蟲抓取台指期的即時行情資料,並製作成分析圖表。作者提供了相關的影片和程式碼連結,讓讀者可以更深入地了解和應用這項技術。此外,文章還提到了大數學堂這個資料科學學習平台,讓讀者可以在此找到更多學習資源。文章標籤包括python網路爬蟲 財經爬蟲 即時行情 交易機器人 Yahoo股市 台指期和台指期貨。

開始上課

[ChatGPT] 運用微調之力!如何將 ChatGPT 訓練成公司的客服助理

  • 大數學堂
  • Aug. 27, 2023, 9:30 p.m.
[ChatGPT] 運用微調之力!如何將 ChatGPT 訓練成公司的客服助理

解密微調:定制專屬於你的大型語言模型!🚀 想知道如何提升ChatGPT模型性能、節省成本,還能獲得更快的回應速度嗎?透過微調(Fine-Tuning),我們為你展現客製化模型的強大之處,讓你掌握產生高品質回應的關鍵技術!不要錯過這場關於AI革命的探索之旅,立即點擊觀看!

開始上課

[ChatGPT] 個人化Llama2 !如何在Colab中運用自己的資料集微調 Llama2 模型

  • 大數學堂
  • July 31, 2023, 9 p.m.
[ChatGPT] 個人化Llama2 !如何在Colab中運用自己的資料集微調 Llama2 模型

LLaMA-Efficient-Tuning 是一個簡易的大型語言模型微調框架,能夠進行PEFT並支援訓練多種大型語言模型,如LlaMA2、BLOOM、Falcon 和 Baichuan。微調步驟包括安裝 LLaMA-Efficient-Tuning、調整 dataset_info.json 加入自己的資料集描述、導入自己的監督式微調資料集、以及使用內建指令進行監督式微調和預測生成。有了Llama2,再搭配自己的資料集,相信在不久的將來,大家都可以使用LLaMA-Efficient-Tuning快速有效地微調Llama2模型以適應特定需求。

開始上課

[財經爬蟲]手把手帶你用Python網路爬蟲抓取Goodinfo,再結合GPT-4o快速分析潛力股!

  • 大數學堂
  • June 16, 2024, 9 p.m.
[財經爬蟲]手把手帶你用Python網路爬蟲抓取Goodinfo,再結合GPT-4o快速分析潛力股!

本教學將手把手教學如何從GoodInfo網站獲取臺積電財報數據外,還將進一步利用ChatGPT的GPT-4 API解讀財報,判斷公司是否值得投資。影片內容涵蓋了爬蟲、資料處理、API註冊、提示詞設計、財報分析等詳細步驟,幫助您掌握快速取得股票財報和AI輔助投資決策的方法。

開始上課

[財經爬蟲] 如何透過Python 網路爬蟲抓取Goodinfo 台灣股市資訊網?

  • 大數學堂
  • Aug. 2, 2020, 2:08 p.m.
[財經爬蟲] 如何透過Python 網路爬蟲抓取Goodinfo 台灣股市資訊網?

Goodinfo台灣股市資訊網為投資者提供重要股票資訊,作者使用Python網路爬蟲自動化爬取各股票的歷年經營績效。作者通過設定user-agent以規避Goodinfo的防爬蟲機制,並使用Pandas整理資料。這樣的資料結構可以幫助投資者做出更好的投資決策。詳細的影片和程式碼連結都有提供。

開始上課

[Open Jarvis] 如何使用Python寫一個翻譯蒟蒻?

  • 大數學堂
  • April 17, 2018, 3:49 p.m.
[Open Jarvis] 如何使用Python寫一個翻譯蒟蒻?

這篇文章介紹了如何使用Python和py-googletrans專案來製作一個翻譯蒟蒻。藉由Google翻譯的API,我們可以將中文翻譯成其他語言,讓與外國人的溝通變得更加容易。文章提供了相關的程式碼連結,讓讀者可以參考使用。

開始上課

[爬蟲實戰] 如何使用 PyAutoGUI 搶雙 11 百萬紅包

  • 大數學堂
  • Nov. 9, 2023, 3:30 p.m.
[爬蟲實戰] 如何使用 PyAutoGUI 搶雙 11 百萬紅包

嘿嘿,年度盛事雙 11 又來囉!🎉🎉🎉 眾所周知,這天除了剁手的好去處,還有那讓人心跳加速的搶紅包活動!是不是已經等不及用你的小手機app瘋狂點擊了呢?但別急,讓我們來點科技的魔法:PyAutoGUI + 手機模擬器加持!🧙‍♂️只需輕鬆設定,對準那閃閃發亮的紅包位置,一個指令,咻——!紅包自動入袋,就這麼簡單!今年雙 11,就讓我們用點小技巧,把好運和紅包一網打盡吧!💰🚀 快來試試,看看誰能成為搶紅包的速度之王!

開始上課

[財經爬蟲] 使用 Python 網路爬蟲輕鬆爬取集保戶股權分散表

  • 大數學堂
  • Nov. 3, 2024, 9:30 p.m.
[財經爬蟲] 使用 Python 網路爬蟲輕鬆爬取集保戶股權分散表

爬蟲的定律就是目標網站一直在變!本教學示範如何突破集保網站的更新限制,成功抓取股權分散表資料。🔍 透過結合 requests 的 Session 管理、Synchronizer Token 驗證機制,並運用 BeautifulSoup 解析 HTML 與 Pandas 處理表格數據,輕鬆完成資料擷取。💡 整個過程展示了如何應對網站的變化,透過 POST 請求技巧實現穩定的爬蟲功能。🚀

開始上課

[爬蟲實戰] 如何在1111購物狂歡節 快速爬取淘寶上的商品資訊?

  • 大數學堂
  • Oct. 30, 2019, 1:39 p.m.
[爬蟲實戰] 如何在1111購物狂歡節 快速爬取淘寶上的商品資訊?

這篇文章介紹了如何快速寫一個淘寶爬蟲程式。現在的電商網頁都有提供API,可以方便地將商品資訊下載下來。只要透過Chrome的開發人員工具找到API的端口,然後使用requests將JSON格式資料爬取下來。再搭配Pandas的資料整理功能,就可以將商品資訊整理成表格,方便閱覽和分析。文章最後提供了相關影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何使用Pandas快速分析上市櫃公司員工的薪資水平?

  • 大數學堂
  • July 5, 2020, 2:16 p.m.
[爬蟲實戰] 如何使用Pandas快速分析上市櫃公司員工的薪資水平?

證交所公佈了上市與上櫃公司非擔任主管職務的全時員工薪資資訊,介紹了使用Python的requests和pandas來爬取和分析這些公司的薪資水平。以往只提供薪資平均值,而今年則加入了中位數的資訊,以更客觀地反映薪資水平。影片和程式碼連結也提供在文章中。

開始上課

[AI人工智慧] 多模態AI應用實戰:輕鬆用Gemini 與 ElevenLabs 實現即時語音翻譯與合成

  • 大數學堂
  • June 3, 2024, 9:30 p.m.
[AI人工智慧] 多模態AI應用實戰:輕鬆用Gemini 與 ElevenLabs 實現即時語音翻譯與合成

自從看了GPT-4o的一個發表會以後,大家是不是對多模態模型都感到非常興奮呢?雖然我們現在可以在ChatGPT Plus使用到GPT-4o,但它並沒有展示會中所展示的語音輸入和輸出功能。 幸好的是,最近Google的Gemini也推出了多模態模型,而且也可以接受語音輸入。我就想,不如把這個技術結合語音合成,打造一個即時口語翻譯系統,而且更進一步,用自己的聲音翻譯!本影片將手把手教您如何使用Google的Gemini和ElevenLabs服務,讓AI自動翻譯您講的內容,並用你自己的聲音說出翻譯後的內容,大大降低溝通門檻。

開始上課

[爬蟲實戰] 如何極速擷取1111購物狂歡節的特價商品資訊?

  • 大數學堂
  • Nov. 10, 2016, 2:34 p.m.
[爬蟲實戰] 如何極速擷取1111購物狂歡節的特價商品資訊?

本文介紹了如何使用Python網路爬蟲來抓取天貓特價商品資料。使用Python的requests模組抓取商品頁面,再使用BeautifulSoup4抓取特價商品的資料區塊,最後使用json.loads將資料轉換成字典結構。這樣就可以在1111購物狂歡節期間,同時享受購物樂趣,又顧好自己的錢包了。程式碼可以在文章中提供的GitHub連結中找到。

開始上課

[Selenium] 如何使用 Selenium 自動預購PS5?

  • 大數學堂
  • Nov. 26, 2020, 1:31 p.m.
[Selenium] 如何使用 Selenium  自動預購PS5?

這篇文章介紹了如何用Python和Selenium撰寫網路爬蟲來快速預購PS5。只需輸入商品網址,程式便會自動點擊購買PS5的連結,並在MOMO購物網上幫忙購買。相關影片和程式碼連結也提供在文章中。

開始上課

[爬蟲實戰] 如何使用Selenium 抓取驗證碼?

  • 大數學堂
  • Oct. 24, 2017, 3:22 p.m.
[爬蟲實戰] 如何使用Selenium 抓取驗證碼?

使用selenium抓取驗證碼圖片並非難事,只需要先存取頁面快照,然後找到圖片位置,然後根據位置和大小,就能成功從頁面中擷取出驗證碼。接著,只需要將驗證碼交給機器學習引擎辨識,就能輕鬆讓電腦為我們自動訂票。可以參考這篇程式碼來實踐:<a href="https://github.com/ywchiu/largitdata/blob/master/code/Course_95.ipynb">https://github.com/ywchiu/largitdata/blob/master/code/Course_95.ipynb</a>

開始上課

[財經爬蟲] 如何使用正規表達法快速抓取所有上市公司代號?

  • 大數學堂
  • Oct. 13, 2020, 2:20 p.m.
[財經爬蟲] 如何使用正規表達法快速抓取所有上市公司代號?

這篇文章介紹如何使用Python網路爬蟲抓取GoodInfo的所有上市公司基本資訊。作者首先透過Tej的網站找到上市上櫃公司的代碼清單,接著使用正規表達法快速抽取出所有的數字代碼,以獲得所有上市公司的代碼。文章中還提供了影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何在1111購物狂歡節快速爬取蝦皮限時特賣的商品折扣資訊?

  • 大數學堂
  • Nov. 10, 2020, 1:50 p.m.
[爬蟲實戰] 如何在1111購物狂歡節快速爬取蝦皮限時特賣的商品折扣資訊?

這篇文章介紹了如何在蝦皮購物的1111購物狂歡節活動中,使用Selenium透過API偷看特賣商品的折扣資訊。因為蝦皮在API存取上有限制,所以藉由取得Cookie和csrf token等資訊,來繞過限制。文章中還附上了相關的影片和程式碼連結,方便讀者參考使用。這篇文章討論了1111購物狂歡節 蝦皮API 蝦皮特賣商品折扣 Selenium和Python網路爬蟲等主題。

開始上課

[爬蟲實戰] 如何透過開發人員工具破解實價登錄網新版API中的加密字串?

  • 大數學堂
  • April 5, 2021, 1:30 p.m.
[爬蟲實戰] 如何透過開發人員工具破解實價登錄網新版API中的加密字串?

這篇文章介紹了如何使用Chrome開發人員工具來解析新版實價登錄網站的API連結中的神秘字串。透過瀏覽器的Debugger功能,可以找到加密的JavaScript程式碼片段,然後使用這些加密函數片段來解析參數的查詢條件,從而成功抓取實價登錄資訊。文中還提供了相關的影片和程式碼連結,方便讀者深入了解和實踐Python網路爬蟲的相關知識。

開始上課

[財經爬蟲] 如何使用Python 網路爬蟲抓取新版Yahoo 股市上的即時行情?

  • 大數學堂
  • April 20, 2021, 1:34 p.m.
[財經爬蟲] 如何使用Python 網路爬蟲抓取新版Yahoo 股市上的即時行情?

這篇文章提到Yahoo股市的頁面最近有更新版本,為了讓交易機器人能根據最新的行情做決策,需要找到即時行情的API,並使用Python的網路爬蟲來蒐集新版Yahoo股市資訊。提供兩個連結,一個是影片教學,另一個是程式碼範例。文章標籤有Python網路爬蟲 財經爬蟲 即時行情 交易機器人和Yahoo股市。

開始上課

[爬蟲實戰] 如何使用Python Pandas 分析比特幣最佳買點?

  • 大數學堂
  • June 9, 2017, 3:09 p.m.
[爬蟲實戰] 如何使用Python Pandas 分析比特幣最佳買點?

這篇文章提到使用Python網路爬蟲和數據分析工具Pandas來分析比特幣的趨勢線和移動平均線,以幫助投資者找到最適合的買點。並提供了程式碼的連結和與天善智能合作的線上課程,供讀者進一步了解如何使用Python進行資料分析。文章也提醒投資有賺有賠,投資前應詳閱公開說明書。

開始上課

[爬蟲實戰] 如何利用Python Flask自動轉換實價登錄網站加密字串?

  • 大數學堂
  • April 12, 2021, 1:47 p.m.
[爬蟲實戰] 如何利用Python Flask自動轉換實價登錄網站加密字串?

本文介紹了如何透過Python Flask建立一個橋接器,來自動化抓取實價登錄網的加密字串。通常我們會使用Node.js或Pyexecjs等方法來加載加密函數,但這牽涉到處理Node.js或修改JavaScript的問題。透過Python Flask橋接器,我們可以輕鬆地重新導向加密字串到實價登錄網,實現破解新版實價登錄網的目標。影片和程式碼也提供了詳細的操作示例。

開始上課

[爬蟲實戰] 如何使用Pandas 快速繪製日幣近期的匯率走勢?

  • 大數學堂
  • Dec. 27, 2016, 5:04 p.m.
[爬蟲實戰] 如何使用Pandas 快速繪製日幣近期的匯率走勢?

本文介紹了使用Pandas進行資料分析並畫圖的簡單方法。首先使用pandas的read_csv功能讀取csv資料,然後使用%pylab inline將圖表顯示在Jupyter Notebook中,最後使用plot函式繪製折線圖。這篇文章強調了透過Pandas的幾行指令就能輕鬆完成資料分析並畫出圖表的便利性。

開始上課

[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

  • 大數學堂
  • June 1, 2021, 2:59 p.m.
[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

在疫情期間的居家隔離中,大家都感到非常無聊。有人提到了網易雲的性格主導色心理測驗,並探討了該測驗中還有哪些顏色性格以及哪種性格最特別。透過網路爬蟲工具和Python的正規表達法,可以快速列出所有的性格色。作者分享了自己的性格色是橙+粉,並分享了觀察Python網路爬蟲常見的開發人員工具和Python的正規表達法的方法。該文章還提供了相關的影片和程式碼連結,以及性格主導色的完整資料的鏈接。

開始上課

[爬蟲實戰] 如何使用 Pyppeteer抓取 PCHOME 商品價格資訊?

  • 大數學堂
  • Oct. 16, 2021, 9:55 a.m.
[爬蟲實戰] 如何使用 Pyppeteer抓取 PCHOME 商品價格資訊?

這篇文章介紹了在處理由Javascript渲染的網頁資料時,無法直接使用requests,需要使用Pyppeteer作為解決方案。Pyppeteer是一個Python接合Chromium API的工具,可以輕鬆讀取Javascript渲染的頁面資料,使網頁爬取更加直覺。文章還提供了相關的視頻和程式碼連結,並標籤了PCHOME爬蟲 Pyppeteer Puppeteer和Python網路爬蟲。

開始上課

[爬蟲實戰] 如何不寫任何一行程式碼透過低代碼Low-Code / No-Code 工具 Playwright撰寫網頁自動化瀏覽程式

  • 大數學堂
  • Nov. 10, 2021, 1:47 p.m.
[爬蟲實戰] 如何不寫任何一行程式碼透過低代碼Low-Code / No-Code 工具 Playwright撰寫網頁自動化瀏覽程式

Playwright是一個低代碼/無代碼開源工具,可以讓不懂編寫程式的人快速撰寫Python腳本進行自動化操作。使用Playwright,使用者可以輕鬆地對網頁進行複雜操作,無論多麼繁瑣,只需極短的時間就能完成。這對需要自動化的工作流程非常方便。使用者可以在提供的影片和程式碼鏈接中了解更多詳細信息。

開始上課

[爬蟲實戰] 如何使用工具 Playwright爬取 MOMO 購物網 1111 特價資訊

  • 大數學堂
  • Nov. 10, 2021, 2:02 p.m.
[爬蟲實戰] 如何使用工具 Playwright爬取 MOMO 購物網 1111 特價資訊

本文介紹了使用Python網路爬蟲和自動化神器Playwright搭配BeautifulSoup來抓取不同購物網站的特價資訊的方法。作者指出,由於每家購物網站都有不同的結構,因此客製化爬蟲可能需要花費很長時間。然而,透過這種方法,我們只需要寫少量程式碼,就可以快速抓取並跟上1111購物節的節奏。此外,文章還提供了相關影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何用Python網路爬蟲抓取台灣運彩上的世界杯足球賠率?

  • 大數學堂
  • Dec. 4, 2022, 10:19 a.m.
[爬蟲實戰] 如何用Python網路爬蟲抓取台灣運彩上的世界杯足球賠率?

這篇文章主要是介紹如何透過突破台彩網站的防爬蟲機制,使用開發者工具觀察網頁並使用Python快速撰寫網路爬蟲,抓取世界杯足球賠率。文中也提到,台彩還有其他防範機制阻止抓取正確的數據,如果讀者對此有興趣,可以在文章下方留言,未來或許會再開視頻專門解說。文章中也附上了相關的影片和程式碼連結。

開始上課

[爬蟲實戰] 如何利用Python網路爬蟲爬取有道翻譯打造自動化翻譯系統

  • 大數學堂
  • June 30, 2022, 2:14 p.m.
[爬蟲實戰] 如何利用Python網路爬蟲爬取有道翻譯打造自動化翻譯系統

這篇文章介紹了如何使用Playwright撰寫Python網路爬蟲程式,以爬取有道翻譯的翻譯結果。透過自動化程式,可以省下許多時間和麻煩,無需重複複製貼上文字。此外,文章還宣布大數軟體正在徵求一位資深前端工程師,成功推薦人的將獲得獎金。最後,文章提供了一些相關連結,包括徵才網頁 影片 程式碼和學習資源。

開始上課

[爬蟲實戰] 英鎊暴跌! 如何利用Python 網路爬蟲進行全球商品比價、撿便宜

  • 大數學堂
  • Oct. 5, 2022, 3:03 a.m.
[爬蟲實戰] 英鎊暴跌! 如何利用Python 網路爬蟲進行全球商品比價、撿便宜

這篇文章提到最近英鎊暴跌,作者建議在高通膨時代要想辦法省錢。他介紹了一個利用Python網路爬蟲來爬取Burberry商品在不同市場價格的方法,來看看貨幣競貶是否會產生價差。他還附上了相關的影片和程式碼供讀者參考。文章標籤包括python網路爬蟲 比價爬蟲 英鎊暴跌 貨幣競貶和撿便宜。

開始上課

[爬蟲實戰] 1111 不購物?! 來用Python網路爬蟲每天簽到領蝦幣

  • 大數學堂
  • Nov. 11, 2022, 12:53 p.m.
[爬蟲實戰] 1111 不購物?! 來用Python網路爬蟲每天簽到領蝦幣

這篇文章介紹了使用Python網路爬蟲自動搶購1111最優惠商品,同時也可以自動化搶蝦幣的過程。文章提到使用Selenium腳本可以輕鬆填入帳號密碼並點擊領蝦幣的按鈕,再透過工作排程的設定,可以天天躺著領蝦幣。文章中還附上了相關影片和程式碼供參考,此外也推薦了其他學習資料科學的資源。

開始上課

[財經爬蟲] 怎麼繞過驗證碼? 利用 2Captcha 驗證碼識別服務突破 reCAPTCHA 驗證碼,抓取證券櫃買中心的券商買賣證券日報表上分點交易資訊

  • 大數學堂
  • July 1, 2021, 7:08 a.m.
[財經爬蟲] 怎麼繞過驗證碼? 利用 2Captcha 驗證碼識別服務突破  reCAPTCHA 驗證碼,抓取證券櫃買中心的券商買賣證券日報表上分點交易資訊

這篇文章介紹了如何利用Python網路爬蟲和2Captcha驗證碼識別服務,突破券商買賣證券日報表上的reCAPTCHA驗證碼,以獲取分點交易資訊。透過分析分點資料,可以分析大戶的進出行為,以便跟單獲利。文章提供了完整的教學文章連結 影片教學連結和程式碼,並介紹了2Captcha服務的連結。

開始上課

[爬蟲實戰] 如何破解Cloudflare 的反爬蟲機制

  • 大數學堂
  • Aug. 11, 2024, 9 p.m.
[爬蟲實戰] 如何破解Cloudflare 的反爬蟲機制

在網路爬蟲的世界裡,我們經常會遇到各種反爬蟲機制。🛡️其中,Cloudflare的5秒挑戰(5-second Cloudflare Challenge)是一個常見的障礙。當我們使用普通的requests請求時,往往會被擋下來,無法取得想要的內容。🚫這次,我們將介紹如何使用pyppeteer和pyppeteer_stealth 這兩個強大的工具來突破這個限制。

開始上課

[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

  • 大數學堂
  • Sept. 28, 2020, 2:47 p.m.
[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

這篇文章介紹了利用Python網路爬蟲抓取一些會鎖IP的網站時,需要使用免費的Proxy來規避被封鎖的風險。文章提到了抓取Free Proxy List上的頁面,利用正規表達式蒐集IP清單,再利用ipify進行測試,重複操作便能建立自己的Python網路爬蟲跳板清單。文章中還提供了相關影片和程式碼連結。

開始上課