大數軟體 X 大數學堂 | 搜尋關鍵字: 完整

[Scrapy 爬蟲] 什麼是Scrapy以及為什麼要用Scrapy 爬取網頁?

大數學堂
Jan. 31, 2016, 2:59 p.m.

Scrapy是一個網路爬蟲框架，可以幫助我們撰寫具有非同步請求能力的爬蟲，避免重造輪子。安裝Scrapy的步驟包括下載並安裝Anaconda，使用Anaconda Command Prompt安裝Scrapy，以及開啟爬蟲專案。

[ChatGPT] 使用Llama Parse和 ChatGPT 翻譯 Google Drive 上的PDF文件

大數學堂
May 5, 2024, 10 p.m.

在 [ 如何使用ChatGPT 快速翻譯 PDF 文件? ] 的影片中，我們探討了如何使用ChatGPT來翻譯文件。許多觀眾提問，表示他們有大量的論文儲存在自己的電腦或Google Drive上。因此，今天我們將展示如何有效利用我們的程式來翻譯這些文件。我們將直接從Google Drive存取文件，並使用ChatGPT進行翻譯。今天的教程不僅是對之前程式的改良，我們還將介紹一種更強大的PDF解析器。以往，我們使用了PyPDF來處理PDF文件，但由於PDF的結構複雜，我們今天將引入一個更專業的工具—LamaParse，這是由知名的RAG套件Lama Index所提供。讓我們開始今天的教程吧！

開始上課

[AI人工智慧] 如何用OpenAI API 快速搭建一個類似 NotebookLM 的 Podcast 功能 ?

大數學堂
Sept. 17, 2024, 4:30 p.m.

今天我們要探索一個超酷的主題：如何打造你自己的中文Podcast！🎙️ 最近，NotebookLM推出了一個令人興奮的新功能——將筆記轉換成Podcast。聽起來很棒，對吧？但是，它目前只支持英文，而且操作不太直觀。別擔心！我們有更好的解決方案。 😉 在本教程中，我們將利用OpenAI的強大API，向你展示如何輕鬆創建引人入勝的中文Podcast。

開始上課

[財經爬蟲] 使用 Python 網路爬蟲輕鬆爬取集保戶股權分散表

大數學堂
Nov. 3, 2024, 9:30 p.m.

爬蟲的定律就是目標網站一直在變！本教學示範如何突破集保網站的更新限制，成功抓取股權分散表資料。🔍 透過結合 requests 的 Session 管理、Synchronizer Token 驗證機制，並運用 BeautifulSoup 解析 HTML 與 Pandas 處理表格數據，輕鬆完成資料擷取。💡 整個過程展示了如何應對網站的變化，透過 POST 請求技巧實現穩定的爬蟲功能。🚀

開始上課

[AI人工智慧] AI直接操控我的電腦？！Computer Use功能實測大揭密

大數學堂
Oct. 27, 2024, 9 p.m.

Anthropic最新推出的Computer Use功能讓AI真正能控制電腦，引發業界高度關注。這項創新技術承諾能讓AI助手直接操作我們的電腦系統，為自動化領域帶來新的可能性。然而，實際測試結果顯示，Computer Use功能仍有待改進。主要問題在於系統會將原始畫面進行resize處理，導致滑鼠定位不夠精準，加上耗費大量Token的問題，使用成本偏高。值得一提的是，使用GPT-4V搭配PyAutoGUI，其實就能達到相似的效果。本次測試過程中，我們詳細展示了從環境建置、API設定到實際操作的完整流程，並以MOMO購物網站為例進行實測。儘管目前功能還不夠完善，但已展現出AI輔助人類的潛力，期待隨著技術演進能帶來更多突破性的應用。

開始上課

[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

大數學堂
June 1, 2021, 2:59 p.m.

在疫情期間的居家隔離中，大家都感到非常無聊。有人提到了網易雲的性格主導色心理測驗，並探討了該測驗中還有哪些顏色性格以及哪種性格最特別。透過網路爬蟲工具和Python的正規表達法，可以快速列出所有的性格色。作者分享了自己的性格色是橙+粉，並分享了觀察Python網路爬蟲常見的開發人員工具和Python的正規表達法的方法。該文章還提供了相關的影片和程式碼連結，以及性格主導色的完整資料的鏈接。

開始上課

[財經爬蟲] 怎麼繞過驗證碼? 利用 2Captcha 驗證碼識別服務突破 reCAPTCHA 驗證碼，抓取證券櫃買中心的券商買賣證券日報表上分點交易資訊

大數學堂
July 1, 2021, 7:08 a.m.

這篇文章介紹了如何利用Python網路爬蟲和2Captcha驗證碼識別服務，突破券商買賣證券日報表上的reCAPTCHA驗證碼，以獲取分點交易資訊。透過分析分點資料，可以分析大戶的進出行為，以便跟單獲利。文章提供了完整的教學文章連結影片教學連結和程式碼，並介紹了2Captcha服務的連結。

開始上課

[爬蟲實戰] 如何透過 Python 網路爬蟲抓取並整理 2018 公投選舉資料?

大數學堂
Nov. 29, 2018, 2:29 p.m.

這篇文章提到了選舉結果以及如何利用Python的Selenium和Requests來抓取選舉統計資料，並分析各地民眾的意向。同時也提供了一個可以下載整理過後的資料的網址，以及相關的程式碼連結。

開始上課

hidden