大數軟體 X 大數學堂 | 搜尋關鍵字: R

[Scrapy 爬蟲] 什麼是Scrapy以及為什麼要用Scrapy 爬取網頁?

大數學堂
Jan. 31, 2016, 2:59 p.m.

Scrapy是一個網路爬蟲框架，可以幫助我們撰寫具有非同步請求能力的爬蟲，避免重造輪子。安裝Scrapy的步驟包括下載並安裝Anaconda，使用Anaconda Command Prompt安裝Scrapy，以及開啟爬蟲專案。

開始上課

[資料產品實作] 如何取得臉書使用頻率最高的文字 (Part 1)?

大數學堂
Nov. 25, 2015, 1:07 p.m.

文章介紹了最近vonvon的人氣臉書文字分析服務，並提供了使用網路爬蟲（Python Crawler）來抓取用戶在Facebook上留下的所有訊息內容的教程。

開始上課

[AI人工智慧] 你也能成為編曲大師！探索如何運用 AudioCraft 以文字創造音樂

大數學堂
Aug. 6, 2023, 4:30 p.m.

現今人工智慧的進步為我們的生活帶來了前所未有的變革。你或許已熟悉使用ChatGPT創作文章、寫信、翻譯或是使用MidJourney、DALL-E以文字產生千變萬化的圖片，但今天，我們要談論的不僅僅是生文、生圖，我們要談論的是如何利用文字生成音樂！有了AudioCraft，現在你不需要專業的音樂背景，只要提供文字，AudioCraft就能為您生成旋律，音樂家可以獲取新的靈感，而中小企業主也可以輕鬆地為他們的廣告增加配樂，相信有了AudioCraft，再搭配自己的音樂品味，相信在不久的將來，大家都可以成為音樂創作大師！

開始上課

[Selenium] 如何使用 Selenium 開啟 Chrome 瀏覽器?

大數學堂
May 11, 2018, 3:09 p.m.

本篇文章介紹了Selenium的基礎教程，Selenium是一種能夠進行人機互動操作的工具，可以自動打開瀏覽器瀏覽網頁，對於不擅長觀察資料連結的爬蟲開發者來說非常有用。文章提供了一段程式碼，詳細介紹了如何使用Selenium的基本指令來開啟Chrome瀏覽器並自動瀏覽網頁。具體的程式碼則可以在文章中提供的連結中找到。

開始上課

[ChatGPT] 用說的也會通！如何用語音與ChatGPT 對話

大數學堂
Jan. 15, 2023, 7:50 a.m.

本文介紹了如何使用revChatGPT接出ChatGPT API並透過Python的SpeechRecognition與gTTS，創造一個能夠透過語音與ChatGPT對話的介面。這個方法讓使用者能夠與ChatGPT進行真正的對談，不僅限於使用官方介面或GPT3 API。文章提供了相關的影片和程式碼連結，並引用了其他與語音文字轉換相關的資源。整體而言，該方法能夠讓使用者在無人陪伴的時刻找到一個人工智慧好夥伴與之對話。

開始上課

[ChatGPT] 如何使用Python 網路爬蟲強化ChatGPT 的問答能力?

大數學堂
Feb. 5, 2023, 1:20 p.m.

這篇文章介紹了使用ChatGPT時遇到的問題，即當ChatGPT不知道答案時，它會胡說八道。作者建議使用Selenium和Python網路爬蟲來獲取Google搜索的準確結果，並將其提供給ChatGPT，這樣ChatGPT就能夠回答更符合預期的答案。文末還提供了相關影片和課程的連結，以供讀者參考。

開始上課

Jupyter Notebook 操作簡介

大數學堂
May 23, 2022, midnight

Jupyter Notebook是一個交互式程式開發環境，能夠支援多種程式語言，並能在同一個環境中整合程式碼文字和圖片。它使用單元格作為開發基礎，使用者可以根據需要新增刪除移動這些單元格，並即時執行程式碼並進行調試。Jupyter Notebook還提供了自動完成代碼提示內容搜索等功能，提高程式撰寫效率。此外，它還支援共享到網路上

開始上課

Spyder 操作簡介

大數學堂
May 23, 2022, midnight

本文介紹了Spyder作為一個針對資料科學家所設計的整合開發環境(IDE)的功能。從安裝和設定開始，探索Spyder的介面和佈局，並介紹了新建開啟儲存和執行Python檔案的方法。此外，還介紹了變數瀏覽器錯誤檢查調試功能以及使用內置控制台進行交互式編寫和測試的方法。最後，聚焦於Spyder的潛力，提高資料科學工作效率和加速開發和測試過程。

開始上課

PyCharm 安裝與操作簡介

大數學堂
May 23, 2022, midnight

本文介紹了在「給資料科學家的Python課程」中，第一章的內容，該章節主要介紹了PyCharm的安裝與操作。PyCharm是一個功能強大的Python集成開發環境，它提供了許多提升開發效率的功能。文章首先介紹了如何下載和安裝PyCharm，並提供了不同環境下的安裝步驟。接著，文章介紹了如何建立新的Python項目並編寫第一個Python程式。然後，文章詳細介紹了PyCharm的編輯器功能，包括代碼自動完成語法檢查和代碼重構工具。此外，還介紹了如何使用調試器進行錯誤排除和跟踪代碼執行，以及如何使用版本控制工具來管理程式碼。整體而言，本章節提供了全面的指南，讓讀者能夠開始使用PyCharm來開發和執行Python程式。

開始上課

Colab 操作與簡介

大數學堂
May 23, 2022, midnight

Colab是由Google提供的基於瀏覽器的Python環境，旨在為數據科學家和機器學習研究者提供便利。使用者可以在雲端一鍵執行Python程式碼，無需安裝任何軟體或配置硬體。Colab支援Python 2和Python 3，內建許多熱門的Python庫。同時，Colab也支援GPU和TPU加速，可以提高運算速度。操控Colab非常容易，只需登錄Google帳戶，即可使用Google Drive儲存和管理代碼和數據，還能創建編輯和共享Colab筆記本。

開始上課

[交易系統] 如何抓取三大法人買賣金額統計表(Part 1)?

大數學堂
April 26, 2015, 1:51 p.m.

本篇文章介紹了如何使用Python的Requests模組來抓取三大法人買賣金額統計表。這是建立自己交易系統前需要的資料之一，作者提供了一步步的教學來引導讀者完成這個任務。這個教學對於想要學習如何使用Python來獲取金融相關資料的人來說很有幫助。

開始上課

[深度學習] 如何建構深度學習模型分辨誰是屈中恆、宋少卿、鈕承澤 (1)?

大數學堂
Dec. 11, 2018, 3:14 p.m.

最近爆出鈕承澤一案，引起人們對於屈中恆宋少卿和鈕承澤的驗證碼的關注。為此，研究人員提出利用深度學習的卷積神經網絡讓電腦自動識別圖片中的人物。他們使用Python網絡爬蟲從Google圖片搜索中抓取這三位明星的圖片，並存檔。然後，他們使用這些素材來建構人臉識別模型。你可以查看他們的程式碼。

開始上課

[比特幣程式交易] 如何透過API獲取比特幣歷史報價數據?

大數學堂
Jan. 13, 2021, 2:11 p.m.

比特幣快速突破歷史新高後，開始快速回檔。因此，有人打算透過 Python 分析比特幣的買賣點，以引領獲利。他們首先教大家使用Poloniex的API獲取歷史報價資訊，並用Plotly將數據繪製成K線圖。影片和程式碼可以在相應的鏈接中找到。

開始上課

完全不露臉？沒問題！ AI人工智慧讓你輕鬆當上 YouTuber

大數學堂
Feb. 24, 2023, 2:50 p.m.

現在的網路世界充滿各種新興職業，其中最受矚目的是YouTuber。但有些人可能因為不想曝光真實面貌而放棄這個機會，但現在有了AI人工智慧，這些問題就迎刃而解。透過MidJourney的人工智慧技術可以生成形象照，再透過ChatGPT生成文字內容，最後透過d-id生成動畫影片，讓你不需要露臉不需要用自己的聲音，也可以輕鬆創作高品質的影片。所以，如果你是一個不想曝光真實面貌的人，現在也有機會成為YouTuber了。利用AI人工智慧技術，你可以輕鬆地創作出符合你風格的影片，並且不用擔心真實面貌洩露的問題。

開始上課

如何更改 AWS EC2的防火牆設定 ?

大數學堂
May 4, 2015, 3:33 a.m.

本文提供教學，教您如何在AWS EC2上更改Security Group，以正確設定防火牆，讓您能夠透過瀏覽器連線到已安裝的服務。

開始上課

如何使用OpenCV 建立山寨版的 how-old.net ?

大數學堂
May 2, 2015, 1:37 p.m.

本文介紹如何使用OpenCV來完成臉部偵測，並製作出類似how-old.net的程式。how-old.net是一個能判斷臉部年齡和性別的系統，儘管系統判斷的準確性可能有待商榷，但其呈現的臉部偵測技術令人驚訝。然而，臉部偵測的技術並不困難，這篇文章將教你如何只需幾行程式碼，製作出一個類似how-old.net的系統。

開始上課

[RPA]如何用PyAutoGUI 建立Python 版的按鍵精靈?

大數學堂
July 8, 2019, 2:56 p.m.

這篇文章介紹了使用RPA（Robotic Process Automation）流程機器人自動化處理繁瑣而重複的作業流程。然而，你不需要花大錢購買專業的軟體，只需使用PyAutoGUI建立簡單的Python程式即可實現這個功能。該程式可以做為一個簡單的按鍵精靈，讓電腦快速完成各種操作任務。同時提供了一個影片和程式碼連結以供參考。

開始上課

Buzz Alert - Social Media Based Disaster Alert Map

大數學堂
Oct. 13, 2015, 11:44 p.m.

透過採集社群網絡的即時訊息和緊急中心的位置資訊，我們可以建立一個即時的災害預警系統，從而拯救更多人的生命。如果政府能夠建立起這樣的系統，許多人就可以從毀滅性的災害中得救。現在，由於社群網絡的普及，人們可以更容易地傳播即時訊息，如此一來，我們就可以向政府報告國內發生的災害情況。此外，我們還可以整合開放數據的資訊，使人們可以找到最近的緊急中心或避難所尋求幫助。因此，我們建立了Buzz Alert，一個基於社群媒體的預警地圖系統，可以自動從社群網絡收集意見數據，並將災害訊息標示為地圖上的亮點。同時，我們還從開放數據中收集官方緊急中心醫院和消防機構的位置資訊，並標示在地圖上。我們最大的願望是，全球的政府都能使用Buzz Alert來拯救未來任何災害中的人們。

開始上課

[Scrapy 爬蟲] 如何撰寫第一支Scrapy 爬蟲以抓取蘋果即時新聞?

大數學堂
Feb. 1, 2016, 4:12 p.m.

這篇文章介紹了如何使用Scrapy爬蟲框架進行網站爬蟲的步驟。首先，我們需要在spiders目錄下建立一個Python檔案，並在其中定義一個class，指定爬蟲的名稱起始網址以及解析函數。最後，執行指令"scrapy crawl 爬蟲名稱"來運行爬蟲。

開始上課

[財經爬蟲] 如何透過Pandas 快速抓取並分析黃金價格?

大數學堂
May 15, 2020, 2:56 p.m.

這篇文章介紹了如何使用Python的Pandas套件進行黃金價格的抓取和分析。文章提供了一個影片教學和相應的程式碼連結。這將幫助讀者輕鬆地掌握黃金價格的網路爬蟲。文章也列出了一些相關的標籤，包括Python網路爬蟲黃金價格 Pandas和財經爬蟲。

開始上課

如何在三分鐘內於Ubuntu 14.04中啟用Spark-shell?

大數學堂
May 30, 2015, 3:31 p.m.

本地端啟用Spark非常簡單，只需要透過apt-get指令安裝Java Scala等語言，然後使用預先編譯過的Spark版本開始使用。

開始上課

什麼是網路爬蟲?

大數學堂
April 10, 2015, 5:49 a.m.

爬蟲是一種利用HTTP Request 抓取網路資料的技術，可以用來建立比價網站或進行資料分析。當你需要資料但又無法與他人交換或合作時，爬蟲技術可以將他人的資料庫變成自己的資料庫。這種技術擁有很大的應用價值。

開始上課

如何安裝 R (3.2.0 for Windows)

大數學堂
May 11, 2015, 1:55 p.m.

本章將介紹在Windows上安裝R 3.2.0的步驟，R是資料分析不可或缺的工具，也是資料分析的好助手。

開始上課

超快速! 如何五分鐘啟用Amazon EC2雲端主機

大數學堂
May 13, 2015, 2:26 p.m.

本文介紹如何在AWS上快速啟用免費的EC2雲端主機，並在預計的五分鐘內完成。詳細步驟可參考AWS官網。

開始上課

[其他專題] 完美結合！ Excel 中也可以用 Python 做機器學習？

大數學堂
Oct. 17, 2023, 9 p.m.

以前在Python中進行資料分析可能會讓你不得不依賴Pandas，但當需要進行資料修改或新增時，Excel總是那個得心應手的選擇，對吧？現在有一個令人興奮的消息！微軟和Anaconda攜手合作，將Anaconda帶入Excel的世界中。這意味著，現在你可以在Excel的熟悉界面中，發揮Python的強大威力，進行資料分析和機器學習。不再需要繁瑣的資料匯出和匯入，一切都在一個地方搞定！🔗🔢

開始上課

[Open Jarvis] 如何讓Python 自動將語音轉譯成文字?

大數學堂
Feb. 13, 2017, 3:18 p.m.

Open Jarvis Project… 使用Python的SpeechRecognition套件，透過語音辨識API幫助將語音轉譯成文字。

開始上課

[AI人工智慧]如何使用ROOP換臉製作自己的迷因圖？

大數學堂
Nov. 5, 2023, 5 p.m.

夢想成為迷因界的超級巨星嗎？✨ 你的時刻到了！用 #Roop，一切只需點點滑鼠！🚀 忘掉過去使用DeepFaceLab的複雜步驟，現在，只要上傳你的肖像，Roop能在瞬間把你變成任何迷因角色！下次想要輕鬆地吐槽，就來一張個人定製的迷因吧。🤨 為你的疑問加上一點個人風格，讓你的不屑一顧更加生動！👤💬

開始上課

輸出格式(Print Format)

大數學堂
May 23, 2022, midnight

輸出格式是將數據以特定方式呈現給使用者的方法。Python 提供了多種控制輸出格式的方法，包括使用 print() 函數和格式化輸出。這些技巧能夠幫助資料科學家更好地呈現數據，提高工作效率。

開始上課

如何在五分鐘內透過AWS的EMR服務快速開啟一個Hadoop叢集?

大數學堂
May 20, 2015, 4:38 p.m.

這篇文章介紹了如何使用Amazon EC2的EMR服務快速建立Hadoop叢集，並指出這將使巨量資料分析變得非常簡單。同時，文章也提到如果讀者對Hadoop和其生態系統有更多興趣的話，可以參考由作者和Tibame共同開設的線上課程。

開始上課

如何在Windows下安裝git?

大數學堂
April 12, 2015, 4:51 p.m.

這篇文章介紹了如何在Windows中下載和安裝Git，首先進入http://git-scm.com/，然後點擊Windows的下載連結，按照安裝選單的步驟進行安裝。

開始上課

如何在Windows上安裝 RStudio

大數學堂
May 11, 2015, 4:31 p.m.

RStudio 是一個強大的集成開發環境，專為R語言而設計。它可以提供更豐富的功能和工具，使開發和維護R代碼更加靈活和高效。RStudio的界面友好，使用起來非常方便，同時提供了許多實用的功能，如代碼編輯器語法高亮顯示調試工具等。使用RStudio，無論是初學者還是高級用戶，都能更好地管理和執行R程式。

開始上課

[實價登錄分析] 如何使用Python Pandas 整併歷年實價登錄資訊?

大數學堂
Sept. 14, 2016, 4:29 p.m.

文章中提到，僅整理一季的資料無法完整進行房價分析，因此需要將歷年的實價登錄資訊存放在不同的目錄夾中。接著，使用Pandas的Data Frame將各季的資料讀入，再使用Concat指令合併所有的Data Frame。以此，可以選擇使用describe指令獲得敘述性統計，或使用to_excel功能將資料寫入Excel檔案中。

開始上課

字典 (Dictionary) 簡介

大數學堂
May 23, 2022, midnight

字典是Python中一種非常有用的資料結構，它以鍵-值對的形式儲存資料。每個鍵都必須是唯一的，值可以是任意類型的物件。字典可以用於解決許多實際問題，例如建立通訊錄或詞典。

開始上課

如何透過OpenCV 破解台灣證券交易所買賣日報表的驗證碼(Captcha) (Part 1)?

大數學堂
May 16, 2015, 4:17 p.m.

這篇文章介紹了如何使用OpenCv進行影像辨識，將台灣證券交易所買賣日報表上的五碼驗證碼分解成五個單一文字。這樣的分解可以讓後續的機器學習演算法更容易辨識圖像文字(OCR)。

開始上課

[Selenium] 如何使用 Selenium 查找元素定位?

大數學堂
June 26, 2018, 3:42 p.m.

這篇文章介紹了使用Selenium開啟瀏覽器後，如何尋找網頁元素定位並進行操作。其中，文中提到了幾個常用的定位方法，包括使用元素的id class名稱 name CSS selector以及XPath。若要查看完整的程式碼，可以點擊連結進入GitHub頁面。

開始上課

[Scrapy 爬蟲] 如何從蘋果新聞的清單聯結抓取下一層的內容頁面?

大數學堂
Feb. 23, 2016, 4:14 p.m.

這篇文章介紹了如何在Scrapy爬蟲中使用yield 產生器來抓取下一層的內容頁面，並使用BeautifulSoup進行剖析，獲取內容頁的標題資訊。

開始上課

[比特幣程式交易] 如何使用TA-Lib快速建立比特幣技術分析指標?

大數學堂
Jan. 20, 2021, 3:52 a.m.

這篇文章介紹了如何使用TA-Lib建立158種常見的技術分析指標。搭配Plotly圖表整合，能夠快速找出比特幣的平均移動線 KD指標 RSI指標和MACD等指標，並進行可視化分析。提供了相關影片和程式碼供參考。

開始上課

[RPA] 如何使用 PyAutoGUI 突破 reCAPTCHA 順利下載櫃買中心券商買賣證券日報表?

大數學堂
July 29, 2019, 2:33 p.m.

這篇文章介紹了在進行上櫃股票交易時，如何利用PyAutoGUI突破reCAPTCHA的限制，以進行自動化操作。作者分享了一個影片和程式碼，詳細解釋了如何使用PyAutoGUI進行自動化投資。這將有助於投資者更好地理解資金流向，掌握更準確的交易資訊。

開始上課

如何使用Jupyter 操作 Spark?

大數學堂
May 31, 2015, 3:19 p.m.

這篇文章介紹了ISpark這個解決方案，讓使用者能夠在Ubuntu 14.04中使用Jupyter和Spark建立開發環境。這樣可以像Python一樣方便地記錄開發內容，提供了一個簡易好用的開發環境。

開始上課

[深度學習] 如何建構深度學習模型分辨誰是屈中恆、宋少卿、鈕承澤 (2)?

大數學堂
Dec. 12, 2018, 2:28 p.m.

這篇文章介紹了如何使用OpenCV和Haar分類器來擷取圖像中的人臉。作者提供了程式碼和相關連結，並提到了一些相關的主題，包括大數軟體鈕承澤卷積神經網路 Python網路爬蟲和深度學習。

開始上課

字典 (Dictionary) 練習題

大數學堂
May 23, 2022, midnight

這一章節介紹了資料科學家們可以使用的一些字典練習題。字典是Python中一種重要的資料結構，可以用來保存和組織資料。通過這些練習題，讀者將學到如何使用字典解決不同的問題，並提升對字典的操作能力。

開始上課

集合 (Set) 簡介

大數學堂
May 23, 2022, midnight

集合（Set）是Python中的一種結構，由一組唯一且無序的元素組成。可以使用花括號{}或set()函數創建集合。集合中的元素可以是任何不可變的數據類型。集合是可變的，可以添加或刪除元素。可以使用add()方法添加元素，remove()或discard()方法刪除元素。集合可以進行聯集交集和差集等運算，分別使用| &和-運算符計算。

開始上課

Python 陳述與控制流程速覽

大數學堂
May 23, 2022, midnight

本文介紹了Python程式語言中的陳述和控制流程，包括賦值陳述條件陳述迴圈陳述例外處理和函式定義等。文章強調這個章節對初學者和有程式基礎的資料科學家都有益處，能幫助讀者更好地理解Python程式中的流程控制和邏輯判斷，並能更有效地編寫Python程式。也提供了進一步閱讀的連結。

開始上課

Python 運算式與陳述

大數學堂
May 23, 2022, midnight

這個章節將深入探討Python中的運算式和陳述。運算式是由值運算子和函數組成的程式碼片段，用於執行特定的計算。我們將學習使用算術比較和邏輯運算子來建立運算式。陳述是以關鍵字和內容為基礎的語句，用於執行特定操作。我們將學習各種陳述，包括條件陳述迴圈陳述以及函數定義和呼叫。

開始上課

錯誤與例外

大數學堂
May 23, 2022, midnight

錯誤與例外處理在Python中是一個重要的主題，它允許程式在遇到錯誤時能夠正常運行並提供相應的反饋。錯誤通常分為語法錯誤和執行時錯誤。語法錯誤是在撰寫程式時發生的錯誤，而執行時錯誤是在程式執行過程中發生的錯誤。Python提供了try-except語句來處理這些錯誤，我們可以在try區塊中嘗試執行可能出錯的程式碼，在except區塊中處理錯誤。此外，finally語句可以定義一段無論是否出錯都會執行的代碼，通常用於清理工作或釋放資源。

開始上課

FOR 迴圈

大數學堂
May 23, 2022, midnight

FOR 迴圈是Python中的一種迭代結構，用於重複執行程式碼，直到滿足特定條件。通常使用在已知遍歷次數的情況下，例如遍歷列表字串等。

開始上課

[Scrapy 爬蟲] 如何使用items.py整理Scrapy 爬取下來的資料並輸出成JSON檔?

大數學堂
Feb. 24, 2016, 3:26 p.m.

Scrapy 的 items.py 可以將爬蟲爬取到的資料結構化，爬蟲主程式隨後可建立物件來存放爬取下來的資料。最後，透過指令 "scrapy crawl apple -o

開始上課

[比特幣程式交易] 如何使用 Backtesting.py回測交易策略?

大數學堂
Jan. 26, 2021, 1:44 a.m.

這篇文章介紹了如何透過回測來驗證交易策略的穩定性，並使用Backtesting.py和Bokeh進行視覺化呈現交易策略利潤/虧損和資產變化。同時，文章提供了相關的影片和程式碼連結，以便讀者深入瞭解和應用程式交易比特幣回測策略等相關主題。

開始上課

[Selenium] 如何使用 Selenium 操作網頁元素?

大數學堂
Aug. 1, 2018, 2:37 p.m.

這篇文章介紹了如何使用Selenium點擊網頁按鈕和送出內容，並提供了相關程式碼的連結。同時，文章還提到正在尋找網站可靠工程師的招募訊息，並提供了應徵連結。

開始上課

開始使用Python撰寫網路爬蟲 ( Crawler )

大數學堂
April 15, 2015, 12:49 a.m.

這篇文章介紹了使用Python編寫網路爬蟲的開始步驟，其中需要安裝兩個Python套件：Requests和BeautifulSoup4。Requests是一個用於網路資源擷取的套件，而BeautifulSoup4則是一個用於HTML剖析的套件。

開始上課

如何透過OpenCV 破解台灣證券交易所買賣日報表的驗證碼(Captcha) (Part 2)?

大數學堂
May 17, 2015, 12:57 p.m.

本文介紹了破解驗證碼的方法。首先將驗證碼分解成獨立的字母圖片，然後使用OCR技術辨識圖像文字。作者嘗試了使用pytesser進行圖片辨識，但效果不佳，所以使用Word建立基準圖片，並使用Mean Square Error計算兩張圖片的相似度。結果表明，這種簡單的方法可以輕鬆破解驗證碼。並提到若想得到更新訊息，可以至Facebook粉絲團按讚。

開始上課

FOR 迴圈練習題

大數學堂
May 23, 2022, midnight

這篇文章提供了四個針對 FOR 迴圈的練習題，包括計算1到10的和打印出1到20之間的偶數計算1到100之間奇數的和以及打印1到10之間的平方數。這些練習題有助於提升運用 FOR 迴圈解決問題的能力，同時也能加強程式邏輯和編碼技巧。

開始上課

如何使用R 的 Quantmod 套件快速蒐集股價資訊並計算技術指標?

大數學堂
May 24, 2015, 4:22 p.m.

在R中，使用Quantmod套件可以輕鬆地蒐集股價資訊並計算技術指標。這比自己寫程式更簡單，省去了許多麻煩。

開始上課

[交易系統] 如何抓取三大法人買賣金額統計表(Part 2)?

大數學堂
April 28, 2015, 4:04 p.m.

本教學將透過BeautifulSoup 4和css selector，來抓取三大法人買賣金額統計表的資訊。首先，我們需要導入requests和BeautifulSoup套件。然後，使用requests.get()函式來獲取網頁的HTML內容，將其存儲在一個變數中。接下來，使用BeautifulSoup的select()方法和正確的css選擇器，來定位我們要抓取的元素。最後，遍歷結果，將每個元素的文本打印出來或進一步處理。這樣，我們就可以輕鬆地獲取三大法人買賣金額統計表的資訊了。

開始上課

[ChatGPT] 如何使用Whisper API 與 ChatGPT API 快速摘要YouTube 影片?

大數學堂
March 5, 2023, 9:26 a.m.

OpenAI最近發布了自動語音辨識模型Whisper API和ChatGPT API，讓付費企業和開發人員更輕鬆地使用AI模型。這兩個API提供了快速摘要YouTube影片的功能，使用者只需生成API金鑰，下載音頻檔案並將其分割為小檔案後，就可以使用Whisper API將影片轉換為文字，再使用ChatGPT API將文字轉換為摘要。使用AI摘要影片的好處包括節省觀看時間更準確地捕捉重點，且這兩個API的收費非常便宜。這可以是一個簡單而有效的方法，同時還能創造更多有趣的應用。

開始上課

如何安裝Spark-Notebook 在Ubuntu?

大數學堂
June 2, 2015, 4:11 p.m.

本文介紹了一個優秀的專案Spark Notebook，該專案可以使用Jupyter Notebook的形式存取Spark並生成可互動的視覺化圖表。除了可以使用WISP來使用d3.js生成SVG圖檔外，還支持使用筆記本形式來進行資料分析。這將為使用者提供更多的工具來進行Spark的操作和視覺化。

開始上課

[深度學習] 如何建構深度學習模型分辨誰是屈中恆、宋少卿、鈕承澤 (3)?

大數學堂
Dec. 28, 2018, 10:49 a.m.

這篇文章介紹如何使用OpenCV和卷積神經網路來識別和標示圖片中的人臉。作者提到可以透過OpenCV來擷取人物圖片並擷取臉部特徵，然後使用卷積神經網路訓練一個模型來識別這些圖片中的人物。並且還提供了一些相關的線上課程和程式碼供讀者參考。

開始上課

[分類實戰] 如何使用Spark 預測客戶是否流失(Part 1)?

大數學堂
June 15, 2015, 3:53 p.m.

這篇文章介紹了如何使用Spark進行機器學習。只要將資料整理成特徵和標籤的格式，就能夠使用MLlib提供的演算法進行快速分類。這樣的分類技術不僅能夠選出土豆，還能夠預測電信業客戶是否流失。然而，在進行分類之前，我們需要對資料進行整理，以使其符合分類演算法的要求。

開始上課

WHILE 迴圈

大數學堂
May 23, 2022, midnight

WHILE 迴圈是 Python 中的一種重要概念，用於重複執行程式碼塊。只有當條件為真時，程式碼塊才會被執行。WHILE 迴圈的語法非常簡單，只需提供一個條件和要執行的程式碼塊即可。WHILE 迴圈非常有用，特別是在需要根據不同情況執行不同操作的情況下。

開始上課

如何安裝 Jupyter (Ipython Notebook)

大數學堂
May 7, 2015, 7:04 a.m.

Jupyter是一個強大而方便的工具，它提供網頁介面，讓使用者可以使用瀏覽器進行Julia Python或R程式的開發和維護。這個工具相當實用，值得一試。未來我們將陸續介紹它的各種好用功能。

開始上課

迭代器 (Iterator)

大數學堂
May 23, 2022, midnight

迭代器是Python中的一種機制，用於遍歷容器對象而不需要生成全部元素。每個迭代器都有兩個基本方法：__iter__()和__next__()，分別返回迭代器本身和容器中的下一個元素。使用迭代器可以節省內存空間並提供方便高效的元素訪問方式。

開始上課

Jupyter 操作入門 (1)

大數學堂
May 10, 2015, 1:14 p.m.

本文介紹了在Jupyter中引入pylab進行繪圖類Linux指令觀看當前目錄的檔案執行Python程式，以及使用MathJax繪製數學方程式的方法。Jupyter是開發和維護Python程式的好工具。

開始上課

匿名函式 (Lambda)

大數學堂
May 23, 2022, midnight

匿名函式（lambda函式）是一種輕量級的函式，在Python中可以直接定義和使用，不需要使用def關鍵字。lambda函式的語法簡單，可以使用lambda關鍵字指定參數，並定義函式的運算邏輯。lambda函式常用於單次使用且簡單的函式定義，可以應用於列表排序過濾和映射等操作，也可以與內建函數如map() filter()等一起使用。

開始上課

裝飾器(Decorator )

大數學堂
May 23, 2022, midnight

Python中的裝飾器是用於修改或增強現有函式功能的特殊語法。裝飾器是一個函式，可以接受另一個函式作為參數並返回一個新的函式。這使得我們能在不更改原函式源碼的情況下，擴展或修改函式的行為。

開始上課

如何使用GET 抓取網頁內容?

大數學堂
April 16, 2015, 3:15 p.m.

這篇文章介紹了如何使用Python編寫三行程式碼來抓取淘寶網的網頁內容。並且提供了一個範例網頁連結供讀者參考。

開始上課

生成器(Generator)

大數學堂
May 23, 2022, midnight

生成器是一種特殊的函式，可以逐步生成數據。它使用yield關鍵字返回數據，而不是使用return。這種方式可以節省內存空間，適用於處理大量數據的情況。生成器可以通過for迴圈遍歷數據，也可以使用next()函式獲取下一個數據。每次調用生成器時，它會從上次yield所在位置繼續執行，直到遇到下一個yield或結束。

開始上課

[Selenium] 如何使用 Selenium 撰寫網路爬蟲?

大數學堂
Aug. 15, 2018, 1:53 p.m.

這篇文章介紹了如何使用Selenium和BeautifulSoup進行網頁爬取。使用Selenium的page_source屬性可以抓取當前頁面的原始碼，並透過BeautifulSoup處理，使得能夠爬取任何瀏覽器瀏覽的網頁。同時提供了程式碼以供參考。

開始上課

[ChatGPT] Whisper還是剪映？選擇最佳字幕創建工具讓你的影片更專業！

大數學堂
March 12, 2023, 8:31 a.m.

這篇文章提到隨著YouTube影片的普及，語音轉文字的需求也相應增加。文章介紹了如何使用Python調用Whisper API將YouTube影片轉錄成字幕，並利用Pysrt合併和修改字幕時間。同時還比較了這種轉錄方式與剪映的差異。影片和程式碼也提供了相關連結，以便讀者更深入了解。該文章還以標籤形式列出了相關的主題，如語音識別 YouTube字幕生成等，方便讀者查找相關資訊。

開始上課

[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?

大數學堂
Feb. 26, 2016, 3:27 p.m.

scrapy是一個用於抓取網頁數據的框架，它通過pipelines來處理抓取到的數據。在pipelines中，我們可以清理數據驗證數據的有效性去除重複數據，並將數據存儲到數據庫中。在範例中，我們在pipelines.py中設置open_spider在開始時建立數據庫連接並創建表格，close_spider在結束時提交交易並關閉數據庫連接，process_item則將數據保存到sqlite數據庫中。最後，在settings.py中啟用pipelines的設置。

開始上課

物件導向程式設計速覽

大數學堂
May 23, 2022, midnight

本章介紹物件導向程式設計（OOP）的基本概念和原則，並以Python語言為例，解釋了相關特性如類別物件封裝繼承和多型等。

開始上課

類別(Class)

大數學堂
May 23, 2022, midnight

在Python中，類別（Class）是一種用來創建物件的模板，它封裝了相關的屬性和方法。類別可以看作是一種自定義的數據類型，可以擁有屬性和方法。使用類別可以更方便地組織和管理程式碼，並提供封裝繼承和多型等特性。要創建一個類別，可以使用class關鍵字，在內部定義屬性和方法。透過點運算符可以訪問類別的屬性和方法。示例中定義了一個名為Person的類別，並創建了該類別的實例，可以透過該實例訪問類別的屬性和方法。

開始上課

模組、套件、第三方套件速覽

大數學堂
May 23, 2022, midnight

本章節將介紹Python中的模組套件以及第三方套件。模組是一個Python檔案，可以包含變數函式類等程式碼，我們可以透過import語句引入使用。套件則是由多個模組組成的集合，方便共享和重複使用程式碼。常見的Python套件有math datetime random等。除了內建的模組和套件外，我們還可以使用第三方套件來擴展Python功能。第三方套件是由其他開發者開發的，可在官方網站或第三方網站下載和安裝。這章節將教你如何使用模組及套件，並安裝和管理第三方套件，提升Python程式開發效率。

開始上課

模組(Module)

大數學堂
May 23, 2022, midnight

Python中的模組是包含函式變數和類別的文件，可以組織和重用程式碼，提高可讀性和維護性。使用模組可以簡化程式開發過程，只需導入所需的模組即可。Python內建了許多模組，如math datetime和random，還有許多第三方模組，如numpy pandas和scikit-learn，提供更豐富和專業的功能。

開始上課

[深度學習] 如何使用 DeepFakes 技術移花接木影片人物的臉(一)?

大數學堂
March 3, 2020, 5:22 p.m.

一位工程師使用DeepFakes技術將神力女超人Gal Gadot的臉部偽造成成人片女星的臉部，引起了一陣轟動，也預示著偽造影片的時代即將到來。影片簡介DeepFakes技術的原理和使用的深度學習模型AutoEncoder。深度偽造 DeepFakes和AutoEncoder是相關的關鍵詞。

開始上課

[ChatGPT] 用ChatGPT輕鬆掌握外資對台積電法說會的看法

大數學堂
April 23, 2023, 8:25 a.m.

聽說最近外資對台積電法說會的評價很高，不知道是真的還是假的呢？那麼就讓我ChatGPT來告訴你們答案吧！為了能夠快速探索外資對台積電法說會的看法，我們先蒐集了一堆外資對台積電的投資建議報告，並運用最近話題最熱的兩大神器：langchain 與 llama_index來將所有外資的建議報告索引起來。而本教學不只是教學如何建立單篇的PDF索引，而是包含多篇PDF的索引服務。當我們將所有報告索引起來後，這項服務就比ChatPDF更加傑出！使用者只需要對索引提問，就可以輕輕鬆鬆得知每家外資對台積電法說會的看法了！

開始上課

如何使用RSelenium 抓取PTT Food版的內容?

大數學堂
June 29, 2015, 3:41 p.m.

R可以搭配Web自動化測試工具Selenium進行網頁抓取，只要使用RSelenium進行安裝和使用，就能在Firefox瀏覽器中使用R腳本抓取網頁內容。這樣的功能不僅僅只有Python才能實現。

開始上課

[交易系統] 如何操作SQLite ?

大數學堂
May 3, 2015, 4:10 p.m.

本文介紹了如何使用Firefox的SQLite Manager擴充插件來操作SQLite數據庫，以儲存爬取的三大法人統計資訊。相較於安裝和配置MySQL PostgreSQL等數據庫，SQLite Manager的簡單易用讓資料儲存變得輕鬆方便。SQLite Manager提供了一個直觀的用戶界面，讓您可以輕鬆創建編輯和查詢數據庫表格，並支持導入和導出數據等功能。讀者可以通過本文學習如何使用SQLite Manager進行數據庫操作，輕鬆管理爬取資料。

開始上課

[ChatGPT] 如何使用ChatGPT 快速翻譯 PDF 文件?

大數學堂
July 26, 2023, 9:46 a.m.

【用chatgpt翻譯pdf】我們經常需要閱讀英文文件和論文，但以往將中文複製貼上到Google翻譯，往往得到一些含糊不清的翻譯結果。因此，我們現在要教大家如何使用強大的人工智慧模型 - ChatGPT快速翻譯PDF文件！

開始上課

第三方套件 (Third Party Package)

大數學堂
May 23, 2022, midnight

第三方套件是由非官方開發人員或組織創建和維護的Python套件，可擴展Python的功能。這些套件提供了各種功能和工具，可用於不同的應用。由於Python開源且廣泛使用，對於開發人員來說可以輕鬆獲取並使用這些套件。不同的第三方套件可以提供不同的特性和功能，使得Python更加具有彈性和豐富性。

開始上課

[Selenium] 如何設定 Selenium 中的隱含等待(Implicit Wait)?

大數學堂
Oct. 30, 2018, 3:05 p.m.

Selenium在抓取資料時，有時會遇到頁面尚未完全載入的問題，導致NoSuchElementException的錯誤。為了避免此問題，可以使用implicit_wait功能，讓程式在執行後續動作之前等待頁面完全載入。附上程式碼範例的連結。

開始上課

如何使用RJDBC 連結到MySQL?

大數學堂
July 6, 2015, 4:23 p.m.

本文介紹了在使用程式語言連結到資料庫時可使用的兩種方法：ODBC和JDBC。同樣地，R語言也提供了RODBC和RJDBC兩種方法供使用者選擇。本文將教您如何下載JAR檔和設定連線資訊，使得R可以通過RJDBC連結到資料庫，並獲取資料庫中存放的三大法人買賣資訊。

開始上課

[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?

大數學堂
March 1, 2016, 4:49 p.m.

Scrapy的CrawlSpider類別可實現多網頁爬取。只需讓爬蟲繼承CrawlSpider類別，並在rules清單中增加抓取規則，透過LinkExtractor中的分頁抓取規則，即可輕鬆爬取符合條件的蘋果新聞資料。

開始上課

[分類實戰] 如何使用Spark 預測客戶是否流失(Part 2)?

大數學堂
June 18, 2015, 4:14 p.m.

MLlib 提供了決策樹分類的功能，使用DecisionTree.train可以輕鬆建立模型並預測客戶是否流失。此外，也可以使用不同的套件計算準確度和AUC，使用Spark來分析大量的資料非常簡便和迅速。

開始上課

[AI人工智慧] 探索香港Deepfake詐騙案背後的科技：如何只憑免費Colab與基本Python知識製作深度偽造影片?

大數學堂
Feb. 7, 2024, 9 p.m.

最近香港發生一起利用AI技術的詐騙案，歹徒使用Deepfake技術製作假影片，冒充公司財務長詐騙兩億港幣。這引起了大家對AI模仿能力的疑慮。為展示AI換臉有多麽容易實作，我們將使用Python的Roop套件，並以賈伯斯的照片創造深度偽造影片。希望能用這個範例提高大家對AI詐騙的警覺

開始上課

[ChatGPT] 如何結合Python網路爬蟲和GPTs打造你自己的財經新聞聚合應用程式！

大數學堂
Nov. 19, 2022, 4 p.m.

🔍 想知道如何從頭開始建立自己的財經新聞聚合器嗎？我們的最新影片將一步步指引您如何運用 Python 網路爬蟲技術來擷取、整理財經新聞，並且展示如何將這些數據轉換成 CSV 檔案格式，進一步應用於 GPTs。 📈 此外，我們也將探討如何利用 GPTs 的強大功能，將您的財經新聞聚合器提升至一個新層次，提供更深入、更客製化的財經資訊。

開始上課

[資料產品實作] 如何跟vonvon一樣取得在臉書中最難忘的相片?

大數學堂
Dec. 11, 2015, 3:30 p.m.

vonvon最近推出了一個服務，讓使用者取得臉書中最難忘的照片，我們可以利用爬蟲技術做出類似的服務。這堂課程會教你如何取得自己在Facebook上的相片和按讚統計，然後按照按讚數量排序，將所有最難忘的臉書照片下載下來。

開始上課

用第三方套件打造"真"對話機器人

大數學堂
May 23, 2022, midnight

本文介紹如何使用Python中的第三方套件打造一個真實的對話機器人。對話機器人可以進行自然的對話，並根據使用者的輸入提供適當的回應。文章提到可以使用NLTK或spaCy等自然語言處理套件來處理和分析使用者的輸入。同時，可以使用GPT模型等語言模型生成自然流暢的回應。另外，也可以使用SpeechRecognition等語音辨識套件實現語音輸入功能。文章指出，這些套件能夠讓應用程序能與使用者進行自然且有意義的對話。

開始上課

第三方套件練習題 - 運用結巴斷詞

大數學堂
May 23, 2022, midnight

結巴斷詞（jieba）是一個常用的中文中文字斷詞的Python套件。該套件可以將中文文本進行分割，分離出詞彙的單位，方便進行文本分析文字處理等自然語言處理任務。想使用結巴斷詞套件，需要先安裝並匯入該套件。以下有安裝指令和匯入代碼的示例。透過結巴斷詞可以將中文句子斷詞為詞彙的單位，方便後續的處理和分析。

開始上課

[爬蟲實戰] 如何抓取心食譜的食譜資訊?

大數學堂
April 20, 2015, 2:01 p.m.

這篇文章介紹使用CSS Selector的nth-of-type來抓取特定位置的食譜資訊的示範。並且提供了一個示範網頁的連結。

開始上課

結尾

大數學堂
May 23, 2022, midnight

這是一個Python課程的結束評價和感謝。該課程涵蓋了Python的基礎知識和資料科學應用，包括常用庫資料視覺化和網絡爬蟲。重視實踐和應用，並提供了實例和練習。希望學生能夠提升Python技能，應用於資料科學項目。學生可以隨時聯繫課程作者提出問題和建議。最後，感謝學生的參與和支持，並祝願他們在資料科學領域取得成功。

開始上課

[AI人工智慧] 使用 Ollama 調用本地語言模型生成文章並且辨識圖片內容

大數學堂
March 24, 2024, 4 p.m.

Ollama是一款能在個人電腦上輕鬆部署和使用語言模型的工具，透過Ollama，我們便能在終端機使用：1. 聯發科的 Breeze 7b 模型、2. 利用 Python 接合 Ollama 的端口，3. 甚至使用 Llava 模型智慧地重命名文件中的圖片。透過本地端部署的大型語言模型，便能在保障隱私與安全的前提下，有效能夠提高工作效率。

開始上課

該如何使用git init 建立程式碼版本的儲存空間?

大數學堂
April 21, 2015, 2:45 p.m.

這篇文章介紹了如何建立程式碼的儲存庫。使用git init指令，可以設立儲存庫進行版本控制。儲存庫是用來儲存所有版本的空間。

開始上課

[深度學習] 如何使用 DeepFakes 技術移花接木影片人物的臉(二)?

大數學堂
March 9, 2020, 3:24 a.m.

DeepFaceLab是一個知名的DeepFakes工具，本文介紹了該工具的流程，以幫助讀者實現變臉技術。同時提供了相關的參考資料和影片資源。

開始上課

[AI人工智慧] EasyOCR v.s. PaddleOCR 誰才是圖片轉文字(OCR)的最佳神器?!

大數學堂
Oct. 1, 2023, 5:30 p.m.

光學字元辨識(OCR)能夠將紙上文字數位化，使得資訊管理變得更加方便，例如：將書籍掃描成電子版、識別及翻譯外國的路標或菜單，以及將手寫筆記快速轉化成文字檔。本文介紹如何透過 Python使用EasyOCR和PaddleOCR兩種開源工具，可以簡單地識別圖片中的文字。同時，影片中亦比較了兩個套件與不同類型文字的識別準確率。

開始上課

如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?

大數學堂
April 18, 2015, 1:59 a.m.

這篇文章介紹如何使用Python的requests和BeautifulSoup4來完成淘寶網站的爬蟲。作者提到，既然已經了解了如何使用requests抓取網頁內容，並使用BeautifulSoup4來解析有用的資訊，接下來將進入實戰階段，示範如何完成淘寶爬蟲。

開始上課

[AI人工智慧] 快速玩轉AI：使用LM Studio在個人電腦上部署Google新開源大型語言模型Gemma

大數學堂
Feb. 25, 2024, 5 p.m.

Google最近發布了新的開源大型語言模型Gemma，似乎是為了與Meta的Llama2與OpenAI展開競爭。Google 此次提供了2B和7B兩種模型，目的在應用於較低配置的運行環境上離線使用，彰顯了Google想在邊緣AI領域獨佔鰲頭的野心。以下我們將一起探討如何在個人電腦上快速利用LM Studio 部署Gemma 2B，讓大家親身體驗這款先進語言模型的卓越性能吧！

開始上課

[RPA] 如何使用 Selenium 自動下載漫畫 (1)?

大數學堂
Aug. 12, 2019, 3:20 p.m.

這篇文章介紹了一個使用Python爬蟲的專題，目的是為了自動化閱讀漫畫的過程。文章提到了使用Selenium來自動開啟漫畫頁面，然後使用BeautifulSoup解析圖片位置，最後使用Requests下載圖片。作者分享了相關的影片和程式碼連結。整篇文章展示了使用爬蟲技術來達到自動化閱讀漫畫的目標，展現了黑客精神。

開始上課

如何安裝及使用SparkR?

大數學堂
June 20, 2015, 3:02 p.m.

Spark最近版本中收錄了R語言的SparkR，這讓R語言的資料分析能夠與Spark進行無縫整合。在RStudio下的安裝過程經過實測後發現，非常簡單且與使用RHadoop撰寫MapReduce非常相似。然而，研究後發現部分機器學習的功能仍需自行撰寫，無法直接呼叫MLlib，這是目前讓人最失望的部分。

開始上課

[爬蟲實戰] 如何透過 Python 網路爬蟲快速找出1111購物狂歡節折扣最多的商品? (2018年版)

大數學堂
Nov. 10, 2018, 12:43 p.m.

1111購物狂歡節即將到來，如果你還不知道該買什麼，可以嘗試使用數據來做決策。本課程將使用Python網路爬蟲抓取天貓的商品頁面，再用json和pandas整理商品資訊，最後使用pandas的排序功能，幫助你找出折扣最多的商品。程式碼可參考：https://github.com/ywchiu/largitdata/blob/master/code/Course_108.ipynb

開始上課

[Scrapy 爬蟲] 如何設置 Job 以分段爬蟲任務?

大數學堂
March 13, 2016, 4:42 p.m.

Scrapy提供了一個方便的功能，可以在爬取大型網站時暫停和回復任務。透過指定 -s JOBDIR=DIR 的方法，我們可以讓Scrapy處理繁瑣的任務管理，方便地分段進行爬取任務。這使得爬取大型網站變得更加輕鬆和高效。

開始上課

[RPA] 如何使用 img2pdf 將圖檔合併成 pdf 檔 ?

大數學堂
Aug. 22, 2019, 1:26 p.m.

本文介紹了如何使用img2pdf將漫畫圖檔合併成PDF，以方便流暢地觀看。同時提供了一個影片和程式碼的連結，用於解釋和實踐這個功能。本文也涉及RPA和Python自動化相關的主題。

開始上課

[深度學習] 如何使用 DeepFakes 技術移花接木影片人物的臉(三)?

大數學堂
March 16, 2020, 2:51 p.m.

DeepFakes技術利用DeepFaceLab程式碼將鋼鐵人的臉放到作者的臉上。這個技術使得製作高度逼真的偽造影片變得非常容易。作者使用Google Colab的免費提供的GPU來加速深度模型的訓練和實施。詳細程式碼和相關資源已提供。 #DeepFakes #DeepFaceLab #DeepLearning #深度偽造 #鋼鐵人

開始上課

探索Facebook 隱藏的秘密: 使用Graph API

大數學堂
April 22, 2015, 9:16 a.m.

這篇文章介紹了如何使用Facebook Graph API探索個人隱私。透過連結到Facebook Developer Page，可以學習如何使用Graph API進行測試。

開始上課

[深度學習] 如何不花一毛錢就可以透過 DeepFakes 技術出演魷魚遊戲 (一)?

大數學堂
Oct. 25, 2021, 11 a.m.

近期，DeepFakes技術被一些人拿來製作不雅影片，引發社會不安。然而，這並不意味著該技術應被責難，仍可以運用於有趣的應用。例如，透過DeepFakes技術，可以讓觀眾親身體驗全球轟動的魷魚遊戲。本教學影片將介紹DeepFakes技術的原理。

開始上課

[爬蟲實戰] 如何爬取PTT的網頁?

大數學堂
April 23, 2015, 3:09 p.m.

本次實戰介紹如何從PTT Food版抓取鄉民的言論，以進行美食文字探勘分析。

開始上課

[爬蟲實戰 ]如何模擬用戶代理 (User Agent) 成功存取目標網頁內容 (以永慶房屋為例)?

大數學堂
April 27, 2015, 3:29 p.m.

有些網頁伺服器會檢查用戶代理以限制爬蟲存取頁面內容，但我們可以通過在標頭中增加自己的瀏覽器用戶代理來繞過這種限制，成功獲取網頁內容。這種技術可以用來抓取永慶房屋的房價資訊。

開始上課

[AI人工智慧] 運用 Whisper 輕鬆打造即時字幕轉錄神器！😎

大數學堂
April 7, 2024, 5:15 p.m.

今天要帶大家挑戰用 Whisper 和 PyAudio 打造即時字幕轉錄功能！😲 先安裝必要套件，寫個錄音函數把聲音切成小片段，讓 Whisper 辨識語音轉文字，最後用無窮迴圈讓錄音、辨識輪番上陣，就能創造即時語音轉文字的魔法！🎉 最後還用 OpenAI CEO Sam Altman 的片段實測給你看！想要更精準的結果可選用更大的模型，但要有 GPU 硬體才能兼顧速度和準確度喔！😉跟著這個教學，你也可以輕鬆用 Whisper 做出自己的即時語音轉文字應用！

開始上課

探索Facebook 隱藏的秘密: 使用Python 存取 Facebook 資訊

大數學堂
April 22, 2015, 3:41 p.m.

本段文章繼續介紹了如何使用Graph API存取Facebook資訊。只需要取得access token後，將其填入Graph API中，再透過Python的requests模組即可取得個人資訊，包括ID和最喜歡的運動員。

開始上課

[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

大數學堂
June 25, 2023, 9:23 a.m.

本教學將教您如何使用Selenium自動瀏覽Expedia網站，並利用LangChain和ChatGPT的Extraction功能，自動解析半結構化資料。最後，使用Pandas將半結構化資料轉換為結構化資訊。透過ChatGPT和LangChain的幫助，我們可以省去編寫網路爬蟲時需要觀察元素的麻煩。再加上Selenium可以模擬人類操作，我們能夠簡化網路爬蟲的過程，輕鬆地獲取所需的網頁資訊。期待著中秋節的到來，並希望能在日圓跌至新低的時候，節省機票費用，享受一趟愉快的旅程。

開始上課

[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(一) - YOLO簡介?

大數學堂
April 13, 2020, 3:37 p.m.

為了減少檢測人力，作者介紹了一個口罩檢測系統的建構方法，使用YOLO (You only look once)來快速檢測是否每個人都有配戴口罩。文章提到了YOLO的介紹以及在Colab上安裝YOLO的步驟。作者也提供了相關的教學影片和程式碼連結。這個系統有助於確保大家的健康，尤其在新冠肺炎持續延燒的情況下。

開始上課

[RPA] 如何使用 Line Notify 取得第一手通知?

大數學堂
Sept. 16, 2019, 3:30 p.m.

文章介紹了如何使用Line Notify機器人來獲取最新漫畫的通知。只需要將機器人加入群組，就可以隨時收到最新訊息。同時提供了影片教學和程式碼連結，可以讓讀者更深入了解。文章標籤包括LineNotify RPA和Python自動化。

開始上課

[ChatGPT] 網路爬蟲 X MidJourney X ChatGPT 自動化產生吸睛新聞封面 (2/2)

大數學堂
June 4, 2023, 1:36 p.m.

在上一集中(https://largitdata.com/course/224/)，我們學習了如何運用網路爬蟲 X ChatGPT自動化生成Midjourney的圖片。而在本集中，我們將教你如何完成最後的自動化步驟，也就是運用Discord Bot 自動下載Midjourney生成的圖片。

開始上課

[ChatGPT] 使用Llama Parse和 ChatGPT 翻譯 Google Drive 上的PDF文件

大數學堂
May 5, 2024, 10 p.m.

在 [ 如何使用ChatGPT 快速翻譯 PDF 文件? ] 的影片中，我們探討了如何使用ChatGPT來翻譯文件。許多觀眾提問，表示他們有大量的論文儲存在自己的電腦或Google Drive上。因此，今天我們將展示如何有效利用我們的程式來翻譯這些文件。我們將直接從Google Drive存取文件，並使用ChatGPT進行翻譯。今天的教程不僅是對之前程式的改良，我們還將介紹一種更強大的PDF解析器。以往，我們使用了PyPDF來處理PDF文件，但由於PDF的結構複雜，我們今天將引入一個更專業的工具—LamaParse，這是由知名的RAG套件Lama Index所提供。讓我們開始今天的教程吧！

開始上課

[爬蟲實戰] 如何剖析PTT的網頁?

大數學堂
April 24, 2015, 1:49 p.m.

本篇文章介紹了如何使用Python的requests和BeautifulSoup4函式庫來獲取並解析PTT網站的文章內容。透過requests的get方法可以將網頁內容取回，再使用BeautifulSoup4來解析原始碼，提取出有意義的結構化資訊，例如文章標題作者和發文時間等。這對於進一步分析和處理PTT文章內容非常有用。

開始上課

[爬蟲實戰] 如何告訴PTT我已滿18並順利抓取八卦版的文章 ?

大數學堂
June 8, 2015, 3:21 p.m.

這段文章談論到PTT八卦版的年齡限制問題，即使已滿18歲，仍需進行驗證才能閱讀內容。然而，作者提到可以使用爬蟲技術，利用Chrome開發人員工具找到如何通過18歲驗證後，再接續之前的Session，並成功存取八卦版的內容。

開始上課

[ChatGPT] 如何利用Meta開源的Llama2模型，打造屬於自己的ChatGPT

大數學堂
July 23, 2023, 12:10 p.m.

ChatGPT是一個強大的語言模型，不僅可以寫信、摘要文章、翻譯，還能協助寫程式。然而，與ChatGPT對話時也引發了擔憂，擔心機密或敏感資料可能因此外流。所幸，Meta公司推出了開源的Llama2模型，可以在本地部署並在離線環境下使用。這個模型減少了與外部服務的數據傳輸，提高了安全性。本課程介紹了在Colab上使用Llama2模型的示範，包括下載、使用transformers套件載入模型以及生成對話結果。

開始上課

[爬蟲實戰] 如何抓取圖表內的價格資訊?

大數學堂
April 25, 2015, 3:26 p.m.

本文介紹了如何使用Python的正規表達式模塊re中的search函數來抓取匯率網站圖表內的價格資訊，並提供了示範網址。

開始上課

[RPA] 如何透過 Line 發送最新一集的漫畫?

大數學堂
Oct. 24, 2019, 3:30 p.m.

本文章介紹了如何將整個漫畫自動發送流程串接起來，先將漫畫集數存放至SQLite，再透過爬蟲結果比對取得尚未抓取的集數，利用Selenium爬取新集數後，使用Line Notify發送最新的漫畫圖片。這樣可以讓看漫畫變得簡單有趣。文章中還附有相關影片和程式碼來幫助讀者。提到的技術有SQLite LineNotify Selenium RPA和Python自動化。

開始上課

[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(二) – 建立口罩檢測模型?

大數學堂
April 16, 2020, 9:17 a.m.

本文介紹了如何使用YOLOv3建立口罩檢測模型。首先，需要下載Kaggle上的口罩資料集並將其上傳至Google Drive。然後，將標註好的Label XML檔案轉換為YOLOv3可接受的格式。接下來，設定模型所需的設定檔案並下載預訓練模型darknet53.conv.74。最後，開始訓練口罩檢測模型。附帶的影片和程式碼提供了更詳細的操作步驟。

開始上課

[ChatGPT] 出一張嘴就能賺錢?! 利用 Code Interpreter 打造最強 ETF 定期定額投資策略

大數學堂
July 9, 2023, 7:03 a.m.

ChatGPT的Code Interpreter能自動撰寫和執行Python程式碼，使用者可以快速分析各種ETF的優缺點，並比較各種定期定額投資策略。該功能還具有檔案上傳功能，可以直接分析來自Yahoo Finance的數據，並提供統計和視覺化報告。它甚至可以模擬不同的ETF定期定額投資策略，計算各種策略的成本、收益和收益率。Code Interpreter可以幫助投資者進行專業的投資策略分析，無需寫任何程式碼，甚至可以充當資料科學家的角色。

開始上課

[ChatGPT] 網路爬蟲 X MidJourney X ChatGPT 自動化產生吸睛新聞封面 (1/2)

大數學堂
May 23, 2023, 2:03 p.m.

記得看蘋果新聞時，新聞下面常附上有趣的惡搞示意圖嗎？現在透過人工智慧工具ChatGPT與MidJourney，我們也可以快速打造吸睛新聞封面產生器。讓新聞閱讀變得更有趣，吸引更多的讀者閱讀。

開始上課

[AI人工智慧] 如何用OpenAI API 快速搭建一個類似 NotebookLM 的 Podcast 功能 ?

大數學堂
Sept. 17, 2024, 4:30 p.m.

今天我們要探索一個超酷的主題：如何打造你自己的中文Podcast！🎙️ 最近，NotebookLM推出了一個令人興奮的新功能——將筆記轉換成Podcast。聽起來很棒，對吧？但是，它目前只支持英文，而且操作不太直觀。別擔心！我們有更好的解決方案。 😉 在本教程中，我們將利用OpenAI的強大API，向你展示如何輕鬆創建引人入勝的中文Podcast。

開始上課

[其他專題] 運用數據科學分析Wordle 該從哪個字開始猜？

大數學堂
Feb. 12, 2022, 5:25 a.m.

Wordle是一款熱門遊戲，許多人想嘗試猜出當天的字謎。文章提到，猜字謎有訣竅，選擇涵蓋範圍最廣的字可得到更多提示。作者介紹使用nltk和pandas來分析，發現ceria和corey是不錯的起始字。文章附有影片和程式碼供讀者參考。同時，作者也在徵資深前端工程師，提供職缺連結。標籤包括wordle nltk pandas 資料科學和數據科學。

開始上課

[Open Jarvis] 如何用不到30行Python程式碼寫出「真‧對話機器人」?

大數學堂
Jan. 8, 2018, 2:17 p.m.

這篇文章介紹了如何以Python程式碼建立一個真正的對話機器人，並結合了「Course 87」與「Course 88」的素材。透過不到30行程式碼，讀者可以讓Google Assistant回應他們的各種問題。程式碼的範例可以在GitHub上找到。

開始上課

[爬蟲實戰] 如何簡簡單單突破驗證碼 (Captcha) 限制?

大數學堂
July 26, 2023, 12:39 p.m.

這堂免費課指出，不一定需要使用OpenCV來辨識文字，可以使用之前的HTTP請求Session和圖片顯示功能來半自動地抓取有驗證碼限制的網頁內容。這種方法讓抓取網頁資料變得容易又輕鬆。

開始上課

[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(三) – 建立即時口罩檢測系統

大數學堂
April 21, 2020, 1:02 p.m.

此文章介紹了如何使用YOLOv3模型和攝影機畫面建立一個即時的口罩檢測系統。作者將原有的darknet模型改為使用opencv讀取，並結合opencv的攝影機擷取功能，讓人們可以即時檢測鏡頭下的人是否戴著口罩。此外，文章還提供了相關的影片和程式碼連結。文章標籤包括DeepLearning YOLO COVID19 新冠肺炎和口罩檢測。

開始上課

[深度學習] 如何在Google Colab上安裝與使用 YOLOv4 ?

大數學堂
May 17, 2020, 5:39 a.m.

YOLOv4 以比 EfficientDet 更快的速度和相等的效果出現了，對人們來說相當吸引人。這篇文章給出了在 Google Colab 上安裝並調用 YOLOv4

開始上課

[財經爬蟲] 如何使用Python 網路爬蟲抓取Yahoo 台指期的即時行情?

大數學堂
Sept. 30, 2022, 12:59 p.m.

這篇文章介紹了如何使用Python網路爬蟲抓取台指期的即時行情資料，並製作成分析圖表。作者提供了相關的影片和程式碼連結，讓讀者可以更深入地了解和應用這項技術。此外，文章還提到了大數學堂這個資料科學學習平台，讓讀者可以在此找到更多學習資源。文章標籤包括python網路爬蟲財經爬蟲即時行情交易機器人 Yahoo股市台指期和台指期貨。

開始上課

[ChatGPT] 運用微調之力！如何將 ChatGPT 訓練成公司的客服助理

大數學堂
Aug. 27, 2023, 9:30 p.m.

解密微調：定制專屬於你的大型語言模型！🚀 想知道如何提升ChatGPT模型性能、節省成本，還能獲得更快的回應速度嗎？透過微調(Fine-Tuning)，我們為你展現客製化模型的強大之處，讓你掌握產生高品質回應的關鍵技術！不要錯過這場關於AI革命的探索之旅，立即點擊觀看！

開始上課

[ChatGPT] 個人化Llama2 ！如何在Colab中運用自己的資料集微調 Llama2 模型

大數學堂
July 31, 2023, 9 p.m.

LLaMA-Efficient-Tuning 是一個簡易的大型語言模型微調框架，能夠進行PEFT並支援訓練多種大型語言模型，如LlaMA2、BLOOM、Falcon 和 Baichuan。微調步驟包括安裝 LLaMA-Efficient-Tuning、調整 dataset_info.json 加入自己的資料集描述、導入自己的監督式微調資料集、以及使用內建指令進行監督式微調和預測生成。有了Llama2，再搭配自己的資料集，相信在不久的將來，大家都可以使用LLaMA-Efficient-Tuning快速有效地微調Llama2模型以適應特定需求。

開始上課

[爬蟲實戰] 如何透過網路爬蟲將網路圖片存放至SQLite之中?

大數學堂
May 4, 2015, 5:02 p.m.

本文介紹了網路爬蟲的另一個功能，即抓取並存儲網路上的圖片。作者透過設定stream = TRUE後，使用shutil的copyfileobj功能將圖片存儲為檔案，並建立一個能夠存儲blob資料的資料表。這樣，我們便能夠將圖片存儲到資料庫中。

開始上課

[財經爬蟲]手把手帶你用Python網路爬蟲抓取Goodinfo，再結合GPT-4o快速分析潛力股!

大數學堂
June 16, 2024, 9 p.m.

本教學將手把手教學如何從GoodInfo網站獲取臺積電財報數據外，還將進一步利用ChatGPT的GPT-4 API解讀財報，判斷公司是否值得投資。影片內容涵蓋了爬蟲、資料處理、API註冊、提示詞設計、財報分析等詳細步驟，幫助您掌握快速取得股票財報和AI輔助投資決策的方法。

開始上課

[爬蟲實戰] 如何抓取某知名財報網站的資訊 ?

大數學堂
May 30, 2015, 9:40 a.m.

縱使針對網站進行多層保護，但只要爬取資料的思路正確，破解任意網站只是時間問題。就像這個知名財經網站，儘管檢查使用者是否使用爬蟲或內嵌iframe，仍無法逃脫被爬取的命運。

開始上課

[爬蟲實戰] 如何抓取淘寶網雙十一購物狂歡節活動網頁中的商品列表?

大數學堂
Nov. 10, 2015, 2:41 p.m.

這篇文章介紹了如何使用Python網路爬蟲來抓取雙十一購物狂歡節活動網頁中的商品列表。雖然淘寶的網頁改版後讓資料抓取變得困難，但這不會阻止我們追求購物資訊的熱情。文章將教你如何使用Python網路爬蟲來解決這個問題。

開始上課

[爬蟲實戰] 如何抓取MoneyDJ 文章中的人氣指數?

大數學堂
April 15, 2015, 2:27 p.m.

本教學示範如何使用Python抓取MoneyDJ文章中的人氣指數。如果要安裝POSTMAN，請到指定網站下載。

開始上課

[時間序列] 如何抓取電影「復仇者聯盟4-終局之戰」的票房數據?

大數學堂
May 23, 2019, 3:13 p.m.

這篇文章提到了觀眾對於《復仇者聯盟4-終局之戰》能打破《阿凡達》的票房紀錄的期望，並介紹了建立時間序列預測模型來預測是否成真的方法。作者提到使用Python網路爬蟲從Box Office Mojo上搜集票房數據。原文中還提供了相關程式碼的連結。

開始上課

[Open Jarvis] 如何讓對話機器人利用 Wikipedia 回答專業知識?

大數學堂
Feb. 28, 2018, 3 p.m.

為了提升機器人的智能，可以使用Python網路爬蟲來搜尋到維基百科上的專業知識。將專業知識的第一段擷取下來串接到對話流程中，就能使機器人回答有關專業問題。以上連結提供了相關的課程與程式碼。

開始上課

如何徹底解決在Windows上安裝Python 套件的惱人問題?

大數學堂
June 7, 2015, 3:34 p.m.

文章介紹了在Windows上使用Numpy和Pandas進行資料分析時，如果不想使用Anaconda安裝Python套件的解決辦法。作者建議安裝Microsoft Visual C ++ Compiler for Python 2.7，這樣就可以解決套件安裝的問題。

開始上課

[財經爬蟲] 如何透過Python 網路爬蟲抓取Goodinfo 台灣股市資訊網?

大數學堂
Aug. 2, 2020, 2:08 p.m.

Goodinfo台灣股市資訊網為投資者提供重要股票資訊，作者使用Python網路爬蟲自動化爬取各股票的歷年經營績效。作者通過設定user-agent以規避Goodinfo的防爬蟲機制，並使用Pandas整理資料。這樣的資料結構可以幫助投資者做出更好的投資決策。詳細的影片和程式碼連結都有提供。

開始上課

[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

大數學堂
Oct. 10, 2016, 3:27 p.m.

本文介紹了作者對於更新淘寶爬蟲的一些方法。他提到以前的爬蟲只需要獲取Document下的連結即可獲取商品價格資訊，但淘寶現在使用了AJAX的方式填充頁面內容。為了解決這個問題，作者建議從XHR和JS入手，使用正則表達式來解析重要資訊，以便在雙十一節中獲取淘寶資訊更容易。

開始上課

[Open Jarvis] 如何使用Python寫一個翻譯蒟蒻?

大數學堂
April 17, 2018, 3:49 p.m.

這篇文章介紹了如何使用Python和py-googletrans專案來製作一個翻譯蒟蒻。藉由Google翻譯的API，我們可以將中文翻譯成其他語言，讓與外國人的溝通變得更加容易。文章提供了相關的程式碼連結，讓讀者可以參考使用。

開始上課

[爬蟲實戰] 如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例

大數學堂
July 21, 2015, 3:45 p.m.

這篇文章介紹了如何使用Selenium來解決爬取司法院法學檢索系統的問題。由於該系統使用了Iframe來嵌入檢索結果，常常造成爬蟲無法正確獲取內容。作者建議使用Selenium IDE來自動記錄抓取步驟，並將步驟轉換為Python腳本，使得抓取過程變得更加簡單。

開始上課

[財經爬蟲] 使用 Python 網路爬蟲輕鬆爬取集保戶股權分散表

大數學堂
Nov. 3, 2024, 9:30 p.m.

爬蟲的定律就是目標網站一直在變！本教學示範如何突破集保網站的更新限制，成功抓取股權分散表資料。🔍 透過結合 requests 的 Session 管理、Synchronizer Token 驗證機制，並運用 BeautifulSoup 解析 HTML 與 Pandas 處理表格數據，輕鬆完成資料擷取。💡 整個過程展示了如何應對網站的變化，透過 POST 請求技巧實現穩定的爬蟲功能。🚀

開始上課

[爬蟲實戰] 如何透過Selenium 自動將頁面捲動至最下方抓取資料?

大數學堂
March 31, 2016, 4:24 p.m.

瀑布流網站如EZTABLE讓資訊抓取變得困難，但可使用Selenium執行Javascript解決頁面捲動問題。透過execute_script函數執行window.scrollTo(0 document.body.scrollHeight)，可以成功抓取瀑布流式網頁。

開始上課

[爬蟲實戰] 如何使用 PyAutoGUI 搶雙 11 百萬紅包

大數學堂
Nov. 9, 2023, 3:30 p.m.

嘿嘿，年度盛事雙 11 又來囉！🎉🎉🎉 眾所周知，這天除了剁手的好去處，還有那讓人心跳加速的搶紅包活動！是不是已經等不及用你的小手機app瘋狂點擊了呢？但別急，讓我們來點科技的魔法：PyAutoGUI + 手機模擬器加持！🧙‍♂️只需輕鬆設定，對準那閃閃發亮的紅包位置，一個指令，咻——！紅包自動入袋，就這麼簡單！今年雙 11，就讓我們用點小技巧，把好運和紅包一網打盡吧！💰🚀 快來試試，看看誰能成為搶紅包的速度之王！

開始上課

[爬蟲實戰] 如何抓取集保戶股權分散表?

大數學堂
Aug. 5, 2015, 11:55 a.m.

文章提到可以使用requests.post來取得需要POST請求的網頁內容，但也可以使用GET模擬整個POST動作。只需要將POST內容編碼後，串接在原網址的問號(?)後面，就可以順利取得內容。目標網站有變，已經更新爬取方法至： https://www.largitdata.com/course/248/

開始上課

[爬蟲實戰] 如何在1111購物狂歡節快速爬取淘寶上的商品資訊?

大數學堂
Oct. 30, 2019, 1:39 p.m.

這篇文章介紹了如何快速寫一個淘寶爬蟲程式。現在的電商網頁都有提供API，可以方便地將商品資訊下載下來。只要透過Chrome的開發人員工具找到API的端口，然後使用requests將JSON格式資料爬取下來。再搭配Pandas的資料整理功能，就可以將商品資訊整理成表格，方便閱覽和分析。文章最後提供了相關影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何抓取廉價航空的機票價格 – 以酷航為例?

大數學堂
July 26, 2023, 2:28 p.m.

這堂免費課介紹了如何使用爬蟲去抓取酷航的最新票價資訊，以便能夠搶到廉價的航空機票。作者提到，關注最新的票價是獲得便宜機票的最佳方法，但大家都很忙，所以讓爬蟲代勞是一個好選擇。使用Python Crawler，可以輕鬆地抓取酷航的最新票價，避免錯失機會。

開始上課

[爬蟲實戰] 如何在1212購物狂歡節快速爬取momo購物網上的商品資訊?

大數學堂
Dec. 11, 2019, 2 p.m.

這篇文章介紹如何撰寫momo購物網的爬蟲程式碼，並給予了相關影片和程式碼的連結。文章提到，momo購物網有防爬蟲機制，但只要加入headers，就能騙過防護系統，從而快速搜刮特價品資訊。該文章還提到，momo購物網有兩個購物狂歡節，其中一個是雙12。

開始上課

[爬蟲實戰] 如何撰寫網路爬蟲快速爬取微博上所有關於新冠肺炎的輿情?

大數學堂
Feb. 4, 2020, 1:27 p.m.

一個關於使用Python網路爬蟲快速爬取微博手機版上的疫情訊息的教學文章。這個方法可以讓人們及時獲取最新的疫情訊息，並提供了相關影片和程式碼連結。文章也列出了一些相關的標籤，如Python網路爬蟲武漢肺炎 2019-nCoV 微博和weibo。

開始上課

[爬蟲實戰] 如何使用Pandas快速分析上市櫃公司員工的薪資水平?

大數學堂
July 5, 2020, 2:16 p.m.

證交所公佈了上市與上櫃公司非擔任主管職務的全時員工薪資資訊，介紹了使用Python的requests和pandas來爬取和分析這些公司的薪資水平。以往只提供薪資平均值，而今年則加入了中位數的資訊，以更客觀地反映薪資水平。影片和程式碼連結也提供在文章中。

開始上課

[AI人工智慧] 多模態AI應用實戰:輕鬆用Gemini 與 ElevenLabs 實現即時語音翻譯與合成

大數學堂
June 3, 2024, 9:30 p.m.

自從看了GPT-4o的一個發表會以後，大家是不是對多模態模型都感到非常興奮呢?雖然我們現在可以在ChatGPT Plus使用到GPT-4o，但它並沒有展示會中所展示的語音輸入和輸出功能。幸好的是，最近Google的Gemini也推出了多模態模型，而且也可以接受語音輸入。我就想，不如把這個技術結合語音合成，打造一個即時口語翻譯系統，而且更進一步，用自己的聲音翻譯!本影片將手把手教您如何使用Google的Gemini和ElevenLabs服務，讓AI自動翻譯您講的內容，並用你自己的聲音說出翻譯後的內容，大大降低溝通門檻。

開始上課

[Selenium] 如何使用 Selenium 自動預購PS5?

大數學堂
Nov. 26, 2020, 1:31 p.m.

這篇文章介紹了如何用Python和Selenium撰寫網路爬蟲來快速預購PS5。只需輸入商品網址，程式便會自動點擊購買PS5的連結，並在MOMO購物網上幫忙購買。相關影片和程式碼連結也提供在文章中。

開始上課

[AI人工智慧] AI直接操控我的電腦？！Computer Use功能實測大揭密

大數學堂
Oct. 27, 2024, 9 p.m.

Anthropic最新推出的Computer Use功能讓AI真正能控制電腦，引發業界高度關注。這項創新技術承諾能讓AI助手直接操作我們的電腦系統，為自動化領域帶來新的可能性。然而，實際測試結果顯示，Computer Use功能仍有待改進。主要問題在於系統會將原始畫面進行resize處理，導致滑鼠定位不夠精準，加上耗費大量Token的問題，使用成本偏高。值得一提的是，使用GPT-4V搭配PyAutoGUI，其實就能達到相似的效果。本次測試過程中，我們詳細展示了從環境建置、API設定到實際操作的完整流程，並以MOMO購物網站為例進行實測。儘管目前功能還不夠完善，但已展現出AI輔助人類的潛力，期待隨著技術演進能帶來更多突破性的應用。

開始上課

[爬蟲實戰] 如何使用Selenium 抓取驗證碼?

大數學堂
Oct. 24, 2017, 3:22 p.m.

使用selenium抓取驗證碼圖片並非難事，只需要先存取頁面快照，然後找到圖片位置，然後根據位置和大小，就能成功從頁面中擷取出驗證碼。接著，只需要將驗證碼交給機器學習引擎辨識，就能輕鬆讓電腦為我們自動訂票。可以參考這篇程式碼來實踐：<a href="https://github.com/ywchiu/largitdata/blob/master/code/Course_95.ipynb">https://github.com/ywchiu/largitdata/blob/master/code/Course_95.ipynb</a>

開始上課

[爬蟲實戰] 如何使用 PANDAS 快速爬取財報表格?

大數學堂
Dec. 30, 2015, 5:14 p.m.

表格是一種常見的數據呈現格式，使用BeautifulSoup4和PANDAS可以很方便地對表格進行解析和爬取。PANDAS的read_html方法可以將復雜的網絡表格信息快速轉換為DataFrame，成為股票分析的數據來源之一。

開始上課

[爬蟲實戰] 如何極速擷取1111購物狂歡節的特價商品資訊?

大數學堂
Nov. 10, 2016, 2:34 p.m.

本文介紹了如何使用Python網路爬蟲來抓取天貓特價商品資料。使用Python的requests模組抓取商品頁面，再使用BeautifulSoup4抓取特價商品的資料區塊，最後使用json.loads將資料轉換成字典結構。這樣就可以在1111購物狂歡節期間，同時享受購物樂趣，又顧好自己的錢包了。程式碼可以在文章中提供的GitHub連結中找到。

開始上課

[Selenium] 如何利用Cookie 資訊自動登入 momo 購物網的使用者帳戶中?

大數學堂
July 31, 2021, 8:10 a.m.

本教學影片介紹如何在使用Selenium自動預購PS5的同時，自動登入momo購物網的使用者帳戶。透過保存與讀取Cookie資料，將其輸入至driver中，讓搶購變得更快又方便。影片和程式碼連結如下。

開始上課

[爬蟲實戰] 如何破解高鐵驗證碼 (1) - 去除圖片噪音點?

大數學堂
Oct. 26, 2017, 12:02 a.m.

這篇文章介紹了如何使用opencv的fastNlMeansDenoisingColored函數來去除圖片中的噪音點，以提升驗證碼圖片的清晰度。文章提供了程式碼和相關資源的連結。

開始上課

[爬蟲實戰] 如何破解高鐵驗證碼 (2) - 使用迴歸方法去除多餘弧線?

大數學堂
Nov. 1, 2017, 2:35 p.m.

這篇文章提到了如何去除高鐵驗證碼中的弧線，以提高圖片的可辨識率。文章指出，這些弧線可以用一個二項式迴歸公式表示，並介紹了使用sklearn的linear model進行迴歸線適配的方法。最終，文章還提供了相關的程式碼供讀者參考。

開始上課

[財經爬蟲] 如何使用正規表達法快速抓取所有上市公司代號?

大數學堂
Oct. 13, 2020, 2:20 p.m.

這篇文章介紹如何使用Python網路爬蟲抓取GoodInfo的所有上市公司基本資訊。作者首先透過Tej的網站找到上市上櫃公司的代碼清單，接著使用正規表達法快速抽取出所有的數字代碼，以獲得所有上市公司的代碼。文章中還提供了影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何突破蝦皮拍賣的重重限制以順利抓取拍賣商品資訊?

大數學堂
July 26, 2023, 3:52 p.m.

本堂課介紹了如何使用爬蟲抓取時下最夯的蝦皮拍賣網站。要抓取蝦皮的資料，必須先找到XHR請求連結，然後使用POST傳輸json格式的參數。如果無法正確獲得回應，可能是缺少一些標頭資訊，此時可以嘗試不同的組合來取得正確的商品資訊。如果無法獲得某些標頭資訊，可以使用Selenium搭配正確的Cookie來解決這個問題。

開始上課

[爬蟲實戰] 如何使用Pandas 函式將台灣銀行的牌告匯率存進資料庫中?

大數學堂
Dec. 22, 2016, 4:12 p.m.

使用Excel管理匯率資料不方便，因此我們建議使用資料庫來儲存資料。使用Pandas可以輕鬆將資料儲存到資料庫中，並使用read_sql_query函式將資料讀回。這樣可以增加資料的可維護性。

開始上課

[爬蟲實戰] 如何使用Python Pandas 分析比特幣最佳買點?

大數學堂
June 9, 2017, 3:09 p.m.

這篇文章提到使用Python網路爬蟲和數據分析工具Pandas來分析比特幣的趨勢線和移動平均線，以幫助投資者找到最適合的買點。並提供了程式碼的連結和與天善智能合作的線上課程，供讀者進一步了解如何使用Python進行資料分析。文章也提醒投資有賺有賠，投資前應詳閱公開說明書。

開始上課

[財經爬蟲] 如何使用Python 網路爬蟲抓取新版Yahoo 股市上的即時行情?

大數學堂
April 20, 2021, 1:34 p.m.

這篇文章提到Yahoo股市的頁面最近有更新版本，為了讓交易機器人能根據最新的行情做決策，需要找到即時行情的API，並使用Python的網路爬蟲來蒐集新版Yahoo股市資訊。提供兩個連結，一個是影片教學，另一個是程式碼範例。文章標籤有Python網路爬蟲財經爬蟲即時行情交易機器人和Yahoo股市。

開始上課

[爬蟲實戰] 如何在1111購物狂歡節快速爬取蝦皮限時特賣的商品折扣資訊?

大數學堂
Nov. 10, 2020, 1:50 p.m.

這篇文章介紹了如何在蝦皮購物的1111購物狂歡節活動中，使用Selenium透過API偷看特賣商品的折扣資訊。因為蝦皮在API存取上有限制，所以藉由取得Cookie和csrf token等資訊，來繞過限制。文章中還附上了相關的影片和程式碼連結，方便讀者參考使用。這篇文章討論了1111購物狂歡節蝦皮API 蝦皮特賣商品折扣 Selenium和Python網路爬蟲等主題。

開始上課

[爬蟲實戰] 如何透過開發人員工具破解實價登錄網新版API中的加密字串?

大數學堂
April 5, 2021, 1:30 p.m.

這篇文章介紹了如何使用Chrome開發人員工具來解析新版實價登錄網站的API連結中的神秘字串。透過瀏覽器的Debugger功能，可以找到加密的JavaScript程式碼片段，然後使用這些加密函數片段來解析參數的查詢條件，從而成功抓取實價登錄資訊。文中還提供了相關的影片和程式碼連結，方便讀者深入了解和實踐Python網路爬蟲的相關知識。

開始上課

[財經爬蟲] 如何透過Python 網路爬蟲爬取香港交易所最新成交資訊?

大數學堂
June 22, 2021, 2:47 p.m.

這篇文章介紹了如何使用Python網路爬蟲來快速獲取香港交易所股票成交資訊，以便讓交易機器人能夠在行情發動時第一時間進出場。文章提供了影片和程式碼的連結，方便讀者學習和實踐。關鍵詞有Python網路爬蟲交易機器人香港交易所大數學堂和大數軟體。

開始上課

[爬蟲實戰] 如何利用Python Flask自動轉換實價登錄網站加密字串?

大數學堂
April 12, 2021, 1:47 p.m.

本文介紹了如何透過Python Flask建立一個橋接器，來自動化抓取實價登錄網的加密字串。通常我們會使用Node.js或Pyexecjs等方法來加載加密函數，但這牽涉到處理Node.js或修改JavaScript的問題。透過Python Flask橋接器，我們可以輕鬆地重新導向加密字串到實價登錄網，實現破解新版實價登錄網的目標。影片和程式碼也提供了詳細的操作示例。

開始上課

[爬蟲實戰] 如何設定工作排程自動將牌告匯率存進資料庫之中?

大數學堂
Dec. 23, 2016, 4:17 p.m.

本文介紹了如何使用爬蟲定期執行爬取工作，以實現工作自動化。對於Windows使用者，可以利用工作排程器功能進行每天的資料庫更新，特別是匯率資料，以便後續進行投資時能提供準確的資訊。對於MAC或Linux使用者，可以參考Crontab的用法來設定定時執行爬蟲任務。

開始上課

[爬蟲實戰] 如何透過EMAIL即時獲取最新匯率資訊?

大數學堂
Dec. 26, 2016, 4:32 p.m.

文章介紹了如何透過Python的爬蟲和電子郵件功能來自動通知匯率的變化。使用smtplib和GMAIL工具，將匯率資料以HTML格式的郵件寄送給用戶，使他們能夠即時掌握最佳的買點。這種自動化的方法能夠節省用戶的時間和精力，並確保他們不會錯過任何重要的交易機會。

開始上課

[爬蟲實戰] 如何爬取圖片以建立慾望之牆?

大數學堂
Sept. 12, 2015, 4:15 p.m.

這篇文章介紹了如何使用網路爬蟲蒐集圖片檔案，並提及了使用 streaming 的資料抓取 binary 寫檔以及 shutil 套件來完成任務。作者希望將自己最喜歡的雪芙女神照片收集起來，並表示可以在 Gamebase

開始上課

[爬蟲實戰] 如何使用Pandas 快速繪製日幣近期的匯率走勢?

大數學堂
Dec. 27, 2016, 5:04 p.m.

本文介紹了使用Pandas進行資料分析並畫圖的簡單方法。首先使用pandas的read_csv功能讀取csv資料，然後使用%pylab inline將圖表顯示在Jupyter Notebook中，最後使用plot函式繪製折線圖。這篇文章強調了透過Pandas的幾行指令就能輕鬆完成資料分析並畫出圖表的便利性。

開始上課

[爬蟲實戰] 如何使用Selenium 自動將slides.com 的網頁投影片輸出成圖檔?

大數學堂
Jan. 1, 2017, 3:46 p.m.

這篇文章介紹了如何使用Selenium撰寫一個爬蟲，將slides.com上製作的HTML網頁投影片自動轉換成圖檔，然後結合起來匯出成PDF檔。這樣一來，就可以不需要花錢升級會員，也能將投影片匯出為PDF檔。

開始上課

[爬蟲實戰] 如何突破證交所的限制，穩穩抓取最新成交資訊?

大數學堂
July 26, 2023, 2:34 p.m.

最近證交所的頁面更新，爬蟲面臨網頁伺服器的rate limiting造成無法連上證交所的問題。為解決此問題，我們可以讓爬蟲在抓取資料之間隔幾秒讓其小睡，避免IP被封鎖。這樣，爬蟲就能夠順利抓取所需要的資料。有關程式碼可以參考Github連結。

開始上課

[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

大數學堂
June 1, 2021, 2:59 p.m.

在疫情期間的居家隔離中，大家都感到非常無聊。有人提到了網易雲的性格主導色心理測驗，並探討了該測驗中還有哪些顏色性格以及哪種性格最特別。透過網路爬蟲工具和Python的正規表達法，可以快速列出所有的性格色。作者分享了自己的性格色是橙+粉，並分享了觀察Python網路爬蟲常見的開發人員工具和Python的正規表達法的方法。該文章還提供了相關的影片和程式碼連結，以及性格主導色的完整資料的鏈接。

開始上課

[爬蟲實戰] 如何使用機器學習方法破解驗證碼 (2) ? – 切割出驗證碼中的各個數字

大數學堂
June 21, 2017, 3:57 p.m.

這篇文章提到了如何使用Python和OpenCV來爬取經濟部公司資料的驗證碼，並使用OpenCV的findContours功能進行切割和儲存驗證碼中的數字。

開始上課

[爬蟲實戰] 如何使用機器學習方法破解驗證碼 (3) ? – 使用類神經網路自動辨認驗證碼

大數學堂
July 14, 2017, 9:29 a.m.

這篇文章介紹了如何用Python scikit-learn中的類神經網路(MLPClassfier)來辨識驗證碼中的數字，以進一步讓爬蟲程式更容易破解驗證碼的阻擋。文中還提供了程式碼的GitHub連結，想要學習更多機器學習相關課程的讀者們，也可以參考提供的連結。

開始上課

[爬蟲實戰] 如何使用機器學習方法破解驗證碼 (4) ? – 如何存取訓練模型

大數學堂
Aug. 18, 2017, 3:23 p.m.

本文提及在建立完訓練模型後，我們需要將模型儲存成pickle檔，以方便系統再次讀取使用，進而破解驗證碼並進行爬蟲，以抓取公司及分公司的基本資料。同時提供相關程式碼與學習資源連結。

開始上課

[爬蟲實戰] 如何使用 Pyppeteer抓取 PCHOME 商品價格資訊?

大數學堂
Oct. 16, 2021, 9:55 a.m.

這篇文章介紹了在處理由Javascript渲染的網頁資料時，無法直接使用requests，需要使用Pyppeteer作為解決方案。Pyppeteer是一個Python接合Chromium API的工具，可以輕鬆讀取Javascript渲染的頁面資料，使網頁爬取更加直覺。文章還提供了相關的視頻和程式碼連結，並標籤了PCHOME爬蟲 Pyppeteer Puppeteer和Python網路爬蟲。

開始上課

[爬蟲實戰] 如何不寫任何一行程式碼透過低代碼Low-Code / No-Code 工具 Playwright撰寫網頁自動化瀏覽程式

大數學堂
Nov. 10, 2021, 1:47 p.m.

Playwright是一個低代碼/無代碼開源工具，可以讓不懂編寫程式的人快速撰寫Python腳本進行自動化操作。使用Playwright，使用者可以輕鬆地對網頁進行複雜操作，無論多麼繁瑣，只需極短的時間就能完成。這對需要自動化的工作流程非常方便。使用者可以在提供的影片和程式碼鏈接中了解更多詳細信息。

開始上課

[爬蟲實戰] 如何使用工具 Playwright爬取 MOMO 購物網 1111 特價資訊

大數學堂
Nov. 10, 2021, 2:02 p.m.

本文介紹了使用Python網路爬蟲和自動化神器Playwright搭配BeautifulSoup來抓取不同購物網站的特價資訊的方法。作者指出，由於每家購物網站都有不同的結構，因此客製化爬蟲可能需要花費很長時間。然而，透過這種方法，我們只需要寫少量程式碼，就可以快速抓取並跟上1111購物節的節奏。此外，文章還提供了相關影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何用Python網路爬蟲抓取台灣運彩上的世界杯足球賠率?

大數學堂
Dec. 4, 2022, 10:19 a.m.

這篇文章主要是介紹如何透過突破台彩網站的防爬蟲機制，使用開發者工具觀察網頁並使用Python快速撰寫網路爬蟲，抓取世界杯足球賠率。文中也提到，台彩還有其他防範機制阻止抓取正確的數據，如果讀者對此有興趣，可以在文章下方留言，未來或許會再開視頻專門解說。文章中也附上了相關的影片和程式碼連結。

開始上課

[爬蟲實戰] 如何利用Python網路爬蟲爬取有道翻譯打造自動化翻譯系統

大數學堂
June 30, 2022, 2:14 p.m.

這篇文章介紹了如何使用Playwright撰寫Python網路爬蟲程式，以爬取有道翻譯的翻譯結果。透過自動化程式，可以省下許多時間和麻煩，無需重複複製貼上文字。此外，文章還宣布大數軟體正在徵求一位資深前端工程師，成功推薦人的將獲得獎金。最後，文章提供了一些相關連結，包括徵才網頁影片程式碼和學習資源。

開始上課

[爬蟲實戰] 英鎊暴跌! 如何利用Python 網路爬蟲進行全球商品比價、撿便宜

大數學堂
Oct. 5, 2022, 3:03 a.m.

這篇文章提到最近英鎊暴跌，作者建議在高通膨時代要想辦法省錢。他介紹了一個利用Python網路爬蟲來爬取Burberry商品在不同市場價格的方法，來看看貨幣競貶是否會產生價差。他還附上了相關的影片和程式碼供讀者參考。文章標籤包括python網路爬蟲比價爬蟲英鎊暴跌貨幣競貶和撿便宜。

開始上課

[爬蟲實戰] 1111 不購物?! 來用Python網路爬蟲每天簽到領蝦幣

大數學堂
Nov. 11, 2022, 12:53 p.m.

這篇文章介紹了使用Python網路爬蟲自動搶購1111最優惠商品，同時也可以自動化搶蝦幣的過程。文章提到使用Selenium腳本可以輕鬆填入帳號密碼並點擊領蝦幣的按鈕，再透過工作排程的設定，可以天天躺著領蝦幣。文章中還附上了相關影片和程式碼供參考，此外也推薦了其他學習資料科學的資源。

開始上課

[爬蟲實戰] 如何使用Python 爬蟲 (Python Crawler) 下載Youtube 影片

大數學堂
July 26, 2023, 2 p.m.

這堂免費課介紹了如何使用Python爬蟲抓取YouTube影片並進行下載。不同於一般的爬蟲，要抓取實體影片連結，需要使用正規表達式和查詢字符串解析函數。接著，使用二進制編碼的方式，可以下載Girl's day Expectation的音樂影片串流。這篇文章提供了一個實際的例子來示範如何下載YouTube影片。

開始上課

[財經爬蟲] 怎麼繞過驗證碼? 利用 2Captcha 驗證碼識別服務突破 reCAPTCHA 驗證碼，抓取證券櫃買中心的券商買賣證券日報表上分點交易資訊

大數學堂
July 1, 2021, 7:08 a.m.

這篇文章介紹了如何利用Python網路爬蟲和2Captcha驗證碼識別服務，突破券商買賣證券日報表上的reCAPTCHA驗證碼，以獲取分點交易資訊。透過分析分點資料，可以分析大戶的進出行為，以便跟單獲利。文章提供了完整的教學文章連結影片教學連結和程式碼，並介紹了2Captcha服務的連結。

開始上課

[爬蟲實戰] 如何快速爬取天貓TMALL 雙11 特價商品資訊?

大數學堂
Nov. 9, 2017, 2:08 p.m.

這篇文章介紹如何使用Python的Requests套件 BeautifulSoup4和Pandas來進行天貓網路爬蟲。作者分享了他們如何抓取天貓商城的商品資訊，並使用這些工具來整理和儲存數據。此外，文章還提供了相應的程式碼連結。

開始上課

[爬蟲實戰] 如何使用Python 模擬登入淘寶並成功抓取淘寶指數?

大數學堂
Aug. 17, 2015, 4:51 p.m.

文章指出了了解市場必須先取得市場相關數據的重要性。說明在中國，可以參考Google Trend，但只能使用淘寶指數。然而，淘寶指數需要先登入才能取得相關資訊，但透過耐心觀察並使用Python抓取，仍然可以取得所需的資料。

開始上課

[爬蟲實戰] 如何破解Cloudflare 的反爬蟲機制

大數學堂
Aug. 11, 2024, 9 p.m.

在網路爬蟲的世界裡，我們經常會遇到各種反爬蟲機制。🛡️其中，Cloudflare的５秒挑戰(5-second Cloudflare Challenge)是一個常見的障礙。當我們使用普通的requests請求時，往往會被擋下來，無法取得想要的內容。🚫這次，我們將介紹如何使用pyppeteer和pyppeteer_stealth 這兩個強大的工具來突破這個限制。

開始上課

[爬蟲實戰] 如何透過 Python 網路爬蟲抓取並整理 2018 公投選舉資料?

大數學堂
Nov. 29, 2018, 2:29 p.m.

這篇文章提到了選舉結果以及如何利用Python的Selenium和Requests來抓取選舉統計資料，並分析各地民眾的意向。同時也提供了一個可以下載整理過後的資料的網址，以及相關的程式碼連結。

開始上課

[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

大數學堂
Sept. 28, 2020, 2:47 p.m.

這篇文章介紹了利用Python網路爬蟲抓取一些會鎖IP的網站時，需要使用免費的Proxy來規避被封鎖的風險。文章提到了抓取Free Proxy List上的頁面，利用正規表達式蒐集IP清單，再利用ipify進行測試，重複操作便能建立自己的Python網路爬蟲跳板清單。文章中還提供了相關影片和程式碼連結。

開始上課

[爬蟲實戰] 如何使用Pandas 快速抓取並分析iPhone 12 購機方案?

大數學堂
Oct. 18, 2020, 2:15 p.m.

這篇文章介紹了使用Python Pandas來抓取並分析中華電信最新的5G購機方案。透過數據分析，讀者可以輕鬆找到最優惠的方案，不用再煩惱買空機或綁電信方案的問題。此外，文章也提供了相關的影片和程式碼供讀者參考。

開始上課

hidden