為什麼要學習Python?

• 大數學堂
• May 23, 2022, midnight

Python是一種非常流行的程式語言，用於各種領域。學習Python的原因包括其簡單易學的語法，跨平台的特性，以及在資料科學和機器學習領域的廣泛應用。此外，Python擁有大量的資源和社區支持。學習Python對於資料科學家來說是必備技能之一，能夠快速開發和執行數據科學項目，並能夠與廣泛的工具和庫集成。

開始上課

Visual Studio Code (VSCode) 安裝與操作簡介

• 大數學堂
• May 23, 2022, midnight

這個章節介紹了如何安裝和使用Visual Studio Code（VSCode）。 VSCode是一個免費且開源的程式碼編輯器，適用於各種程式語言。安裝非常簡單，只需要從官方網站下載安裝檔進行安裝。它提供了很多方便的功能，如自動完成 語法檢查 變數跳躍等。並且支援許多擴充套件，可以根據需要進行自定義配置。你可以安裝相關的擴充套件，如語言支援 程式碼格式化工具 Git整合等等，以提高編程效率。這個章節將帶領你了解如何安裝和操作VSCode，方便快速上手並提高程式碼編寫的效率。

開始上課

Colab 操作與簡介

• 大數學堂
• May 23, 2022, midnight

Colab是由Google提供的基於瀏覽器的Python環境，旨在為數據科學家和機器學習研究者提供便利。使用者可以在雲端一鍵執行Python程式碼，無需安裝任何軟體或配置硬體。Colab支援Python 2和Python 3，內建許多熱門的Python庫。同時，Colab也支援GPU和TPU加速，可以提高運算速度。操控Colab非常容易，只需登錄Google帳戶，即可使用Google Drive儲存和管理代碼和數據，還能創建 編輯和共享Colab筆記本。

開始上課

[RPA]如何用PyAutoGUI 建立Python 版的按鍵精靈?

• 大數學堂
• July 8, 2019, 2:56 p.m.

這篇文章介紹了使用RPA（Robotic Process Automation）流程機器人自動化處理繁瑣而重複的作業流程。然而，你不需要花大錢購買專業的軟體，只需使用PyAutoGUI建立簡單的Python程式即可實現這個功能。該程式可以做為一個簡單的按鍵精靈，讓電腦快速完成各種操作任務。同時提供了一個影片和程式碼連結以供參考。

開始上課

如何在三分鐘內於Ubuntu 14.04中啟用Spark-shell?

• 大數學堂
• May 30, 2015, 3:31 p.m.

本地端啟用Spark非常簡單，只需要透過apt-get指令安裝Java Scala等語言，然後使用預先編譯過的Spark版本開始使用。

開始上課

[財經爬蟲] 如何透過Pandas 快速抓取並分析黃金價格?

• 大數學堂
• May 15, 2020, 2:56 p.m.

這篇文章介紹了如何使用Python的Pandas套件進行黃金價格的抓取和分析。文章提供了一個影片教學和相應的程式碼連結。這將幫助讀者輕鬆地掌握黃金價格的網路爬蟲。文章也列出了一些相關的標籤，包括Python網路爬蟲 黃金價格 Pandas和財經爬蟲。

開始上課

如何在五分鐘內透過AWS的EMR服務快速開啟一個Hadoop叢集?

• 大數學堂
• May 20, 2015, 4:38 p.m.

這篇文章介紹了如何使用Amazon EC2的EMR服務快速建立Hadoop叢集，並指出這將使巨量資料分析變得非常簡單。同時，文章也提到如果讀者對Hadoop和其生態系統有更多興趣的話，可以參考由作者和Tibame共同開設的線上課程。

開始上課

[資料產品實作] 如何取得臉書使用頻率最高的文字 (Part 3)?

• 大數學堂
• Nov. 26, 2015, 2:43 p.m.

這篇文章探討如何使用Tableau Public快速而簡單地繪製文字雲。比起使用複雜的d3.js，Tableau Public的介面更容易上手。文字雲可以幫助人們一目了然地看到在臉書上最常使用的文字頻率，這對於做社群分析或個人使用都十分有用。

開始上課

如何透過OpenCV 破解台灣證券交易所買賣日報表的驗證碼(Captcha) (Part 2)?

• 大數學堂
• May 17, 2015, 12:57 p.m.

本文介紹了破解驗證碼的方法。首先將驗證碼分解成獨立的字母圖片，然後使用OCR技術辨識圖像文字。作者嘗試了使用pytesser進行圖片辨識，但效果不佳，所以使用Word建立基準圖片，並使用Mean Square Error計算兩張圖片的相似度。結果表明，這種簡單的方法可以輕鬆破解驗證碼。並提到若想得到更新訊息，可以至Facebook粉絲團按讚。

開始上課

[ChatGPT] 如何使用Whisper API 與 ChatGPT API 快速摘要YouTube 影片?

• 大數學堂
• March 5, 2023, 9:26 a.m.

OpenAI最近發布了自動語音辨識模型Whisper API和ChatGPT API，讓付費企業和開發人員更輕鬆地使用AI模型。這兩個API提供了快速摘要YouTube影片的功能，使用者只需生成API金鑰，下載音頻檔案並將其分割為小檔案後，就可以使用Whisper API將影片轉換為文字，再使用ChatGPT API將文字轉換為摘要。使用AI摘要影片的好處包括節省觀看時間 更準確地捕捉重點，且這兩個API的收費非常便宜。這可以是一個簡單而有效的方法，同時還能創造更多有趣的應用。

開始上課

[分類實戰] 如何使用Spark 預測客戶是否流失(Part 1)?

• 大數學堂
• June 15, 2015, 3:53 p.m.

這篇文章介紹了如何使用Spark進行機器學習。只要將資料整理成特徵和標籤的格式，就能夠使用MLlib提供的演算法進行快速分類。這樣的分類技術不僅能夠選出土豆，還能夠預測電信業客戶是否流失。然而，在進行分類之前，我們需要對資料進行整理，以使其符合分類演算法的要求。

開始上課

如何安裝Spark-Notebook 在Ubuntu?

• 大數學堂
• June 2, 2015, 4:11 p.m.

本文介紹了一個優秀的專案Spark Notebook，該專案可以使用Jupyter Notebook的形式存取Spark並生成可互動的視覺化圖表。除了可以使用WISP來使用d3.js生成SVG圖檔外，還支持使用筆記本形式來進行資料分析。這將為使用者提供更多的工具來進行Spark的操作和視覺化。

開始上課

[Selenium] 如何使用 Selenium 操作網頁元素?

• 大數學堂
• Aug. 1, 2018, 2:37 p.m.

這篇文章介紹了如何使用Selenium點擊網頁按鈕和送出內容，並提供了相關程式碼的連結。同時，文章還提到正在尋找網站可靠工程師的招募訊息，並提供了應徵連結。

開始上課

如何使用R 的 Quantmod 套件快速蒐集股價資訊並計算技術指標?

• 大數學堂
• May 24, 2015, 4:22 p.m.

在R中，使用Quantmod套件可以輕鬆地蒐集股價資訊並計算技術指標。這比自己寫程式更簡單，省去了許多麻煩。

開始上課

匿名函式 (Lambda)

• 大數學堂
• May 23, 2022, midnight

匿名函式（lambda函式）是一種輕量級的函式，在Python中可以直接定義和使用，不需要使用def關鍵字。lambda函式的語法簡單，可以使用lambda關鍵字指定參數，並定義函式的運算邏輯。lambda函式常用於單次使用且簡單的函式定義，可以應用於列表排序 過濾和映射等操作，也可以與內建函數如map() filter()等一起使用。

開始上課

如何使用GET 抓取網頁內容?

• 大數學堂
• April 16, 2015, 3:15 p.m.

這篇文章介紹了如何使用Python編寫三行程式碼來抓取淘寶網的網頁內容。並且提供了一個範例網頁連結供讀者參考。

開始上課

物件與類別練習題

• 大數學堂
• May 23, 2022, midnight

這個章節介紹物件與類別的概念，並提供相關的練習題讓讀者實際應用所學。讀者將學習如何定義類別，並創建物件實例，以及如何在類別中定義屬性和方法並加以使用。練習題的案例將涵蓋人 汽車和動物等真實世界的事物，協助讀者更好地理解物件與類別在程式碼中的映射。

開始上課

如何使用POST 抓取網頁內容?

• 大數學堂
• April 19, 2015, 9:29 a.m.

本文章介紹了如何使用POST方法在Python中抓取高鐵網頁內容。使用POST方法可以將請求資訊包裝起來，再傳送至伺服器以取得回應資訊。在Python中使用POST方法非常簡單，只需將請求資訊以字典做包裝即可。

開始上課

如何使用Python 套件: BeautifulSoup4 剖析網頁內容?

• 大數學堂
• April 17, 2015, 4:19 p.m.

這篇文章介紹了使用BeautifulSoup4來解析網頁內容的方法。透過幾個簡單的選取動作，我們可以迅速地從非結構化的資料中抓取有價值的部分。有了這些資料，進一步的分析也就離我們不遠了。

開始上課

[交易系統] 如何抓取多天期的三大法人交易資訊?

• 大數學堂
• May 2, 2015, 7:57 a.m.

本文指出，我們可以利用之前學到的知識來獲取不同天期的三大法人交易資訊。只需將重複的抓取動作包裝成函式，再利用迴圈來完成多天期的抓取。這將是一個簡單而有效的方法。

開始上課

[ChatGPT] 如何使用ChatGPT 快速翻譯 PDF 文件?

• 大數學堂
• July 26, 2023, 9:46 a.m.

【用chatgpt翻譯pdf】我們經常需要閱讀英文文件和論文，但以往將中文複製貼上到Google翻譯，往往得到一些含糊不清的翻譯結果。因此，我們現在要教大家如何使用強大的人工智慧模型 - ChatGPT快速翻譯PDF文件！

開始上課

[分類實戰] 如何使用Spark 預測客戶是否流失(Part 2)?

• 大數學堂
• June 18, 2015, 4:14 p.m.

MLlib 提供了決策樹分類的功能，使用DecisionTree.train可以輕鬆建立模型並預測客戶是否流失。此外，也可以使用不同的套件計算準確度和AUC，使用Spark來分析大量的資料非常簡便和迅速。

開始上課

[交易系統] 如何操作SQLite ?

• 大數學堂
• May 3, 2015, 4:10 p.m.

本文介紹了如何使用Firefox的SQLite Manager擴充插件來操作SQLite數據庫，以儲存爬取的三大法人統計資訊。相較於安裝和配置MySQL PostgreSQL等數據庫，SQLite Manager的簡單易用讓資料儲存變得輕鬆方便。SQLite Manager提供了一個直觀的用戶界面，讓您可以輕鬆創建 編輯和查詢數據庫表格，並支持導入和導出數據等功能。讀者可以通過本文學習如何使用SQLite Manager進行數據庫操作，輕鬆管理爬取資料。

開始上課

[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?

• 大數學堂
• March 1, 2016, 4:49 p.m.

Scrapy的CrawlSpider類別可實現多網頁爬取。只需讓爬蟲繼承CrawlSpider類別，並在rules清單中增加抓取規則，透過LinkExtractor中的分頁抓取規則，即可輕鬆爬取符合條件的蘋果新聞資料。

開始上課

結尾

• 大數學堂
• May 23, 2022, midnight

這是一個Python課程的結束評價和感謝。該課程涵蓋了Python的基礎知識和資料科學應用，包括常用庫 資料視覺化和網絡爬蟲。重視實踐和應用，並提供了實例和練習。希望學生能夠提升Python技能，應用於資料科學項目。學生可以隨時聯繫課程作者提出問題和建議。最後，感謝學生的參與和支持，並祝願他們在資料科學領域取得成功。

開始上課

如何安裝及使用SparkR?

• 大數學堂
• June 20, 2015, 3:02 p.m.

Spark最近版本中收錄了R語言的SparkR，這讓R語言的資料分析能夠與Spark進行無縫整合。在RStudio下的安裝過程經過實測後發現，非常簡單且與使用RHadoop撰寫MapReduce非常相似。然而，研究後發現部分機器學習的功能仍需自行撰寫，無法直接呼叫MLlib，這是目前讓人最失望的部分。

開始上課

[AI人工智慧] EasyOCR v.s. PaddleOCR 誰才是圖片轉文字(OCR)的最佳神器?!

• 大數學堂
• Oct. 1, 2023, 5:30 p.m.

光學字元辨識(OCR)能夠將紙上文字數位化，使得資訊管理變得更加方便，例如：將書籍掃描成電子版、識別及翻譯外國的路標或菜單，以及將手寫筆記快速轉化成文字檔。本文介紹如何透過 Python使用EasyOCR和PaddleOCR兩種開源工具，可以簡單地識別圖片中的文字。同時，影片中亦比較了兩個套件與不同類型文字的識別準確率。

開始上課

[AI人工智慧] 使用 Ollama 調用本地語言模型生成文章並且辨識圖片內容

• 大數學堂
• March 24, 2024, 4 p.m.

Ollama是一款能在個人電腦上輕鬆部署和使用語言模型的工具，透過Ollama，我們便能在終端機使用：1. 聯發科的 Breeze 7b 模型、2. 利用 Python 接合 Ollama 的端口，3. 甚至使用 Llava 模型智慧地重命名文件中的圖片。透過本地端部署的大型語言模型，便能在保障隱私與安全的前提下，有效能夠提高工作效率。

開始上課

[RPA] 如何透過 Line 發送最新一集的漫畫?

• 大數學堂
• Oct. 24, 2019, 3:30 p.m.

本文章介紹了如何將整個漫畫自動發送流程串接起來，先將漫畫集數存放至SQLite，再透過爬蟲結果比對取得尚未抓取的集數，利用Selenium爬取新集數後，使用Line Notify發送最新的漫畫圖片。這樣可以讓看漫畫變得簡單有趣。文章中還附有相關影片和程式碼來幫助讀者。提到的技術有SQLite LineNotify Selenium RPA和Python自動化。

開始上課

[ChatGPT] 個人化Llama2 ！如何在Colab中運用自己的資料集微調 Llama2 模型

• 大數學堂
• July 31, 2023, 9 p.m.

LLaMA-Efficient-Tuning 是一個簡易的大型語言模型微調框架，能夠進行PEFT並支援訓練多種大型語言模型，如LlaMA2、BLOOM、Falcon 和 Baichuan。微調步驟包括安裝 LLaMA-Efficient-Tuning、調整 dataset_info.json 加入自己的資料集描述、導入自己的監督式微調資料集、以及使用內建指令進行監督式微調和預測生成。有了Llama2，再搭配自己的資料集，相信在不久的將來，大家都可以使用LLaMA-Efficient-Tuning快速有效地微調Llama2模型以適應特定需求。

開始上課

[爬蟲實戰] 如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例

• 大數學堂
• July 21, 2015, 3:45 p.m.

這篇文章介紹了如何使用Selenium來解決爬取司法院法學檢索系統的問題。由於該系統使用了Iframe來嵌入檢索結果，常常造成爬蟲無法正確獲取內容。作者建議使用Selenium IDE來自動記錄抓取步驟，並將步驟轉換為Python腳本，使得抓取過程變得更加簡單。

開始上課

[爬蟲實戰] 如何使用 PyAutoGUI 搶雙 11 百萬紅包

• 大數學堂
• Nov. 9, 2023, 3:30 p.m.

嘿嘿，年度盛事雙 11 又來囉！🎉🎉🎉 眾所周知，這天除了剁手的好去處，還有那讓人心跳加速的搶紅包活動！是不是已經等不及用你的小手機app瘋狂點擊了呢？但別急，讓我們來點科技的魔法：PyAutoGUI + 手機模擬器加持！🧙‍♂️只需輕鬆設定，對準那閃閃發亮的紅包位置，一個指令，咻——！紅包自動入袋，就這麼簡單！今年雙 11，就讓我們用點小技巧，把好運和紅包一網打盡吧！💰🚀 快來試試，看看誰能成為搶紅包的速度之王！

開始上課

[爬蟲實戰] 如何抓取集保戶股權分散表?

• 大數學堂
• Aug. 5, 2015, 11:55 a.m.

文章提到可以使用requests.post來取得需要POST請求的網頁內容，但也可以使用GET模擬整個POST動作。只需要將POST內容編碼後，串接在原網址的問號(?)後面，就可以順利取得內容。目標網站有變，已經更新爬取方法至： https://www.largitdata.com/course/248/

開始上課

[爬蟲實戰] 如何使用Selenium 抓取驗證碼?

• 大數學堂
• Oct. 24, 2017, 3:22 p.m.

使用selenium抓取驗證碼圖片並非難事，只需要先存取頁面快照，然後找到圖片位置，然後根據位置和大小，就能成功從頁面中擷取出驗證碼。接著，只需要將驗證碼交給機器學習引擎辨識，就能輕鬆讓電腦為我們自動訂票。可以參考這篇程式碼來實踐：<a href="https://github.com/ywchiu/largitdata/blob/master/code/Course_95.ipynb">https://github.com/ywchiu/largitdata/blob/master/code/Course_95.ipynb</a>

開始上課

[爬蟲實戰] 如何使用 PANDAS 快速爬取財報表格?

• 大數學堂
• Dec. 30, 2015, 5:14 p.m.

表格是一種常見的數據呈現格式，使用BeautifulSoup4和PANDAS可以很方便地對表格進行解析和爬取。PANDAS的read_html方法可以將復雜的網絡表格信息快速轉換為DataFrame，成為股票分析的數據來源之一。

開始上課

[爬蟲實戰] 如何極速擷取1111購物狂歡節的特價商品資訊?

• 大數學堂
• Nov. 10, 2016, 2:34 p.m.

本文介紹了如何使用Python網路爬蟲來抓取天貓特價商品資料。使用Python的requests模組抓取商品頁面，再使用BeautifulSoup4抓取特價商品的資料區塊，最後使用json.loads將資料轉換成字典結構。這樣就可以在1111購物狂歡節期間，同時享受購物樂趣，又顧好自己的錢包了。程式碼可以在文章中提供的GitHub連結中找到。

開始上課

[爬蟲實戰] 如何使用 Selenium 以及 Python 輕鬆抓取 Agoda 的旅館資訊?

• 大數學堂
• July 26, 2023, 3:44 p.m.

這堂免費課介紹了使用Selenium和BeautifulSoup4來抓取以Ajax生成的網頁的方法。傳統上，抓取這樣的網頁需要很多耐心觀察，才能找到抓取的切入點。但是使用Selenium可以自動點擊和載入Ajax生成的頁面，使得抓取變得簡單。然後，配合BeautifulSoup4的強大解析功能，使用Python抓取網頁就變得非常簡單了。

開始上課

[爬蟲實戰] 如何破解高鐵驗證碼 (2) - 使用迴歸方法去除多餘弧線?

• 大數學堂
• Nov. 1, 2017, 2:35 p.m.

這篇文章提到了如何去除高鐵驗證碼中的弧線，以提高圖片的可辨識率。文章指出，這些弧線可以用一個二項式迴歸公式表示，並介紹了使用sklearn的linear model進行迴歸線適配的方法。最終，文章還提供了相關的程式碼供讀者參考。

開始上課

[爬蟲實戰] 如何使用Pandas 快速繪製日幣近期的匯率走勢?

• 大數學堂
• Dec. 27, 2016, 5:04 p.m.

本文介紹了使用Pandas進行資料分析並畫圖的簡單方法。首先使用pandas的read_csv功能讀取csv資料，然後使用%pylab inline將圖表顯示在Jupyter Notebook中，最後使用plot函式繪製折線圖。這篇文章強調了透過Pandas的幾行指令就能輕鬆完成資料分析並畫出圖表的便利性。

開始上課

[爬蟲實戰] 如何利用Python網路爬蟲爬取有道翻譯打造自動化翻譯系統

• 大數學堂
• June 30, 2022, 2:14 p.m.

這篇文章介紹了如何使用Playwright撰寫Python網路爬蟲程式，以爬取有道翻譯的翻譯結果。透過自動化程式，可以省下許多時間和麻煩，無需重複複製貼上文字。此外，文章還宣布大數軟體正在徵求一位資深前端工程師，成功推薦人的將獲得獎金。最後，文章提供了一些相關連結，包括徵才網頁 影片 程式碼和學習資源。

開始上課

[爬蟲實戰] 1111 不購物?! 來用Python網路爬蟲每天簽到領蝦幣

• 大數學堂
• Nov. 11, 2022, 12:53 p.m.

這篇文章介紹了使用Python網路爬蟲自動搶購1111最優惠商品，同時也可以自動化搶蝦幣的過程。文章提到使用Selenium腳本可以輕鬆填入帳號密碼並點擊領蝦幣的按鈕，再透過工作排程的設定，可以天天躺著領蝦幣。文章中還附上了相關影片和程式碼供參考，此外也推薦了其他學習資料科學的資源。

開始上課