[AI人工智慧] 你也能成為編曲大師！探索如何運用 AudioCraft 以文字創造音樂

• 大數學堂
• 2023年8月6日 16:30

現今人工智慧的進步為我們的生活帶來了前所未有的變革。你或許已熟悉使用ChatGPT創作文章、寫信、翻譯或是使用MidJourney、DALL-E以文字產生千變萬化的圖片，但今天，我們要談論的不僅僅是生文、生圖，我們要談論的是如何利用文字生成音樂！有了AudioCraft，現在你不需要專業的音樂背景，只要提供文字，AudioCraft就能為您生成旋律，音樂家可以獲取新的靈感，而中小企業主也可以輕鬆地為他們的廣告增加配樂，相信有了AudioCraft，再搭配自己的音樂品味，相信在不久的將來，大家都可以成為音樂創作大師！

開始上課

[其他專題] 完美結合！ Excel 中也可以用 Python 做機器學習？

• 大數學堂
• 2023年10月17日 21:00

以前在Python中進行資料分析可能會讓你不得不依賴Pandas，但當需要進行資料修改或新增時，Excel總是那個得心應手的選擇，對吧？現在有一個令人興奮的消息！微軟和Anaconda攜手合作，將Anaconda帶入Excel的世界中。這意味著，現在你可以在Excel的熟悉界面中，發揮Python的強大威力，進行資料分析和機器學習。不再需要繁瑣的資料匯出和匯入，一切都在一個地方搞定！🔗🔢

開始上課

[比特幣程式交易] 如何透過API獲取比特幣歷史報價數據?

• 大數學堂
• 2021年1月13日 14:11

比特幣快速突破歷史新高後，開始快速回檔。因此，有人打算透過 Python 分析比特幣的買賣點，以引領獲利。他們首先教大家使用Poloniex的API獲取歷史報價資訊，並用Plotly將數據繪製成K線圖。影片和程式碼可以在相應的鏈接中找到。

開始上課

[AI人工智慧]如何使用ROOP換臉製作自己的迷因圖？

• 大數學堂
• 2023年11月5日 17:00

夢想成為迷因界的超級巨星嗎？✨ 你的時刻到了！用 #Roop，一切只需點點滑鼠！🚀 忘掉過去使用DeepFaceLab的複雜步驟，現在，只要上傳你的肖像，Roop能在瞬間把你變成任何迷因角色！下次想要輕鬆地吐槽，就來一張個人定製的迷因吧。🤨 為你的疑問加上一點個人風格，讓你的不屑一顧更加生動！👤💬

開始上課

[實價登錄分析] 如何使用Python Pandas 整併歷年實價登錄資訊?

• 大數學堂
• 2016年9月14日 16:29

文章中提到，僅整理一季的資料無法完整進行房價分析，因此需要將歷年的實價登錄資訊存放在不同的目錄夾中。接著，使用Pandas的Data Frame將各季的資料讀入，再使用Concat指令合併所有的Data Frame。以此，可以選擇使用describe指令獲得敘述性統計，或使用to_excel功能將資料寫入Excel檔案中。

開始上課

[Scrapy 爬蟲] 如何從蘋果新聞的清單聯結抓取下一層的內容頁面?

• 大數學堂
• 2016年2月23日 16:14

這篇文章介紹了如何在Scrapy爬蟲中使用yield 產生器來抓取下一層的內容頁面，並使用BeautifulSoup進行剖析，獲取內容頁的標題資訊。

開始上課

如何使用R 的 Quantmod 套件快速蒐集股價資訊並計算技術指標?

• 大數學堂
• 2015年5月24日 16:22

在R中，使用Quantmod套件可以輕鬆地蒐集股價資訊並計算技術指標。這比自己寫程式更簡單，省去了許多麻煩。

開始上課

[交易系統] 如何抓取三大法人買賣金額統計表(Part 2)?

• 大數學堂
• 2015年4月28日 16:04

本教學將透過BeautifulSoup 4和css selector，來抓取三大法人買賣金額統計表的資訊。首先，我們需要導入requests和BeautifulSoup套件。然後，使用requests.get()函式來獲取網頁的HTML內容，將其存儲在一個變數中。接下來，使用BeautifulSoup的select()方法和正確的css選擇器，來定位我們要抓取的元素。最後，遍歷結果，將每個元素的文本打印出來或進一步處理。這樣，我們就可以輕鬆地獲取三大法人買賣金額統計表的資訊了。

開始上課

[交易系統] 如何產生不同天期的交易資訊?

• 大數學堂
• 2015年4月30日 15:35

這篇文章介紹了如何使用timedelta來生成不同的日期資訊，這對於接下來的資料爬取非常重要。透過timedelta，讀者可以學會在程式碼中設定不同的日期範圍，以方便後續的資料處理。

開始上課

如何使用POST 抓取網頁內容?

• 大數學堂
• 2015年4月19日 09:29

本文章介紹了如何使用POST方法在Python中抓取高鐵網頁內容。使用POST方法可以將請求資訊包裝起來，再傳送至伺服器以取得回應資訊。在Python中使用POST方法非常簡單，只需將請求資訊以字典做包裝即可。

開始上課

如何使用RJDBC 連結到MySQL?

• 大數學堂
• 2015年7月6日 16:23

本文介紹了在使用程式語言連結到資料庫時可使用的兩種方法：ODBC和JDBC。同樣地，R語言也提供了RODBC和RJDBC兩種方法供使用者選擇。本文將教您如何下載JAR檔和設定連線資訊，使得R可以通過RJDBC連結到資料庫，並獲取資料庫中存放的三大法人買賣資訊。

開始上課

[交易系統] 如何操作SQLite ?

• 大數學堂
• 2015年5月3日 16:10

本文介紹了如何使用Firefox的SQLite Manager擴充插件來操作SQLite數據庫，以儲存爬取的三大法人統計資訊。相較於安裝和配置MySQL PostgreSQL等數據庫，SQLite Manager的簡單易用讓資料儲存變得輕鬆方便。SQLite Manager提供了一個直觀的用戶界面，讓您可以輕鬆創建 編輯和查詢數據庫表格，並支持導入和導出數據等功能。讀者可以通過本文學習如何使用SQLite Manager進行數據庫操作，輕鬆管理爬取資料。

開始上課

[交易系統] 如何抓取多天期的三大法人交易資訊?

• 大數學堂
• 2015年5月2日 07:57

本文指出，我們可以利用之前學到的知識來獲取不同天期的三大法人交易資訊。只需將重複的抓取動作包裝成函式，再利用迴圈來完成多天期的抓取。這將是一個簡單而有效的方法。

開始上課

[ChatGPT] 如何結合Python網路爬蟲和GPTs打造你自己的財經新聞聚合應用程式！

• 大數學堂
• 2022年11月19日 16:00

🔍 想知道如何從頭開始建立自己的財經新聞聚合器嗎？我們的最新影片將一步步指引您如何運用 Python 網路爬蟲技術來擷取、整理財經新聞，並且展示如何將這些數據轉換成 CSV 檔案格式，進一步應用於 GPTs。 📈 此外，我們也將探討如何利用 GPTs 的強大功能，將您的財經新聞聚合器提升至一個新層次，提供更深入、更客製化的財經資訊。

開始上課

[爬蟲實戰] 如何抓取心食譜的食譜資訊?

• 大數學堂
• 2015年4月20日 14:01

這篇文章介紹使用CSS Selector的nth-of-type來抓取特定位置的食譜資訊的示範。並且提供了一個示範網頁的連結。

開始上課

[爬蟲實戰] 如何透過 Python 網路爬蟲快速找出1111購物狂歡節折扣最多的商品? (2018年版)

• 大數學堂
• 2018年11月10日 12:43

1111購物狂歡節即將到來，如果你還不知道該買什麼，可以嘗試使用數據來做決策。本課程將使用Python網路爬蟲抓取天貓的商品頁面，再用json和pandas整理商品資訊，最後使用pandas的排序功能，幫助你找出折扣最多的商品。程式碼可參考：https://github.com/ywchiu/largitdata/blob/master/code/Course_108.ipynb

開始上課

[交易系統] 如何清理爬蟲所抓取下來的金額資訊?

• 大數學堂
• 2015年5月5日 15:29

這篇文章主要介紹了如何處理金額資料中的千進位逗號符號。作者提到可以使用split和join的技巧來輕鬆地進行金額轉換。無論何時需要將金額從不帶有千進位逗號的字串轉換回包含千進位逗號的格式，這個技巧都非常有用。這個方法可以讓我們方便地處理金額資料並將其存儲到資料庫中。

開始上課

[AI人工智慧] EasyOCR v.s. PaddleOCR 誰才是圖片轉文字(OCR)的最佳神器?!

• 大數學堂
• 2023年10月1日 17:30

光學字元辨識(OCR)能夠將紙上文字數位化，使得資訊管理變得更加方便，例如：將書籍掃描成電子版、識別及翻譯外國的路標或菜單，以及將手寫筆記快速轉化成文字檔。本文介紹如何透過 Python使用EasyOCR和PaddleOCR兩種開源工具，可以簡單地識別圖片中的文字。同時，影片中亦比較了兩個套件與不同類型文字的識別準確率。

開始上課

如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?

• 大數學堂
• 2015年4月18日 01:59

這篇文章介紹如何使用Python的requests和BeautifulSoup4來完成淘寶網站的爬蟲。作者提到，既然已經了解了如何使用requests抓取網頁內容，並使用BeautifulSoup4來解析有用的資訊，接下來將進入實戰階段，示範如何完成淘寶爬蟲。

開始上課

[交易系統] 如何透過Python 操作SQLite3?

• 大數學堂
• 2015年5月7日 16:31

本章教學了如何使用Python指令和sqlite3模組來操作finance.sqlite資料庫，並成功將清理完的資訊存入表格中。

開始上課

[爬蟲實戰 ]如何模擬用戶代理 (User Agent) 成功存取目標網頁內容 (以永慶房屋為例)?

• 大數學堂
• 2015年4月27日 15:29

有些網頁伺服器會檢查用戶代理以限制爬蟲存取頁面內容，但我們可以通過在標頭中增加自己的瀏覽器用戶代理來繞過這種限制，成功獲取網頁內容。這種技術可以用來抓取永慶房屋的房價資訊。

開始上課

探索Facebook 隱藏的秘密: 使用Python 存取 Facebook 資訊

• 大數學堂
• 2015年4月22日 15:41

本段文章繼續介紹了如何使用Graph API存取Facebook資訊。只需要取得access token後，將其填入Graph API中，再透過Python的requests模組即可取得個人資訊，包括ID和最喜歡的運動員。

開始上課

[交易系統] 如何透過Python 將抓取下來的金額資訊存入資料庫中?

• 大數學堂
• 2015年5月8日 14:49

這篇文章講述學會使用Python將資料存入資料庫並準備進行資料分析的最後一步。作者指出，他們可以將抓取的三大法人統計資訊存入finance.sqlite資料庫中，這樣就能開始進行分析了。整篇文章提供了構建分析所需的基本步驟和資訊。

開始上課

[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

• 大數學堂
• 2023年6月25日 09:23

本教學將教您如何使用Selenium自動瀏覽Expedia網站，並利用LangChain和ChatGPT的Extraction功能，自動解析半結構化資料。最後，使用Pandas將半結構化資料轉換為結構化資訊。透過ChatGPT和LangChain的幫助，我們可以省去編寫網路爬蟲時需要觀察元素的麻煩。再加上Selenium可以模擬人類操作，我們能夠簡化網路爬蟲的過程，輕鬆地獲取所需的網頁資訊。期待著中秋節的到來，並希望能在日圓跌至新低的時候，節省機票費用，享受一趟愉快的旅程。

開始上課

[爬蟲實戰] 如何剖析PTT的網頁?

• 大數學堂
• 2015年4月24日 13:49

本篇文章介紹了如何使用Python的requests和BeautifulSoup4函式庫來獲取並解析PTT網站的文章內容。透過requests的get方法可以將網頁內容取回，再使用BeautifulSoup4來解析原始碼，提取出有意義的結構化資訊，例如文章標題 作者和發文時間等。這對於進一步分析和處理PTT文章內容非常有用。

開始上課

[ChatGPT] 出一張嘴就能賺錢?! 利用 Code Interpreter 打造最強 ETF 定期定額投資策略

• 大數學堂
• 2023年7月9日 07:03

ChatGPT的Code Interpreter能自動撰寫和執行Python程式碼，使用者可以快速分析各種ETF的優缺點，並比較各種定期定額投資策略。該功能還具有檔案上傳功能，可以直接分析來自Yahoo Finance的數據，並提供統計和視覺化報告。它甚至可以模擬不同的ETF定期定額投資策略，計算各種策略的成本、收益和收益率。Code Interpreter可以幫助投資者進行專業的投資策略分析，無需寫任何程式碼，甚至可以充當資料科學家的角色。

開始上課

[爬蟲實戰] 如何抓取圖表內的價格資訊?

• 大數學堂
• 2015年4月25日 15:26

本文介紹了如何使用Python的正規表達式模塊re中的search函數來抓取匯率網站圖表內的價格資訊，並提供了示範網址。

開始上課

如何使用API 抓取附近神奇寶貝的位置資訊

• 大數學堂
• 2016年7月20日 12:07

Pokemon GO 是一款線上遊戲，在台灣尚未發行。然而，已有國外玩家找到破解方法，能夠存取遊戲內的API資訊。本文將提供教學，讓玩家能輕鬆找到附近的神奇寶貝。

開始上課

[ChatGPT] 個人化Llama2 ！如何在Colab中運用自己的資料集微調 Llama2 模型

• 大數學堂
• 2023年7月31日 21:00

LLaMA-Efficient-Tuning 是一個簡易的大型語言模型微調框架，能夠進行PEFT並支援訓練多種大型語言模型，如LlaMA2、BLOOM、Falcon 和 Baichuan。微調步驟包括安裝 LLaMA-Efficient-Tuning、調整 dataset_info.json 加入自己的資料集描述、導入自己的監督式微調資料集、以及使用內建指令進行監督式微調和預測生成。有了Llama2，再搭配自己的資料集，相信在不久的將來，大家都可以使用LLaMA-Efficient-Tuning快速有效地微調Llama2模型以適應特定需求。

開始上課

[爬蟲實戰] 如何抓取591租屋網的資訊?

• 大數學堂
• 2015年4月29日 15:52

這篇文章介紹了如何觀察和爬取使用AJAX換頁的網頁中的資訊，同時也講解了如何使用Python的json套件將json內容轉換為字典。

開始上課

[爬蟲實戰] 如何抓取淘寶網雙十一購物狂歡節活動網頁中的商品列表?

• 大數學堂
• 2015年11月10日 14:41

這篇文章介紹了如何使用Python網路爬蟲來抓取雙十一購物狂歡節活動網頁中的商品列表。雖然淘寶的網頁改版後讓資料抓取變得困難，但這不會阻止我們追求購物資訊的熱情。文章將教你如何使用Python網路爬蟲來解決這個問題。

開始上課

[財經爬蟲] 如何透過Python 網路爬蟲抓取Goodinfo 台灣股市資訊網?

• 大數學堂
• 2020年8月2日 14:08

Goodinfo台灣股市資訊網為投資者提供重要股票資訊，作者使用Python網路爬蟲自動化爬取各股票的歷年經營績效。作者通過設定user-agent以規避Goodinfo的防爬蟲機制，並使用Pandas整理資料。這樣的資料結構可以幫助投資者做出更好的投資決策。詳細的影片和程式碼連結都有提供。

開始上課

[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

• 大數學堂
• 2016年10月10日 15:27

本文介紹了作者對於更新淘寶爬蟲的一些方法。他提到以前的爬蟲只需要獲取Document下的連結即可獲取商品價格資訊，但淘寶現在使用了AJAX的方式填充頁面內容。為了解決這個問題，作者建議從XHR和JS入手，使用正則表達式來解析重要資訊，以便在雙十一節中獲取淘寶資訊更容易。

開始上課

[爬蟲實戰] 如何透過Selenium 自動將頁面捲動至最下方抓取資料?

• 大數學堂
• 2016年3月31日 16:24

瀑布流網站如EZTABLE讓資訊抓取變得困難，但可使用Selenium執行Javascript解決頁面捲動問題。透過execute_script函數執行window.scrollTo(0 document.body.scrollHeight)，可以成功抓取瀑布流式網頁。

開始上課

[爬蟲實戰] 如何使用 PyAutoGUI 搶雙 11 百萬紅包

• 大數學堂
• 2023年11月9日 15:30

嘿嘿，年度盛事雙 11 又來囉！🎉🎉🎉 眾所周知，這天除了剁手的好去處，還有那讓人心跳加速的搶紅包活動！是不是已經等不及用你的小手機app瘋狂點擊了呢？但別急，讓我們來點科技的魔法：PyAutoGUI + 手機模擬器加持！🧙‍♂️只需輕鬆設定，對準那閃閃發亮的紅包位置，一個指令，咻——！紅包自動入袋，就這麼簡單！今年雙 11，就讓我們用點小技巧，把好運和紅包一網打盡吧！💰🚀 快來試試，看看誰能成為搶紅包的速度之王！

開始上課

[爬蟲實戰] 如何抓取廉價航空的機票價格 – 以酷航為例?

• 大數學堂
• 2023年7月26日 14:28

這堂免費課介紹了如何使用爬蟲去抓取酷航的最新票價資訊，以便能夠搶到廉價的航空機票。作者提到，關注最新的票價是獲得便宜機票的最佳方法，但大家都很忙，所以讓爬蟲代勞是一個好選擇。使用Python Crawler，可以輕鬆地抓取酷航的最新票價，避免錯失機會。

開始上課

[爬蟲實戰] 如何在1111購物狂歡節 快速爬取淘寶上的商品資訊?

• 大數學堂
• 2019年10月30日 13:39

這篇文章介紹了如何快速寫一個淘寶爬蟲程式。現在的電商網頁都有提供API，可以方便地將商品資訊下載下來。只要透過Chrome的開發人員工具找到API的端口，然後使用requests將JSON格式資料爬取下來。再搭配Pandas的資料整理功能，就可以將商品資訊整理成表格，方便閱覽和分析。文章最後提供了相關影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何在1212購物狂歡節快速爬取momo購物網上的商品資訊?

• 大數學堂
• 2019年12月11日 14:00

這篇文章介紹如何撰寫momo購物網的爬蟲程式碼，並給予了相關影片和程式碼的連結。文章提到，momo購物網有防爬蟲機制，但只要加入headers，就能騙過防護系統，從而快速搜刮特價品資訊。該文章還提到，momo購物網有兩個購物狂歡節，其中一個是雙12。

開始上課

[爬蟲實戰] 如何使用Pandas快速分析上市櫃公司員工的薪資水平?

• 大數學堂
• 2020年7月5日 14:16

證交所公佈了上市與上櫃公司非擔任主管職務的全時員工薪資資訊，介紹了使用Python的requests和pandas來爬取和分析這些公司的薪資水平。以往只提供薪資平均值，而今年則加入了中位數的資訊，以更客觀地反映薪資水平。影片和程式碼連結也提供在文章中。

開始上課

[爬蟲實戰] 如何使用 PANDAS 快速爬取財報表格?

• 大數學堂
• 2015年12月30日 17:14

表格是一種常見的數據呈現格式，使用BeautifulSoup4和PANDAS可以很方便地對表格進行解析和爬取。PANDAS的read_html方法可以將復雜的網絡表格信息快速轉換為DataFrame，成為股票分析的數據來源之一。

開始上課

[爬蟲實戰] 如何使用 Selenium 以及 Python 輕鬆抓取 Agoda 的旅館資訊?

• 大數學堂
• 2023年7月26日 15:44

這堂免費課介紹了使用Selenium和BeautifulSoup4來抓取以Ajax生成的網頁的方法。傳統上，抓取這樣的網頁需要很多耐心觀察，才能找到抓取的切入點。但是使用Selenium可以自動點擊和載入Ajax生成的頁面，使得抓取變得簡單。然後，配合BeautifulSoup4的強大解析功能，使用Python抓取網頁就變得非常簡單了。

開始上課

[財經爬蟲] 如何使用正規表達法快速抓取所有上市公司代號?

• 大數學堂
• 2020年10月13日 14:20

這篇文章介紹如何使用Python網路爬蟲抓取GoodInfo的所有上市公司基本資訊。作者首先透過Tej的網站找到上市上櫃公司的代碼清單，接著使用正規表達法快速抽取出所有的數字代碼，以獲得所有上市公司的代碼。文章中還提供了影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何突破蝦皮拍賣的重重限制以順利抓取拍賣商品資訊?

• 大數學堂
• 2023年7月26日 15:52

本堂課介紹了如何使用爬蟲抓取時下最夯的蝦皮拍賣網站。要抓取蝦皮的資料，必須先找到XHR請求連結，然後使用POST傳輸json格式的參數。如果無法正確獲得回應，可能是缺少一些標頭資訊，此時可以嘗試不同的組合來取得正確的商品資訊。如果無法獲得某些標頭資訊，可以使用Selenium搭配正確的Cookie來解決這個問題。

開始上課

[爬蟲實戰] 如何透過開發人員工具破解實價登錄網新版API中的加密字串?

• 大數學堂
• 2021年4月5日 13:30

這篇文章介紹了如何使用Chrome開發人員工具來解析新版實價登錄網站的API連結中的神秘字串。透過瀏覽器的Debugger功能，可以找到加密的JavaScript程式碼片段，然後使用這些加密函數片段來解析參數的查詢條件，從而成功抓取實價登錄資訊。文中還提供了相關的影片和程式碼連結，方便讀者深入了解和實踐Python網路爬蟲的相關知識。

開始上課

[爬蟲實戰] 如何在1111購物狂歡節快速爬取蝦皮限時特賣的商品折扣資訊?

• 大數學堂
• 2020年11月10日 13:50

這篇文章介紹了如何在蝦皮購物的1111購物狂歡節活動中，使用Selenium透過API偷看特賣商品的折扣資訊。因為蝦皮在API存取上有限制，所以藉由取得Cookie和csrf token等資訊，來繞過限制。文章中還附上了相關的影片和程式碼連結，方便讀者參考使用。這篇文章討論了1111購物狂歡節 蝦皮API 蝦皮特賣商品折扣 Selenium和Python網路爬蟲等主題。

開始上課

[財經爬蟲] 如何使用Python 網路爬蟲抓取新版Yahoo 股市上的即時行情?

• 大數學堂
• 2021年4月20日 13:34

這篇文章提到Yahoo股市的頁面最近有更新版本，為了讓交易機器人能根據最新的行情做決策，需要找到即時行情的API，並使用Python的網路爬蟲來蒐集新版Yahoo股市資訊。提供兩個連結，一個是影片教學，另一個是程式碼範例。文章標籤有Python網路爬蟲 財經爬蟲 即時行情 交易機器人和Yahoo股市。

開始上課

[財經爬蟲] 如何透過Python 網路爬蟲爬取香港交易所最新成交資訊?

• 大數學堂
• 2021年6月22日 14:47

這篇文章介紹了如何使用Python網路爬蟲來快速獲取香港交易所股票成交資訊，以便讓交易機器人能夠在行情發動時第一時間進出場。文章提供了影片和程式碼的連結，方便讀者學習和實踐。關鍵詞有Python網路爬蟲 交易機器人 香港交易所 大數學堂和大數軟體。

開始上課

[爬蟲實戰] 如何利用Python Flask自動轉換實價登錄網站加密字串?

• 大數學堂
• 2021年4月12日 13:47

本文介紹了如何透過Python Flask建立一個橋接器，來自動化抓取實價登錄網的加密字串。通常我們會使用Node.js或Pyexecjs等方法來加載加密函數，但這牽涉到處理Node.js或修改JavaScript的問題。透過Python Flask橋接器，我們可以輕鬆地重新導向加密字串到實價登錄網，實現破解新版實價登錄網的目標。影片和程式碼也提供了詳細的操作示例。

開始上課

[爬蟲實戰] 如何透過EMAIL即時獲取最新匯率資訊?

• 大數學堂
• 2016年12月26日 16:32

文章介紹了如何透過Python的爬蟲和電子郵件功能來自動通知匯率的變化。使用smtplib和GMAIL工具，將匯率資料以HTML格式的郵件寄送給用戶，使他們能夠即時掌握最佳的買點。這種自動化的方法能夠節省用戶的時間和精力，並確保他們不會錯過任何重要的交易機會。

開始上課

[爬蟲實戰] 如何突破證交所的限制，穩穩抓取最新成交資訊?

• 大數學堂
• 2023年7月26日 14:34

最近證交所的頁面更新，爬蟲面臨網頁伺服器的rate limiting造成無法連上證交所的問題。為解決此問題，我們可以讓爬蟲在抓取資料之間隔幾秒讓其小睡，避免IP被封鎖。這樣，爬蟲就能夠順利抓取所需要的資料。有關程式碼可以參考Github連結。

開始上課

[爬蟲實戰] 如何擷取網頁中的隱藏輸入以順利下載證交所的 csv 檔?

• 大數學堂
• 2015年9月20日 17:05

本文章提到了爬蟲不僅可以擷取網頁的資訊，還可以下載csv檔案。作者在探索過程中發現，證交所使用了base64編碼將網頁內容放在post參數中，讓人感到十分困惑。然而，通過直接抓取網頁中的隱藏輸入欄位，再將資料進行base64編碼，作者成功地下載了csv檔案。

開始上課

[爬蟲實戰] 如何使用工具 Playwright爬取 MOMO 購物網 1111 特價資訊

• 大數學堂
• 2021年11月10日 14:02

本文介紹了使用Python網路爬蟲和自動化神器Playwright搭配BeautifulSoup來抓取不同購物網站的特價資訊的方法。作者指出，由於每家購物網站都有不同的結構，因此客製化爬蟲可能需要花費很長時間。然而，透過這種方法，我們只需要寫少量程式碼，就可以快速抓取並跟上1111購物節的節奏。此外，文章還提供了相關影片和程式碼的連結。

開始上課

[財經爬蟲] 怎麼繞過驗證碼? 利用 2Captcha 驗證碼識別服務突破 reCAPTCHA 驗證碼，抓取證券櫃買中心的券商買賣證券日報表上分點交易資訊

• 大數學堂
• 2021年7月1日 07:08

這篇文章介紹了如何利用Python網路爬蟲和2Captcha驗證碼識別服務，突破券商買賣證券日報表上的reCAPTCHA驗證碼，以獲取分點交易資訊。透過分析分點資料，可以分析大戶的進出行為，以便跟單獲利。文章提供了完整的教學文章連結 影片教學連結和程式碼，並介紹了2Captcha服務的連結。

開始上課

[爬蟲實戰] 如何快速爬取天貓TMALL 雙11 特價商品資訊?

• 大數學堂
• 2017年11月9日 14:08

這篇文章介紹如何使用Python的Requests套件 BeautifulSoup4和Pandas來進行天貓網路爬蟲。作者分享了他們如何抓取天貓商城的商品資訊，並使用這些工具來整理和儲存數據。此外，文章還提供了相應的程式碼連結。

開始上課

[爬蟲實戰] 如何使用Python 模擬登入淘寶並成功抓取淘寶指數?

• 大數學堂
• 2015年8月17日 16:51

文章指出了了解市場必須先取得市場相關數據的重要性。說明在中國，可以參考Google Trend，但只能使用淘寶指數。然而，淘寶指數需要先登入才能取得相關資訊，但透過耐心觀察並使用Python抓取，仍然可以取得所需的資料。

開始上課