[ChatGPT] 如何使用Python 網路爬蟲強化ChatGPT 的問答能力?

  • 大數學堂
  • Feb. 5, 2023, 1:20 p.m.
[ChatGPT] 如何使用Python 網路爬蟲強化ChatGPT 的問答能力?

這篇文章介紹了使用ChatGPT時遇到的問題，即當ChatGPT不知道答案時，它會胡說八道。作者建議使用Selenium和Python網路爬蟲來獲取Google搜索的準確結果，並將其提供給ChatGPT，這樣ChatGPT就能夠回答更符合預期的答案。文末還提供了相關影片和課程的連結，以供讀者參考。

開始上課

[財經爬蟲] 如何透過Pandas 快速抓取並分析黃金價格?

  • 大數學堂
  • May 15, 2020, 2:56 p.m.
[財經爬蟲] 如何透過Pandas 快速抓取並分析黃金價格?

這篇文章介紹了如何使用Python的Pandas套件進行黃金價格的抓取和分析。文章提供了一個影片教學和相應的程式碼連結。這將幫助讀者輕鬆地掌握黃金價格的網路爬蟲。文章也列出了一些相關的標籤，包括Python網路爬蟲 黃金價格 Pandas和財經爬蟲。

開始上課

[比特幣程式交易] 如何透過API獲取比特幣歷史報價數據?

  • 大數學堂
  • Jan. 13, 2021, 2:11 p.m.
[比特幣程式交易] 如何透過API獲取比特幣歷史報價數據?

比特幣快速突破歷史新高後，開始快速回檔。因此，有人打算透過 Python 分析比特幣的買賣點，以引領獲利。他們首先教大家使用Poloniex的API獲取歷史報價資訊，並用Plotly將數據繪製成K線圖。影片和程式碼可以在相應的鏈接中找到。

開始上課

[深度學習] 如何建構深度學習模型分辨誰是屈中恆、宋少卿、鈕承澤 (1)?

  • 大數學堂
  • Dec. 11, 2018, 3:14 p.m.
[深度學習] 如何建構深度學習模型分辨誰是屈中恆、宋少卿、鈕承澤 (1)?

最近爆出鈕承澤一案，引起人們對於屈中恆 宋少卿和鈕承澤的驗證碼的關注。為此，研究人員提出利用深度學習的卷積神經網絡讓電腦自動識別圖片中的人物。他們使用Python網絡爬蟲從Google圖片搜索中抓取這三位明星的圖片，並存檔。然後，他們使用這些素材來建構人臉識別模型。你可以查看他們的程式碼。

開始上課

開始使用Python撰寫網路爬蟲 ( Crawler )

  • 大數學堂
  • April 15, 2015, 12:49 a.m.
開始使用Python撰寫網路爬蟲 ( Crawler )

這篇文章介紹了使用Python編寫網路爬蟲的開始步驟，其中需要安裝兩個Python套件：Requests和BeautifulSoup4。Requests是一個用於網路資源擷取的套件，而BeautifulSoup4則是一個用於HTML剖析的套件。

開始上課

[Selenium] 如何使用 Selenium 撰寫網路爬蟲?

  • 大數學堂
  • Aug. 15, 2018, 1:53 p.m.
[Selenium] 如何使用 Selenium 撰寫網路爬蟲?

這篇文章介紹了如何使用Selenium和BeautifulSoup進行網頁爬取。使用Selenium的page_source屬性可以抓取當前頁面的原始碼，並透過BeautifulSoup處理，使得能夠爬取任何瀏覽器瀏覽的網頁。同時提供了程式碼以供參考。

開始上課

[ChatGPT] 如何結合Python網路爬蟲和GPTs打造你自己的財經新聞聚合應用程式！

  • 大數學堂
  • Nov. 19, 2022, 4 p.m.
[ChatGPT] 如何結合Python網路爬蟲和GPTs打造你自己的財經新聞聚合應用程式！

🔍 想知道如何從頭開始建立自己的財經新聞聚合器嗎？我們的最新影片將一步步指引您如何運用 Python 網路爬蟲技術來擷取、整理財經新聞，並且展示如何將這些數據轉換成 CSV 檔案格式，進一步應用於 GPTs。 📈 此外，我們也將探討如何利用 GPTs 的強大功能，將您的財經新聞聚合器提升至一個新層次，提供更深入、更客製化的財經資訊。

開始上課

[爬蟲實戰] 如何透過 Python 網路爬蟲快速找出1111購物狂歡節折扣最多的商品? (2018年版)

  • 大數學堂
  • Nov. 10, 2018, 12:43 p.m.
[爬蟲實戰] 如何透過 Python 網路爬蟲快速找出1111購物狂歡節折扣最多的商品? (2018年版)

1111購物狂歡節即將到來，如果你還不知道該買什麼，可以嘗試使用數據來做決策。本課程將使用Python網路爬蟲抓取天貓的商品頁面，再用json和pandas整理商品資訊，最後使用pandas的排序功能，幫助你找出折扣最多的商品。程式碼可參考：https://github.com/ywchiu/largitdata/blob/master/code/Course_108.ipynb

開始上課

[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

  • 大數學堂
  • June 25, 2023, 9:23 a.m.
[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

本教學將教您如何使用Selenium自動瀏覽Expedia網站，並利用LangChain和ChatGPT的Extraction功能，自動解析半結構化資料。最後，使用Pandas將半結構化資料轉換為結構化資訊。透過ChatGPT和LangChain的幫助，我們可以省去編寫網路爬蟲時需要觀察元素的麻煩。再加上Selenium可以模擬人類操作，我們能夠簡化網路爬蟲的過程，輕鬆地獲取所需的網頁資訊。期待著中秋節的到來，並希望能在日圓跌至新低的時候，節省機票費用，享受一趟愉快的旅程。

開始上課

[財經爬蟲] 如何使用Python 網路爬蟲抓取Yahoo 台指期的即時行情?

  • 大數學堂
  • Sept. 30, 2022, 12:59 p.m.
[財經爬蟲] 如何使用Python 網路爬蟲抓取Yahoo 台指期的即時行情?

這篇文章介紹了如何使用Python網路爬蟲抓取台指期的即時行情資料，並製作成分析圖表。作者提供了相關的影片和程式碼連結，讓讀者可以更深入地了解和應用這項技術。此外，文章還提到了大數學堂這個資料科學學習平台，讓讀者可以在此找到更多學習資源。文章標籤包括python網路爬蟲 財經爬蟲 即時行情 交易機器人 Yahoo股市 台指期和台指期貨。

開始上課

[財經爬蟲]手把手帶你用Python網路爬蟲抓取Goodinfo，再結合GPT-4o快速分析潛力股!

  • 大數學堂
  • June 16, 2024, 9 p.m.
[財經爬蟲]手把手帶你用Python網路爬蟲抓取Goodinfo，再結合GPT-4o快速分析潛力股!

本教學將手把手教學如何從GoodInfo網站獲取臺積電財報數據外，還將進一步利用ChatGPT的GPT-4 API解讀財報，判斷公司是否值得投資。影片內容涵蓋了爬蟲、資料處理、API註冊、提示詞設計、財報分析等詳細步驟，幫助您掌握快速取得股票財報和AI輔助投資決策的方法。

開始上課

[財經爬蟲] 如何透過Python 網路爬蟲抓取Goodinfo 台灣股市資訊網?

  • 大數學堂
  • Aug. 2, 2020, 2:08 p.m.
[財經爬蟲] 如何透過Python 網路爬蟲抓取Goodinfo 台灣股市資訊網?

Goodinfo台灣股市資訊網為投資者提供重要股票資訊，作者使用Python網路爬蟲自動化爬取各股票的歷年經營績效。作者通過設定user-agent以規避Goodinfo的防爬蟲機制，並使用Pandas整理資料。這樣的資料結構可以幫助投資者做出更好的投資決策。詳細的影片和程式碼連結都有提供。

開始上課

[爬蟲實戰] 如何在1111購物狂歡節 快速爬取淘寶上的商品資訊?

  • 大數學堂
  • Oct. 30, 2019, 1:39 p.m.
[爬蟲實戰] 如何在1111購物狂歡節 快速爬取淘寶上的商品資訊?

這篇文章介紹了如何快速寫一個淘寶爬蟲程式。現在的電商網頁都有提供API，可以方便地將商品資訊下載下來。只要透過Chrome的開發人員工具找到API的端口，然後使用requests將JSON格式資料爬取下來。再搭配Pandas的資料整理功能，就可以將商品資訊整理成表格，方便閱覽和分析。文章最後提供了相關影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何極速擷取1111購物狂歡節的特價商品資訊?

  • 大數學堂
  • Nov. 10, 2016, 2:34 p.m.
[爬蟲實戰] 如何極速擷取1111購物狂歡節的特價商品資訊?

本文介紹了如何使用Python網路爬蟲來抓取天貓特價商品資料。使用Python的requests模組抓取商品頁面，再使用BeautifulSoup4抓取特價商品的資料區塊，最後使用json.loads將資料轉換成字典結構。這樣就可以在1111購物狂歡節期間，同時享受購物樂趣，又顧好自己的錢包了。程式碼可以在文章中提供的GitHub連結中找到。

開始上課

[Selenium] 如何使用 Selenium 自動預購PS5?

  • 大數學堂
  • Nov. 26, 2020, 1:31 p.m.
[Selenium] 如何使用 Selenium 自動預購PS5?

這篇文章介紹了如何用Python和Selenium撰寫網路爬蟲來快速預購PS5。只需輸入商品網址，程式便會自動點擊購買PS5的連結，並在MOMO購物網上幫忙購買。相關影片和程式碼連結也提供在文章中。

開始上課

[財經爬蟲] 如何使用正規表達法快速抓取所有上市公司代號?

  • 大數學堂
  • Oct. 13, 2020, 2:20 p.m.
[財經爬蟲] 如何使用正規表達法快速抓取所有上市公司代號?

這篇文章介紹如何使用Python網路爬蟲抓取GoodInfo的所有上市公司基本資訊。作者首先透過Tej的網站找到上市上櫃公司的代碼清單，接著使用正規表達法快速抽取出所有的數字代碼，以獲得所有上市公司的代碼。文章中還提供了影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何透過開發人員工具破解實價登錄網新版API中的加密字串?

  • 大數學堂
  • April 5, 2021, 1:30 p.m.
[爬蟲實戰] 如何透過開發人員工具破解實價登錄網新版API中的加密字串?

這篇文章介紹了如何使用Chrome開發人員工具來解析新版實價登錄網站的API連結中的神秘字串。透過瀏覽器的Debugger功能，可以找到加密的JavaScript程式碼片段，然後使用這些加密函數片段來解析參數的查詢條件，從而成功抓取實價登錄資訊。文中還提供了相關的影片和程式碼連結，方便讀者深入了解和實踐Python網路爬蟲的相關知識。

開始上課

[爬蟲實戰] 如何使用Python Pandas 分析比特幣最佳買點?

  • 大數學堂
  • June 9, 2017, 3:09 p.m.
[爬蟲實戰] 如何使用Python Pandas 分析比特幣最佳買點?

這篇文章提到使用Python網路爬蟲和數據分析工具Pandas來分析比特幣的趨勢線和移動平均線，以幫助投資者找到最適合的買點。並提供了程式碼的連結和與天善智能合作的線上課程，供讀者進一步了解如何使用Python進行資料分析。文章也提醒投資有賺有賠，投資前應詳閱公開說明書。

開始上課

[爬蟲實戰] 如何在1111購物狂歡節快速爬取蝦皮限時特賣的商品折扣資訊?

  • 大數學堂
  • Nov. 10, 2020, 1:50 p.m.
[爬蟲實戰] 如何在1111購物狂歡節快速爬取蝦皮限時特賣的商品折扣資訊?

這篇文章介紹了如何在蝦皮購物的1111購物狂歡節活動中，使用Selenium透過API偷看特賣商品的折扣資訊。因為蝦皮在API存取上有限制，所以藉由取得Cookie和csrf token等資訊，來繞過限制。文章中還附上了相關的影片和程式碼連結，方便讀者參考使用。這篇文章討論了1111購物狂歡節 蝦皮API 蝦皮特賣商品折扣 Selenium和Python網路爬蟲等主題。

開始上課

[財經爬蟲] 如何使用Python 網路爬蟲抓取新版Yahoo 股市上的即時行情?

  • 大數學堂
  • April 20, 2021, 1:34 p.m.
[財經爬蟲] 如何使用Python 網路爬蟲抓取新版Yahoo 股市上的即時行情?

這篇文章提到Yahoo股市的頁面最近有更新版本，為了讓交易機器人能根據最新的行情做決策，需要找到即時行情的API，並使用Python的網路爬蟲來蒐集新版Yahoo股市資訊。提供兩個連結，一個是影片教學，另一個是程式碼範例。文章標籤有Python網路爬蟲 財經爬蟲 即時行情 交易機器人和Yahoo股市。

開始上課

[爬蟲實戰] 如何利用Python Flask自動轉換實價登錄網站加密字串?

  • 大數學堂
  • April 12, 2021, 1:47 p.m.
[爬蟲實戰] 如何利用Python Flask自動轉換實價登錄網站加密字串?

本文介紹了如何透過Python Flask建立一個橋接器，來自動化抓取實價登錄網的加密字串。通常我們會使用Node.js或Pyexecjs等方法來加載加密函數，但這牽涉到處理Node.js或修改JavaScript的問題。透過Python Flask橋接器，我們可以輕鬆地重新導向加密字串到實價登錄網，實現破解新版實價登錄網的目標。影片和程式碼也提供了詳細的操作示例。

開始上課

[爬蟲實戰] 如何爬取圖片以建立慾望之牆?

  • 大數學堂
  • Sept. 12, 2015, 4:15 p.m.
[爬蟲實戰] 如何爬取圖片以建立慾望之牆?

這篇文章介紹了如何使用網路爬蟲蒐集圖片檔案，並提及了使用 streaming 的資料抓取 binary 寫檔以及 shutil 套件來完成任務。作者希望將自己最喜歡的雪芙女神照片收集起來，並表示可以在 Gamebase

開始上課

[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

  • 大數學堂
  • June 1, 2021, 2:59 p.m.
[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

在疫情期間的居家隔離中，大家都感到非常無聊。有人提到了網易雲的性格主導色心理測驗，並探討了該測驗中還有哪些顏色性格以及哪種性格最特別。透過網路爬蟲工具和Python的正規表達法，可以快速列出所有的性格色。作者分享了自己的性格色是橙+粉，並分享了觀察Python網路爬蟲常見的開發人員工具和Python的正規表達法的方法。該文章還提供了相關的影片和程式碼連結，以及性格主導色的完整資料的鏈接。

開始上課

[爬蟲實戰] 如何使用 Pyppeteer抓取 PCHOME 商品價格資訊?

  • 大數學堂
  • Oct. 16, 2021, 9:55 a.m.
[爬蟲實戰] 如何使用 Pyppeteer抓取 PCHOME 商品價格資訊?

這篇文章介紹了在處理由Javascript渲染的網頁資料時，無法直接使用requests，需要使用Pyppeteer作為解決方案。Pyppeteer是一個Python接合Chromium API的工具，可以輕鬆讀取Javascript渲染的頁面資料，使網頁爬取更加直覺。文章還提供了相關的視頻和程式碼連結，並標籤了PCHOME爬蟲 Pyppeteer Puppeteer和Python網路爬蟲。

開始上課

[爬蟲實戰] 如何不寫任何一行程式碼透過低代碼Low-Code / No-Code 工具 Playwright撰寫網頁自動化瀏覽程式

  • 大數學堂
  • Nov. 10, 2021, 1:47 p.m.
[爬蟲實戰] 如何不寫任何一行程式碼透過低代碼Low-Code / No-Code 工具 Playwright撰寫網頁自動化瀏覽程式

Playwright是一個低代碼/無代碼開源工具，可以讓不懂編寫程式的人快速撰寫Python腳本進行自動化操作。使用Playwright，使用者可以輕鬆地對網頁進行複雜操作，無論多麼繁瑣，只需極短的時間就能完成。這對需要自動化的工作流程非常方便。使用者可以在提供的影片和程式碼鏈接中了解更多詳細信息。

開始上課

[爬蟲實戰] 如何使用工具 Playwright爬取 MOMO 購物網 1111 特價資訊

  • 大數學堂
  • Nov. 10, 2021, 2:02 p.m.
[爬蟲實戰] 如何使用工具 Playwright爬取 MOMO 購物網 1111 特價資訊

本文介紹了使用Python網路爬蟲和自動化神器Playwright搭配BeautifulSoup來抓取不同購物網站的特價資訊的方法。作者指出，由於每家購物網站都有不同的結構，因此客製化爬蟲可能需要花費很長時間。然而，透過這種方法，我們只需要寫少量程式碼，就可以快速抓取並跟上1111購物節的節奏。此外，文章還提供了相關影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何利用Python網路爬蟲爬取有道翻譯打造自動化翻譯系統

  • 大數學堂
  • June 30, 2022, 2:14 p.m.
[爬蟲實戰] 如何利用Python網路爬蟲爬取有道翻譯打造自動化翻譯系統

這篇文章介紹了如何使用Playwright撰寫Python網路爬蟲程式，以爬取有道翻譯的翻譯結果。透過自動化程式，可以省下許多時間和麻煩，無需重複複製貼上文字。此外，文章還宣布大數軟體正在徵求一位資深前端工程師，成功推薦人的將獲得獎金。最後，文章提供了一些相關連結，包括徵才網頁 影片 程式碼和學習資源。

開始上課

[爬蟲實戰] 如何用Python網路爬蟲抓取台灣運彩上的世界杯足球賠率?

  • 大數學堂
  • Dec. 4, 2022, 10:19 a.m.
[爬蟲實戰] 如何用Python網路爬蟲抓取台灣運彩上的世界杯足球賠率?

這篇文章主要是介紹如何透過突破台彩網站的防爬蟲機制，使用開發者工具觀察網頁並使用Python快速撰寫網路爬蟲，抓取世界杯足球賠率。文中也提到，台彩還有其他防範機制阻止抓取正確的數據，如果讀者對此有興趣，可以在文章下方留言，未來或許會再開視頻專門解說。文章中也附上了相關的影片和程式碼連結。

開始上課

[爬蟲實戰] 英鎊暴跌! 如何利用Python 網路爬蟲進行全球商品比價、撿便宜

  • 大數學堂
  • Oct. 5, 2022, 3:03 a.m.
[爬蟲實戰] 英鎊暴跌! 如何利用Python 網路爬蟲進行全球商品比價、撿便宜

這篇文章提到最近英鎊暴跌，作者建議在高通膨時代要想辦法省錢。他介紹了一個利用Python網路爬蟲來爬取Burberry商品在不同市場價格的方法，來看看貨幣競貶是否會產生價差。他還附上了相關的影片和程式碼供讀者參考。文章標籤包括python網路爬蟲 比價爬蟲 英鎊暴跌 貨幣競貶和撿便宜。

開始上課

[財經爬蟲] 怎麼繞過驗證碼? 利用 2Captcha 驗證碼識別服務突破 reCAPTCHA 驗證碼，抓取證券櫃買中心的券商買賣證券日報表上分點交易資訊

  • 大數學堂
  • July 1, 2021, 7:08 a.m.
[財經爬蟲] 怎麼繞過驗證碼? 利用 2Captcha 驗證碼識別服務突破 reCAPTCHA 驗證碼，抓取證券櫃買中心的券商買賣證券日報表上分點交易資訊

這篇文章介紹了如何利用Python網路爬蟲和2Captcha驗證碼識別服務，突破券商買賣證券日報表上的reCAPTCHA驗證碼，以獲取分點交易資訊。透過分析分點資料，可以分析大戶的進出行為，以便跟單獲利。文章提供了完整的教學文章連結 影片教學連結和程式碼，並介紹了2Captcha服務的連結。

開始上課

[爬蟲實戰] 1111 不購物?! 來用Python網路爬蟲每天簽到領蝦幣

  • 大數學堂
  • Nov. 11, 2022, 12:53 p.m.
[爬蟲實戰] 1111 不購物?! 來用Python網路爬蟲每天簽到領蝦幣

這篇文章介紹了使用Python網路爬蟲自動搶購1111最優惠商品，同時也可以自動化搶蝦幣的過程。文章提到使用Selenium腳本可以輕鬆填入帳號密碼並點擊領蝦幣的按鈕，再透過工作排程的設定，可以天天躺著領蝦幣。文章中還附上了相關影片和程式碼供參考，此外也推薦了其他學習資料科學的資源。

開始上課

[爬蟲實戰] 如何破解Cloudflare 的反爬蟲機制

  • 大數學堂
  • Aug. 11, 2024, 9 p.m.
[爬蟲實戰] 如何破解Cloudflare 的反爬蟲機制

在網路爬蟲的世界裡，我們經常會遇到各種反爬蟲機制。🛡️其中，Cloudflare的５秒挑戰(5-second Cloudflare Challenge)是一個常見的障礙。當我們使用普通的requests請求時，往往會被擋下來，無法取得想要的內容。🚫這次，我們將介紹如何使用pyppeteer和pyppeteer_stealth 這兩個強大的工具來突破這個限制。

開始上課

[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

  • 大數學堂
  • Sept. 28, 2020, 2:47 p.m.
[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

這篇文章介紹了利用Python網路爬蟲抓取一些會鎖IP的網站時，需要使用免費的Proxy來規避被封鎖的風險。文章提到了抓取Free Proxy List上的頁面，利用正規表達式蒐集IP清單，再利用ipify進行測試，重複操作便能建立自己的Python網路爬蟲跳板清單。文章中還提供了相關影片和程式碼連結。

開始上課