如何使用POST 抓取網頁內容?

• 大數學堂
• April 19, 2015, 9:29 a.m.

本文章介紹了如何使用POST方法在Python中抓取高鐵網頁內容。使用POST方法可以將請求資訊包裝起來，再傳送至伺服器以取得回應資訊。在Python中使用POST方法非常簡單，只需將請求資訊以字典做包裝即可。

開始上課

[交易系統] 如何操作SQLite ?

• 大數學堂
• May 3, 2015, 4:10 p.m.

本文介紹了如何使用Firefox的SQLite Manager擴充插件來操作SQLite數據庫，以儲存爬取的三大法人統計資訊。相較於安裝和配置MySQL PostgreSQL等數據庫，SQLite Manager的簡單易用讓資料儲存變得輕鬆方便。SQLite Manager提供了一個直觀的用戶界面，讓您可以輕鬆創建 編輯和查詢數據庫表格，並支持導入和導出數據等功能。讀者可以通過本文學習如何使用SQLite Manager進行數據庫操作，輕鬆管理爬取資料。

開始上課

[爬蟲實戰] 如何告訴PTT我已滿18並順利抓取八卦版的文章 ?

• 大數學堂
• June 8, 2015, 3:21 p.m.

這段文章談論到PTT八卦版的年齡限制問題，即使已滿18歲，仍需進行驗證才能閱讀內容。然而，作者提到可以使用爬蟲技術，利用Chrome開發人員工具找到如何通過18歲驗證後，再接續之前的Session，並成功存取八卦版的內容。

開始上課

[爬蟲實戰] 如何抓取MoneyDJ 文章中的人氣指數?

• 大數學堂
• April 15, 2015, 2:27 p.m.

本教學示範如何使用Python抓取MoneyDJ文章中的人氣指數。如果要安裝POSTMAN，請到指定網站下載。

開始上課

[爬蟲實戰] 如何抓取集保戶股權分散表?

• 大數學堂
• Aug. 5, 2015, 11:55 a.m.

文章提到可以使用requests.post來取得需要POST請求的網頁內容，但也可以使用GET模擬整個POST動作。只需要將POST內容編碼後，串接在原網址的問號(?)後面，就可以順利取得內容。目標網站有變，已經更新爬取方法至： https://www.largitdata.com/course/248/

開始上課

[財經爬蟲] 使用 Python 網路爬蟲輕鬆爬取集保戶股權分散表

• 大數學堂
• Nov. 3, 2024, 9:30 p.m.

爬蟲的定律就是目標網站一直在變！本教學示範如何突破集保網站的更新限制，成功抓取股權分散表資料。🔍 透過結合 requests 的 Session 管理、Synchronizer Token 驗證機制，並運用 BeautifulSoup 解析 HTML 與 Pandas 處理表格數據，輕鬆完成資料擷取。💡 整個過程展示了如何應對網站的變化，透過 POST 請求技巧實現穩定的爬蟲功能。🚀

開始上課

[爬蟲實戰] 如何突破蝦皮拍賣的重重限制以順利抓取拍賣商品資訊?

• 大數學堂
• July 26, 2023, 3:52 p.m.

本堂課介紹了如何使用爬蟲抓取時下最夯的蝦皮拍賣網站。要抓取蝦皮的資料，必須先找到XHR請求連結，然後使用POST傳輸json格式的參數。如果無法正確獲得回應，可能是缺少一些標頭資訊，此時可以嘗試不同的組合來取得正確的商品資訊。如果無法獲得某些標頭資訊，可以使用Selenium搭配正確的Cookie來解決這個問題。

開始上課

[爬蟲實戰] 如何擷取網頁中的隱藏輸入以順利下載證交所的 csv 檔?

• 大數學堂
• Sept. 20, 2015, 5:05 p.m.

本文章提到了爬蟲不僅可以擷取網頁的資訊，還可以下載csv檔案。作者在探索過程中發現，證交所使用了base64編碼將網頁內容放在post參數中，讓人感到十分困惑。然而，通過直接抓取網頁中的隱藏輸入欄位，再將資料進行base64編碼，作者成功地下載了csv檔案。

開始上課