大數軟體 X 大數學堂 | 搜尋關鍵字: 資料庫

什麼是網路爬蟲?

大數學堂
April 10, 2015, 5:49 a.m.

爬蟲是一種利用HTTP Request 抓取網路資料的技術，可以用來建立比價網站或進行資料分析。當你需要資料但又無法與他人交換或合作時，爬蟲技術可以將他人的資料庫變成自己的資料庫。這種技術擁有很大的應用價值。

錯誤與例外處理在Python中是一個重要的主題，它允許程式在遇到錯誤時能夠正常運行並提供相應的反饋。錯誤通常分為語法錯誤和執行時錯誤。語法錯誤是在撰寫程式時發生的錯誤，而執行時錯誤是在程式執行過程中發生的錯誤。Python提供了try-except語句來處理這些錯誤，我們可以在try區塊中嘗試執行可能出錯的程式碼，在except區塊中處理錯誤。此外，finally語句可以定義一段無論是否出錯都會執行的代碼，通常用於清理工作或釋放資源。

開始上課

[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?

大數學堂
Feb. 26, 2016, 3:27 p.m.

scrapy是一個用於抓取網頁數據的框架，它通過pipelines來處理抓取到的數據。在pipelines中，我們可以清理數據驗證數據的有效性去除重複數據，並將數據存儲到數據庫中。在範例中，我們在pipelines.py中設置open_spider在開始時建立數據庫連接並創建表格，close_spider在結束時提交交易並關閉數據庫連接，process_item則將數據保存到sqlite數據庫中。最後，在settings.py中啟用pipelines的設置。

開始上課

如何使用RJDBC 連結到MySQL?

大數學堂
July 6, 2015, 4:23 p.m.

本文介紹了在使用程式語言連結到資料庫時可使用的兩種方法：ODBC和JDBC。同樣地，R語言也提供了RODBC和RJDBC兩種方法供使用者選擇。本文將教您如何下載JAR檔和設定連線資訊，使得R可以通過RJDBC連結到資料庫，並獲取資料庫中存放的三大法人買賣資訊。

開始上課

[交易系統] 如何操作SQLite ?

大數學堂
May 3, 2015, 4:10 p.m.

本文介紹了如何使用Firefox的SQLite Manager擴充插件來操作SQLite數據庫，以儲存爬取的三大法人統計資訊。相較於安裝和配置MySQL PostgreSQL等數據庫，SQLite Manager的簡單易用讓資料儲存變得輕鬆方便。SQLite Manager提供了一個直觀的用戶界面，讓您可以輕鬆創建編輯和查詢數據庫表格，並支持導入和導出數據等功能。讀者可以通過本文學習如何使用SQLite Manager進行數據庫操作，輕鬆管理爬取資料。

開始上課