![[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?](https://img.youtube.com/vi/Xq4yRuePSdk/0.jpg)
scrapy是一個用於抓取網頁數據的框架，它通過pipelines來處理抓取到的數據。在pipelines中，我們可以清理數據 驗證數據的有效性 去除重複數據，並將數據存儲到數據庫中。在範例中，我們在pipelines.py中設置open_spider在開始時建立數據庫連接並創建表格，close_spider在結束時提交交易並關閉數據庫連接，process_item則將數據保存到sqlite數據庫中。最後，在settings.py中啟用pipelines的設置。
開始上課
本文介紹了在使用程式語言連結到資料庫時可使用的兩種方法：ODBC和JDBC。同樣地，R語言也提供了RODBC和RJDBC兩種方法供使用者選擇。本文將教您如何下載JAR檔和設定連線資訊，使得R可以通過RJDBC連結到資料庫，並獲取資料庫中存放的三大法人買賣資訊。
開始上課![[交易系統] 如何操作SQLite ?](https://img.youtube.com/vi/1abCpam-SQs/0.jpg)
本文介紹了如何使用Firefox的SQLite Manager擴充插件來操作SQLite數據庫，以儲存爬取的三大法人統計資訊。相較於安裝和配置MySQL PostgreSQL等數據庫，SQLite Manager的簡單易用讓資料儲存變得輕鬆方便。SQLite Manager提供了一個直觀的用戶界面，讓您可以輕鬆創建 編輯和查詢數據庫表格，並支持導入和導出數據等功能。讀者可以通過本文學習如何使用SQLite Manager進行數據庫操作，輕鬆管理爬取資料。
開始上課![[交易系統] 如何清理爬蟲所抓取下來的金額資訊?](https://img.youtube.com/vi/Y5Cqws3v1Ck/0.jpg)
這篇文章主要介紹了如何處理金額資料中的千進位逗號符號。作者提到可以使用split和join的技巧來輕鬆地進行金額轉換。無論何時需要將金額從不帶有千進位逗號的字串轉換回包含千進位逗號的格式，這個技巧都非常有用。這個方法可以讓我們方便地處理金額資料並將其存儲到資料庫中。
開始上課![[交易系統] 如何透過Python 將抓取下來的金額資訊存入資料庫中?](https://img.youtube.com/vi/ZE9cAXpfHAU/0.jpg)
這篇文章講述學會使用Python將資料存入資料庫並準備進行資料分析的最後一步。作者指出，他們可以將抓取的三大法人統計資訊存入finance.sqlite資料庫中，這樣就能開始進行分析了。整篇文章提供了構建分析所需的基本步驟和資訊。
開始上課![[爬蟲實戰] 如何透過網路爬蟲將網路圖片存放至SQLite之中?](https://img.youtube.com/vi/kmaLelILvb8/0.jpg)
本文介紹了網路爬蟲的另一個功能，即抓取並存儲網路上的圖片。作者透過設定stream = TRUE後，使用shutil的copyfileobj功能將圖片存儲為檔案，並建立一個能夠存儲blob資料的資料表。這樣，我們便能夠將圖片存儲到資料庫中。
開始上課![[爬蟲實戰] 如何使用Pandas 函式將台灣銀行的牌告匯率存進資料庫中?](https://img.youtube.com/vi/C4JUEKNkJlc/0.jpg)
使用Excel管理匯率資料不方便，因此我們建議使用資料庫來儲存資料。使用Pandas可以輕鬆將資料儲存到資料庫中，並使用read_sql_query函式將資料讀回。這樣可以增加資料的可維護性。
開始上課![[爬蟲實戰] 如何設定工作排程自動將牌告匯率存進資料庫之中?](https://img.youtube.com/vi/Wbk9hxntMjY/0.jpg)
本文介紹了如何使用爬蟲定期執行爬取工作，以實現工作自動化。對於Windows使用者，可以利用工作排程器功能進行每天的資料庫更新，特別是匯率資料，以便後續進行投資時能提供準確的資訊。對於MAC或Linux使用者，可以參考Crontab的用法來設定定時執行爬蟲任務。
開始上課
![[交易系統] 如何透過Python 操作SQLite3?](https://img.youtube.com/vi/k2JqyTA1B2I/0.jpg)