![[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?](https://img.youtube.com/vi/Xq4yRuePSdk/0.jpg)
scrapy是一個用於抓取網頁數據的框架，它通過pipelines來處理抓取到的數據。在pipelines中，我們可以清理數據 驗證數據的有效性 去除重複數據，並將數據存儲到數據庫中。在範例中，我們在pipelines.py中設置open_spider在開始時建立數據庫連接並創建表格，close_spider在結束時提交交易並關閉數據庫連接，process_item則將數據保存到sqlite數據庫中。最後，在settings.py中啟用pipelines的設置。
開始上課![[交易系統] 如何操作SQLite ?](https://img.youtube.com/vi/1abCpam-SQs/0.jpg)
本文介紹了如何使用Firefox的SQLite Manager擴充插件來操作SQLite數據庫，以儲存爬取的三大法人統計資訊。相較於安裝和配置MySQL PostgreSQL等數據庫，SQLite Manager的簡單易用讓資料儲存變得輕鬆方便。SQLite Manager提供了一個直觀的用戶界面，讓您可以輕鬆創建 編輯和查詢數據庫表格，並支持導入和導出數據等功能。讀者可以通過本文學習如何使用SQLite Manager進行數據庫操作，輕鬆管理爬取資料。
開始上課![[交易系統] 如何透過Python 將抓取下來的金額資訊存入資料庫中?](https://img.youtube.com/vi/ZE9cAXpfHAU/0.jpg)
這篇文章講述學會使用Python將資料存入資料庫並準備進行資料分析的最後一步。作者指出，他們可以將抓取的三大法人統計資訊存入finance.sqlite資料庫中，這樣就能開始進行分析了。整篇文章提供了構建分析所需的基本步驟和資訊。
開始上課![[RPA] 如何透過 Line 發送最新一集的漫畫?](https://img.youtube.com/vi/pI3FDACJFAs/0.jpg)
本文章介紹了如何將整個漫畫自動發送流程串接起來，先將漫畫集數存放至SQLite，再透過爬蟲結果比對取得尚未抓取的集數，利用Selenium爬取新集數後，使用Line Notify發送最新的漫畫圖片。這樣可以讓看漫畫變得簡單有趣。文章中還附有相關影片和程式碼來幫助讀者。提到的技術有SQLite LineNotify Selenium RPA和Python自動化。
開始上課![[爬蟲實戰] 如何使用Pandas 函式將台灣銀行的牌告匯率存進資料庫中?](https://img.youtube.com/vi/C4JUEKNkJlc/0.jpg)
使用Excel管理匯率資料不方便，因此我們建議使用資料庫來儲存資料。使用Pandas可以輕鬆將資料儲存到資料庫中，並使用read_sql_query函式將資料讀回。這樣可以增加資料的可維護性。
開始上課![[交易系統] 如何透過Python 操作SQLite3?](https://img.youtube.com/vi/k2JqyTA1B2I/0.jpg)