大數軟體 X 大數學堂 | 搜尋關鍵字: IDE

Spyder 操作簡介

大數學堂
May 23, 2022, midnight

本文介紹了Spyder作為一個針對資料科學家所設計的整合開發環境(IDE)的功能。從安裝和設定開始，探索Spyder的介面和佈局，並介紹了新建開啟儲存和執行Python檔案的方法。此外，還介紹了變數瀏覽器錯誤檢查調試功能以及使用內置控制台進行交互式編寫和測試的方法。最後，聚焦於Spyder的潛力，提高資料科學工作效率和加速開發和測試過程。

開始上課

本文介紹了在「給資料科學家的Python課程」中，第一章的內容，該章節主要介紹了PyCharm的安裝與操作。PyCharm是一個功能強大的Python集成開發環境，它提供了許多提升開發效率的功能。文章首先介紹了如何下載和安裝PyCharm，並提供了不同環境下的安裝步驟。接著，文章介紹了如何建立新的Python項目並編寫第一個Python程式。然後，文章詳細介紹了PyCharm的編輯器功能，包括代碼自動完成語法檢查和代碼重構工具。此外，還介紹了如何使用調試器進行錯誤排除和跟踪代碼執行，以及如何使用版本控制工具來管理程式碼。整體而言，本章節提供了全面的指南，讓讀者能夠開始使用PyCharm來開發和執行Python程式。

開始上課

Buzz Alert - Social Media Based Disaster Alert Map

大數學堂
Oct. 13, 2015, 11:44 p.m.

透過採集社群網絡的即時訊息和緊急中心的位置資訊，我們可以建立一個即時的災害預警系統，從而拯救更多人的生命。如果政府能夠建立起這樣的系統，許多人就可以從毀滅性的災害中得救。現在，由於社群網絡的普及，人們可以更容易地傳播即時訊息，如此一來，我們就可以向政府報告國內發生的災害情況。此外，我們還可以整合開放數據的資訊，使人們可以找到最近的緊急中心或避難所尋求幫助。因此，我們建立了Buzz Alert，一個基於社群媒體的預警地圖系統，可以自動從社群網絡收集意見數據，並將災害訊息標示為地圖上的亮點。同時，我們還從開放數據中收集官方緊急中心醫院和消防機構的位置資訊，並標示在地圖上。我們最大的願望是，全球的政府都能使用Buzz Alert來拯救未來任何災害中的人們。

開始上課

[Scrapy 爬蟲] 如何撰寫第一支Scrapy 爬蟲以抓取蘋果即時新聞?

大數學堂
Feb. 1, 2016, 4:12 p.m.

這篇文章介紹了如何使用Scrapy爬蟲框架進行網站爬蟲的步驟。首先，我們需要在spiders目錄下建立一個Python檔案，並在其中定義一個class，指定爬蟲的名稱起始網址以及解析函數。最後，執行指令"scrapy crawl 爬蟲名稱"來運行爬蟲。

開始上課

如何使用Jupyter 操作 Spark?

大數學堂
May 31, 2015, 3:19 p.m.

這篇文章介紹了ISpark這個解決方案，讓使用者能夠在Ubuntu 14.04中使用Jupyter和Spark建立開發環境。這樣可以像Python一樣方便地記錄開發內容，提供了一個簡易好用的開發環境。

開始上課

[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?

大數學堂
Feb. 26, 2016, 3:27 p.m.

scrapy是一個用於抓取網頁數據的框架，它通過pipelines來處理抓取到的數據。在pipelines中，我們可以清理數據驗證數據的有效性去除重複數據，並將數據存儲到數據庫中。在範例中，我們在pipelines.py中設置open_spider在開始時建立數據庫連接並創建表格，close_spider在結束時提交交易並關閉數據庫連接，process_item則將數據保存到sqlite數據庫中。最後，在settings.py中啟用pipelines的設置。

開始上課

[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?

大數學堂
March 1, 2016, 4:49 p.m.

Scrapy的CrawlSpider類別可實現多網頁爬取。只需讓爬蟲繼承CrawlSpider類別，並在rules清單中增加抓取規則，透過LinkExtractor中的分頁抓取規則，即可輕鬆爬取符合條件的蘋果新聞資料。

開始上課

[AI人工智慧] EasyOCR v.s. PaddleOCR 誰才是圖片轉文字(OCR)的最佳神器?!

大數學堂
Oct. 1, 2023, 5:30 p.m.

光學字元辨識(OCR)能夠將紙上文字數位化，使得資訊管理變得更加方便，例如：將書籍掃描成電子版、識別及翻譯外國的路標或菜單，以及將手寫筆記快速轉化成文字檔。本文介紹如何透過 Python使用EasyOCR和PaddleOCR兩種開源工具，可以簡單地識別圖片中的文字。同時，影片中亦比較了兩個套件與不同類型文字的識別準確率。

開始上課

[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

大數學堂
June 25, 2023, 9:23 a.m.

本教學將教您如何使用Selenium自動瀏覽Expedia網站，並利用LangChain和ChatGPT的Extraction功能，自動解析半結構化資料。最後，使用Pandas將半結構化資料轉換為結構化資訊。透過ChatGPT和LangChain的幫助，我們可以省去編寫網路爬蟲時需要觀察元素的麻煩。再加上Selenium可以模擬人類操作，我們能夠簡化網路爬蟲的過程，輕鬆地獲取所需的網頁資訊。期待著中秋節的到來，並希望能在日圓跌至新低的時候，節省機票費用，享受一趟愉快的旅程。

開始上課