大數軟體 X 大數學堂 - 網路爬蟲(Crawler)基礎教學

爬蟲是一種利用HTTP Request 抓取網路資料的技術，可以用來建立比價網站或進行資料分析。當你需要資料但又無法與他人交換或合作時，爬蟲技術可以將他人的資料庫變成自己的資料庫。這種技術擁有很大的應用價值。

這篇文章介紹了使用Python編寫網路爬蟲的開始步驟，其中需要安裝兩個Python套件：Requests和BeautifulSoup4。Requests是一個用於網路資源擷取的套件，而BeautifulSoup4則是一個用於HTML剖析的套件。

Jupyter是一個強大而方便的工具，它提供網頁介面，讓使用者可以使用瀏覽器進行Julia Python或R程式的開發和維護。這個工具相當實用，值得一試。未來我們將陸續介紹它的各種好用功能。

本文介紹了在Jupyter中引入pylab進行繪圖類Linux指令觀看當前目錄的檔案執行Python程式，以及使用MathJax繪製數學方程式的方法。Jupyter是開發和維護Python程式的好工具。

這篇文章介紹了如何使用Python編寫三行程式碼來抓取淘寶網的網頁內容。並且提供了一個範例網頁連結供讀者參考。

本文章介紹了如何使用POST方法在Python中抓取高鐵網頁內容。使用POST方法可以將請求資訊包裝起來，再傳送至伺服器以取得回應資訊。在Python中使用POST方法非常簡單，只需將請求資訊以字典做包裝即可。

這篇文章介紹了使用BeautifulSoup4來解析網頁內容的方法。透過幾個簡單的選取動作，我們可以迅速地從非結構化的資料中抓取有價值的部分。有了這些資料，進一步的分析也就離我們不遠了。

這篇文章介紹如何使用Python的requests和BeautifulSoup4來完成淘寶網站的爬蟲。作者提到，既然已經了解了如何使用requests抓取網頁內容，並使用BeautifulSoup4來解析有用的資訊，接下來將進入實戰階段，示範如何完成淘寶爬蟲。

這篇文章介紹了如何使用Facebook Graph API探索個人隱私。透過連結到Facebook Developer Page，可以學習如何使用Graph API進行測試。

本段文章繼續介紹了如何使用Graph API存取Facebook資訊。只需要取得access token後，將其填入Graph API中，再透過Python的requests模組即可取得個人資訊，包括ID和最喜歡的運動員。

文章介紹了在Windows上使用Numpy和Pandas進行資料分析時，如果不想使用Anaconda安裝Python套件的解決辦法。作者建議安裝Microsoft Visual C ++ Compiler for Python 2.7，這樣就可以解決套件安裝的問題。