在CentOS上安裝python3跟常用爬蟲套件

1. 下載Python3的安裝檔，解壓縮之後，切換到資料夾

cd /usr/src/
wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz
tar xzf Python-3.6.5.tgz
cd Python-3.6.5

2. 執行安裝前的設定參數，如果有錯誤訊息，就要確認相依套件是否有安裝好 --enable-optimizations <-可以優化

sudo ./configure --prefix=/usr/local

3. 開始進行編譯安裝

make
make install

4. 執行以下建立 python3的軟連結

ln -s /usr/local/bin/python3 /usr/bin/python3

5. 之後就可以用以下這兩個指令，測試看看是否安裝成功，安裝3.6.5以後的版本，會幫忙安裝好pip3

python3 -V
pip3 -V

6. 接著先更新pip3套件

pip3 install --upgrade pip

7. 安裝常用的爬蟲套件
--numpy要安裝1.13.3以下版本，才不會有小數點會拉長問題
--pandas要安裝0.22版本以下版本，才不會有錯誤訊息

pip3 install numpy==1.13.3
pip3 install pandas==0.22
pip3 install requests
pip3 install BeautifulSoup4
pip3 install selenium
pip3 install lxml
pip3 install html5lib

8. 要先安裝mysql-devel，才能安裝mysqlclient的套件

yum install -y mysql-devel
pip3 install mysqlclient==1.3.12

9. 然後再安裝爬蟲會用的chromium套件

yum install -y chromium

10. 接著去這個地方：https://sites.google.com/a/chromium.org/chromedriver/downloads，下載2.38版本的chromedriver_linux64.zip
11. 解壓縮後，放在/usr/bin/目錄下
12. 記得給chromedriver這個檔案執行的權限

chmod +x /usr/bin/chromedriver