當 CS 遇上 X

CS+X 月月系列講座(一) Machine Learning

1. Classification 分類 當手上的資料跟以及要回答的答案是某個已知的類別，通常會再分為只有兩類問題的 binary classification 跟多纇別的 multi-class classification。
2. Regression 迴歸 當手上的資料跟以及要回答的答案是一個數值，這時就會是迴歸問題。例如:明天的氣溫、某間公司的股價等等。
3. Clustering 分群 如果資料沒有明確類別 (label)，依然可以照他們的特徵表現將行為相似的資料分成一類。 最常見的演算法是 K-means，首先要決定好要分的群數 k，演算法會隨機挑 k 個點作為資料群中心點，接著將所有資料點依照離各資料群中心的距離，歸類成距離中心最近的該群資料，再重新找出各資料群的中心點，如此便完成一輪，一直跑直到資料群收斂不再改變或是足夠多輪時便結束得到最後分群的結果。

Azure Machine Learning Studio

0. 下載並檢查資料 Data Inspecting 我們從 Kaggle 官網下載 Titanic Dataset ，train.csv 裡面總共891筆乘客資料，包含以下欄位：

1. 資料預處理 Data preprocessing 若資料沒有做過適度的預處理直接丟下去訓練模型，除了資料格式的問題，也可能會數據缺失 (missing data) 或是雜訊 (noise)等等問題。我們發現這個資料集欄位中有不少缺失，過於嚴重的欄位包含 Cabin 及 Ticket 選擇直接拿掉不用。而像是 Name 較不具鑑別度的欄位我們也是直接拿掉。另外，Age 欄位有將近 1/4 的資料沒有資料，但是 Age 相對有重要性而也不可能拿掉那 1/4 的資料，因此在這邊我們把遺失的欄位補上平均的年齡作為訓練資料。 P.S. 一般而言姓名與生存機率並無太大相關，而且將姓名作為特徵一起訓練也非常容易造成過適 (overfitting)，例如決策樹中可能會出現名叫 Rose 的都會存活等等。值得注意的是直，Name 欄位包含特殊稱謂例如 Captain 船長等可能與存活機率有關的稱謂，在這邊就暫時不討論而把姓名欄位刪除。
   • 作法 將下載來的 train.csv 檔上傳到 AML Studio dataset，開啟新的實驗 (experiment) 便可以直接拉進資料集。 透過"Select Columns in Dataset" 把 Cabin、Ticket、Name欄位拿掉。“Clean missing data” 把年齡遺失的欄位補上平均年齡，再透過"Edit metadata"元件，把Survived、Pclass、Sex、Embarked這些特整該為類別(categorical)欄位。以上步驟便完成了資料預處理，得到乾淨的資料集。
2. 模型建立 Model Training 在這個例子中我們要預測的是乘客最後的生還與否，屬於二元分類 (Binary Classification) 的問題，在 AML Studio 中共有10幾種模型提供直接使用，模型的選擇可以參考這篇文章，針對不同的特徵數量及屬性選擇適合的模型。這邊我們先使用 Two-Class Logistic Regressin 作為例子來訓練模型。
   • 作法 這邊我們保留 80% 的資料作為訓練用，剩下 20% 保留作為測試模型表現用。因此拉進 “Split Data” 元件，將資料依比例分成兩類。 把 Initialize model 與 training data 連上Train model 元件，便可以開始訓練模型，訓練完的結果可以在 Train model 按右鍵視覺化出來，如下圖:
3. 模型表現評估 Model Evaluation 透過 Evaluation Model 我們可以拉近 Score Model 的結果視覺化呈現，或是拉進並同時拉進至多兩個 Score Model 的結果進行比較，點進 Score Model 可以看到多了兩個 label 及 label probablity。以分類問題為例，Evalation Model 幫助我們直接得到 Accuracy、Precsion、Recall 甚至 f1 score 等等資訊，同時可以畫出混淆矩陣 (Confusion Matrix)，二元分類的 ROC 曲線等等。
   • 作法 在 “Evaluated Model” 右鍵選擇 “visualize” 視覺化模型的表現，如下圖包含 ROC 曲線、Accuracy、Precision、Recall、F1 score 等等數值。
4. 發佈應用 Deploy to web service 比較過不同模型的表現後，就可以選擇表現較好的模型發布成應用，AML Studio 可以將模型發布成 web service 讓自己的 app 可以透過 HTTP Request 的方式將資料上傳，得到回傳預測的結果。
   • 作法 當我們選擇好最終要使用的模型，選擇以後點選 “Set Up Web Service”，這時候會把 data preprocessing 相關元件變成 transformation、把 train model 相關元件變成 trained model，畫面中會出現 “Web service input” 及 “Web service output”。
   重新 Run 一次點選 “Deploy to web service” 便會跳到 Web Service 的頁面。我們可以透過 Request/Response一次處理一筆資料或是透過 Batch Execution 配合 Azure Storage 上傳大量資料批次處理。網頁上可以看到透過C#、python、R 等語言將資料整理成 json 格式透過 HTTP request 取得模型預測的結果。

Q&A 補充

1. 資料集裡面 Age 這個欄位有1/4左右的 missing data ，直接填入年齡的平均值是好做法嗎?不管填入中位數、平均值或 PPCA (probabilistic PCA) 都只能說這是委曲求全的作法，Titanic 這個資料集有趣但並不完整有過多的 missing data，針對年齡這樣的生物特徵我們也不容易從其他特徵推論得知，但我們又不想把欄位整個刪除的情況下，只能藉由這樣的方法減少 missing data 造成的影響。 若為類別資料，我們可以將。類似的問題像是我們把 Cabin 座艙欄位拿掉究竟正不正確?鐵達尼號因為撞擊的位置，在右舷獲救的人數比在左舷獲救的多，所以全知的我們當然知道 Cabin 應該與生存率有關係等結論。但當資料筆數過少，很容易造成過適的問題，因此在這邊我們選擇把它拿掉，
2. 如果想要自己寫 model 或是改 model 的 cost function 該如何在 AML Studio 裡面做到? AML Studio 裡面可以插入元件撰寫自己的 python 或 R的腳本，但而若要自訂 cost function 則沒辦法拿 AML Studio 現有的 model 來使用。
3. 所以 Titanic Dataset 到底是二元分類問題還是迴歸問題? 看怎麼定義，如果今天問題是生存與否，那是二元分類問題；如果今天問題是存活的機率，那便是迴歸問題而答案正是我們算出來的 label probability。但剛好在二元分類問題中，我們可以依照 label probability 把0.5以上回答 yes，反之0.5以下回答 no。

Last but not least

Reference

Bash on Ubuntu on Windows是什麼?

lxrun /install lxrun /uninstall lxrun /uninstall /full

完整移除 WSL (包含 /root 及 /home)

lxrun /setdefaultuser (username)

設定開啟 Bash 預設登入使用者(若使用者不存在，則創建新使用者及其家目錄)

lxrun /udate

更新 WSL 套件

WSL System call(系統呼叫)

• 有 NT syscalls 可以直接對應，只需依照 ABI 做對應處理後直接調用。例如：getdents/NtQueryDirectoryFile，sched_yield / ZwYieldExecution。
• 有功能類似的 NT syscalls，但因為性質差異太大而沒辦法直接做對應，WSL 仍需要自己實作 syscalls。例如：pipe。
• 沒有直接對應的NT syscalls，WSL 自己實作 syscalls。例如：fork，Windows 沒有與 fork 對應的功能。這時WSL 需要透過 NT 內部 API 創建一個擁有相同暫存器內容的新的執行緒來來完成 fork syscalls。

WSL File System(檔案系統)

VolFs 主要使用在Linux系統檔案以及家目錄，並支援權限/symbolic link/FIFO等操作，Linux檔案系統會掛載在%LocalAppData%\lxss\rootfs之下(%LocalAppData%是隱藏資料夾，預設路徑在C:\Users\%UserName%\Appdata\Local)，因為是在各自Windows使用資料夾之下，所以安裝套件等環境設定也不會影響到其他使用者。值得注意的是\root以及\home 則是分別另外掛載在%LocalAppData%\lxss\root及%LocalAppData%\lxss\home之下，這樣設計目的在於解除安裝WSL時，可以選擇保留root資料夾以及home資料夾(lxrun /uninstall，若要全部移除則執行lxrun /uninstall /full)。 目前還不完全支援Windows程式對VolFs的檔案存取修改，例如用檔案總管在%LocalAppData%\lxss\home\user下建立新資料夾，bash中ls會無法看到創建的資料夾；或是在沒有開啟bash的情況下用Windows程式編輯檔案，重新啟動時那個檔案會從會從VolFs消失等等。總之，VolFs是用於Linux系統檔案盡量不要從Window程式進去更改。

另外要注意的是在 WSL 中的 root 權限，root 權限只會影響linux檔案系統下的權限，對於 Windows檔 案操作是受限於 bash.exe 的權限的，假設想改某些其他 Windows 使用者資料夾檔案或是 Windows系統檔案只有 root 權限是無法的，要透過 administrator 權限打開 bash.exe 才能做到。舉例來說，使用管理員權限權限開啟bash.exe 可以透過 ls /mnt/c/Users/Administrator 檢視 admin 資料夾，但一般權限開啟的 bash 即便透過sudo ls /mnt/c/Users/Administrator 也檢視權限，因此在管理員權限開啟 bash 操作 Ｗindows 檔案系統時要特別注意(例如在rm -rf之前千萬要三思)。

動手玩 Bash

• 使用 Zsh 或是其他 shell 如果還是習慣用 zsh 或是其他 shell，可以透過 .bash.rc的設定讓 Bash on Ubuntu onWindow 開啟 bash.exe 時直接開啟進入的shell，以zsh為例﹔ sudo apt-get install zsh Vim ~/.bashrc 輸入 # Launch Zsh if [ -t 1 ]; then exec zsh fi
• X11-apps 雖然 WSL 最初目的在減少在工具間切換方便開發，並非為圖形化桌面(Gnome,KDE 等等)而設計，但我們還是可過 X11-Forwding 在 Linux 子系統執行圖形化程式。這邊我們安裝Xming作為Windows上的X server，在 bash 中 export DISPLAY=:0 重新導向後，便可以開啟 x11-apps 或是其他圖形化程式。