根據報表標題和嘈雜數據識別安全性錯誤報告

梅安娜·佩雷拉	斯科特·克利斯蒂安森
CELA 資料科學	客戶安全性與信任
Microsoft	Microsoft

抽象 - 識別安全性錯誤報告 （SBR） 是軟體開發生命週期中的重要步驟。 在以監督式機器學習為基礎的方法中，通常假設整個 Bug 報告都可供定型，且其標籤無雜訊。 據我們所知，這是第一個研究表明，即使只有標題可用，而且在卷標雜訊的存在下，SRS 仍可能進行精確的標籤預測。

索引字詞 - 機器學習、錯誤標記、雜訊、安全性錯誤報告、Bug 存放庫

I. 簡介

在回報的 Bug 中找出安全性相關問題是軟體開發小組迫切需要的問題，因為這類問題需要更快速的修正，以符合合規性需求，並確保軟體和客戶數據的完整性。

機器學習和人工智慧工具有望讓軟體開發更快速、敏捷且正確。 數位研究人員已將機器學習應用於識別安全性 Bug [2]、[7]、[8]、[18] 的問題。先前發佈的研究假設整個 Bug 報告可用於定型和評分機器學習模型。 這不一定是這種情況。 在某些情況下，無法提供整個 Bug 報告。 例如，Bug 報告可能包含密碼、個人識別資訊（PII）或其他種類的敏感數據，這是我們目前在 Microsoft 面臨的案例。 因此，請務必使用較少的資訊來建立安全性錯誤識別的執行程度，例如只有可用的 Bug 報告標題時。

此外，Bug 存放庫通常包含錯誤標記的專案 [7]：非安全性錯誤報告分類為安全性相關，反之亦然。 發生錯誤標記的原因有很多，從開發小組缺乏安全性專業知識到某些問題的模糊性，例如，非安全性 Bug 有可能以間接方式惡意探索，以造成安全性影響。 這是一個嚴重的問題，因為 SRS 的標記錯誤會導致安全性專家必須以昂貴且耗時的努力手動檢閱 Bug 資料庫。 了解雜訊如何影響不同的分類器，以及不同機器學習技術在數據集受到不同雜訊污染的情況下，如何受到不同分類的影響，是必須解決的問題，才能將自動分類帶入軟體工程的實務。

初步工作認為 Bug 存放庫本質上是雜訊，而且雜訊可能對效能機器學習分類器 [7] 產生負面影響。 不過，對於識別安全性錯誤報告（SRB）的問題，對不同層級和雜訊類型的影響不同監督機器學習演算法的效能，沒有任何系統且量化的研究。

在這項研究中，我們顯示，即使只有標題可供訓練和評分，也可以執行 Bug 報告的分類。 據我們所知，這是第一個這樣做的工作。 此外，我們提供了對錯誤報告分類中雜訊影響的第一個系統研究。 我們比較研究三種機器學習技術（羅吉斯回歸、貝氏天真貝氏和 AdaBoost）的穩定性，以對抗與階級無關的噪音。

雖然有一些分析模型可擷取一些簡單分類器 [5]、 [6] 的雜訊一般影響，但這些結果不會對雜訊對精確度的影響提供緊密界限，而且僅適用於特定的機器學習技術。 對機器學習模型中雜訊效果的準確分析通常是藉由執行計算實驗來執行。 從軟體測量數據 [4] 到衛星影像分類 [13] 和醫療數據 [12] 等數種案例，都進行了這類分析。 然而，由於這些結果高度相依於數據集的性質和基礎分類問題，因此無法轉譯成我們的特定問題。 根據我們所知，對於嘈雜數據集對安全性錯誤報告分類的影響問題，特別是沒有已發佈的結果。

我們的研究貢獻：

• 我們會訓練分類器，以僅根據報告標題來識別安全性錯誤報告（SBR）。 據我們所知，這是第一個這樣做的工作。 先前的運作方式是使用完整的 Bug 報告，或透過其他互補功能增強 Bug 報告。 當因隱私權考慮而無法提供完整的 Bug 報告時，僅以磚為基礎的分類 Bug 特別相關。 例如，臭名昭著的是包含密碼和其他敏感數據的 Bug 報告。

• 我們也提供第一個系統研究不同機器學習模型的標籤雜訊容忍度，以及用於自動分類 SBR 的技術。 我們比較研究三種不同的機器學習技術（羅吉斯回歸、貝氏天真和 AdaBoost）對類別相依和與類別無關的雜訊的強固性。

論文的其餘部分如下：在第二節中，我們介紹了文學中的一些先前的作品。 在第三節中，我們會描述數據集，以及如何預先處理數據。 方法會在第四節中說明，以及我們在第 V 節中分析的實驗結果。最後，我們的結論和未來作品在六中呈現。

II. 上一個工作

機器學習應用程式至 BUG 存放庫。

在錯誤存放庫上套用文字採礦、自然語言處理和機器學習等大量文獻，試圖將安全性錯誤偵測 [2]、[7]、[8]、[18]、錯誤重複識別 [3]、Bug 分級 [1]、[11] 等工作自動化，以命名一些應用程式。 在理想情況下，機器學習（ML）和自然語言處理的結合可能會減少策劃 Bug 資料庫所需的手動工作，縮短完成這些工作所需的時間，並增加結果的可靠性。

在 [7] 中，作者建議自然語言模型，根據 Bug 的描述自動分類 SBR。 作者會從定型數據集中的所有 Bug 描述中擷取詞彙，並手動將其策劃成三個單字清單：相關單字、停止字詞（似乎與分類無關的常見字詞），以及同義字。 他們會比較針對安全性工程師所評估之數據所定型的安全性 Bug 分類器效能，以及針對一般 Bug 記者所標記的數據進行分類器訓練。 雖然在安全性工程師檢閱的數據上定型時，其模型顯然更有效率，但建議的模型是以手動衍生的詞彙為基礎，這使得模型相依於人類策展。 此外，沒有分析不同等級的雜訊如何影響其模型、不同的分類器如何響應雜訊，以及任一類別中的雜訊是否對效能產生不同的影響。

Zou et.al [18] 會利用 Bug 報表中包含的多種資訊類型，其中包含 Bug 報表的非文字欄位（例如時間、嚴重性和優先順序）以及 Bug 報表的文字內容（例如摘要欄位中的文字特徵）。 根據這些功能，他們會建置模型，以透過自然語言處理和機器學習技術自動識別 SBR。 在 [8] 中，作者會執行類似的分析，但此外，他們會比較受監督和未監督機器學習技術的效能，並研究訓練其模型所需的數據量。

在 [2] 中，作者也會探索不同的機器學習技術，根據其描述將 Bug 分類為 SBR 或 NSR（非安全性錯誤報告）。 他們建議以 TFIDF 為基礎的數據處理和模型定型管線。 他們會比較建議的管線與以單字袋和天真貝氏為基礎的模型。 Wijayasekara 等人 [16] 也使用文字採礦技術，根據常用字詞來產生每個 Bug 報告的特徵向量，以識別隱藏影響 Bug（HIB）。 楊等人聲稱，在詞彙頻率（TF）和天真的貝氏的説明下，找出高影響 Bug 報告（例如SPR）。 在 [9] 中，作者建議模型來預測 Bug 的嚴重性。

卷標雜訊

已廣泛研究使用標籤雜訊處理數據集的問題。 Frenay 和 Verleysen 在 [6] 中提議一個標籤噪音分類法，以區分不同類型的嘈雜卷標。 作者建議三種不同類型的雜訊：卷標雜訊，獨立於 true 類別和實例特徵的值;只相依於真實標籤的標籤雜訊;和標籤失真，其中誤寫機率也取決於特徵值。 在我們的工作中，我們研究前兩種類型的噪音。 從理論上的觀點來看，捲標雜訊通常會降低模型的效能 [10]，但在某些情況下 [14] 除外。 一般而言，強固的方法依賴過度學習避免來處理卷標雜訊 [15]。 在衛星影像分類 [13]、軟體質量分類 [4] 和醫學領域分類 [12] 等許多領域，對分類中的噪音效果的研究以前已經完成。 據我們所知，沒有出版的作品研究SBS分類問題中嘈雜卷標效果的精確量化。 在此案例中，尚未建立雜訊等級、雜訊類型和效能降低之間的精確關聯性。 此外，值得瞭解不同的分類器在噪音的存在下的行為。 更普遍的是，我們不知道任何有系統地研究嘈雜數據集對軟體錯誤報告內容中不同機器學習演算法效能的影響的工作。

III. 數據集描述

我們的數據集包含 1,073,149 個 Bug 標題，其中 552,073 個對應至 SBR，521,076 個。 這些數據是在 2015 年、2016 年、2017 年和 2018 年，從 Microsoft 各團隊收集而來。 所有標籤都是由簽章型錯誤驗證系統或已加上標籤的人取得。 數據集中的 Bug 標題非常簡短，包含大約 10 個單字，並概述問題。

A. 數據前置處理 我們會依空白區剖析每個 Bug 標題，以產生令牌清單。 我們會處理每個令牌清單，如下所示：

• 拿掉檔案路徑的所有令牌

• 分割標記，其中存在下列符號：{ 、（、）、-、}、{、[、]、}

• 拿掉停用字詞 、僅由數值字元所組成的標記，以及整個主體中出現少於 5 次的標記。

IV. 方法

定型機器學習模型的程式包含兩個主要步驟：將數據編碼為特徵向量，以及定型受監督的機器學習分類器。

A. 特徵向量和 機器學習技術

第一個部分涉及使用 [2] 中使用的 frequencyinverse 檔頻率演算法 （TF-IDF） 一詞，將數據編碼為特徵向量。 TF-IDF 是一種資訊擷取技術，可權衡詞彙頻率 （TF） 及其反向文件頻率 （IDF）。 每個單字或字詞都有其各自的 TF 和 IDF 分數。 TF-IDF 演算法會根據檔中出現的次數，將該字指派給該字的重要性，更重要的是，它會檢查關鍵詞在數據集中標題集合中的相關性。 我們訓練和比較了三種分類技術：天真貝氏（NB）、提升判定樹（AdaBoost）和羅吉斯回歸（LR）。 我們選擇了這些技術，因為它們已針對根據文獻中整個報告識別安全性 Bug 報告的相關工作，表現出良好的效能。 在初步分析中確認了這些結果，這三個分類器優於支援向量機器和隨機樹系。 在我們的實驗中，我們會使用 scikit-learn 連結庫進行編碼和模型定型。

B. 雜訊類型

這項工作中研究的雜訊是指定型數據中類別卷標中的雜訊。 因此，在這類雜訊的存在下，學習程式與產生的模型會因為錯誤範例而受損。 我們會分析套用至類別資訊的不同雜訊等級的影響。 卷標噪音的類型以前曾使用各種術語在文獻中討論過。 在我們的工作中，我們會分析分類器中兩個不同的卷標雜訊的影響：與類別無關的卷標雜訊，這是藉由隨機挑選實例並翻轉其卷標所引進：和類別相依的雜訊，其中類別有不同的可能性是雜訊。

a） 與類別無關的雜訊：與類別無關的雜訊是指與實例真實類別無關的雜訊。 在此類型的雜訊中，數據集中所有實例的標記錯誤 p_br 機率都相同。 我們會使用機率 p_br 隨機翻轉數據集中的每個標籤，在數據集中引進與類別無關的雜訊。

b） 類別相依雜訊：類別相依雜訊是指相依於實例之真實類別的雜訊。 在此類型的雜訊中，SBR 類別中錯誤標記的機率是 p_sbr ，而 NSBR 類別中錯誤標記的機率是 p_nsbr。 我們會藉由翻轉真實標籤為 SBR 且機率為 p_sbr 的數據集中的每個專案，在我們的數據集中引進類別相依雜訊。 同樣地，我們會使用機率 p_nsbr 翻轉 NSBR 實例的類別標籤。

c） 單一類別雜訊：單一類別雜訊是類別相依雜訊的特殊案例，其中 p_nsbr = 0 和 p_sbr> 0。 請注意，針對與類別無關的雜訊，我們有 p_{sbr = pnsbr} = p br。

C. 雜訊產生

我們的實驗會調查 SBR 分類器訓練中不同雜訊類型和層級的影響。 在我們的實驗中，我們會將 25% 的數據集設定為測試數據，10% 設定為驗證，65% 設定為定型數據。

我們會針對不同層級的 p_{br、p sbr 和 pnsbr，將雜訊新增至訓練和驗證}數據集。 我們不會對測試數據集進行任何修改。 所使用的不同雜訊等級是 P = {0.05 × i|0 < i < 10}。

在與類別無關的雜訊實驗中，針對 p_br ∈ P，我們會執行下列動作：

• 產生定型和驗證數據集的雜訊;

• 使用定型數據集將羅吉斯回歸、貝氏機率和 AdaBoost 模型定型（具有雜訊）：* 使用驗證資料集調整模型（含雜訊）：

• 使用測試數據集測試模型（無雜訊）。

在類別相依雜訊實驗中，針對 p_{sbr ∈ P 和 pnsbr ∈ P，我們會針對 psbr 和 pnsbr} 的所有組合執行下列動作：

• 產生定型和驗證數據集的雜訊;

• 使用定型數據集將羅吉斯回歸、貝氏機率和 AdaBoost 模型定型（具有雜訊）：

• 使用驗證數據集調整模型（具有雜訊）：

• 使用測試數據集測試模型（無雜訊）。

V. 實驗結果

在本節中，會根據第四節中所述的方法，分析實驗的結果。

a） 在定型數據集中沒有雜訊的模型效能：本文的其中一個貢獻是機器學習模型的建議，只使用 Bug 標題做為決策數據來識別安全性 Bug。 這可讓機器學習模型定型，即使開發小組不想因為敏感數據的存在而完全共用錯誤報告。 我們只會使用 Bug 標題來定型時，比較三個機器學習模型的效能。

羅吉斯回歸模型是效能最佳的分類器。 它是 AUC 值最高的分類器，值為 0.9826，針對 FPR 值為 0.0735 的 FPR 值召回 0.9353。 貝氏機率分類器呈現的效能略低於羅吉斯回歸分類器，AUC 為 0.9779，FPR 為 0.0769 的召回率為 0.9189。 與先前提到的兩個分類器相比，AdaBoost 分類器具有劣質的效能。 它達到 0.9143 的 AUC，並針對 0.0774 FPR 召回 0.7018。 ROC 曲線下的區域 （AUC） 是比較數個模型效能的好計量，因為它摘要說明 TPR 與 FPR 關聯的單一值。 在後續的分析中，我們會將比較分析限製為 AUC 值。

A. 類別雜訊：單一類別

人們可以想像一個案例，其中所有 Bug 預設都會指派給 NSBR 類別，而且只有在有安全性專家檢閱 Bug 存放庫時，才會將 Bug 指派給類別 SBR。 此案例以單一類別實驗性設定來表示，我們假設 p nsbr _{= 0 和 0 psbr< 0.5<。}

從表格II中，我們觀察到這三個分類器在AUC中的影響很小。 相較於模型 AUC-ROC，p sbr = 0 上定_{型的模型 AUC-ROC，其中 psbr} = 0.25 與羅吉斯回歸的 0.003 不同，貝氏機率為 0.006,0.006 代表 AdaBoost。 在 p_sbr = 0.50 的情況下，針對每個模型所測量的 AUC 與針對羅吉斯回歸使用 p_sbr = 0 到 0.007 定型的模型不同，貝氏機率為 0.011，而 AdaBoost 則為 0.010。 在單一類別雜訊的存在下定型的羅吉斯回歸分類器，會呈現其 AUC 計量中最小的變化，也就是相較於我們天真的貝氏機率和 AdaBoost 分類器，更強固的行為。

B. 類別雜訊：與類別無關

我們會比較三個分類器的效能，以用於定型集因類別無關雜訊損毀的情況。 我們會針對訓練數據中以不同層級 p_br 定型的每個模型測量 AUC。

在表格 III 中，我們觀察到實驗中每個雜訊增量的 AUC-ROC 減少。 從以無雜訊數據定型的模型所測量的 AUC-ROC，相較於使用 p_br = 0.25 類別獨立雜訊定型的模型 AUC-ROC，羅吉斯回歸的 0.011 不同，貝氏機率為 0.008，而 AdaBoost 則為 0.0038。 我們發現當雜訊等級低於 40% 時，捲標雜訊不會影響貝氏機率和 AdaBoost 分類器的 AUC。 另一方面，羅吉斯回歸分類器會對標籤雜訊等級超過 30% 的 AUC 量值產生影響。

圖 1. 與類別無關雜訊的 AUC-ROC 變化。 對於雜訊等級 p_br =0.5，分類器的作用就像隨機分類器，例如 AUC≈0.5。 但是我們可以觀察到，對於較低的雜訊等級（p_br ≤0.30），羅吉斯回歸學習模組與其他兩個模型相比呈現更好的效能。 不過，針對 0.35≤ p_br ≤0.45 貝氏機率學習者提供更佳的 AUCROC 計量。

C. 類別雜訊：類別相依

在最後一組實驗中，我們會考慮不同類別包含不同雜訊等級的案例，例如 p_{sbr ≠ pnsbr}。 我們會在訓練數據中以 0.05 獨立遞增 p_{sbr 和 pnsbr}，並觀察三個分類器的行為變更。

表格 IV、V、VI 顯示 AUC 的變化，因為表 IV 中各類別的羅吉斯回歸、表 V 中的貝氏機率和表 VI 中的 AdaBoost，都會增加雜訊。 對於所有分類器，當這兩個類別都包含高於 30% 的雜訊等級時，我們注意到 AUC 計量的影響。 天真的貝氏行為健全。 即使正類別中 50% 的標籤被翻轉，對 AUC 的影響也很小，前提是負類別包含 30% 的嘈雜卷標或更少。 在此情況下，AUC 中的下降值為 0.03。 AdaBoost 呈現這三個分類器中最強固的行為。 AUC 的重大變更只會發生在這兩個類別中大於 45% 的雜訊等級。 在此情況下，我們會開始觀察大於0.02的AUC衰變。

D. 在原始數據集中存在剩餘雜訊

我們的數據集是由以簽章為基礎的自動化系統和人類專家所標記。 此外，人類專家已進一步審查和關閉所有 Bug 報告。 雖然我們預期數據集中的雜訊量最低且不具統計意義，但剩餘雜訊的存在不會使結論失效。 事實上，為了圖解，假設原始數據集會因為類別獨立雜訊而損毀，而每個專案都等於 0 < p < 1/2 獨立且相同分佈 （i.i.d）。

如果我們在原始雜訊之上，新增具有機率 p_br i.d 的類別獨立雜訊，則每個專案所產生的雜訊會是 p∗ = p（1 p br _）+（1p）p_br。 對於 0 < p，p_br< 1/2，我們有每個標籤 p 的實際雜訊∗嚴格大於我們人為地新增至數據集 p_br 的雜訊。 因此，如果分類器以完全無雜訊的數據集 （p = 0） 進行定型，分類器的效能會更好。 總而言之，實際數據集中殘差雜訊的存在表示，對分類器雜訊的復原能力比這裡呈現的結果更好。 此外，如果我們數據集中的剩餘雜訊在統計上相關，分類器的 AUC 會變成 0.5 （隨機猜測），嚴格小於 0.5 的雜訊層級。 我們不會在結果中觀察到這種行為。

VI. 結論和未來工作

我們在本文中的貢獻是兩倍。

首先，我們已根據 Bug 報告的標題，顯示安全性錯誤報告分類的可行性。 這在因隱私權限制而無法使用整個 Bug 報告的情況下特別相關。 例如，在我們的案例中，Bug 報告包含密碼和密碼編譯密鑰等私用資訊，而且無法訓練分類器。 我們的結果顯示，即使只有報表標題可用，SBR 識別仍能以高精確度執行。 我們的分類模型會利用 TF-IDF 和羅吉斯回歸的組合，在 0.9831 的 AUC 執行。

其次，我們分析了錯誤標記的訓練和驗證數據的效果。 我們比較了三種已知的機器學習分類技術（貝氏機率、羅吉斯回歸和 AdaBoost），以針對不同雜訊類型和雜訊等級的強固性。 這三個分類器都是強固的單一類別雜訊。 定型數據中的雜訊對產生的分類器沒有顯著的影響。 AUC 的降幅非常小（0.01），雜訊水準為 50%。 針對類別中存在的雜訊，且與類別無關，貝氏機率和 AdaBoost 模型只有在使用大於 40% 的雜訊等級的數據集進行定型時，才會在 AUC 中呈現顯著變化。

最後，類別相依雜訊只有在這兩個類別中有 35% 的雜訊時，才會大幅影響 AUC。 AdaBoost 表現出最強固性。 即使正類別的標籤有 50% 的標籤嘈雜，AUC 的影響也很小，前提是負類別包含 45% 的嘈雜卷標或更少。 在此情況下，AUC 中的下降小於 0.03。 據我們所知，這是針對安全性 Bug 報告識別的嘈雜數據集效果進行的第一個系統研究。

未來工程

在本文中，我們已開始系統研究機器學習分類器效能的雜訊影響，以識別安全性 Bug。 這項工作有數個有趣的續集，包括：檢查嘈雜數據集在判斷安全性 Bug 嚴重性層級時的影響;了解類別不平衡對定型模型針對雜訊的復原能力的影響：了解數據集中以逆嚮導入的雜訊效果。

REFERENCES

[1] 約翰·安維克、林登·希尤和蓋爾·墨菲。 神秘 應該修正此錯誤嗎？ 在第28屆軟體工程國際會議的程式中，第361-370頁。 ACM， 2006。

[2] Diksha Behl、Sahil Handa 和 Anuja Arora。 使用貝氏機率和 tf-idf 識別及分析安全性 Bug 的 Bug 採礦工具。 在 優化、可靠和資訊技術（ICROIT），2014年國際會議，第294-299頁。 IEEE， 2014。

[3] 尼古拉·貝滕堡、拉胡爾·普雷姆拉傑、湯瑪斯·齊默爾曼和宋順·金。 重複的錯誤報告真的會被視為有害嗎？ 在 軟體維護中，2008。ICSM 2008。IEEE 國際會議，第 337-345 頁。 IEEE， 2008。

[4] Andres Folleco、Taghi M Khoshgoftaar、Jason Van Hulse 和 Lofton Bullard。 識別學習者健全且品質低的數據。 在 [ 信息重複使用與整合] 中，2008。IRI 2008.IEEE 國際會議，第 190-195 頁。 IEEE， 2008。

[5] Benoˆıt Frenay.' 機器學習中的不確定性和標籤雜訊。 2013年比利時盧文天主教大學盧文大學博士論文。

[6] 貝諾ˆıt Frenay 和 Michel Verleysen. 卷標雜訊的分類：問卷。 類神經網路和學習系統上的 IEEE 交易，25（5）：845–869,2014。

[7] 邁克爾·格吉克、彼特·羅泰拉和陶謝。 透過文字採礦識別安全性錯誤報告：產業案例研究。 在 採礦軟體存放庫 （MSR）， 2010 第 7 次 IEEE 工作會議上，第 11-20 頁。 IEEE， 2010。

[8] Katerina Goseva-Popstojanova 和 Jacob Tyo. 使用受監督和未監督分類，透過文字採礦識別安全性相關 Bug 報告。 在 2018 年 IEEE 軟體品質、可靠性和安全性（QRS）國際會議，第 344–355 頁，2018 年。

[9] 艾哈邁德·拉姆坎菲、謝爾蓋·德邁爾、伊曼紐爾·吉格和巴特·戈多亞斯。 預測回報 Bug 的嚴重性。 在 採礦軟體存放庫 （MSR）， 2010 第 7 屆 IEEE 工作會議第 1-10 頁。 IEEE， 2010。

[10] 納雷什·曼瓦尼和 PS 薩斯特裡。 風險最小化下的雜訊承受能力。 網路網路上的 IEEE 交易，43（3）：1146–1151,2013。

[11] G 墨菲和 D 庫布拉尼克。 使用文字分類自動分類 Bug 分級。 在第 十六屆軟體工程與知識工程國際會議的程式中。 2004年，Citeseer。

[12] Mykola Pechenizkiy、Alexey Tsymbal、Seppo Puuronen 和 Oleksandr Pechenizkiy。 醫學領域中的類別雜訊和監督式學習：特徵擷取的效果。 在 null 中，頁面 708–713。 IEEE， 2006。

[13] 夏洛特·佩萊蒂埃、西爾維亞·瓦列羅、約迪·英格拉達、尼古拉斯冠軍、克萊爾·馬萊斯·西克里和傑拉德·迪厄。'訓練班標籤噪音對土地覆蓋測繪與衛星圖像時間序列的分類性能的影響。 遙感，9（2）：173,2017。

[14] PS Sastry、GD Nagendra 和 Naresh Manwani。 持續動作學習自動化小組，用於半空間的雜訊容忍學習。 IEEE Transactions on Systems， Man， and Cybernetics， Part B （Cybernetics）， 40（1）：19–28， 2010.

[15] 喬曼騰。 雜訊處理技術的比較。 在 FLAIRS 會議中，頁面 269–273,2001。

[16] 杜米杜·維賈亞塞卡拉、米洛斯·馬尼奇和邁爾斯·麥昆。 透過文字採礦 Bug 資料庫進行弱點識別和分類。 在 工業電子學會，IECON 2014-40 第 40 屆 IEEE 年會，頁面 3612–3618 頁。IEEE， 2014。

[17] 新麗楊、大衛·羅、喬黃、新霞、建陵孫。 利用不平衡學習策略自動識別高影響 Bug 報告。 在 計算機軟體和應用程式會議 （COMPSAC）， 2016 IEEE 第 40 年，第 1 卷，第 227-232 頁。 IEEE， 2016。

[18] 德慶祖、志軍鄧、鎮力和海金。 透過多重類型功能分析自動識別安全性錯誤報告。 在 澳大利亞資訊安全與隱私權會議，第 619-633 頁。 斯普林格，2018年。