ML.NET アルゴリズムの選び方

ML.NET タスク ごとに選択できるトレーニング アルゴリズムは複数あります。 どれを選択するかは、解決しようとしている問題、データの特性、利用できるコンピューティング リソースとストレージ リソースによって変わります。 機械学習モデルのトレーニングは反復処理である点に注意することが重要です。 場合によっては、最適なものを見つけるために複数のアルゴリズムを試す必要があります。

アルゴリズムは特徴に対して動作します。 特徴は、入力データから計算された数値です。 それらは機械学習アルゴリズムに最適な入力です。 生の入力データを 1 つ以上のデータ変換を使用して特徴に変換します。 たとえば、テキスト データは、単語数と単語の組み合わせ数のセットに変換されます。 データ変換を使用して生のデータの種類から特徴が抽出されると、特徴付けされたと呼ばれます。 たとえば、特徴付けされたテキスト、特徴付けされた画像データなどです。

トレーナー = アルゴリズム + タスク

アルゴリズムは、モデルを生成するために実行される数学です。 アルゴリズムが異なると、特性が異なるモデルが生成されます。

ML.NET では、同じアルゴリズムを異なるタスクに適用できます。 たとえば、確率的双対座標上昇法は、二項分類、多クラス分類、回帰に使用できます。 違いは、タスクに合わせてアルゴリズムの出力が解釈される方法にあります。

ML.NET には、各アルゴリズムとタスクの組み合わせに対して、トレーニング アルゴリズムを実行し、解釈するコンポーネントが用意されています。 これらのコンポーネントはトレーナーと呼ばれます。 たとえば、SdcaRegressionTrainer には、回帰タスクに適用される StochasticDualCoordinatedAscent アルゴリズムが使用されます。

線形アルゴリズム

線形アルゴリズムでは、入力データと一連の重みの線形結合からスコアを計算するモデルが生成されます。 重みは、トレーニング中に推定されるモデルのパラメーターです。

線形アルゴリズムは、線形分離可能である特徴の場合に適しています。

線形アルゴリズムでトレーニングする前に、特徴を正規化しておくことをお勧めします。 こうすることで、ある特徴が他の特徴よりも結果に大きな影響を及ぼすことを防ぎます。

一般に、線形アルゴリズムはスケーラブルで高速であり、トレーニング コストが低コストで、予測も低コストです。 これらは、特徴の数と、おおよそのトレーニング データ セットのサイズによってスケールします。

線形アルゴリズムは、トレーニング データに対して複数回実行されます。 データセットがメモリに収まる場合は、トレーナーを追加する前に ML.NET パイプラインにキャッシュ チェックポイントを追加すると、トレーニングが高速になります。

Averaged perceptron (平均化パーセプトロン)

テキスト分類に最適です。

Trainer	タスク	ONNX エクスポート可能
AveragedPerceptronTrainer	二項分類	はい

確率的双対座標上昇法

既定のパフォーマンスが適切な場合、調整は不要です。

Trainer	タスク	ONNX エクスポート可能
SdcaLogisticRegressionBinaryTrainer	二項分類	はい
SdcaNonCalibratedBinaryTrainer	二項分類	はい
SdcaMaximumEntropyMulticlassTrainer	多クラス分類	はい
SdcaNonCalibratedMulticlassTrainer	多クラス分類	はい
SdcaRegressionTrainer	回帰	はい

L-BFGS

特徴数が多い場合に使用します。 ロジスティック回帰トレーニング統計を生成しますが、AveragedPerceptronTrainer ほどスケーリングしません

Trainer	タスク	ONNX エクスポート可能
LbfgsLogisticRegressionBinaryTrainer	二項分類	はい
LbfgsMaximumEntropyMulticlassTrainer	多クラス分類	はい
LbfgsPoissonRegressionTrainer	回帰	はい

Symbolic stochastic gradient descent (シンボリック確率的勾配降下法)

最も高速で最も正確な線形二項分類トレーナー。 プロセッサの数に合わせてスケーリングします。

Trainer	タスク	ONNX エクスポート可能
SymbolicSgdLogisticRegressionBinaryTrainer	二項分類	はい

オンライン勾配降下

選択した損失関数と、時間の経過と共に表示されるベクターの平均を使用して重みベクトルを更新するオプションを使用して、標準 (非バッチ) 確率的勾配降下法を実装します。

Trainer	タスク	ONNX エクスポート可能
OnlineGradientDescentTrainer	回帰	はい

デシジョン ツリー アルゴリズム

デシジョン ツリー アルゴリズムは、一連の決定を含むモデルを作成します。事実上、データ値を通るフロー チャートです。

この種類のアルゴリズムを使用するために、特徴が線形に分離可能である必要はありません。 また、特徴ベクター内の個々の値は決定プロセスで独立して使用されるため、特徴を正規化する必要はありません。

一般的に、デシジョン ツリー アルゴリズムは非常に正確です。

Generalized Additive Model (一般化加法モデル、GAM) を除き、特徴の数が多いと、説明可能性のないツリー モデルになる可能性があります。

デシジョン ツリー アルゴリズムに消費されるリソースは多く、線形アルゴリズムほどスケールしません。 メモリに収まるようなデータセットに対しては適切に動作します。

Boosted decision trees (ブースト デシジョン ツリー) は小さなツリーの集合であり、各ツリーで入力データにスコアが付けられ、そのスコアは次のツリーに渡され、より良いスコアが生成されるという処理が繰り返されます。集合内の各ツリーは、前のツリーに基づいて改善されます。

Light gradient boosted machine (軽勾配ブースト マシン)

最も高速で最も正確な二項分類ツリー トレーナー。 高度に調整可能。

Trainer	タスク	ONNX エクスポート可能
LightGbmBinaryTrainer	二項分類	はい
LightGbmMulticlassTrainer	多クラス分類	はい
LightGbmRegressionTrainer	回帰	はい
LightGbmRankingTrainer	順位付け	いいえ

Fast tree (高速ツリー)

特徴付けされた画像データに使用します。 不均衡なデータに対応できます。 高度に調整可能。

Trainer	タスク	ONNX エクスポート可能
FastTreeBinaryTrainer	二項分類	はい
FastTreeRegressionTrainer	回帰	はい
FastTreeTweedieTrainer	回帰	はい
FastTreeRankingTrainer	順位付け	いいえ

Fast forest (高速フォレスト)

ノイズの多いデータに適しています。

Trainer	タスク	ONNX エクスポート可能
FastForestBinaryTrainer	二項分類	はい
FastForestRegressionTrainer	回帰	はい

Generalized Additive Model (一般化加法モデル、GAM)

ツリー アルゴリズムに適した問題で、説明可能性が優先される場合に最適です。

Trainer	タスク	ONNX エクスポート可能
GamBinaryTrainer	二項分類	いいえ
GamRegressionTrainer	回帰	いいえ

行列因子分解

行列因子分解

レコメンデーションでの協調フィルター処理に使用されます。

Trainer	タスク	ONNX エクスポート可能
MatrixFactorizationTrainer	推奨	いいえ

Field Aware Factorization Machine

データセットが大規模で、カテゴリ別のスパース データに最適です。

Trainer	タスク	ONNX エクスポート可能
FieldAwareFactorizationMachineTrainer	二項分類	いいえ

メタ アルゴリズム

これらのトレーナーでは、二項トレーナーから多クラストレーナーを作成します。 AveragedPerceptronTrainer、LbfgsLogisticRegressionBinaryTrainer、SymbolicSgdLogisticRegressionBinaryTrainer、LightGbmBinaryTrainer、FastTreeBinaryTrainer、FastForestBinaryTrainer、GamBinaryTrainer と共に使用します。

One versus all (1 対すべて)

この多クラス分類子では、クラスごとに 1 つの二項分類子がトレーニングされます。これにより、そのクラスは他のすべてのクラスと区別されます。 分類するクラスの数によってスケールが制限されます。

Trainer	タスク	ONNX エクスポート可能
OneVersusAllTrainer	多クラス分類	はい

Pairwise coupling (ペアワイズ結合)

この多クラス分類子では、クラスの各ペアに対して二項分類アルゴリズムがトレーニングされます。 2 つのクラスの各組み合わせをトレーニングする必要があるので、クラスの数によってスケールが制限されます。

Trainer	タスク	ONNX エクスポート可能
PairwiseCouplingTrainer	多クラス分類	いいえ

K-Means

クラスタリングに使用されます。

Trainer	タスク	ONNX エクスポート可能
KMeansTrainer	クラスタリング	はい

主成分分析

異常検出に使用されます。

Trainer	タスク	ONNX エクスポート可能
RandomizedPcaTrainer	異常検出	いいえ

Naive Bayes

特徴が独立しており、トレーニング データセットが小さい場合は、この多クラス分類アルゴリズムを使用します。

Trainer	タスク	ONNX エクスポート可能
NaiveBayesMulticlassTrainer	多クラス分類	はい

以前のトレーナー

他のトレーナーのパフォーマンスを基準にするには、この二項分類アルゴリズムを使用します。 他のトレーナーのメトリックは以前のトレーナーよりも効果の点で優れています。

Trainer	タスク	ONNX エクスポート可能
PriorTrainer	二項分類	はい

サポート ベクター マシン

サポート ベクター マシン (SVM) は非常に人気があり、よく研究されているクラスの教師あり学習モデルで、線形と非線形の分類タスクで使用できます。

最近の研究では、より大規模なトレーニング セットに合わせて効率的に拡大できるようにこれらのモデルを最適化する方法に重点が置かれています。

リニア SVM

ブール値のラベル付きデータに対してトレーニングされた線形二項分類モデルを使用して、ターゲットを予測します。 確率的勾配降下法ステップと射影ステップを交互に切り替えます。

Trainer	タスク	ONNX エクスポート可能
LinearSvmTrainer	二項分類	はい

ローカル ディープ SVM

非線形二項分類モデルを使用してターゲットを予測します。 予測時間のコストを削減します。予測コストは、線形ではなくトレーニング セットのサイズに応じて対数的に増加し、分類精度の低下は許容可能です。

Trainer	タスク	ONNX エクスポート可能
LdSvmTrainer	二項分類	はい

最小二乗法

最小二乗法 (OLS) は、線形回帰で最も一般的に使用される技術です。

通常の最小二乗法は、実績値から予測された線までの距離の平方の合計として誤差を計算し、二乗エラーを最小限にすることでモデルを適合させる損失関数を示します。 このメソッドは、入力と従属変数との間の強力な線形関係を前提とします。

Trainer	タスク	ONNX エクスポート可能
OlsTrainer	回帰	はい