hyperdrive パッケージ

ハイパーパラメーターの調整をサポートするモジュールとクラスが含まれています。

ハイパーパラメーターは、モデル トレーニング用に選択する調整可能なパラメーターで、トレーニング プロセスをガイドします。 HyperDrive パッケージは、これらのパラメーターの選択を自動化するのに役立ちます。 たとえば、パラメーター検索空間を不連続または連続として定義し、探索空間に対するサンプリング メソッドをランダム、グリッド、またはベイジアンとして定義できます。 また、ハイパーパラメーター調整実験で最適化する主要メトリックを指定し、そのメトリックを最小化するか最大化するかも指定できます。 さらに、パフォーマンスの低い実験の実行を取り消して新しい実行を開始する早期終了ポリシーを定義することもできます。 HyperDrive の再利用可能な機械学習ワークフローを定義するには、hyper_drive_step を使用して Pipeline を作成します。

モジュール

error_definition

HyperDrive SDK のエラー コード定義。

error_strings

HyperDrive SDK 全体で使用されるエラー文字列のコレクション。

exceptions

HyperDrive によってスローされる例外。

parameter_expressions

ハイパーパラメーター検索空間を記述するために HyperDrive 内で使用できる関数を定義します。

これらの関数は、さまざまな種類のハイパーパラメーター分布を指定するために使用されます。 この分布は、ハイパーパラメーター スイープのサンプリングを構成するときに定義されます。 たとえば、RandomParameterSampling クラスを使用する場合は、不連続値のセットからサンプリングするか、連続値の分布からサンプリングするかを選択できます。 この場合、不連続値のセットの生成には choice 関数を、連続値の分布の生成には uniform 関数を使用できます。

これらの関数の使用例については、チュートリアル (https://docs.microsoft.com/azure/machine-learning/how-to-tune-hyperparameters) を参照してください。

クラス

BanditPolicy

Slack 条件に基づく早期終了ポリシーと、評価の頻度および遅延間隔を定義します。

BayesianParameterSampling

ハイパーパラメーター検索空間でのベイジアン サンプリングを定義します。

ベイジアン サンプリングでは、新しいサンプルによって報告されるプライマリ メトリックを向上させるために、前のサンプルの実行方法に基づいて、ハイパーパラメーターの次のサンプルをインテリジェントに選択しようと試みます。

EarlyTerminationPolicy

すべての早期終了ポリシーの抽象基底クラス。

GridParameterSampling

ハイパーパラメーター検索空間でのグリッド サンプリングを定義します。

HyperDriveConfig

HyperDrive の実行を定義する構成。

HyperDrive の構成には、ハイパーパラメーター空間サンプリング、終了ポリシー、プライマリ メトリック、構成からの再開、推定器、実験の実行を実行するコンピューティング先に関する情報が含まれています。

HyperDriveRun

HyperDriveRun には、送信された HyperDrive 実験の詳細が含まれています。

このクラスは、HyperDrive 実行と、生成された各子実行の管理、状態の検査、実行の詳細を取得に使用できます。

HyperDriveRunConfig

HyperDrive の実行を定義する構成。

構成には、パラメーター空間サンプリング、終了ポリシー、プライマリ メトリック、推定器、実験の実行を実行するコンピューティング先に関する情報が含まれています。

HyperParameterSampling

すべてのハイパーパラメーター サンプリング アルゴリズムの抽象基底クラス。

このクラスにより、BayesianParameterSamplingGridParameterSamplingRandomParameterSampling の各派生サンプリング クラスのハイパーパラメーター空間、サンプリング メソッド、その他のプロパティがカプセル化されます。

MedianStoppingPolicy

すべての実行の主要メトリックの実行平均に基づいて早期終了ポリシーを定義します。

NoTerminationPolicy

早期終了ポリシーが適用されないことを指定します。

各実行が、完了するまで実行されます。

RandomParameterSampling

ハイパーパラメーター検索空間でのランダム サンプリングを定義します。

TruncationSelectionPolicy

指定された割合の実行を評価間隔ごとに取り消す早期終了ポリシーを定義します。

列挙型

PrimaryMetricGoal

ハイパーパラメーターの調整でサポートされるメトリック目標を定義します。

メトリックの値が高いほど良いか悪いかは、メトリックの目標によって決まります。 メトリックの目標は、プライマリ メトリックに基づいて実行を比較するときに使用されます。 たとえば、正確性を最大限に高める場合や、エラーを最小限に抑える場合などです。

プライマリ メトリック名と目標は、HyperDrive の実行を構成するときに HyperDriveConfig クラス内で指定されます。

機能

choice

サンプリングする不連続オプション セットを指定します。

choice(*options)

パラメーター

options
list
必須

選択するオプションのリスト。

戻り値

確率式。

の戻り値の型 :

lognormal

exp(normal(mu, sigma)) に従って導かれる値を指定します。

戻り値の対数は通常は分散します。 最適化する場合、この変数は正の値に制限されます。

lognormal(mu, sigma)

パラメーター

mu
float
必須

正規分布の平均。

sigma
float
必須

正規分布の標準偏差。

戻り値

確率式。

の戻り値の型 :

loguniform

対数一様分布を指定します。

戻り値の対数が均等に分布するように、exp(uniform(min_value, max_value)) に従って値が導かれます。 最適化する場合、この変数は間隔 [exp(min_value), exp(max_value)] に制限されます

loguniform(min_value, max_value)

パラメーター

min_value
float
必須

範囲内の最小値は exp(min_value) (その値を含む) になります。

max_value
float
必須

範囲内の最大値は exp(max_value) (その値を含む) になります。

戻り値

確率式。

の戻り値の型 :

normal

平均ミューと標準偏差シグマを使用して正規分布された実際の値を指定します。

最適化する場合、これは制約されない変数です。

normal(mu, sigma)

パラメーター

mu
float
必須

正規分布の平均。

sigma
float
必須

正規分布の標準偏差。

戻り値

確率式。

の戻り値の型 :

qlognormal

round(exp(normal(mu, sigma)) / q) * q などの値を指定します。

目標がスムーズで、一方の側に限界がある変数のサイズによってよりスムーズになるという点で、不連続変数に適しています。

qlognormal(mu, sigma, q)

パラメーター

mu
float
必須

正規分布の平均。

sigma
float
必須

正規分布の標準偏差。

q
int
必須

スムージング係数。

戻り値

確率式。

の戻り値の型 :

qloguniform

round(exp(uniform(min_value, max_value) / q) * q 形式の一様分布を指定します。

これは、目標が "スムーズ" であり、値のサイズによってよりスムーズになるが、上と下の両方に境界を付けるべきという点で、不連続変数に適しています。

qloguniform(min_value, max_value, q)

パラメーター

min_value
float
必須

範囲内の最小値 (包含的)。

max_value
float
必須

範囲内の最大値 (包含的)。

q
int
必須

スムージング係数。

戻り値

確率式。

の戻り値の型 :

qnormal

round(normal(mu, sigma) / q) * q などの値を指定します。

mu の周りの値を受け取る可能性があるが、基本的には無限である不連続変数に適しています。

qnormal(mu, sigma, q)

パラメーター

mu
float
必須

正規分布の平均。

sigma
float
必須

正規分布の標準偏差。

q
int
必須

スムージング係数。

戻り値

確率式。

の戻り値の型 :

quniform

round(uniform(min_value, max_value) / q) * q 形式の一様分布を指定します。

これは、目標がまだやや "スムーズ" であるが、上と下の両方に境界を付けるべきという点で、不連続値に適しています。

quniform(min_value, max_value, q)

パラメーター

min_value
float
必須

範囲内の最小値 (包含的)。

max_value
float
必須

範囲内の最大値 (包含的)。

q
int
必須

スムージング係数。

戻り値

確率式。

の戻り値の型 :

randint

[0, upper] の範囲でランダムな整数のセットを指定します。

この分布のセマンティクスは、より離れた整数値と比較して、近くの整数値間の損失関数の相関関係がこれ以上ないということです。 これは、たとえばランダム シードを記述するための適切な分布です。 損失関数が近くの整数値に対してより相関している可能性がある場合は、quniform、qloguniform、qnormal、qlognormal などの "量子化された" 連続分布のいずれかを使用する必要があります。

randint(upper)

パラメーター

upper
int
必須

整数の範囲の排他的な上限。

戻り値

確率式。

の戻り値の型 :

uniform

サンプルを取得する一様分布を指定します。

uniform(min_value, max_value)

パラメーター

min_value
float
必須

範囲内の最小値 (包含的)。

max_value
float
必須

範囲内の最大値 (包含的)。

戻り値

確率式。

の戻り値の型 :