LbfgsMaximumEntropyMulticlassTrainer Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Das IEstimator<TTransformer> Ziel mithilfe eines maximal entropy multiklassigen Klassifizierers, der mit der L-BFGS-Methode trainiert wurde.
public sealed class LbfgsMaximumEntropyMulticlassTrainer : Microsoft.ML.Trainers.LbfgsTrainerBase<Microsoft.ML.Trainers.LbfgsMaximumEntropyMulticlassTrainer.Options,Microsoft.ML.Data.MulticlassPredictionTransformer<Microsoft.ML.Trainers.MaximumEntropyModelParameters>,Microsoft.ML.Trainers.MaximumEntropyModelParameters>type LbfgsMaximumEntropyMulticlassTrainer = class
inherit LbfgsTrainerBase<LbfgsMaximumEntropyMulticlassTrainer.Options, MulticlassPredictionTransformer<MaximumEntropyModelParameters>, MaximumEntropyModelParameters>Public NotInheritable Class LbfgsMaximumEntropyMulticlassTrainer
Inherits LbfgsTrainerBase(Of LbfgsMaximumEntropyMulticlassTrainer.Options, MulticlassPredictionTransformer(Of MaximumEntropyModelParameters), MaximumEntropyModelParameters)- Vererbung
Hinweise
Um diesen Trainer zu erstellen, verwenden Sie LbfgsMaximumEntropy oder LbfgsMaximumEntropy(Options).
Eingabe- und Ausgabespalten
Die Eingabebeschriftungsspaltendaten müssen schlüsseltyp sein, und die Featurespalte muss ein bekannter Vektor sein Single.
Der Trainer gibt folgende Spalten aus:
| Name der Ausgabespalte | Spaltentyp | Beschreibung |
|---|---|---|
Score |
Vektor von Single | Die Bewertungen aller Klassen. Ein höherer Wert bedeutet eine höhere Wahrscheinlichkeit, in die zugehörige Klasse zu fallen. Wenn das i-te Element den größten Wert hat, wäre der vorhergesagte Bezeichnungsindex i. Beachten Sie, dass „i“ ein nullbasierter Index ist. |
PredictedLabel |
Typ key | Der Index der vorhergesagten Bezeichnung. Wenn sein Wert i ist, wäre die eigentliche Bezeichnung die i-te Kategorie des Typs der Schlüssel-Wert-Eingabebezeichnung. |
Trainereigenschaften
| ML-Aufgabe | Multiklassenklassifizierung |
| Ist die Normalisierung erforderlich? | Yes |
| Ist zwischenspeichern erforderlich? | No |
| Erforderliche NuGet zusätzlich zu Microsoft.ML | Keine |
| Exportierbar in ONNX | Yes |
Bewertungsfunktion
Das maximale Entropiemodell ist eine Generalisierung der linearen logistischen Regression. Der Hauptunterschied zwischen dem maximalen Entropiemodell und der logistischen Regression ist die Anzahl der Klassen, die im betrachteten Klassifizierungsproblem unterstützt werden. Die logistikische Regression ist nur für binäre Klassifizierungen vorgesehen, während das maximale Entropiemodell mehrere Klassen behandelt. Siehe Abschnitt 1 in diesem Dokument für eine detaillierte Einführung.
Angenommen, die Anzahl der Klassen ist $m$ und die Anzahl der Features ist $n$. Das maximale Entropiemodell weist der $c$-th-Klasse einen Vektor $\textbf{w}_c \in {\mathbb R}^n$ und einen Bias $b_c \in {\mathbb R}$, für $c=1,\dots,m$. Angesichts eines Featurevektors $\textbf{x} \in {\mathbb R}^n$, ist die $c$-th-Klasse die Bewertung der Klasse $\hat{y}^c = \textbf{w}_c^T \textbf{x} + b_c$. Die Wahrscheinlichkeit von $\textbf{x}$ der Klasse $c$ wird durch $\tilde{P}(c | \textbf{x}) = \frac{ e^{\hat{y}^c} }{ \sum_{c' = 1}^m^{{hat{y}^{y}^{c'}} }$. Lassen Sie $P(c, \textbf{ x})$ die gemeinsame Wahrscheinlichkeit des Sehens $c$ und $\textbf{x}$. Die von diesem Trainer minimierte Verlustfunktion ist $-\sum_{c = 1}^m P(c, \textbf{ x}) \log \tilde{P}(c | \textbf{x}) $, was die negative Log-Wahrscheinlichkeitsfunktion ist.
Schulungsalgorithmusdetails
Die implementierte Optimierungsmethode basiert auf der begrenzten Speichermethode Broyden-Fletcher-Goldfarb-Shanno-Methode (L-BFGS). L-BFGS ist eine quasi-Newton-Methode, die die teure Berechnung der Hessischen Matrix durch eine Näherung ersetzt, aber weiterhin eine schnelle Konvergenzrate wie die Methode Newtons genießt, bei der die vollständige Hessische Matrix berechnet wird. Da die L-BFGS-Näherung nur eine begrenzte Menge an historischen Zuständen verwendet, um die nächste Schrittrichtung zu berechnen, eignet es sich besonders für Probleme mit einem hochdimensionalen Featurevektor. Die Anzahl der historischen Zustände ist ein benutzerspezifischer Parameter, der eine größere Zahl verwendet, kann zu einer besseren Näherung der hessischen Matrix führen, aber auch eine höhere Berechnungskosten pro Schritt.
Diese Klasse verwendet empirische Risikominimierung (d. h. ERM), um das Optimierungsproblem zu formulieren, das auf gesammelten Daten basiert. Beachten Sie, dass empirisches Risiko in der Regel durch Anwenden einer Verlustfunktion auf die Vorhersagen des Modells auf gesammelten Datenpunkten gemessen wird. Wenn die Schulungsdaten nicht genügend Datenpunkte enthalten (z. B. um ein lineares Modell in $n$-dimensionalen Raum zu trainieren, benötigen wir mindestens $n$-Datenpunkte ), kann das Überpassen geschehen, damit das modell, das von ERM erzeugt wird, gut bei der Beschreibung von Schulungsdaten ist, aber möglicherweise keine korrekten Ergebnisse in nicht verfügbaren Ereignissen vorhergesagt werden können. Die Regularisierung ist eine allgemeine Technik, um ein solches Phänomen zu verringern, indem die Größe (normalerweise durch die Normfunktion) von Modellparametern bestraft wird. Dieser Trainer unterstützt die elastische Net-Regularisierung, die eine lineare Kombination aus L1-Norm (LASSO), $|| \textbf{w}_c || _1$, und L2-Norm (Ridge), $|| \textbf{w}_c || _2^2$ regularizations for $c=1,\dots,m$. L1-Norm- und L2-Norm-Regularisierungen haben unterschiedliche Auswirkungen und Verwendungen, die in bestimmten Aspekten ergänzen.
Zusammen mit dem implementierten Optimierungsalgorithmus kann die L1-Norm-Regularisierung die Sparsität der Modellgewichte, $\textbf{w}_1,\dots,\textbf{w}_m$erhöhen. Wenn Benutzer sorgfältig den Koeffizienten der L1-Norm auswählen, ist es möglich, eine gute Vorhersagequalität mit einem Modell zu erzielen, das nur wenige Nicht-Null-Gewichte (z. B. 1 % der Gesamtmodellgewichte) aufweist, ohne die Vorhersagekraft zu beeinträchtigen. Im Gegensatz dazu kann L2-Norm die Sparsität des trainierten Modells nicht erhöhen, aber dennoch verhindern, dass die Überlastung verhindert wird, indem große Parameterwerte vermieden werden. Manchmal führt die Verwendung von L2-Norm zu einer besseren Vorhersagequalität, sodass Benutzer es noch ausprobieren und die Koeffizienten von L1-Norm und L2-Norm optimieren möchten. Beachten Sie, dass die Verwendung von L1-Norm bedeutet, dass die Verteilung aller Modellparameter eine Laplace-Verteilung ist, während L2-Norm eine Gaussian-Verteilung für sie bedeutet.
Eine aggressive Regularisierung (d. h. große Koeffizienten zu L1-Norm- oder L2-Norm-Regularisierungsbedingungen) kann die Vorhersagekapazität beeinträchtigen, indem wichtige Variablen aus dem Modell ausgeschlossen werden. Beispielsweise kann ein sehr großer L1-Norm-Koeffizient alle Parameter auf Nullen erzwingen und zu einem trivialen Modell führen. Daher ist die Auswahl der richtigen Regularisierungskoeffizienten in der Praxis wichtig.
Überprüfen Sie den Abschnitt "Siehe auch", um Links zu Verwendungsbeispielen zu finden.
Felder
| FeatureColumn |
Die Featurespalte, die der Trainer erwartet. (Geerbt von TrainerEstimatorBase<TTransformer,TModel>) |
| LabelColumn |
Die Bezeichnungsspalte, die der Trainer erwartet. Kann sein |
| WeightColumn |
Die Gewichtsspalte, die der Trainer erwartet.
|
Eigenschaften
| Info |
Das IEstimator<TTransformer> Ziel mithilfe eines maximal entropy multiklassigen Klassifizierers, der mit der L-BFGS-Methode trainiert wurde. (Geerbt von LbfgsTrainerBase<TOptions,TTransformer,TModel>) |
Methoden
| Fit(IDataView, MaximumEntropyModelParameters) |
Führt die Schulung einer LbfgsMaximumEntropyMulticlassTrainer bereits trainierten |
| Fit(IDataView) |
Züge und zurückgeben eine ITransformer. (Geerbt von TrainerEstimatorBase<TTransformer,TModel>) |
| GetOutputSchema(SchemaShape) |
Das IEstimator<TTransformer> Ziel mithilfe eines maximal entropy multiklassigen Klassifizierers, der mit der L-BFGS-Methode trainiert wurde. (Geerbt von TrainerEstimatorBase<TTransformer,TModel>) |
Erweiterungsmethoden
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Fügen Sie einen "Zwischenspeicherpunkt" an die Stimatorkette an. Dadurch wird sichergestellt, dass die nachgelagerten Stimatoren gegen zwischengespeicherte Daten trainiert werden. Es ist hilfreich, einen Cache-Prüfpunkt zu haben, bevor Trainer, die mehrere Daten übergeben. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Geben Sie aufgrund einer Schätzung ein Umbruchobjekt zurück, das einen Stellvertretung aufruft, sobald Fit(IDataView) er aufgerufen wird. Es ist oft wichtig, dass eine Schätzung Informationen zu dem zurückgibt, was passt, weshalb die Fit(IDataView) Methode ein spezifisches typiertes Objekt zurückgibt, anstatt nur ein allgemeines ITransformer. Gleichzeitig IEstimator<TTransformer> werden jedoch oft Pipelines mit vielen Objekten gebildet, sodass wir möglicherweise eine Kette von EstimatorChain<TLastTransformer> Schätzern erstellen müssen, über die der Schätzer, für den wir den Transformator erhalten möchten, irgendwo in dieser Kette begraben wird. Für dieses Szenario können wir über diese Methode eine Stellvertretung anfügen, die einmal aufgerufen wird, wenn die Anpassung aufgerufen wird. |
Gilt für:
Weitere Informationen
- LbfgsMaximumEntropy(MulticlassClassificationCatalog+MulticlassClassificationTrainers, String, String, String, Single, Single, Single, Int32, Boolean)
- LbfgsMaximumEntropy(MulticlassClassificationCatalog+MulticlassClassificationTrainers, LbfgsMaximumEntropyMulticlassTrainer+Options)
- LbfgsMaximumEntropyMulticlassTrainer.Options