AutoMLExperiment Класс

Ссылка

Определение

Пространство имен:: Microsoft.ML.AutoML

Сборка:: Microsoft.ML.AutoML.dll

Пакет:: Microsoft.ML.AutoML v0.21.1

Важно!

Некоторые сведения относятся к предварительной версии продукта, в которую до выпуска могут быть внесены существенные изменения. Майкрософт не предоставляет никаких гарантий, явных или подразумеваемых, относительно приведенных здесь сведений.

Класс для эксперимента AutoML

public class AutoMLExperiment

type AutoMLExperiment = class

Public Class AutoMLExperiment

Наследование: Object
AutoMLExperiment

Примеры

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Microsoft.ML.Data;

namespace Microsoft.ML.AutoML.Samples
{
    public static class AutoMLExperiment
    {
        public static async Task RunAsync()
        {
            var seed = 0;

            // Create a new context for ML.NET operations. It can be used for
            // exception tracking and logging, as a catalog of available operations
            // and as the source of randomness. Setting the seed to a fixed number
            // in this example to make outputs deterministic.
            var context = new MLContext(seed);

            // Create a list of training data points and convert it to IDataView.
            var data = GenerateRandomBinaryClassificationDataPoints(100, seed);
            var dataView = context.Data.LoadFromEnumerable(data);

            var trainTestSplit = context.Data.TrainTestSplit(dataView);

            // Define the sweepable pipeline using predefined binary trainers and search space.
            var pipeline = context.Auto().BinaryClassification(labelColumnName: "Label", featureColumnName: "Features");

            // Create an AutoML experiment
            var experiment = context.Auto().CreateExperiment();

            // Redirect AutoML log to console
            context.Log += (object o, LoggingEventArgs e) =>
            {
                if (e.Source == nameof(AutoMLExperiment) && e.Kind > Runtime.ChannelMessageKind.Trace)
                {
                    Console.WriteLine(e.RawMessage);
                }
            };

            // Config experiment to optimize "Accuracy" metric on given dataset.
            // This experiment will run hyper-parameter optimization on given pipeline
            experiment.SetPipeline(pipeline)
                      .SetDataset(trainTestSplit.TrainSet, fold: 5) // use 5-fold cross validation to evaluate each trial
                      .SetBinaryClassificationMetric(BinaryClassificationMetric.Accuracy, "Label")
                      .SetMaxModelToExplore(100); // explore 100 trials

            // start automl experiment
            var result = await experiment.RunAsync();

            // Expected output samples during training:
            //      Update Running Trial - Id: 0
            //      Update Completed Trial - Id: 0 - Metric: 0.5536912515402218 - Pipeline: FastTreeBinary - Duration: 595 - Peak CPU: 0.00 % -Peak Memory in MB: 35.81
            //      Update Best Trial - Id: 0 - Metric: 0.5536912515402218 - Pipeline: FastTreeBinary

            // evaluate test dataset on best model.
            var bestModel = result.Model;
            var eval = bestModel.Transform(trainTestSplit.TestSet);
            var metrics = context.BinaryClassification.Evaluate(eval);

            PrintMetrics(metrics);

            // Expected output:
            //  Accuracy: 0.67
            //  AUC: 0.75
            //  F1 Score: 0.33
            //  Negative Precision: 0.88
            //  Negative Recall: 0.70
            //  Positive Precision: 0.25
            //  Positive Recall: 0.50

            //  TEST POSITIVE RATIO: 0.1667(2.0 / (2.0 + 10.0))
            //  Confusion table
            //            ||======================
            //  PREDICTED || positive | negative | Recall
            //  TRUTH     ||======================
            //   positive || 1 | 1 | 0.5000
            //   negative || 3 | 7 | 0.7000
            //            ||======================
            //  Precision || 0.2500 | 0.8750 |
        }

        private static IEnumerable<BinaryClassificationDataPoint> GenerateRandomBinaryClassificationDataPoints(int count,
            int seed = 0)

        {
            var random = new Random(seed);
            float randomFloat() => (float)random.NextDouble();
            for (int i = 0; i < count; i++)
            {
                var label = randomFloat() > 0.5f;
                yield return new BinaryClassificationDataPoint
                {
                    Label = label,
                    // Create random features that are correlated with the label.
                    // For data points with false label, the feature values are
                    // slightly increased by adding a constant.
                    Features = Enumerable.Repeat(label, 50)
                        .Select(x => x ? randomFloat() : randomFloat() +
                        0.1f).ToArray()

                };
            }
        }

        // Example with label and 50 feature values. A data set is a collection of
        // such examples.
        private class BinaryClassificationDataPoint
        {
            public bool Label { get; set; }

            [VectorType(50)]
            public float[] Features { get; set; }
        }

        // Class used to capture predictions.
        private class Prediction
        {
            // Original label.
            public bool Label { get; set; }
            // Predicted label from the trainer.
            public bool PredictedLabel { get; set; }
        }

        // Pretty-print BinaryClassificationMetrics objects.
        private static void PrintMetrics(BinaryClassificationMetrics metrics)
        {
            Console.WriteLine($"Accuracy: {metrics.Accuracy:F2}");
            Console.WriteLine($"AUC: {metrics.AreaUnderRocCurve:F2}");
            Console.WriteLine($"F1 Score: {metrics.F1Score:F2}");
            Console.WriteLine($"Negative Precision: " +
                $"{metrics.NegativePrecision:F2}");

            Console.WriteLine($"Negative Recall: {metrics.NegativeRecall:F2}");
            Console.WriteLine($"Positive Precision: " +
                $"{metrics.PositivePrecision:F2}");

            Console.WriteLine($"Positive Recall: {metrics.PositiveRecall:F2}\n");
            Console.WriteLine(metrics.ConfusionMatrix.GetFormattedConfusionTable());
        }
    }
}

Конструкторы

AutoMLExperiment(MLContext, AutoMLExperiment+AutoMLExperimentSettings)

Класс для эксперимента AutoML

Методы

AddSearchSpace(String, SearchSpace)	Класс для эксперимента AutoML
Run()	Запустите эксперимент и синхронно верните лучший результат пробной версии.
RunAsync(CancellationToken)	Запустите эксперимент и верните лучший результат пробной версии asynchronize. Эксперимент возвращает текущий лучший результат пробной версии, если какая-либо пробная версия завершена при `ct` отмене, и выдает TimeoutException сообщение "Время обучения завершено без завершения пробного запуска", когда пробная версия не завершена. Кроме того, следует заметить, что эта функция не возвращается сразу после `ct` отмены. Вместо этого он вызывает Microsoft.ML.MLContext.CancelExecution , чтобы отменить весь процесс обучения и дождаться отмены или завершения всех запущенных пробных версий.
SetMaximumMemoryUsageInMegaByte(Double)	Класс для эксперимента AutoML
SetMaxModelToExplore(Int32)	Класс для эксперимента AutoML
SetMonitor<TMonitor>()	Класс для эксперимента AutoML
SetMonitor<TMonitor>(Func<IServiceProvider,TMonitor>)	Класс для эксперимента AutoML
SetMonitor<TMonitor>(TMonitor)	Класс для эксперимента AutoML
SetTrainingTimeInSeconds(UInt32)	Класс для эксперимента AutoML
SetTrialRunner<TTrialRunner>()	Класс для эксперимента AutoML
SetTrialRunner<TTrialRunner>(Func<IServiceProvider,TTrialRunner>)	Класс для эксперимента AutoML
SetTrialRunner<TTrialRunner>(TTrialRunner)	Класс для эксперимента AutoML
SetTuner<TTuner>()	Класс для эксперимента AutoML
SetTuner<TTuner>(Func<IServiceProvider,TTuner>)	Класс для эксперимента AutoML
SetTuner<TTuner>(TTuner)	Класс для эксперимента AutoML

Методы расширения

SetBinaryClassificationMetric(AutoMLExperiment, BinaryClassificationMetric, String, String)	Задайте в Microsoft.ML.AutoML.BinaryMetricManager качестве диспетчера оценки для AutoMLExperiment. Это приведет к AutoMLExperiment использованию в `metric` качестве метрики оценки.
SetCheckpoint(AutoMLExperiment, String)	Задайте папку контрольных точек для AutoMLExperiment. Папка контрольных точек будет использоваться для сохранения временных выходных данных, журнала выполнения и многих других элементов, которые будут использоваться для восстановления процесса обучения из последней контрольной точки и продолжения обучения.
SetCostFrugalTuner(AutoMLExperiment)	Задайте в Microsoft.ML.AutoML.CostFrugalTuner качестве тюнера для оптимизации гиперпараметров.
SetDataset(AutoMLExperiment, DataOperationsCatalog+TrainTestData)	Задайте набор данных для обучения и проверки для AutoMLExperiment. Это позволит AutoMLExperiment использовать из TrainSet для `trainValidationSplit` обучения модели, а использовать TestSet из для `trainValidationSplit` оценки модели.
SetDataset(AutoMLExperiment, IDataView, IDataView, Boolean)	Задайте набор данных для обучения и проверки для AutoMLExperiment. Это позволит AutoMLExperiment использовать `train` для обучения модели и использовать `validation` для оценки модели.
SetDataset(AutoMLExperiment, IDataView, Int32, String)	Задайте набор данных для перекрестной проверки для AutoMLExperiment. Для обучения и оценки модели будет AutoMLExperiment использоваться n=`fold` перекрестная проверка `dataset` .
SetEciCostFrugalTuner(AutoMLExperiment)	задайте в Microsoft.ML.AutoML.EciCostFrugalTuner качестве тюнера для оптимизации гиперпараметров. Этот тюнер работает только с пространством поиска из SweepablePipeline.
SetGridSearchTuner(AutoMLExperiment, Int32)	задайте в Microsoft.ML.AutoML.GridSearchTuner качестве тюнера для оптимизации гиперпараметров.
SetMulticlassClassificationMetric(AutoMLExperiment, MulticlassClassificationMetric, String, String)	Задайте в Microsoft.ML.AutoML.MultiClassMetricManager качестве диспетчера оценки для AutoMLExperiment. Это приведет к AutoMLExperiment использованию в `metric` качестве метрики оценки.
SetPerformanceMonitor(AutoMLExperiment, Int32)	Задайте значение DefaultPerformanceMonitor IPerformanceMonitor для параметра AutoMLExperiment.
SetPerformanceMonitor<TPerformanceMonitor>(AutoMLExperiment)	Задайте для пользовательского монитора производительности значение IPerformanceMonitor для AutoMLExperiment.
SetPerformanceMonitor<TPerformanceMonitor>(AutoMLExperiment, Func<IServiceProvider,TPerformanceMonitor>)	Задайте для пользовательского монитора производительности значение IPerformanceMonitor для AutoMLExperiment.
SetPipeline(AutoMLExperiment, SweepablePipeline)	Задано `pipeline` для обучения. Это также позволяет AutoMLExperiment использовать Microsoft.ML.AutoML.SweepablePipelineRunner , Microsoft.ML.AutoML.MLContextMonitor и Microsoft.ML.AutoML.EciCostFrugalTuner для automl traininng.
SetRandomSearchTuner(AutoMLExperiment, Nullable<Int32>)	задайте в Microsoft.ML.AutoML.RandomSearchTuner качестве тюнера для оптимизации гиперпараметров. Если `seed` указан параметр , он будет использовать начальное значение для инициализации Microsoft.ML.AutoML.RandomSearchTuner. Seed В противном случае будет использоваться .
SetRegressionMetric(AutoMLExperiment, RegressionMetric, String, String)	Задайте в Microsoft.ML.AutoML.RegressionMetricManager качестве диспетчера оценки для AutoMLExperiment. Это приведет к AutoMLExperiment использованию в `metric` качестве метрики оценки.
SetSmacTuner(AutoMLExperiment, Int32, Int32, Int32, Int32, Single, Int32, Int32, Double, Int32)	Задайте в Microsoft.ML.AutoML.SmacTuner качестве тюнера для оптимизации гиперпараметров. Производительность smac находится в большом расширении, определяемом `numberOfTrees`, `nMinForSpit` и `splitRatio`, которые используются для соответствия внутреннему регрессору smac.

Применяется к

Поделиться через