CategoricalCatalog.OneHotHashEncoding メソッド

定義

名前空間:

Microsoft.ML

アセンブリ:

Microsoft.ML.Transforms.dll

パッケージ:

Microsoft.ML v2.0.0

オーバーロード

OneHotHashEncoding(TransformsCatalog+CategoricalTransforms, InputOutputColumnPair[], OneHotEncodingEstimator+OutputKind, Int32, UInt32, Boolean, Int32)	OneHotHashEncodingEstimatorで指定された columns 1 つ以上の入力テキスト列を、ハッシュ ベースの 1 ホット エンコード ベクターの列に変換する 、作成します。
OneHotHashEncoding(TransformsCatalog+CategoricalTransforms, String, String, OneHotEncodingEstimator+OutputKind, Int32, UInt32, Boolean, Int32)	OneHotHashEncodingEstimatorによって指定されたinputColumnNameテキスト列を、ハッシュベースの 1 ホット エンコード ベクター列に変換する 、という名前outputColumnNameの作成します。

OneHotHashEncoding(TransformsCatalog+CategoricalTransforms, InputOutputColumnPair[], OneHotEncodingEstimator+OutputKind, Int32, UInt32, Boolean, Int32)

OneHotHashEncodingEstimatorで指定された columns 1 つ以上の入力テキスト列を、ハッシュ ベースの 1 ホット エンコード ベクターの列に変換する 、作成します。

public static Microsoft.ML.Transforms.OneHotHashEncodingEstimator OneHotHashEncoding (this Microsoft.ML.TransformsCatalog.CategoricalTransforms catalog, Microsoft.ML.InputOutputColumnPair[] columns, Microsoft.ML.Transforms.OneHotEncodingEstimator.OutputKind outputKind = Microsoft.ML.Transforms.OneHotEncodingEstimator+OutputKind.Indicator, int numberOfBits = 16, uint seed = 314489979, bool useOrderedHashing = true, int maximumNumberOfInverts = 0);

static member OneHotHashEncoding : Microsoft.ML.TransformsCatalog.CategoricalTransforms * Microsoft.ML.InputOutputColumnPair[] * Microsoft.ML.Transforms.OneHotEncodingEstimator.OutputKind * int * uint32 * bool * int -> Microsoft.ML.Transforms.OneHotHashEncodingEstimator

<Extension()>
Public Function OneHotHashEncoding (catalog As TransformsCatalog.CategoricalTransforms, columns As InputOutputColumnPair(), Optional outputKind As OneHotEncodingEstimator.OutputKind = Microsoft.ML.Transforms.OneHotEncodingEstimator+OutputKind.Indicator, Optional numberOfBits As Integer = 16, Optional seed As UInteger = 314489979, Optional useOrderedHashing As Boolean = true, Optional maximumNumberOfInverts As Integer = 0) As OneHotHashEncodingEstimator

パラメーター

catalog

TransformsCatalog.CategoricalTransforms

変換カタログ

columns

InputOutputColumnPair[]

入力列と出力列のペア。 出力列のデータ型は、if outputKind が Bag、Indicator、、、BinaryのベクトルSingleになります。 あるKey場合outputKind、出力列のデータ型はスカラー入力列の場合はキー、ベクター入力列の場合はキーのベクトルになります。

outputKind

OneHotEncodingEstimator.OutputKind

変換モード。

numberOfBits

Int32

ハッシュ後のビット数。 1 から 30 までの数にする必要があります (1 と 30 も含まれます)。

seed

UInt32

ハッシュ シード。

useOrderedHashing

Boolean

各用語の位置をハッシュに含める必要があるかどうか。

maximumNumberOfInverts

Int32

ハッシュ中に、元の値と生成されたハッシュ値の間のマッピングを制限します。 元の値のテキスト表現は、新しい列のメタデータのスロット名に格納されます。 そのため、ハッシュは多くの初期値を 1 つにマップできます。 maximumNumberOfInverts は、保持する必要があるハッシュに対応する個別の入力値の数の上限を指定します。 0 は入力値を保持しません。 -1 は 、各ハッシュにマッピングされたすべての入力値を保持します。

戻り値

OneHotHashEncodingEstimator

例

using System;
using Microsoft.ML;

namespace Samples.Dynamic.Transforms.Categorical
{
    public static class OneHotHashEncodingMultiColumn
    {
        public static void Example()
        {
            // Create a new ML context for ML.NET operations. It can be used for
            // exception tracking and logging as well as the source of randomness.
            var mlContext = new MLContext();

            // Get a small dataset as an IEnumerable.
            var samples = new[]
            {
                new DataPoint {Education = "0-5yrs", ZipCode = "98005"},
                new DataPoint {Education = "0-5yrs", ZipCode = "98052"},
                new DataPoint {Education = "6-11yrs", ZipCode = "98005"},
                new DataPoint {Education = "6-11yrs", ZipCode = "98052"},
                new DataPoint {Education = "11-15yrs", ZipCode = "98005"}
            };

            // Convert training data to IDataView.
            IDataView data = mlContext.Data.LoadFromEnumerable(samples);

            // Multi column example: A pipeline for one hot has encoding two
            // columns 'Education' and 'ZipCode'.
            var multiColumnKeyPipeline =
                mlContext.Transforms.Categorical.OneHotHashEncoding(
                    new[]
                    {
                        new InputOutputColumnPair("Education"),
                        new InputOutputColumnPair("ZipCode")
                    },
                    numberOfBits: 3);

            // Fit and Transform the data.
            IDataView transformedData =
                multiColumnKeyPipeline.Fit(data).Transform(data);

            var convertedData =
                mlContext.Data.CreateEnumerable<TransformedData>(transformedData,
                    true);

            Console.WriteLine(
                "One Hot Hash Encoding of two columns 'Education' and 'ZipCode'.");

            // One Hot Hash Encoding of two columns 'Education' and 'ZipCode'.

            foreach (TransformedData item in convertedData)
                Console.WriteLine("{0}\t\t\t{1}", string.Join(" ", item.Education),
                    string.Join(" ", item.ZipCode));

            // We have 8 slots, because we used numberOfBits = 3.

            // 0 0 0 1 0 0 0 0                 0 0 0 0 0 0 0 1
            // 0 0 0 1 0 0 0 0                 1 0 0 0 0 0 0 0
            // 0 0 0 0 1 0 0 0                 0 0 0 0 0 0 0 1
            // 0 0 0 0 1 0 0 0                 1 0 0 0 0 0 0 0
            // 0 0 0 0 0 0 0 1                 0 0 0 0 0 0 0 1
        }

        private class DataPoint
        {
            public string Education { get; set; }

            public string ZipCode { get; set; }
        }

        private class TransformedData
        {
            public float[] Education { get; set; }

            public float[] ZipCode { get; set; }
        }
    }
}

注釈

複数の列がエスティメーターに渡される場合、すべての列はデータに対する単一のパスで処理されます。 したがって、1 つの列を持つ複数の推定器を指定するよりも、1 つのエスティメーターを多数指定する方が効率的です。

OneHotHashEncoding(TransformsCatalog+CategoricalTransforms, String, String, OneHotEncodingEstimator+OutputKind, Int32, UInt32, Boolean, Int32)

OneHotHashEncodingEstimatorによって指定されたinputColumnNameテキスト列を、ハッシュベースの 1 ホット エンコード ベクター列に変換する 、という名前outputColumnNameの作成します。

public static Microsoft.ML.Transforms.OneHotHashEncodingEstimator OneHotHashEncoding (this Microsoft.ML.TransformsCatalog.CategoricalTransforms catalog, string outputColumnName, string inputColumnName = default, Microsoft.ML.Transforms.OneHotEncodingEstimator.OutputKind outputKind = Microsoft.ML.Transforms.OneHotEncodingEstimator+OutputKind.Indicator, int numberOfBits = 16, uint seed = 314489979, bool useOrderedHashing = true, int maximumNumberOfInverts = 0);

static member OneHotHashEncoding : Microsoft.ML.TransformsCatalog.CategoricalTransforms * string * string * Microsoft.ML.Transforms.OneHotEncodingEstimator.OutputKind * int * uint32 * bool * int -> Microsoft.ML.Transforms.OneHotHashEncodingEstimator

<Extension()>
Public Function OneHotHashEncoding (catalog As TransformsCatalog.CategoricalTransforms, outputColumnName As String, Optional inputColumnName As String = Nothing, Optional outputKind As OneHotEncodingEstimator.OutputKind = Microsoft.ML.Transforms.OneHotEncodingEstimator+OutputKind.Indicator, Optional numberOfBits As Integer = 16, Optional seed As UInteger = 314489979, Optional useOrderedHashing As Boolean = true, Optional maximumNumberOfInverts As Integer = 0) As OneHotHashEncodingEstimator

パラメーター

catalog

TransformsCatalog.CategoricalTransforms

変換カタログ。

outputColumnName

String

の変換の結果として得られる列の inputColumnName名前。 この列のデータ型は、Singleif outputKind 、IndicatorBag、および Binary. あるKey場合outputKind、この列のデータ型は、スカラー入力列の場合はキー、ベクター入力列の場合はキーのベクトルになります。

inputColumnName

String

変換する列の名前。 に null設定すると、その値が outputColumnName ソースとして使用されます。 この列のデータ型は、数値、テキスト、ブール値、 DateTime または DateTimeOffset.

outputKind

OneHotEncodingEstimator.OutputKind

変換モード。

numberOfBits

Int32

ハッシュ後のビット数。 1 から 30 までの数にする必要があります (1 と 30 も含まれます)。

seed

UInt32

ハッシュ シード。

useOrderedHashing

Boolean

各用語の位置をハッシュに含める必要があるかどうか。

maximumNumberOfInverts

Int32

ハッシュ中に、元の値と生成されたハッシュ値の間のマッピングを制限します。 元の値のテキスト表現は、新しい列のメタデータのスロット名に格納されます。そのため、ハッシュは多くの初期値を 1 つにマップできます。 maximumNumberOfInverts は、保持する必要があるハッシュに対応する個別の入力値の数の上限を指定します。 0 は入力値を保持しません。 -1 は 、各ハッシュにマッピングされたすべての入力値を保持します。

戻り値

OneHotHashEncodingEstimator

例

using System;
using Microsoft.ML;
using Microsoft.ML.Data;
using Microsoft.ML.Transforms;

namespace Samples.Dynamic.Transforms.Categorical
{
    public static class OneHotHashEncoding
    {
        public static void Example()
        {
            // Create a new ML context for ML.NET operations. It can be used for
            // exception tracking and logging as well as the source of randomness.
            var mlContext = new MLContext();

            // Create a small dataset as an IEnumerable.
            var samples = new[]
            {
                new DataPoint {Education = "0-5yrs"},
                new DataPoint {Education = "0-5yrs"},
                new DataPoint {Education = "6-11yrs"},
                new DataPoint {Education = "6-11yrs"},
                new DataPoint {Education = "11-15yrs"}
            };

            // Convert training data to an IDataView.
            IDataView data = mlContext.Data.LoadFromEnumerable(samples);

            // A pipeline for one hot hash encoding the 'Education' column.
            var pipeline = mlContext.Transforms.Categorical.OneHotHashEncoding(
                "EducationOneHotHashEncoded", "Education", numberOfBits: 3);

            // Fit and transform the data.
            IDataView hashEncodedData = pipeline.Fit(data).Transform(data);

            PrintDataColumn(hashEncodedData, "EducationOneHotHashEncoded");
            // We have 8 slots, because we used numberOfBits = 3.

            // 0 0 0 1 0 0 0 0
            // 0 0 0 1 0 0 0 0
            // 0 0 0 0 1 0 0 0
            // 0 0 0 0 1 0 0 0
            // 0 0 0 0 0 0 0 1

            // A pipeline for one hot hash encoding the 'Education' column
            // (using keying strategy).
            var keyPipeline = mlContext.Transforms.Categorical.OneHotHashEncoding(
                "EducationOneHotHashEncoded", "Education",
                OneHotEncodingEstimator.OutputKind.Key, 3);

            // Fit and transform the data.
            IDataView hashKeyEncodedData = keyPipeline.Fit(data).Transform(data);

            // Get the data of the newly created column for inspecting.
            var keyEncodedColumn =
                hashKeyEncodedData.GetColumn<uint>("EducationOneHotHashEncoded");

            Console.WriteLine(
                "One Hot Hash Encoding of single column 'Education', with key " +
                "type output.");

            // One Hot Hash Encoding of single column 'Education', with key type output.

            foreach (uint element in keyEncodedColumn)
                Console.WriteLine(element);

            // 4
            // 4
            // 5
            // 5
            // 8
        }

        private static void PrintDataColumn(IDataView transformedData,
            string columnName)
        {
            var countSelectColumn = transformedData.GetColumn<float[]>(
                transformedData.Schema[columnName]);

            foreach (var row in countSelectColumn)
            {
                for (var i = 0; i < row.Length; i++)
                    Console.Write($"{row[i]}\t");
                Console.WriteLine();
            }
        }

        private class DataPoint
        {
            public string Education { get; set; }
        }
    }
}